過去の保証割れの返還を求められました

出稼ぎで二桁リピしていた店の社長と揉め、当初の予定より早く切り上げ退店を申し出たところ、「辞めるのは自由だが、過去の保証割れ分を全額返せ」と言われました。
たしかに私に至らないところもありましたが、「●すぞ」、「他のどこでも働けないようにしてやる」とまで脅される筋合いはありません。
過去の保証割れは計算したところ15万程度ですが、そのような契約はしていないので、絶対に払いたくありません。
ダミー振替当たり前の店で、写メ日記も当初より倍アップしていたし、この日に来てという希望にはなるべく応えてきたので、店に対してそれなりに義理は果たしていると思います。
このような場合は払わなければいけないのでしょうか？
弁護士にも相談する予定ですが、同じような経験をした方がいればお話お聞かせ願いたいです。