本指が返せません

お疲れ様です。
現在箱ヘルで働いてます。風俗歴は2年以上、現在のお店では1年半くらい働いてます。大学の勉強と資格勉強が忙しいため週一6時間出勤なのですが、それを考慮しても本指が少ないです。1回来た本指は2名、3回以上来た本指は2名です。
前いたお店(風俗エステ)では、本指を返すのに１ヶ月くらいかかり、スタッフさんに「時間かかったね」と苦言を呈されて居づらくなって辞めました。アンケートで100点もらったり、自分なりに一生懸命に頑張ってるつもりなのですが結果が出ず、今はもう努力しても無駄なんだと諦めつつあります。
私は発達障害(アスペルガー症候群)があり、会話が苦手だったり、言われたことを真に受けたりしまったりします。子供の時はもっと会話が苦手で、コミュニケーションの本をたくさん読んだりして今は大分人と会話が取れるようになってきました。そのせいか、お客さんに「Siriみたいな喋り方だな」「事務的な喋り方」と吐き捨てるように言われて、泣いてしまいました。どうしたらいいのでしょうか。向いてないとはわかって居ますが、勉強で忙しいため普通のアルバイトをすることは難しいです。