これは聞いちゃ駄目！？

みなさんお疲れ様です。
デリで指名した方が会話は控えめの方で…
こちらから聞いたり質問された事を返したりしていましたが、1往復くらいで会話が終わっちゃうんですよね。
無言の状態がしばらく続いて微妙な空気になってしまい…
話題も尽きかけたので、聞いてみました。
「昼職ってしてますか？」と。
今まで他の方に何回か聞いたことがあり、そこから会話が生まれていたのですが、今回は「何でそんな事聞くの？！」と若干怒って返されてしまいました。
この話題は避けるべきなのでしょうか？
聞かれると嫌なのでしょうか？