あなたの場合、女性だから電話をとらなければならない状態が、ストレスになっているようですね。「なんとなく」ということは、あなたの担当業務と決まっているわけではないのですから、上司や該当部署に相談してみてはどうでしょうか。
女性だから電話をとらされるのはジェンダーハラスメントとして、禁止されています。改善を求めてもいいことなのだと、ぜひ知っていただきたいと思います。
また、職場の電話は公的な会話ですから、人に聞かれて当然ですね。それに、入社試験の面接と違って、会話の内容によって合否が決まるわけではありません。うまく話せないとか失敗したらだめだとか考えないで、人に聞かれて当たり前なんだと、気持ちを切り替えてください。仕事に集中している人にしてみれば、あなたの電話の声はバックグラウンドミュージック程度かもしれませんよ。