Dann passt eher eine kurze, warme, aber klare Antwort, z. B.:  

> „Ich führe solche Gespräche grundsätzlich nicht, weil sie mir nicht gut tun. Bitte versteh das, es hat nichts mit dir persönlich zu tun.“  

Das ist freundlich, macht dein „Nein“ deutlich und lässt keinen...