Quando la mia reazione non è più solo una mia responsabilità?

Buongiorno,
Ultimamente mi ronza per la testa un dubbio e spero possiate risolverlo; leggendo articoli o vedendo video di psicologi divulgatori trovo sempre più spesso l'affermazione "come una persona reagisce alle azioni altrui è una sua responsabilità" e concordo, ma solo fino a che il comportamento altrui è un comportamento neutro, mi spiego meglio: se il mio compagno uscisse con delle sue amiche e io mi struggessi per la gelosia e gli dicessi "se mi amassi davvero non lo faresti" il mio sarebbe un comportamento manipolatorio e lui in alcun modo sarebbe responsabile delle mie emozioni in quanto non sta facendo nulla di male, sono i miei traumi, insicurezze ecc che mi porterebbero alla gelosia e allo star male e come gestirli dovrebbe essere solo una mia responsabilità, cristallino! Ma se il comportamento non fosse neutro? Se il mio compagno mi insultasse e avesse atteggiamenti aggressivi nei miei confronti la frase "se mi amassi davvero non lo faresti" non sarebbe a quel punto lecita? Se una persona ha nei nostri confronti comportamenti denigratori e delegittimanti non sarebbe a questo punto anche una sua responsabilità il mio star male? Perché altrimenti secondo me sarebbe solo un via libera all'egoismo "io posso fare e dire quello che voglio, anche offenderti, se ci stai male è solo un problema tuo". C'è un limite a questa responsabilità individuale e, se sì, qual è?