Bassa autostima o altro?

Buongiorno a tutto lo staff, ho dei dubbi che mi assillano e vorrei un vostro parere.
Ho 38 anni e sono madre di un bambino di 6 anni, non mi dilungo eccessivamente sul mio passato: ho avuto problemi di coppia, mi sono ritrovata in una relazione disfunzionale con una persona evidentemente afflitta da narcisismo e per giunta stupida, ho avuto problemi durante l'adolescenza legati all'anoressia, seppur non gravi, e ho avuto, in definitiva, un padre padrone, sotto molti aspetti anche violento, e una madre passiva.
Ho svolto un lungo lavoro su me stessa per superare gli effetti più disastrosi di queste dinamiche e non commettere più errori, prendendomi in parte le responsabilità che avevo e in parte attribuendole al contesto in cui sono cresciuta.
Sono convinta, infatti, che la causa dei propri problemi vada ricercata sia nei propri limiti che nell'ambiente, e che scaricarla esclusivamente su sè stessi o sugli altri non sia corretto.
Premesso questo, direi che ho raggiunto una sorta di equilibrio, che comunque viene sempre messo a dura prova dal fatto che, a mio parere, sono circondata da persone che non si comportano bene nei miei confronti, e che purtroppo non posso tagliare fuori dalla mia vita.
Vi faccio qualche esempio pratico. Una di queste persone è il mio ex marito, col quale non si può avere mai una conversazione intelligente, perchè è una persona profondamente ottusa e aggressiva. Subisco costantemente minacce di andare in tribunale o taglio degli alimenti per il bambino, per motivi del tutto futili (ad esempio, se nostro figlio quando è con me rompe dei giochi, o non si alimenta come vorrebbe lui, o magari non posso rispondere alle videochiamate). Subisco, quindi, delle assurdità, a cui purtroppo non posso rispondere come vorrei, perchè non serve a niente e perchè peggiorerebbe solo la situazione.
Pur rendendomi conto di questo, dentro di me covo una rabbia intensa, che a conti fatti non può essere espressa ma esiste ed è concreta. Talvolta infatti rispondo con altrettanta aggressività, anche se mi accorgo che non ha alcuna utilità pratica, perchè la persona dall'altra parte non si rende conto di sbagliare e quindi non modifica il suo comportamento.
Stesse dinamiche, anche se generalmente meno accese, con mio padre, il quale, ad esempio, a volte si rivolge a me come se fossi una nullità, è egocentrico, pretende di dirmi cosa fare e come organizzare il mio lavoro (pur non conoscendolo in modo approfondito), e mi si rivolge in maniera aggressiva. Nell'ultimo episodio, è arrivato a dirmi che io non faccio un ca**o e mi devo svegliare perchè sto sempre al pc; io al pc ci lavoro (svolgo due lavori), perchè sono una webwriter, e lui lo sa benissimo. Mi sono molto arrabbiata, gli ho risposto in modo aggressivo e gli ho detto che è un cafone. Come effetto, si è ammutolito, ha cominciato a fare la vittima e a sentirsi offeso, evitandomi per giorni interi seppur avesse palesemente torto.
Il fatto, cari psicologi, è che io non sopporto questi atteggiamenti nella maniera più assoluta. Vorrei che le persone mi portassero rispetto, come essere umano, ma mi rendo conto che ciò, per alcuni, non è proprio possibile. Questo si traduce in una scarsissima fiducia nell'umanità, che a volte rasenta il puro disprezzo, in quanto vedo che la maggior parte delle persone è ottusa e infantile come mio padre e il mio ex marito, nonostante spesso il carico di aggressività sia inferiore, almeno nei miei confronti (suppongo perchè non sono intimi).
Parlando con un mio caro amico, mi ha detto che secondo lui soffro di bassa autostima, e che questa sensazione di disprezzo e di isolamento (spesso ho la necessità di stare sola perchè mi sento invasa, consumata dagli altri), deriva da questo. Non nego che in passato ho avuto problemi di questo genere, ma in cuor mio ritenevo di averli risolti, imparando a essere assertiva e a stabilire dei limiti, ove fosse possibile.
Non vedo quindi il legame, ma mi rimane il dubbio che in effetti, forse, se dentro di me avessi una maggiore stima delle mie capacità, potrei vedere il prossimo sotto una luce differente, accogliere anche quelle che io percepisco come invasioni di spazio vitale non richieste, e che mi fanno stare piuttosto male.
Insomma, vorrei poter stare bene, vorrei trovare il modo di non arrabbiarmi con queste persone, e provare, magari, compassione, anzichè disprezzo. Ma se non capisco che cosa mi manca, qual è il tassello, non ci riuscirò mai. Voi che ne pensate?