Divorziato con figli, come gestire la situazione?

Salve. Sono una ragazza di 24 anni e sto vivendo una storia d’amore grande e forte con un uomo di 18 anni più di me,quasi divorziato e con tre figli.
Sono ormai 10 mesi di amore,di momenti difficili,di discussioni,di viaggi,di sensazioni ed emozioni mai provate prima.
Le premetto che i tanti momenti difficili sono scaturiti dall’atteggiamento della sua ex moglie,una donna cattiva,una donna che ha sempre utilizzato i figli per far del male a lui,un anno di calugne,insulti,menzogne,aggressivitá e chi più ne ha ne metta. Tutti questi motivi renderanno chiaro il perché abbiamo deciso,per adesso,di viverci la nostra storia da soli senza coinvolgere i figli e seppure io vivo tutti i giorni da lui,quando ha l’affido dei figli io dormo a casa mia. Quindi,di questa storia stravissuta di cui sono quasi 10 mesi,la sua ex moglie ha solo un piccolo ma quasi insignificante sospetto,difatti incontrandomi per strada ha più volte provato a farmi battute allusorie,o addirittura minacce che mi hanno vista costretta ad intervenire legamente. Io vivo benissimo con lui,ci amiamo tanto,abbiamo tanti progetti,tra cui quello di andare a vivere insieme anche e soprattutto per situazioni economiche che alleggerirebbero entrambi. La mia paura è quello che verrà,perché seppure ho indurito la corteccia,ho messo in conto tante cose..ho paura di come i figli (una di 13 anni,uno di 9 e una di 6) la possano prendere visto il carattere della madre. Cosa ci consigliate di fare? Come affrontare questa cosa? Prima con lei?