In tre ma sempre solo in 2

Buongiorno,
ho 36 anni e da poco più di un anno ho una relazione con un uomo di 43 (separato da anni) che ha una figlia di 10 anni. Scrivo in 3 ma sempre solo in due perchè siamo sempre io e lui o lui e lei, anche nei giorni e nei week end in cui la bambina è con lui e non con la mamma. Le rare volte in cui l'ho vista sono state cene con amici, ed una sola volta siamo usciti per una pizza ed un cinema solo noi tre. La bambina è venuta a conoscenza della nostra relazione durante la loro vacanza ad agosto. Io ho pensato che da li in poi le cose sarebbero cambiante, e che avremmo potuto iniziare a vederci più spesso tutti e 3 insieme, invece non è cambiato molto, anzi direi nulla. Lui continua a non dirle mai quando è con me, mi chiede di lasciare le mie cose a casa sue ma poi le nasconde per non farle trovare a lei. Più che una compagna mi sembra di essere un'amante!! il termine più corretto per descrivere il mio stato d'animo penso possa essere "avvilita"... ho cercato di parlarne con lui e di fargli capire il mio stato d'animo, ma è difficile, si innervosisce subito e dice che lui deve proteggerla e che nonostante io le piaccia è gelosa di me. Onestamente non so fin dove questa sia la verità o sia una "scusa" che gli permette di non impegnarsi completamente. Si sta comportando esattamente come i suoi genitori, separati da tantissimi anni, la madre è sempre rimasta sola (come la madre di sua figlia) il padre ha avuto un'altra relazione vissuta sempre come fidanzati... ognuno a casa sua... senza frequentare i figli di lui (come ora lui fa con me)!!! Mi sento avvilita perchè quando siamo solo noi le cose vanno benissimo ed ugualmente le rare volte in cui siamo stati in 3, ma quando non siamo insieme ed è con lei non riesco proprio ad essere serena, perchè ho la sensazione che questa situazione non cambierà mai. Quindi non so più cosa fare.. aspettare ancora o lasciar perdere tanto lui non cambierà mai? mi chiedo se sono io che vedo le cose in modo sbagliato, so che ci sono mille dinamiche dietro questi rapporti e che non essendo madre magari non posso capire a fondo determinati atteggiamenti, indubbiamente mi aspettavo che dopo più di un anno la nostra relazione fosse ad un altro livello. Sto davvero bene con lui ma è riuscito a far sì che una cosa bella da condividere come può essere un foglio, alla fine sia diventata un problema e motivo di allontanamento. Perciò chiedo un consiglio...
Grazie mille..