24 anni di differenza e un grande amore

Salve a tutti, mi piacerebbe ricevere un parere professionale riguardo la mia situazione che ormai va avanti da più di 4 anni.
Nel 2010 inizio la mia relazione con un uomo più grande di me di 24 anni, sposato con un figlio. All'epoca anche io ero fidanzata. Ci siamo lasciati travolgere da una fortissima passione (lavoravamo insieme da 3 anni) che si è subito trasformata in qualcosa di più. Lui si è separato dalla moglie ed io ho lasciato il mio compagno per lui. Siamo andati quasi subito a convivere e le cose andavano, e vanno benissimo. Noi ci completiamo, abbiamo gli stessi interessi, ci concediamo i nostro spazi, e devo ammettere che abbiamo litigato pochissimo in questi anni perchè fondamentalmente affrontiamo ogni problema in modo maturo, parlando tantissimo. Lui ha un figlio di 14 anni, che vede a week end alterni e 2/3 volte a settimana.
La questione è questa... il tempo passa, se voglio mettere su famiglia devo sbrigarmi perchè lui non è più un giovanotto (io 26, lui 50) e io ho tanta paura che a distanza di tempo la differenza di età possa diventare un vero problema. Anche il rapporto che ha con il figlio mi spaventa... loro sono molto legati... lui enfatizza qualsiasi cosa che il figlio faccia e lo vizia tantissimo, in un modo che a me da anche fastidio forse... e ho paura che se facesse un figlio con me, sarebbe sempre considerato, IL SECONDO... comunque tengo a precisare che lui vuole dei figli aspetta solo che io sia pronta. Potete darmi dei consigli per favore? io sono schiacciata dalle mie paure... grazie mille