Mi ama ma mi lascia

Salve,
è la prima volta che vi scrivo, ma ho letto parecchi forum su questo sito che trovo molto interessante.
Vi racconto cosa mi sta succedendo, mi piacerebbe avere i vostri consigli...ho 38 anni, sto con un ragazzo da circa tre anni, ultimamente si parlava di convivenza e di cose più serie...però c'è un però a lui non va giù la mia vita passata, diciamo che ho avuto un pò di storie strane, tra cui un suo amico (una notte e basta)anni prima di conoscerlo...lui mi dice che per ora ha soffocato questa cosa non pensandoci e non facendomi capire che gli dava parecchio fastidio...in pratica con questo suo amico ci vediamo anche qualche volta anche se il rapporto con lui è andato scemando man mano...ora da circa due settimane ha deciso che non ce la fa più a soffocare questo suo "fastidio" e mi lascia, anche se ribadisce che mi ama da morire, non può stare senza di me e che gli manco da morire, ma con me proprio non riesce più a stare.
Mi ha chiesto quindi di continuare a vederci perchè non ce la fa a starmi lontano, ma lui non si sente più parte di questa coppia...in questi giorni che ci siamo visti non mi ha nemmeno baciata ma continua a chiamarmi amore, forse per abitudine non so...ora vi chiedo sono solo scuse perchè vuole che prenda io una decisione definitiva e quindi lasciarlo?
Cosa devo fare?
Per ora stiamo continuando a vederci agli occhi degli altri stiamo insieme, mi ah anche chiesto di passare il week end insieme, però è restio a baciarmi e al contatto fisico...aiutooooo :( :( :(