ปัญหาของการมีแฟนที่มีลูกติด

คบกับแฟนมาเกือบ2ปี แฟนมีลูก3คน และทั้ง3คนอยู่กับแม่ของเด็กค่ะ
เกริ่นก่อนนะคะ แฟนเลิกกับแม่ของเด็กตอนลูกคนเล็กคลอดได้ไม่กี่เดือน
ตัวแฟนเองอยู่กับเราที่ ตจว. (ทำงานที่นี่) เดือนละประมาณ20วันและต้องกลับ กทม. เพื่อเข้าบริษัท +กลับไปหาลูกๆประมาณ10วัน
และปัญหามันอยู่ตรงนี้แหละค่ะ ทุกๆ10วันที่กลับ กทม. คือแฟนต้องไปนอนที่บ้านของแม่เด็กเพราะเด็กๆอยู่ที่นั่น ซึ่งเราไม่โอเคมากๆ
ทางแฟนก็ได้บอกกับเราว่าต้องให้เป็นแบบนี้ไปก่อนเพราะเด็กๆยังเล็ก ยังไม่อยากให้รู้ว่าพ่อแม่แยกทางกัน
(คนโต 6ขวบ คนกลาง 4ขวบ และคนเล็ก 2ขวบกว่าๆค่ะ) แต่ตัวแม่เด็กรับรู้นะคะว่าแฟนมีเราแล้ว
แรกๆก็มีทะเลาะกันทุกครั้งที่กลับไปเรื่องแม่เด็ก เพราะยังไงเราก็ไม่ไว้ใจค่ะใครจะไปไว้ใจได้ลงล่ะคะ เพราะคนเคยๆอยู่บ้านหลังเดีนวกัน นอนห้องเดียวกัน
ถึงจะมีเด็กๆนอนด้วยก็เถอะ แต่แฟนก็พยายามทำทุกอย่างให้เราเชื่อใจ แต่ก็นั่นแหละค่ะมันก็อดระแวงไม่ได้อยู่ดี หลังๆมามีเริ่มปลงค่ะทะเลาะเรื่องนี้กันน้อยลง แต่ก็มีเรื่องใหม่มาอยู่ดี คือทุกครั้งที่แฟนพาลูกไปเที่ยว เรารู้สึกเหมือนเป็นคนนอกทุกครั้ง เพราะแม่เด็กก็ไปด้วย และเด็กๆก็ไม่เคยรับรู้สถานะและการมีตัวตนของเราเลยค่ะ พอคุยกับแฟน แฟนก็มีแต่บอกว่รอหน่อย รอให้เด็กๆโตกว่านี้ก่อน คำถามคือ เมื่อไหร่หรอที่ว่ารอเด็กๆโตนี่คือเมื่อไหร่อีก5ปี 10ปีหรือ20ปี? บางคนอาจจะมองว่าเราเห็นแก่ตัว แต่เราอยู่ตรงนี้ เชื่อเถอะมันอึดอัดมาก เคยบอกเลิกแฟนไปหลายครั้ง และทุกครั้งแฟนไม่ยอมเลิกแล้วบอกว่ามันจะดีกว่านี้ และยังมีเรื่องยิบย่อยอีกมากมายที่แก้ปัญหาไม่ได้ ท้อเลยค่ะ ส่วนตัวเราและแฟนนิสัยคล้ายๆชอบกินอะไรเหมือนๆกันเลยเข้ากันได้ดี และพ่อแม่แฟนก็เอ็นดูเรามากเช่นกันค่ะ คือเราต้องอดทนที่จะต้องทะเลาะกับแฟนทุกครั้งที่แฟนกลับ กทม.แบบนี้ต่อไปหรอคะ หรือใครมีอะไรแนะนำมาได้เลยนะคะ ยินดีรับฟังทุกคำติชมค่ะ