แฟนมีลูกติดและเข้ากับครอบครัวแฟนไม่ได้ จะจัดการความรู้สึกยังไงดีคะ?

เรากับแฟนคบกันมาได้3ปีกว่าแล้วค่ะ ซึ่งเรารู้แต่แรกว่าเค้ามีลูกติดและภรรยาที่หย่ากันแล้ว แต่ด้วยความที่หย่ากันตอนที่ลูกยังเล็กมากครอบครัวเค้าจึงยังให้ภรรยาเก่าเค้าอยู่ในบ้านเหมือนเดิมทุกอย่าง เพียงแต่แยกห้องนอนกันกับแฟนเราค่ะ แต่เวลาต้องทำกิจกรรมในครอบครัว เค้าก็จะรวมตัวกันได้เสมอ ถ่ายรูปพ่อแม่ลูกลงโซเชียลบ้าง (แต่แฟนเราไม่เคยลงนะคะ ส่วนใหญ่จะเป็นน้องสาวเค้าลงค่ะ) หลังจากที่ตัดสินใจคบกัน เราก็มาเช่าบ้านอยู่ด้วยกัน เค้าก็ยังไปมาหาสู่ที่บ้านบ้าง ดูแลลูกบ้าง แต่สิ่งที่ทำให้เราอึดอัดใจมาตลอด คือการที่ครอบครัวเค้าไม่ต้องการให้เราไปมีตัวตนตรงนั้น ถึงแม้เรากับครอบครัวเค้าจะเจอกันบ้าง ตามโอกาส4-5ครั้ง แต่ก็ไม่ให้เข้าบ้าน เพราะกลัวว่าเด็กจะไม่พอใจที่พ่อจะมีภรรยาใหม่
โดยแฟนเราก็พยายามเต็มที่ ที่จะแก้ไขปัญหาตรงนี้ ด้วยการพยายามสื่อสารใดๆก็ตาม ก็ไม่ช่วยให้อะไรดีขึ้นเลย
เราก็ยอมรับว่ารู้สึกว่า เค้ารักเรามากจนยอมแลกอะไรหลายอย่างในชีวิตเพื่อรักษาความสัมพันธ์นี้ไว้ ส่วนเราเองที่เห็นความพยายามก็ตัดใจทิ้งเค้าไม่ลง
คำถามก็คือ เราไม่รู้จะแบกรับความรู้สึกของความเป็นคนนอกแบบนี้ต่อไปยังไง มันมองไม่เห็นอนาคตเลยค่ะ
และสิ่งนี้ก็จะบั่นทอนกำลังใจเราเป็นระยะๆ เวลามีความสุขก็กลัวว่าที่บ้านเค้าจะโทรมาตาม เป็นความสุขปนความระแวงอยู่ตลอดเวลาเลยค่ะ