คิดยังไงกับแฟนมีลูกติด

เรื่องมีอยู่ว่าแฟนนผมมีลูกอายุมาประ2ขวบยู่กับพ่อแต่ปัญหาคือเวลาจะไปหาลูกแฟนนผมก็ต้องไปหาลูกที่บ้านเขาไปนอนกับลูกที่บ้านเขาจะไปรับกลับมาก็ไม่ได้พ่อเด็กไม่ยอมตัวผมเองก็ไม่ชอบให้แฟนนไปเพราะคนเคยรักกันยังไงก็ระแวงอยู่แล้วผมควรต้องทำยังไงดีครับเพื่อแก้ปัญหานี้