สามีเก่าของแฟนผมกลับมาติดต่อแฟนผมมากขึ้นควรทำอย่างไรดีครับ (เค้ายังมีทะเบียนสมรสคากันอยู่)

เรื่องมีอยู่ว่า แฟนผมเค้าเลิกกับสามีเค้าไปแล้วประมาณ 4-5 ปี เพราะจับได้ว่าไปมีเมียน้อย แต่เค้ามีลูกด้วยกัน 2 คน ชาย 1 คน  หญิง 1 คน  ปกติสามีเก่าเค้าก็มาหาลูกปีล่ะ 1-2 ครั้ง แต่จะโทรมาหาลูกเกือบทุกวันโดยโทรผ่านโทรศัพท์แฟนผม แล้วขอสายลูก (แต่แฟนผมบอกว่าขาดกันแล้วไม่มีอะไรกันแล้ว ทุกวันนี้ทำหน้าที่ พ่อ กับ แม่ ของลูกเฉย ๆ แฟนผมบอกว่ามีผมแล้วจะไม่กลับไปแน่นอนเค้าแคร์ผมเคาจะอยู่กับผมแฟนผมยืนยันอย่างนั้น) ตอนแรกสามีเก่าเค้าก็ไม่รู้เรื่องของผมกับแฟน ก็จะโทรมาปกติขอคุยกับลูก แต่หลัง ๆ มานี้เหมือนโทรมาหาแฟนผมบ่อยขึ้นเหมือนระแคะระคาย เหมือนสงสัยว่าแฟนผมมีคนอื่นหรือป่าว ล่าสุดเลยโทรมาถามว่าอยู่ที่ไหน อยู่กับใคร จะไปหานะ ในขณะนั้นแฟนผมอยู่ที่ทำงาน สามีเก่าเค้าก็มาจริง ๆ อะไรประมาณนี้ครับ ลืมบอกไปว่าผมกับแฟนอยู่คนล่ะจังหวัดกันครับ เต็มที่ได้แค่ Video Call คุยกันหรือโทรคุยกัน ไลน์คุยกันทุกวัน อาทิตย์หรือ 2 อาทิตย์เจอกันทีนึงสลับกันไปมาหากัน ทุกเรื่องแฟนผมบอกผมหมด เค้ามีอะไรเค้าบอกว่าจะบอกทั้งหมด เรื่องที่ผมเล่าให้ฟังเค้าก็บอกผม แต่ใจจริงผมก็หงุดหงิดนะครับที่เป็นแบบนี้ ผมออกแนวหวงแฟนผมเลยทีเดียว แต่เค้าบอกว่าต้องเชื่อใจกัน มันไม่มีอะไรหรอก แต่ก็อดคิดไม่ได้ครับเพราะเราไม่ได้อยู่ด้วยกัน อีกอย่างแฟนผมบอกว่าสามีเก่าเคยบอกว่าถ้าแฟนผมมีคนอื่นเเค้าจะขอหย่าและเอาลูกไปเลี้ยงเอง ซึ่งข้อนี้แฟนผมไม่ยอม แฟนผมรักลูกมากจะไม่ยอมปล่อยลูกไปกับเค้า เหมือนเป็นจุดอ่อนของตัวเองเลย แฟนผมเลยไม่กล้าที่จะเดินหน้าขอหย่าแบบชัดเจน แล้วสามีเก่าก็ไม่มีทีท่าว่าจะมาขอหย่าด้วยเหมือนรออะไรสักอย่าง หรืออาจจะรอเวลากลับมาอยู่เป็นครอบครัว ซึ่งผมกลัวตรงนี้มากที่สุดครับ อยากถามทุก ๆ คนว่าถ้าเป็นผมจะทำยังไง แล้วทุกคนคิดว่าที่แฟนผมยืนยันเค้าจะทำได้มั้ย