แฟนผมแยกกันอยู่กับสามี (เดิม) แต่สามีเดิมยังโทรมาหาทุกวันจะทำยังไงดีครับ

เรื่องมีอยู่ว่าผมมีแฟนซึ่งเค้ามีลูกติด 2 คน  (ผมอยู่ กทม. แฟนอยู่ต่างจังหวัด)  เราไม่ได้อยู่ด้วยกัน เดือนนึง หรือ สองอาทิตย์จะเจอกันครั้งนึงโดยสลับกันไปมา แฟนผมมีทะเบียนสมรสค้างอยู่กับสามีเดิม เพราะผู้ชายไม่ยอมมาหย่าให้สักที เริ่มเรื่องที่เค้าแยกกันอยู่ เพราะสามีเค้าไปมีเมียน้อยแล้วแฟนผมจับได้จึงแยกกันอยู่ ลูก2 คน เป็นแฟนผมที่เลี้ยง (สามีเค้ามีส่งเงินมาให้ลูกบ้างตามเหมาะสม)  ทุกครั้งที่ผมกับแฟนเจอกัน ผมจะเห็นสามีเค้าโทรมาหาตลอด 3-4 ครั้ง ต่อวัน หลัก ๆ จะถามเรื่องลูก แล้วจะถามแฟนผมทุกครั้งอยู่ไหน ทำอะไร อยุ่กับใคร คือ ถามเหมือนจะกลับมาคืนดีเลย แต่แฟนผมบอกว่าไม่มีอะไรกันแล้ว แฟนผมไม่คิดจะกลับไปต่อให้เค้าจะกลับมาก็ไม่เอาแล้ว เพราะตอนนี้มีผมแล้ว  แต่ผมก็ไม่ชอบการกระทำแบบนี้มันไม่ค่อยสบายใจครับ ซึ่งถามว่าทำไมแฟนผมไม่เดินเรื่อขอหย่า หรือ ฟ้องหย่าให้เด็ดขาดไปเลย เพราะกลัวว่าสามีเค้าจะมาเอาลูกไป หรือ ไม่อยากให้ลูกต้องมาอยู่ในเหตุการณ์แบบนี้  อันนี้คือสรุปสั้น ๆ ครับ  อยากถามความเห็นท่านอื่น ๆ เห็นเป็นยังไงบ้างครับ ขอบคุณครับ