อยากเลิกกับแฟนเพราะอดีตของแฟน ควรทำยังไงดีคะ?

สวัสดีค่ะ กระทู้นี้จะมาขอคำปรึกษาคนที่เคยมีประสบการณ์แบบนี้หรือผู้ที่สามารถให้คำแนะนำได้ค่ะ
ปัจจุบันเราคบกับแฟนมาปีกว่า ซึ่งตลอดระยะเวลาที่คบกัน เรารู้สึกไม่ค่อยสบายใจในเรื่องอดีตของเขาค่ะ คือเรากับแฟนก็อยู่ในสังคมเดียวกันมาก่อน
ได้เคยเห็นหน้าและรู้จักกันผ่านๆมาตลอด จนได้มาคบกัน คบกันแรกๆเค้าก็จะชอบเล่าเรื่องแฟนเก่าของเค้าให้เราฟัง เล่าจนถึงขั้นว่าผ่านผู้หญิงมากี่คน ซึ่งเป็นจำนวนที่เรารับไม่ได้มากๆค่ะ มันเยอะมากจริงๆ เค้ายังเล่าอีกด้วยว่าเค้าเคยได้กับแฟนเก่าของเพื่อน รวมถึงเพื่อนผู้หญิงของตัวเองและเล่าว่าเค้าเคยนอกใจแฟนเก่าไปเอากับผู้หญิงคนอื่น หลังจากเค้าเล่าเราก็ทะเลาะกันเรื่องนี้มาตลอดค่ะ เรารู้สึกรังเกียจและขยะแขยงบอกไม่ถูกค่ะ แต่เรารักเค้ามากจริงๆค่ะ ตลอดระยะเวลาที่ผ่านมาเราทะเลาะกันเรื่องนี้ไม่ต่ำกว่าสิบครั้ง และเค้าก็บอกเราว่าเค้ารู้สึกผิดที่เล่าให้เราฟังและคอยบอกเราว่าเค้าก็ไม่เคยนอกใจเราและไม่เคยคิดทำอะไรไม่ดีตอนคบกับเรา เราเข้าใจเค้านะคะ แต่เราเลิกคิดมากไม่ได้จริงๆ ทุกอย่างที่เค้าเล่า ก่อนนอนเรื่องพวกนั้นมันวนอยู่ในหัวเรา จนเราแทบไม่มีความสุข เราคิดถึงขั้นเห็นภาพบนเตียงตามที่เค้าเล่า มันรบกวนชีวิตประจำวันเรามากๆค่ะ เราควรทำยังไงดีคะ แต่ตอนที่เค้าคบกับเราเค้าก็ดีกับเราและเค้าก็บอกเค้าไม่เคยให้ใครเท่านี้ ซึ่งเราก็เชื่อนะคะ แต่สิ่งที่กวนใจเราคือความคิดเรื่องพวกนั้นที่มันยังวนอยู่ในหัวเราตลอด เราควรทำยังไงดีคะ ขอคำปรึกษาหรือข้อคิดที่ช่วยให้แก้ไขปัญหาได้หน่อยค่ะ