บอกเลิกแฟนก่อนผิดไหมคะ เพราะเค้าเคยมีครอบครัวมาก่อน??

คือแฟนเรามีลูกติดมา 1 คน แต่ลูกติดอ่ะ อยู่กับ แฟนคนเก่า และเค้าบอกว่า เค้าเลิกกับผู้หญิงคนนั้นมานานแล้ว ทุกวันนี้แค่ช่วยรับผิดชอบเรื่องลูก แต่ลูกเค้ากำลัง 1 ขวบ น่ารักเลยนะ แล้วมีช่วงนึง เค้าหายไป 3 วัน ไม่ติดต่อเราเลย เค้าบอกติดธุระ (แฟนอยู่ไกลค่ะ ต่างจังหวัด) เราลองปรึกษาเจ้านายที่ทำงานดูเค้าก็บอกยังไง ผู้ชายก็ต้องเลือกครอบครัวไว้ก่อน แล้วเด็กมันกำลังน่ารัก และก่อนที่จะมาคบกันเค้าก้อตั้งมั่นว่า จะทำงานเพื่อลูก และเพื่อนบอก ก่อนเค้าจะลงมาเจอเรา เค้าผ่านผู้หญิงมานับไม่ถ้วนและเค้าบอกว่า แฟนผมปล่อยนะ ...... ตอนนี้เราก้ำกึ่งอ่ะ เราว่าเรารักเค้าไม่มากพอ ยิ่งเค้ามีภาระครอบครัวด้วย มันยิ่งทำให้รู้สึกว่าเราผิดอ่ะ ช่วยแนะนำทีค่ะว่าเราจะทำไงต่อ จะไปต่อ หรือ จะหยุดดีคะ