แฟน นัดกับ ญ อื่นและขังลูกไว้ในห้องนอน เค้าบอกว่าเค้าไม่ผิด ??อยากฟังความเห็นคนอื่นๆค่ะ

สวัสดีค่ะ เรามีเรื่องสงสัยค่ะว่าในเรื่องนี้เราผิดไหม ?????
เรากับแฟนคบกันมาสิบกว่าปีโดยประมาณ มีลูก 1คน อายุ 3 ขวบ
แฟนเป็นคนเลี้ยงลูกตั้งแต่ 3 เดือน เพราะเค้ามีรายได้จากกิจการที่บ้าน
ส่วนเราทำงานนอกบ้านค่ะ
ส่วน คชจ เรื่องลูกแฟนเป็นคนออกค่าใช้จ่าย ในส่วนเราเป็นเสื้อผ้ารองเท้า
โดยปกติเราจะมีเถียงกันอยู่บ่อยๆ ถ้ามีเรื่องความเห็นไม่ตรงกัน ถ้าเราโต้แย้ง แฟนเราจะเสียงดังและอารมณ์ร้อนทันที เราจึงพยามเงียบเป็นส่วนใหญ่นอกจากบ้างครั้งที่ทนไม่ได้
ในส่วนการทำงานของเรา ใช้เวลาเดินทางประมาณ 2-3 ชม แล้วแต่การจารจร หรือบ้างครั้งมีงานที่ต้องเรียบเคลียร์ก็จะออกจากที่ทำงานช้า
ในบ้างครั้งมีไปทานกับที่ทำงานบ้างกลับถึงบ้าน 22.00-23.00 แต่ทุกครั้งที่ไปเราชวนแฟนด้วยทุกครั้ง
การเดินทางช่วงกลับบ้าน นั่งรถมอไซด์ -----เมล์/รถตู้ ------เดินเท้า 500 เมตร----- รถสองแถว----เดินเท้า 1 กิโล------มอไซด์ ถึงบ้าน (ใช้เวลา 2-3 ชม)
เรื่องที่เกิดคือเมื่อวานตอนเย็น เราออกจากที่ทำงาน 6.10 นาที และเดินทางกลับบ้าน
ถึงบ้าน 20.40 เข้าไปที่บ้านรถไม่อยู่ เราคิดว่าเค้ากับลูกไปซื้อของ แต่ไม่ใช่ ลูกเราอยู่ในห้องนอนถูกคล้องกุญแจอยู่ด้านนอก โดยไม่ล็อค
เราโทรไปหาแฟนทันที เพราะเราไม่ชอบให้ทิ้งลูกไว้คนเดียว
แฟนเรารับโทรศัพท์และบอกว่าไปซื้อข้าว เราก็บ่นไปว่าทำไมปล่อยลูกไว้คนเดียว ก็วางสายไป ซึ่งปกติเวลาไปซื้อของเค้าจะเอาลูกไปด้วยตลอด
ประมาณ 21.00 กว่าๆ เราหารีโมทแอร์ไม่เจอ เลยจะโทรไปถามแฟนว่าเอาไปแอบลูกไว้ไหมเพราะลูกเราชอบเอามาเล่น (ตอนเปิดประตูเข้าไปในห้องนอน ลูกเรารื้อของเล่นเต็มห้องคิดว่าแฟนคงรู้เลยเอาแอบไว้)
เราโทรไป2-3 สายไม่รับ ซึ่งโดยปกติแฟนเราจะรับโทรศัพท์ตลอด ในความคิดเรามันผิดปกติแล้ว
เราก็พยามโทรไปก็ไม่รับ ในความคิดคืออยู่กับใครแน่นอน เราเลยส่งไลน์ไปว่า *เรามีเรื่องต้องคุยกันแล้วละ*
ผ่านไป 20 นาทีเค้าอ่าน แต่เราโทรไปไม่ยอมรับ  สัก 20 นาทีเราไลน์ไปถามว่าจะกลับกี่โมง ก็อ่านไลน์ แต่ไม่ตอบ โทรไปไม่รับ
ซึ่งลูกถามตลอดว่าพ่อไปไหน พ่อไปธุระหรอ เรายิ่งรู้สึกแย่มากขึ้นตอนได้ยิน
แล้วแฟนก็กลับมาบ้านตอน 23.30 น.
เราก็ถามว่าไปไหน เค้าบอกอยู่แถวนี้
เราถามว่าทำไมไม่เอาลูกไปทิ้งลูกได้ไง เค้าบอกเดียวเราก็กลับแล้วเค้าเพิ่งออกมาเอง
เราก็ถามเค้าว่าทำไมไม่เอาลูกไปด้วย เค้าบอกถ้าเค้าเอาไปเราก็กลับมาไม่เจอใคร ซึ่งเราอายุจะ40แล้วกลับมาไม่เจอเราก็ไม่ได้มีปัญหาอะแต่เรามองว่าเค้าไม่อยากเอาลูกไปเอง    
เราให้เค้าบอกเองเค้าไม่พูดอะไรบอกแค่ไปกินข้าว เราอยากได้ยินที่เค้าบอกมากกว่าว่าไปไหนอย่างไง ไม่ใช่ให้เรารู้เอง
สรุปคือ เค้านัดเพื่อน ญ คนนึงไปกินข้าว ที่โรงแรมโดยการที่ทิ้งลูกไว้ที่บ้าน ให้อยู่ในห้องเพื่อที่จะรอเรากลับมา ซึ่งเรารู้สึกแย่มากๆกับเรื่องนี้
เราได้ถามทางแฟนว่าจะเลิกกันเลยไหม ส่วนเราขอลูกไปดูแลเอง เพราะเรามองว่าแฟนเราทำผิดแต่ทางแฟนเราเค้าไม่คิดว่าตัวเองทำผิดเลย
ซึ่งทางแฟนบอกว่าเค้าเบื่อ เรามีแต่ปัญหา และเรากลับบ้านช้าตลอด
สรุปเราผิดไหมค่ะ เราอยากฟังความเห็นจากคนอื่นๆและจะเอากระทู้นี้ให้เค้าอ่านค่ะ

ในส่วนเราตอนนี้เราพร้อมเลิกทัน เรารู้สึกแย่กับเหตุการณ์นี้มาก