แฟนติดเพื่อนมาก

สวัสดีค่ะเรามีเรื่องจะปรึกษาค่ะ คือเราอ่ะคบกับแฟนมาสักระยะนึงแล้ว  เค้าทำงานยุไปรษณีย์ ส่วนเราทำงานบริษัทเอกชน
แฟนเราเค้าติดเพื่อนมาก เค้าจะเลิกงานประมาณบ่าย 2 ลังจากเลิกงานเค้าจะไปนั่งต่อบ้านเพื่อที่ทำงานด้วยกันทุกวัน และจะกลับเข้าบ้านอีกทีก็4ทุ่ม
แต่ปกติเราก็จะไปด้วยบ่อยถ้าว่าง เค้าเป็นคนที่ไม่เจ้าชู้ แต่ข้อเสียคือติดเพื่อนกับไม่ค่อยใส่ใจเรา เขาขอให้เราย้ายมาอยู๋กับเขา และเราก็เสนอว่า
ถ้าเราต้องมาอยู่ด้วย หลังเลิกงานคุณจะไปบ้านเพื่อนได้ แต่ต้องกลับบ้านหลังจากเราเลิกงานแล้วประมาณ 6 โมงเย็นจะได้ไหม ตอนเเรกเค้าบอกว่าได้ แต่พอเอาเข้าจริงๆ นั้นเขากลับทำไม่ได้ ทุกวันเค้ารอเราเลิกงานก่อนและไปบ้านเพื่อนเค้ากับเราด้วย เพื่อที่จะไม่ต้องกลับเร็ว แต่เราไม่ได้ต้องการแบบนั้น
เราแค่ต้องการความเป็นครอบครัว เลิกงานมีเวลาอยู่ด้วยกันบ้าง ไม่ใช่อยู่แต่ที่บ้านเพื่อเค้าทุกวันไม่เว้นวันหยุดแบบนี้ พอเราถามก็เหมือนชวนทะเลาะ
บอกว่าทำไม่ได้ นี่ไงก็รอให้เลิกงานก่อนไง เพื่อเจอกันก่อน หลังจากนั้นถ้าเราไม่ไปเราก็แค่รอที่บ้าน แบบนี้เค้าเรียกว่าไม่แคร์กันเลย เราเเค่บอกว่าได้
แต่ไม่ใช่ ว่ากลับดึกมาก อย่างนั้นมันไม่เป็รครอบครัว เราไม่ด้บอกให้เค้าเลือกน่ะค่ะ เราแค่อยากให้แบ่งเวลา เราถึงบ้าน6โมง เค้ากลับสัก2ทุ่ม เราก็โอเค 
ไม่ใช่ 4-5 ทุ่มมันก็ไม่ไหวเหมือนกันน่ะ
                     เราจะทำยังไงดี มีวิธีที่ทำให้เรากับเค้าคุยกันได้ไหม หรือ เราควรที่จะถอยออกมาดีกว่า หรือ ยังไงดี เราสับสนไปหมดแล้ว