แก้ปัญหาอยู่ด้วยกันอย่างไงดีครับ

ผม อายุ 27 แฟน 44  เราคบกันมาได้ประมาณ3ปีกว่าแล้วครับ   ตอนนี้แฟนยังไม่กล้าเข้ามาบ้านผมซักเท่าไหรยังกลัวๆที่บ้านผมมั้งครับ  บ้านผมจะมี แม่ (เคยบอกแล้วว่ามีแฟนเป็นผช.นะ)  ส่วนพี่ชาย บอกแล้ว     ด้านเขาจะมีแค่ พี่ชายเขาอยู่ครับ(สติไม่ค่อยดี)
ตอนนี้เราทั้งสอง แยกกันอยู่บ้านใครบ้านมัน  (ระยะห่างกันประมาน30โล)      ไปมาหาสู่ อาทิตย์ละครั้ง  แต่ผมอยากอยู่ด้วยกันทุกวัน  ติดแค่ตรงที่ เขามาอยู่กับผมไม่ได้เพราะต้องดูแลพี่ชายเขา   ส่วนผมไปอยู่กับเขาก็ไม่ได้  มีแม่ที่ต้องอยู่  เรื่องบ้าน ทางบ้านผมสะดวกกว่ามีพร้อมกว่า    บ้านเขาจะเป็นบ้านที่อยู่ในซอยๆลึกและไม่มีที่ให้จอดรถยนต์ ลำบากนิดหน่อย(ปกติไปหาขี่มอเตอร์ไซด์ไปหาตลอด)    ส่วนเรื่องงาน ผมรับราชการ จะให้ย้ายไปก็ลำบา่ก  ส่วนเขารับจ้างอยู่ร้านเหล็ก ครับ   ผมไม่รู้จะแก้ไขปัญหานี้ได้อย่างไรดี  หรือเราจะได้แค่ไปมาหาสู่ ไม่ได้อยู่ด้วยกันครับ