ขอสอบถามผู้รู้หน่อยนะคะ

เรากับพ่อของลูกเลิกกัน(ไม่ได้จดทะเบียนสมรส)  ลูกอยู่ทะเบียนบ้านฝั่งพ่อเขา แต่เราเอาลูกมาเลี้ยงที่บ้านเราตั้งแต่ออกจากโรงพยาบาล แล้วเราอยากย้ายมาอยู่ที่ทะเบียนบ้านเรา แต่ฝั่งพ่อเขาไม่ยอม ควรทำยังไงบ้างคะ