แฟนจะย้ายทะเบียนบ้านลูก ไปบ้านแฟน ทำได้มั่ยครับ

ผมจดทะเบียนสมรสกับแฟนแล้วพอดีและมีลูกด้วยกัน1คน อายุ 1ปี 2เดือน แฟนพาลูกกับบ้านแฟนแล้ว แฟนโทรมาบอกว่าจะโอนทะเบียนบ้านลูกผมไปทะเบียนบ้านแฟน แต่ผมไม่ยอมให้โอนไปแฟนจะโอนลูกไปทะเบียนบ้านแฟนได้มั่ยคับ (เรายังไม่ได้หย่าร้างกัน)