อยากรับลูกมาดูแลเอง ควรทำยังไงดีคะ??

ลูกอยู่ทางบ้านพ่อของลูกมาตั้งแต่เกิดค่ะ เราเลิกกับพ่อของลูกตอนลูกจะ3ขวบ ตอนนี้ลูกจะ9ขวบค่ะ  ไม่ได้จดทะเบียนกันค่ะ ตั้งแต่เลิกกัน ลูกก็อยู่บ้านพ่อของลูกค่ะ  ทางเราไม่ได้ส่งเงินให้ แต่จะส่งเงินมาให้ทางแม่เราให้พาหลานไปกินไปเที่ยว หรือลูกอยากได้อะไรซื้อให้มากกว่าค่ะ  คือตอนนี้อยากเอาลูกมาเลี้ยงเอง เพราะดูเหมือนทางนั้นดูแลลูกเราไม่ได้ค่ะ ลูกอยู่กับปู่ย่า และก็ทวดค่ะ ลูกเราเอาแต่ใจตัวเองนิสัยเสีย  เรากลัวอนาคตเราจะเป็นเด็กไม่ดี  ดัดนิสัยไม่ได้ เลยอยากเอามาดูแล้วเอง  แต่กลัวทางบ้านนั้นเขาไม่ยอมเพราะเลี้ยงมาตั้งแต่เด็กค่ะ ควรคำยังไงดีค่ะ