สอบถามเรื่องที่ดิน

อยากสอบถามผู้รู้ค่ะ ว่าตอนนี้ตัวบ้านของเราเลยเข้าไปในเขตพื้นที่ของบ้านข้างๆ แต่บ้านเราปลูกก่อน และบ้านข้างๆมาปลูกทีหลัง แต่ยังไม่ได้วัดแบ่งโฉนดกัน พอปลุกบ้านเสร็จวัดที่ออกมาเท่ากับบ้านของเราเลยไปในที่ของบ้านข้าง ๆ เจ้าของเดิมอยู่กันมาไม่มีปัญหาอะไร แต่พอเปลี่ยนเจ้าของ เค้าจะให้เรารื้อตรงส่วนที่เกินไปในที่ของบ้านข้างๆออก  แต่บ้านปลูกมา 20 กว่าปีแล้ว แบบนี้เราจะไม่รื้อได้ไหมคะ เพราะเหมือนกับทางบ้านข้างๆยินยอมให้บ้านเราเลยไปในเขตบ้านของเขาตั้งแต่แรกค่ะ ถ้าเค้าจะไม่ยินยอม ต้องไม่ยินยอมตั้งแต่ตอนแบ่งโฉนดใช่ไหมคะ (บ้านข้างๆนี่คือพี่น้องแท้ๆคลานตามกันออกมาเลยค่ะ😅)