บ้านที่ไม่ได้อยู่ จะโดนครอบครองได้หรือเปล่า

บ้านที่อยู่อาศัยมาแต่เด็ก พอโตมาทำงานต่างจังหวัด ไม่มีใครอยู่เลยให้คนอื่นมาอยู่อาศัย ประมาณให้ที่อยู่เค้า เค้าช่วยดูบ้านให้
อยู่มานานเข้า มีคนบอกว่าเค้าอาจจะครอบครองได้ ก็เลยทำสัญญาพอเป็นพิธีไม่อยากให้เสียน้ำใจกัน
เก็บค่าเช่าแบบถูกมาก ๆ บ้านและที่ดินเก็บรายปี บางปีก็ได้บางปีก็ไม่ได้
ต่อมาคนที่มีชื่ออยู่ในทะเบียนบ้านก็ย้ายออกไปบ้างเสียชีวิตบ้าง เหลือชื่อเราอยู่ในทะเบียนบ้านอยู่คนเดียว
คนที่ให้มาอยู่ก็เริ่มมาเจรจาขอซื้อ แบบว่าเค้าอยู่มานานอยู่จนลูกโต ๆ กันหมดแล้ว กลัวเราไล่เค้าไม่ให้อยู่
เราไม่อยากขาย มรดกพ่อแม่เก็บไว้อยู่ตอนแก่ แต่ก็กลับไปอยู่ดูแลไม่ได้
อยากทราบว่าถ้าปล่อยไว้อย่างนี้เค้าจะใช้สิทธิ์ครอบครองปรปักษ์ได้หรือเปล่า
เรายังคงชื่อไว้ในทะเบียนบ้านแบบนี้จะช่วยป้องกันการครอบครองได้หรือไม่ ควรทำยังไงดี