ขอผู้รู้เกี่ยวกับเรื่องภาระจำยอม

อยากสอบถามว่าถ้าไม่ได้จดภาระจำยอมให้กับที่ดินแปลงข้างเคียง ที่ดินแปลงดังกล่าวจะใช้ที่ดินแปลงของเราได้หรือไม่ ที่ดินแปลงที่ไม่ได้รับภาระจำยอมเคยเช่าที่ดินของเราเพื่อใช้เป็นทางผ่าน ต่อมาเขาเลิกเช่าไปและยึดที่เราไปทำประโยชน์ เตือนแล้วเขาก็ไม่เชื่อแถมยังบอกว่าเขามีสิทธิใช้ จะทำอย่างไรดีครับ