ศาลารอรถไม่ใช่ของหลวงอยู่ในที่หน้าบ้านสามารถรื้อได้ไหม

ขอคำแนะนำหน่อยครับ
เรื่องคือ เมื่อ 20 ปีก่อนปู่ผมเขาขอที่หน้าแม่บ้านปลูกศาลารอรถให้ชาวบ้านใช้กัน ซึ่งเขารวบรวมเงินกันในหมู่บ้านมาสร้าง แต่ตกลงกันไว้ 15 ปี ตอนแรกจะยกให้เป็นของหลวงแต่ศาลาไม่ผ่าน เลยไม่ได้เป็นของหลวง ตอนนี้เลยเวลามาหลายปีมากแล้ว ปู่ที่ขอเสียไปแล้ว และแม่ผมก็อยากจะรื้อมากเพราะมีคนมาใช้ศาลาจากที่รอรถกลายเป็นที่ขายของและส่งเสียงดังรบกวน

อย่างงี้ผมสามารถทำอะไรได้บ้างครับ เหมือนโดนยึดที่ไปเลยจะทำอะไรก็ไม่ได้