กลุ้มใจมาก ขอยกเลิกขออนุญาตก่อสร้างได้ไหม

รบกวนสอบถามผู้รู้ครับ
    เกี่ยวกับการขออนุญาตก่อสร้างบ้าน

เราไปจองบ้านมือ1 ราคา 2ล้านบาทไว้ มัดจำไป1หมื่นบาท แต่ครอบครัวไม่โอเคกับบ้านหลังนี้ เราจึงขอยกเลิกการจอง แต่ทางผู้ขายบอกตอนนี้ดำเนินเรื่องขออนุญาตก่อสร้างเป็นชื่อเราไปแล้ว และมันจะมีปัญหาตอนโอนเวลามีลูกค้าอีกคนมาซื้อคือเค้าจะต้องเสียค่าโอนเยอะ 4-5หมื่นเลย ซึ่งถ้ามันเป็นชื่อผู้ซื้อขอนุญาตจะเสียเงินแค่หมื่นเดียว
    แบบนี้เราจะมีทางแก้ไขอย่างไรบ้างครับ
ในสัญญามัดจำระบุแค่ว่าจะริบเงินหมื่นที่มัดจำ หากเรายกเลิก ผู้ขายมีสิทธิ์เรียกร้องเงินเพิ่มจากเราได้ไหม และเราจะไปยกเลิกการขออนุญาตก่อสร้างได้ไหม