เรื่องยกเลิกการซื้อขายบ้านพร้อมที่ดิน คืนค่ามัดจำ

มีเรื่องสอบถามค่ะ ถ้าเราทำการตกลงขายบ้านพร้อมที่ดินและผู้ซื้อได้จ่ายเงินมัดจำ5หมื่นบาท แล้วเราเปลี่ยนใจไม่ขายจะเอาเงินมัดจำ5หมื่นนั้นคืนแต่ทางผู้ซื้อบอกต้องจ่ายหนึ่งแสนบาท แต่ในสัญญาจ่ายค่ามัดจำไม่ได้บอกไว้ เราต้องทำยังไงคะ