กำลังจะโอนบ้าน แล้วมีปัญหาเรื่องบ้านข้างเคียงก่อสร้างชิดกำแพงรั้ว

ผมได้เซ็นสัญญาจะซื้อบ้านเดี่ยว ในโครงการบ้านจัดสรรแห่งหนึ่งในจังหวัดนครศรีธรรมราช
ตกลงกันเรียบร้อย ราคาบ้านราวๆ 3.8 ล้าน จอง 20000 วันเซ็นสัญญา จ่ายไป 50000 บาท รวม 70000 บาท
ซึ่งขณะนั้นบ้านที่ผมจองยังก่อสร้างไม่เสร็จ แต่บ้านติดกัน (เป็นบ้านมุมด้วยกันทั้งคู่) ส่งมอบไปก่อนหน้านี้แล้ว
และได้ต่อเติมครัว ก่อผนังทึบแบบชิดเขตกำแพง โดยไม่ได้ถามความยินยอมใดๆจากเพื่อนบ้านก็คือผม (แต่ผมยังไม่ได้รับโอนบ้าน)
ต่อมาผมเข้าไปดูบ้าน แล้วเห็นว่าชิดกำแพงรั้วเลย หลังคาอยู่ตรงกลางระหว่างกำแพงบ้าน
ผมยังไม่ได้ตรวจและโอนบ้าน ซึ่งบ้านจะเสร็จกลางเดือน กพ นี้
ผมจึงไปบอกเจ้าหน้าที่โครงการว่าทำแบบนี้มันผิดกฎหมาย ต้องเว้นระยะห่าง 50 เซ็น ไม่ใช่หรอ
เจ้าหน้าที่บอกว่า เขาก่อสร้างอยู่ในเขตที่ดินของเจ้าบ้าน
ผมจึงแจ้งกับโครงการว่าจะขอยกเลิกสัญญา เนื่องจากโครงการไม่ทำตามสัญญา
โครงการจะให้ผมเอาบ้านหลังอื่น ซึ่งมันก็อยู่ละแวกเดียวกัน ผมกลัวจะมีปัญหากับเพื่อนบ้านที่ต่อเติมไปแล้ว
บ้านต้องอยู่กันยาวๆ กลายเป็นมีปัญหากันตั้งแต่ก่อนส่งมอบบ้าน จะอยู่กับยากครับ
แบบนี้ผมสามารถขอเงินมัดจำที่จ่ายไปคืนได้หรือไม่ เพราะตอนเซ็นสัญญาว่าจะซื้อจะขาย บ้านข้างๆยังไม่ต่อเติมใดๆ
หรือผมต้องยอมให้ริบเงินมัดจำ หรือผมควรจะแจ้งความ หรืออย่างไร ขอคำแนะนำด้วยครับ

อีกเรื่องหนึ่ง ได้ทำสัญญากู้บ้านหลังนี้ไว้กลับ ธ กรุงเทพฯ แต่ยังไม่ได้เงิน ไม่ได้รับมอบบ้าน หากผมยกเลิกบ้านหลังนี้ไป ผมจะโดนปรับหรือไม่