สอบถามการหักลดหย่อนภาษี จากดอกเบี้ยกู้ซื้อบ้าน คิดยังไงกันแน่

ผมมีสัญญาเงินกู้ซื้อบ้าน 2 ฉบับ เป็นการกู้ร่วมกับภรรยาทั้ง 2 ฉบับ
ฉบับแรก มีดอกเบี้ยระหว่างปี ประมาณ 120,000 บาท
ฉบับที่สอง มีดอกเบี้ยระหว่างปี ประมาณ 70,000 บาท
ผมและภรรยามีรายได้ทั้งคู่ และแยกยื่นภาษี  
ผมยื่นหักลดหย่อน ฉบับแรก 50,000 และฉบับที่สอง 35,000 บาท รวม 85,000 บาท (ไม่เกิน 1 แสน) และขอคืนภาษี แต่สรรพากรตีกลับมาว่าผมหักลดหย่อนได้เพียง 50,000 เท่านั้น โดยแจ้งเหตุผลในจดหมายพร้อมเช็คคืนภาษี

ขอความกระจ่างด้วยครับ ว่าอย่างไหนจึงถูกต้องครับ