เจอครอบครัวสามีแบบนี้ ควรเลิกกับสามีไหม ?

สามีเราเคยมีครอบครัวและเคยมีลูกมาค่ะ แล้วเขาก็ไปกันไม่ได้เลิกกันแล้ว1ปีต่างคนต่างแต่งงานใหม่ ลูกก็อยู่กับฝ่ายหญิง
พอสามีแต่งกับเราก็ตกลงกันมาอยู่ที่บ้านสามีค่ะเนื่องจากใกล้ที่ทำงาน   สมาชิกในบ้าน มี พ่อสามี แม่สามี น้องสาวสามี และลูกของน้องสาวสามีอีก 2 คน  อยู่มาได้ปีที่5แล้วค่ะ จนตอนนี้แม่กับน้องสาวสามีเริ่มมีท่าทางไม่พอใจเรา ไม่พูด ไม่จากับเราเลย เราก็ไม่รู้ว่าเหตุผลอะไรถึงเป็นแบบนี้  แต่ล่าสุดที่รู้แม่สามีกับน้องสาวสามีติดต่อและไปเยี่ยมเยือนแฟนเก่าสามีอยู่เรื่อยๆ  เรารู้สึกไม่พอใจค่ะ เราควรทำยังไงดี ควรเลิกไหมค่ะ