หย่ากันแต่แม่ไม่ได้ทำงานจะมีสิทธิ์ครอบครองบุตรเพียงผู้เดียวไหม

สวัสดีค่ะ ขออนุญาตสอบถาม คือตอนนี้ตัดสินใจว่าจะหย่าขาดกัน ก่อนหน้านี้เราที่เป็นภรรยา ทำงานเลี้ยงดูบุตรมาโดยตลอด แต่ต้องออกมาเนื่องจากลูกต่องเข้ารร.ต่องดูแลจีดการเองทั้งหมด ลูก3คนค่ะ ชาย1 หญิง2ชาย6ขวบ หญิง3ขวบ อีกคนนึงหญิงค่ะ 6เดือนหลังจากออกจากงานมา รายได้ทางเดียวที่เราได้รับคือเงินอุดหนุนบุตร กับเงินสงเคราะห์บุตรค่ะ หลังจากนั้นด้านสามีเป็นคนทำงานเลี้ยงมาตลอด ถ้าหากอย่ากันไป 
แล้วสามีเขาพูดเปรยๆว่า เขาจะฟ้องเราเพื่อเอาลูกไปอยู่กับเขาทั้งหมด เนื่องจากเราคงไม่มีปัญญาเลี้ยงให้ดีได้ 
เขาพูดแบบนี้ แบบนี้ควรทำยังไงดีคะ เราและแม่เราเป็นคนเลี้ยงดูมาตลอด ตั้งแต่เกิด แต่พอจะหย่ากัน เขากลับจะเอาลูกไปหมด เครียดมากๆค่ะ  ไม่รู้ว่าควรจะทำยังไงดีค่ะ??? 🙏🙏