จะเปลี่ยนเจ้าอาวาสยังไง

วัดที่บ้านมีเจ้าอาวาสที่แต่งตั้งโดยใช้วุฒิจากการจ้างสอบ  ท่านไม่รู้หนังสือ แม้แต่เขียนชื่อตัวเอง เซ็นเอกสารก็ไม่ได้ และไม่ทำหน้าที่อะไรของตนเลย
ชาวบ้านลำบากและหนักใจมาก อยากให้ท่านลาออก แต่ท่านไม่ยอม
ควรทำอย่างไร