เข้าไปนั่งเล่นในวัดนั่งคุยกับพระได้หรือไม่ ??

มีเรื่องมาสอบถามครับ พอดีผมมีเพื่อนที่บวชใหม่อยู่ที่วัดพอตกกลางวันจะไปนั่งเล่นนั่งคุยกับพระในวัดบริเวณริมสระวัดแต่ทีนี้เจ้าอาวาสวัดเอาพวกผมไปด่าว่ามานั่งมั่วสุมกันดมกาวกันบ้างดุด่าแม้แต่นั่งเปลท่านยังว่าไม่ใช่ที่นั่ง ผมเลยอยากรู้ว่าพวกผมผิดไหมที่ไปนั่งกันในวัดซึ่งที่ตรงนั้นไกลจากที่ท่านอยู่มากและไม่ได้ทำเสียงรบกวนเลย  ปล.เจ้าอาวาสท่านนี้ไม่มีคนชอบเลยครับในหมู่บ้าน