ทำไมเกาะลาบวน Labuan island ถึงไม่ได้รวมกับบรูไนครับ?

https://en.wikipedia.org/wiki/Labuan

ทั้งที่บริเวณบอร์เนียวเหนือเป็นดินแดนในอาณัติอาณานิคมอังกฤษ ทั้งหมด แต่ทำไมเกาะลาบวนถึงไม่ไปรวมกับบรูไน ทั้งๆที่ใกล้กันมากแถมมีประวัติศาสตร์ร่วมกัน อีกทั้งทำไมมาเลเซียถึงไม่ยอมรวมลาบวนเข้ากับรัฐซาราวัก หรือ ซาบาห์ครับ