เรื่องมีอยู่ว่า พระยาวิเศษมีเหตุทะเลาะวิวาทกับบาทหลวง “จีน มาร์ติน” ซึ่งเป็นมิชชันนารีโรมันคาทอลิ กและพระในวัดคอนเซปชัญ สามเสน เนื่องจากบาทหลวงผู้นี้รู้สึกไม่พอใจในตัวพระยาวิเศษ  ซึ่งนับถือศาสนาคริสต์นิกายโรมันคาทอลิกเช่นกัน และเป็นผู้ที่ราชสำนักสยามมอบหน้าที่ให้ดูแลชาวโปรตุเกสในประเทศนี้ บาทหลวงมาร์ติน เห็นว่าพระยาวิเศษไม่มีความเหมาะสมกับตำแหน่ง เมื่อบาทหลวงนำเรื่องไปร้องเรียนต่อโอบาเรต์ กงสุลฝรั่งเศสผู้นี้ก็ไม่ได้สืบความอะไร และยืนกรานว่าให้ปลดพระยาวิเศษออกจากตำแหน่งแล้ว แต่งตั้งนายลามาคซึ่งเป็นครูฝึกทหาร ให้เข้ารับตำแหน่งแทน จากนั้น จึงเขียนจดห มายให้นายลามาคนำไปกราบบังคมทูล เนื้อหาในจดหมายกล่าวหาว่า พระยาวิเศษเป็นคนไม่ดี ขอให้ถอดออกจากตำแหน่ง มิฉะนั้นจะถือว่าพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวทรงดูหมิ่นศาสนาคริสต์และรัฐบาลฝรั่งเศส  ไม่ทราบว่าเป็นคำสั่งของโอบาเรต์หรือนายลามาคฮึกเหิมไปเอง เพราะปรากฏว่านายลามาคนำจดหมายไปถวายพระองค์ท่านในตอนกลางดึก หนำซ้ำยังไม่ยอมรับฟังเหตุผล จนพระองค์ต้องรับสิ่งให้คนมานำตัวออกไป

เช้าวันรุ่งขึ้น พระองค์ทรงรู้สึกไม่สำราญจึงไม่ได้ทรงพระอักษรไปยังโอบาเรต์ เพื่ออธิบายเหตุการณ์ที่เกิดขึ้น เป็นเหตุให้ฝ่ายหลังรู้สึกไม่พอใจ และเขียนจดหมายไปทูลว่าพระองค์ไม่เป็นมิตรต่อฝรั่งเศส และว่าตนจะทูลฟ้องต่อจักรพรรดินโปเลียนที่ ๓ เมื่อเดินทางไปถึงฝรั่งเศสในอีก ๖ สัปดาห์ข้างหน้า แถมขู่ด้วยสำนวนการทูตว่า ถึงเวลานั้น นายพลเรือที่ไซ่ง่อนจะมาดูแลผลประโยชน์ให้ชาวฝรั่งเศสในสยาม
หมอปลัดเลบรรยายภาพเหตุการณ์ดังกล่าวในบางกอกรีคอร์เดอร์ฉบับวันที่ ๕ กันยายน พ.ศ. ๒๔๐๘/ค.ศ. ๑๘๖๕ ว่า “ครั้นหม่อมราโชทัยไปถึงแล้ว, ก็สำแดงความได้น่อยหนึ่ง, กงสุลฟังก็ไม่ชอบ, จึ่งลุกขึ้นจับเอาผมหม่อมราโชทัย, แล้วลากตัวออกไปนอกเรือน, แล้วถีบเอาว่า ไปเสียเถิด.แล้วกงสุลหยิบเอาพานหมากทิ้งลงไปจากบันได”

หนังสือสยามแต่ปางก่อนเขียนเล่าเหตุการณ์เดียวกันนี้ว่า  “กงสุลผู้เดือดดาลก็ยกหีบหมากของหม่อมราโชทัยตลอดจนสิ่งต่างๆ ที่แสดงตำแหน่ง คือ เครื่องยศ ซึ่งได้รับพระราชทานขว้างออกไปจากบ้าน จนตกลงแตกกระจาย แล้วจิกกระจุกยอดผมหม่อมราโชทัยผลักกระเด็นออกไปตามหีบหมากนั้น”

ที่มา http://haab.catholic.or.th/article/articleart1/art38/art38.html