เกม VRChat สามารถเผิดกล้องทำ face tracking แลบลิ้น หรือยกมือ ขยับนิ้ว ด้วยกล้อง webcam บนคอมได้

วิธีใช้ face tracking + hand tracking ด้วยกล้อง iphone หรือ ipad pro ผ่านแอพ https://apps.apple.com/us/app/live-link-face/id1495370836 คู่กับโปรแกรมบนคอม https://store.steampowered.com/app/3329480/VRCFaceTracking/

ลงโปรแกรม VRCFaceTracking บนคอม จาก steam เปิด VRCFaceTracking ขึ้นมา
กดติดตั้ง LiveLink เสร็จแล้ว ต้องปิดโปรแกรม VRCFaceTracking แล้วเปิดใหม่ จากนั้น เปิดแอพ live link ใส่ ip ให้ตรงกับ iphone หรือ ipad pro จากนั้น ปิดโปรแกรม VRCFaceTracking ใน steam บนคอม แล้วเปิดใหม่อีกครั้ง ฝั่ง iphone หรือ ipad ไม่ต้องปิดนะครับ

วิธีใส่ ip บน iphone หรือ ipad pro
กดรูปฟันเฟืองซ้ายบน กด Mode เปลี่ยนจาก  MetaHuman Animator เป็น ARKit กด Continue
จากนั้น ในช่อง Live Link กดเข้าไปกรอก ip ที่ได้จากบนคอมโปรแกรม VRCFaceTracking ใส่ ip (ตัวอย่าง ของผม 192.168.0.179 แต่ละคน ip ไม่เหมือนกัน ต้องใส่ให้ตรง) กด < setting ซ้ายบน แล้วกด Done ออกมาได้เลย ถ้า ip ตรงกัน จะเห็นตรงกลางบนเขียนว่า LIVE สีเขียว และมีเลขวิ่ง

จากนั้นเปลี่ยน avatar ที่รองรับ face tracking เปิด face tracking ใน avatar ที่รองรับ และลองแลบลิ้นดู

ส่วน hand tracking ผมจ่าย VRC Plus เดือนละ 329 บาทผ่าน pico store แล้วเปิดกล้อง webcam ของ logitech brio 4k (ใช้รุ่นสเปคต่ำกว่านี้ก็ได้)

ขอบคุณ คุณ Tangmo แตงโม ใน VRChat ด้วยครับที่แนะนำวิธี face tracking วิธีนี้ ซึ่งเขาแสดง eye tracking บน PCVR2 ให้ผมดูแล้วสุดยอดมาก


ทางคุณแตงโม ได้ให้เว็บผมมาอีกสองเว็บเผื่อ จะใช้กับ android และอ่านฟีเจอร์เพิ่มเติมครับ https://docs.vrcft.io/docs/hardware/desktop/webcam
https://docs.vrcft.io/docs/hardware/desktop/android/meowface