ทดลองรัน Qwen3.8-Flash-Next (125B-A6B)

SYSTEM BUILD :
CPU : AMD - Ryzen 5 5600
CPU COOLER : GAMDIAS - BOREAS E2-410
MB : GIGABYTE B550M-K (Rev. 1.2)
RAM : XPG - GAMMIX D35, AX4U320032G16A-DTBKD35 (64GB)
RAM COOLER : JONSBO - NF-2 ARGB
GPU : SAPPHIRE - PULSE RX 9070 XT
PSU : Antec - GSK V2 850W

เริ่มต้นแบบนี้ก่อนครับ CPU มันรัน AI ได้ก็จริง แต่ก็ช้าเว่อรๆ, ถ้าจะเอาไปเล่น Agent นี่คือฝันเลยครับ
พวก Ryzen 8000G ที่มี iGPU จะคำนวณ Prefill ได้เร็วกว่า, แต่ไม่เกี่ยวกับ Ryzen 5000G มันไม่มี WMMA เร่งการคำนวณ
รูปด้านล่างใช้ Ryzen 5 5600 คำนวณ Prefill ด้วย AVX2, Decode ด้วย DDR4-3466, ค่าที่ได้มันต่ำมาก

Ryzen 5 5600 + DDR4-3466 รัน Qwen9B-Q4_K_M

RX 9070 XT (+ CPU offload) รัน Qwen รุ่นต่างๆ

ก็วิธีการรันโมเดลให้มันแรงที่สุดมันจะขึ้นอยู่กับ ชิพ GPU และชิพ VRAM ของการ์ดจอ, สองตัวนี้เป็นตัวกำหนดความเร็ว Prefill และ Decode ของโมเดล
ดูจากรูปบนถ้าผม Offload อะไรบางอย่างที่มันควรอยู่ใน VRAM ลงมาที่ CPU (RAM) ความเร็วมันจะตกลงทันทีแบบชัดเจน, ยิ่งออกเยอะยิ่งตก
คืองั้นการเลือกระดับการ Quantize ของโมเดลถึงสำคัญ มันจะเป็นตัวกำหนดว่าโมเดล Fit ลง VRAM พอดีมั้ย แล้วจะเหลือ Context Size เท่าไร
เพียงพอต่อการใช้งานมั้ย จะได้รัน Session ได้ยาวๆ ไม่ต้องเริ่มใหม่ตลอดๆ, แต่คือมันจะมีจุดหนึ่งที่เรารู้สึกว่าโมเดลมันโง่จังวะ
คุณจะอยากรันโมเดลที่มีขนาดใหญ่ขึ้น ตรงนี้แหละครับที่โมเดลแบบ MoE มันจะเด่นออกมา

ท้าวความก่อนครับโมเดลมันจะมี 2 แบบเป็น Dense และ MoE (Mixture of Experts)

โมเดลแบบ Dense สมมุติ Qwen3.8-27B เวลาการสร้าง 1 token มันจะทำการคำนวณออกมาจากทั้ง 27B พารามเตอร์, เป็นการคำนวณที่หนักมาก

โมเดลแบบ MoE สมมุติ Qwen3.6-35B-A10B ชื่อมันบอก A10B คือ Active Parameter มีแค่ 10B คือมันทำงานจริงแค่ 10B หนักน้อยกว่าด้านบน
มันจะรันได้เร็วกว่า ดูจากรูปด้านบนได้ (แต่ถ้าเทียบใช้ในการรัน Agent Qwen3.8-27B ดีกว่าค่อนข้างชัดเจน แต่ไม่ใช่ในทุกกรณีนะต้องเทียบเป็นโมเดลไป)

ก็นั่นแหละครับผมรู้สึกว่า Qwen3.8-27B มันไม่พอเลยพยายามที่จะรัน Qwen3.8-Flash-Next (125B-A6B) ตอนแรกก็กะจะรันเล่นๆ
เพราะว่ายังไงมันก็ถูก Offload ไป CPU คิดว่าคงรันได้ไม่เร็วแน่ๆ คือลองรันแล้วมันอยู่ในจุดที่เร็วพอรับได้ครับที่จะรัน เลยเอามาเขียนกระทู้ครับ

Qwen3.8-Flash-Next-IQ4_XS (90.97GB) รันด้วยทุกอย่างที่มี

อันนี้รันโดยใช้ Strata โปรเจค GitHub สำหรับรัน Qwen3.8-Flash-Next โดยเฉพาะ
เซตอัพแบบเดียวกับ Qwen3.8-Flash-Next-IQ4_XS ด้านบน, แรงขึ้นมาอีกหน่อยเลย

อีกอย่างคือก่อนหน้านี้ผมลองทำ RPC Server ลองรันโมเดลขนาดใหญ่ ด้วยคอม 3 เครื่อง, โมเดลแบบ Dense คิดว่าใช้ได้นะ, แต่ไม่ใช่ MOE
ถ้าแบบ Dense ส่งทีเดียวแบ่ง Layer ที่แต่ละเครื่องถือชัดเจน, MoE จะส่งตามจำนวณ Expert ที่ทำงาน แล้วส่งไปส่งกลับถี่กว่า Latency กินตาย
แล้ว 1Gbps Ethernet มันรับ Payload ที่ Context Size สูงๆไม่ไหว ก็รันในเครื่องเดียว ส่งข้อมูลกันผ่าน PCIe 4.0 กันจบๆ