สวัสดีครับเพื่อนๆ ชาวซิลิคอนวัลเลย์
ขอแชร์ side project ที่ทำอยู่ครับ ชื่อ Apixo (
https://apixoai.online) เป็น API Gateway สำหรับโมเดลภาษาขนาดใหญ่ (LLM) ที่ใช้รูปแบบเดียวกับ OpenAI API
【ทำไมถึงทำ】
ผมมีพื้นฐานด้านความปลอดภัยไซเบอร์ เวลาทำ penetration testing หรือวิเคราะห์มัลแวร์ โมเดลกระแสหลักมักปฏิเสธไม่ตอบ ทั้งที่เป็นงานวิจัยที่ถูกกฎหมาย ในชุมชนโอเพนซอร์สมีโมเดลแบบ abliterated (ตัดกลไกการปฏิเสธออก) ที่ตอบคำถามแนวนี้ได้ แต่จะติดตั้งเองก็ทั้งแพงและยุ่งยาก เลยรวมมาไว้ใน API เดียว
【ตอนนี้มีอะไรบ้าง】
- โมเดลสำหรับเขียนโค้ด เช่น GLM 5.3
- โมเดลที่ไม่ค่อยปฏิเสธ / abliterated เช่น DeepSeek เวอร์ชัน abliterated
- Endpoint /v1 ที่เข้ากันได้กับ OpenAI แค่เปลี่ยน base_url ใน OpenAI SDK หรือ OpenCode ก็ใช้ได้เลย
- คิดเงินตามจำนวน token ราคาถูกกว่าราคาทางการมาก
- มี Playground บนเว็บ คุยกับโมเดลได้ทันทีโดยไม่ต้องตั้งค่าอะไร
- ล็อกอินด้วย Google หรือ Telegram บัญชีใหม่ได้เครดิตฟรีเล็กน้อยไว้ทดลอง
- ไม่เก็บ log เนื้อหา prompt และคำตอบ
【ประสบการณ์ลองโฮสต์โมเดลเอง】
ตอนแรกผมลองโฮสต์โมเดล GGUF ขนาด 27B บน RunPod Serverless ด้วย llama.cpp เจอปัญหาหลายจุด เผื่อเป็นประโยชน์กับคนที่กำลังลองอยู่:
1. ไฟล์ GGUF ต้องใช้ llama.cpp ไม่ใช่ vLLM worker ของ RunPod
2. มีแค่ endpoint แบบ Load Balancer เท่านั้นที่มี path /v1 แบบ OpenAI จริงๆ
3. อย่าใส่ repo GGUF ที่มีหลาย quantization ในช่อง "Cached model" เพราะระบบจะพยายามดาวน์โหลดทุกไฟล์ (ของผมประมาณ 180GB) worker จะค้างที่ initializing ตลอดไปและไม่มี log เลย
4. ระหว่างโหลดโมเดล llama-server จะตอบ /health เป็น 503 ทำให้ RunPod ถอด worker ออกจากการรับ request ส่วน context 256K ใช้เวลา cold start ประมาณ 5 นาที เกินเวลารอของ RunPod ที่ประมาณ 2 นาที
สุดท้ายตอนนี้เลยเปลี่ยนมาเชื่อมต่อกับผู้ให้บริการต้นทางแทน
【อยากฟังความเห็นจากทุกคน】
โปรเจกต์ยังอยู่ในช่วงเริ่มต้น อยากถามว่า
- อยากให้เพิ่มโมเดลอะไรบ้าง
- มีข้อเสนอแนะเรื่องราคาหรือการใช้งาน API ไหม
ใครสนใจลองใช้ได้ที่
https://apixoai.online มีคำถามอะไรคอมเมนต์ไว้ได้เลยครับ จะตอบทุกคอมเมนต์ 🙏
แชร์โปรเจกต์: ทำ API Gateway สำหรับ LLM แบบเดียวกับ OpenAI เน้นโมเดลเขียนโค้ดและโมเดลที่ไม่ค่อยปฏิเสธคำถาม
ขอแชร์ side project ที่ทำอยู่ครับ ชื่อ Apixo (https://apixoai.online) เป็น API Gateway สำหรับโมเดลภาษาขนาดใหญ่ (LLM) ที่ใช้รูปแบบเดียวกับ OpenAI API
【ทำไมถึงทำ】
ผมมีพื้นฐานด้านความปลอดภัยไซเบอร์ เวลาทำ penetration testing หรือวิเคราะห์มัลแวร์ โมเดลกระแสหลักมักปฏิเสธไม่ตอบ ทั้งที่เป็นงานวิจัยที่ถูกกฎหมาย ในชุมชนโอเพนซอร์สมีโมเดลแบบ abliterated (ตัดกลไกการปฏิเสธออก) ที่ตอบคำถามแนวนี้ได้ แต่จะติดตั้งเองก็ทั้งแพงและยุ่งยาก เลยรวมมาไว้ใน API เดียว
【ตอนนี้มีอะไรบ้าง】
- โมเดลสำหรับเขียนโค้ด เช่น GLM 5.3
- โมเดลที่ไม่ค่อยปฏิเสธ / abliterated เช่น DeepSeek เวอร์ชัน abliterated
- Endpoint /v1 ที่เข้ากันได้กับ OpenAI แค่เปลี่ยน base_url ใน OpenAI SDK หรือ OpenCode ก็ใช้ได้เลย
- คิดเงินตามจำนวน token ราคาถูกกว่าราคาทางการมาก
- มี Playground บนเว็บ คุยกับโมเดลได้ทันทีโดยไม่ต้องตั้งค่าอะไร
- ล็อกอินด้วย Google หรือ Telegram บัญชีใหม่ได้เครดิตฟรีเล็กน้อยไว้ทดลอง
- ไม่เก็บ log เนื้อหา prompt และคำตอบ
【ประสบการณ์ลองโฮสต์โมเดลเอง】
ตอนแรกผมลองโฮสต์โมเดล GGUF ขนาด 27B บน RunPod Serverless ด้วย llama.cpp เจอปัญหาหลายจุด เผื่อเป็นประโยชน์กับคนที่กำลังลองอยู่:
1. ไฟล์ GGUF ต้องใช้ llama.cpp ไม่ใช่ vLLM worker ของ RunPod
2. มีแค่ endpoint แบบ Load Balancer เท่านั้นที่มี path /v1 แบบ OpenAI จริงๆ
3. อย่าใส่ repo GGUF ที่มีหลาย quantization ในช่อง "Cached model" เพราะระบบจะพยายามดาวน์โหลดทุกไฟล์ (ของผมประมาณ 180GB) worker จะค้างที่ initializing ตลอดไปและไม่มี log เลย
4. ระหว่างโหลดโมเดล llama-server จะตอบ /health เป็น 503 ทำให้ RunPod ถอด worker ออกจากการรับ request ส่วน context 256K ใช้เวลา cold start ประมาณ 5 นาที เกินเวลารอของ RunPod ที่ประมาณ 2 นาที
สุดท้ายตอนนี้เลยเปลี่ยนมาเชื่อมต่อกับผู้ให้บริการต้นทางแทน
【อยากฟังความเห็นจากทุกคน】
โปรเจกต์ยังอยู่ในช่วงเริ่มต้น อยากถามว่า
- อยากให้เพิ่มโมเดลอะไรบ้าง
- มีข้อเสนอแนะเรื่องราคาหรือการใช้งาน API ไหม
ใครสนใจลองใช้ได้ที่ https://apixoai.online มีคำถามอะไรคอมเมนต์ไว้ได้เลยครับ จะตอบทุกคอมเมนต์ 🙏