เพื่อน American เค้าบอกผมว่า พูดว่า "go to swim" ผิดครับ?

เพื่อน American ถามว่าจะไปไหน ตอบว่า I will go to swim หรือ I go to swim มันส่ายหัว ทำหน้ารับไม่ได้เลยครับ
ทำไมถึงผิดครับ? ผมว่ามันไม่ผิดนะ ที่ถูกต้องพูดยังไงครับ? ผมถามเพื่อนผมว่าผิดยังไง เค้าก็อธิบายไม่ได้ บอกแต่ว่า เค้าไม่พูดแบบนี้กัน