speak to กับ speak with 2คำนี้ใช้เมื่อไหร่คะแล้วมันแตกต่างกันยังไงคะ

เพิ่มเติมค่ะจากประโยค 
The man to whom you spoke is an Englishman.
=ชายคนที่คุณพูดด้วยเป็นชาวอังกฤษ
 จากประโยคทำไมใช้ to whom คะ ทำไมไม่ใช้ with whom แล้วสามารถใช้ whom เฉยๆได้ไหมคะ