จะจับสัญญาณคำสั่งที่ส่งไปยังหน้าจอได้ยังไง

ผมกำลังสร้าง bot ที่แอคชั่นตามคำสั่ง
เช่นให้กดปุ่ม w บนคีย์บอร์ด เมื่อมีสัญญาณบางอย่างไปที่ desktop 
เหมือน image recognition ของพวก autoclick

ผมต้องการทราบทั้ง pc และ มือถือ