เริ่มเรียนภาษาญี่ปุ่นควรจำตัวอักษรก่อนมั้ยครับ ?

เปิดอ่านหลายๆกระทู้แนะนำหนังสือ มินนะ โนะ นิฮงโกะ ที่ไม่ใช่โรมันจิ ผมก็ไปหาดูคร่าวๆแล้วถึงรุ้ว่าโรมันจิมันคือตัวอักษรคล้ายๆภาษาอังกฤษใช้ประโยชน์อะไรไม่ได้ ให้เรียนเป็นแบบภาษาญี่ปุ่นไปเลย
แต่สำหรับหนังสือมินนะเนี่ย ผมดูข้างในมันขึ้นมาเป็นคำศัพท์ กับประโยคเลย
ผมอยากจะถามว่าเราควรจะไปหัดคัด เขียน จำ ตัวอักษรก่อนมั้ยครับ พวก คันจิ (เห็นบอกว่ายากสุด) ฮิรางานะ คาตาคานะ 
แล้วถ้าควรจำตัวอักษรก่อน มีหนังสืออะไรแนะนำมั้ยครับ ขอบคุณครับ