มีโน้ตบุ้คอายุใช้งาน 4 ปี รู้สึกฮาร์ดดิสค์ใกล้จะไปแล้ว สเปคคือ
Lenovo Y720
CPU Core i7 Gen 7
Ram 16 GB
SSD 512 GB
HHD 2 TB
ลงโปรแกรมจัดการฐานข้อมูล PostgressSQL 12 และโปรแกรม DBeaver 7
ภาระกิจ
รับไฟล์ข้อมูลมาจากผู้ที่จะว่าจ้าง เป็น text file historical data เป็นข้อมูลดิบ อาจจะต้องมีการ clean , purge
เป็นระบบออก Report นะครับ ไม่ใช้ real time transaction
จะมี table ที่ load ข้อมูลเข้า 1 table
และมี summary table อีก 1 table
กับ Reference Table 5 tables
เมื่อโหลดเสร็จ และ ทำการ aggregate table ก็ทำการ reconcile ดูตัวเลขว่า sum() แล้วถูกต้องรึเปล่า
เบื้องต้น export ข้อมูลจาก summary table เอาแค่ตัวอย่างให้เขาดู format data การเรียงคอลัมภ์ใน excel
หลังจากนั้นทำ matrix ให้กับ BI Tool (tableau ทำ dashboard) แล้ว UAT ให้ผู้ว่าจ้าง จนผ่านและจบ
ก็ลบเทเบิ้ลพันล้านเรคอร์ดนั้นทิ้งซะ แล้วเอาส่วนที่เหลือไป deploy ให้ที่เครื่องลูกค้า (เครื่องของลูกค้าเป็นเครื่อง Virtual Machine on Cloud)
ตอนนี้ผมมีอุปกรณ์ทำมาหากินอยู่แค่ 3 เครื่อง คือโน้ตบุ้คWindows10 โน้ตบุ้คLinux Ubuntu แมคบุ้คMacOS
ผมลองที่ 10 ล้าน กับ 100 ล้านเรคอร์ดโดยประมาณแล้ว ทุลักทุเลมาก โดยเฉพาะร้อยล้านเรคอร์ดใช้เวลา run script นานสิบกว่าชั่วโมง
ถ้าต้องพันล้านนี่ไม่รู้ต้องเปิดเครื่องค้างไว้ 4-5 วันรึเปล่า
ทุกท่านคิดว่าโน้ตบุ้คเอาอยู่ไหมครับงานนี้
Notebook 1 ตัว + PostgressSQL 12 + DBeaver 7 กับงานฐานข้อมูล 1,000 ล้าน records จะไหวไหมครับ
Lenovo Y720
CPU Core i7 Gen 7
Ram 16 GB
SSD 512 GB
HHD 2 TB
ลงโปรแกรมจัดการฐานข้อมูล PostgressSQL 12 และโปรแกรม DBeaver 7
ภาระกิจ
รับไฟล์ข้อมูลมาจากผู้ที่จะว่าจ้าง เป็น text file historical data เป็นข้อมูลดิบ อาจจะต้องมีการ clean , purge
เป็นระบบออก Report นะครับ ไม่ใช้ real time transaction
จะมี table ที่ load ข้อมูลเข้า 1 table
และมี summary table อีก 1 table
กับ Reference Table 5 tables
เมื่อโหลดเสร็จ และ ทำการ aggregate table ก็ทำการ reconcile ดูตัวเลขว่า sum() แล้วถูกต้องรึเปล่า
เบื้องต้น export ข้อมูลจาก summary table เอาแค่ตัวอย่างให้เขาดู format data การเรียงคอลัมภ์ใน excel
หลังจากนั้นทำ matrix ให้กับ BI Tool (tableau ทำ dashboard) แล้ว UAT ให้ผู้ว่าจ้าง จนผ่านและจบ
ก็ลบเทเบิ้ลพันล้านเรคอร์ดนั้นทิ้งซะ แล้วเอาส่วนที่เหลือไป deploy ให้ที่เครื่องลูกค้า (เครื่องของลูกค้าเป็นเครื่อง Virtual Machine on Cloud)
ตอนนี้ผมมีอุปกรณ์ทำมาหากินอยู่แค่ 3 เครื่อง คือโน้ตบุ้คWindows10 โน้ตบุ้คLinux Ubuntu แมคบุ้คMacOS
ผมลองที่ 10 ล้าน กับ 100 ล้านเรคอร์ดโดยประมาณแล้ว ทุลักทุเลมาก โดยเฉพาะร้อยล้านเรคอร์ดใช้เวลา run script นานสิบกว่าชั่วโมง
ถ้าต้องพันล้านนี่ไม่รู้ต้องเปิดเครื่องค้างไว้ 4-5 วันรึเปล่า
ทุกท่านคิดว่าโน้ตบุ้คเอาอยู่ไหมครับงานนี้