Reading Sequential File in Bulk

การเพิ่มประสิทธิภาพในการอ่าน Sequential File ให้เร็วขึ้น โดยการใช้ Sequential Stage ควบคู่ไปกันกับ Column Import Stage

เร็วขึ้นเพราะว่า เราแยกงานออกเป็น 2 ส่วน

1. Sequential Stage ทำหน้าที่อ่าน record ซึ่งด้วยข้อจำกัดของมันคือเป็น sequential process
2. Column Import Stage ทำหน้าที่ตัดแบ่ง column ซึ่งสามารถทำเป็น parallel process ได้

ขั้นตอน

1. Read data into one column

• Specify as char or varchar
• Max length = record size

2. Parse using Column Import or Transformer

• ถ้าใช้ Column Import ก็กำหนด column, data type ลงไป
• ถ้าใช้ Transformer ก็ใช้ field() หรือ substring() ช่วย