DataStage: Configuration File

Configuration File จะถูกเก็บอยู่ที่ path [dshome]/../Configurations เป็นไฟล์นามสกุล .apt ซึ่งจะบอกว่า Job ที่เราจะรันว่าใช้กี่ node ในการรัน แต่ละ node อยู่บน server ตัวไหน กำหนดพื้นที่สำหรับเก็บข้อมูล และพื้นที่สำหรับ temporary file ไว้ที่ไหนบ้าง ดังรูป

• fastname 

บอกชื่อ server ที่ใช้ในการรัน process

• pool 

เป็นเหมือนชื่อเล่น หรือกรณีกำหนดเป็น reserve word ระบบจะสามารถรู้ได้เลยว่า pool นี้เอาไว้ใช้ทำงานอะไร เช่น ถ้ากำหนดเป็น sort ก็จะใช้สำหรับการ sort data เท่านั้น

ส่วน ใน Job ก็สามารถกำหนดได้ว่า Stage ไหนจะให้ใช้ pool ไหนในการทำงาน โดยกำหนดที่ properties ของ Stage นั้นๆ ตรง tab Stage>Advanced สามารถกำหนดได้ที่ Node pool and resource constraints โดยระบุค่าตรง Constraint เป็น Node pool และกำหนดชื่อ pool ที่ต้องการใช้ ดังรูป

ในกรณีที่กำหนดชื่อ pool เป็น reserve word ซึ่ง DataStage จะรู้จักอยู่แล้ว ก็ไม่ต้องกำหนดที่ Stage ใน Job ก็ได้

• resource disk 

เป็นตัวระบุพื้นที่ที่ใช้เก็บข้อมูลพวก dataset ซึ่งในระดับนี้สามารถกำหนดชื่อ pool ได้ด้วย โดยเลือก Constraint เป็น Resources และกำหนดชื่อ pool ที่ต้องการใช้ ดังรูปข้างบน

การกำหนด node pool จะช่วยในการจัดการเรื่อง CPU และ Memory

การกำหนด disk pool จะช่วยในเรื่องการจัดการ disk เพราะใน 1 node มีการกำหนด resource disk ได้หลายค่า ทำให้สามารถเลือกได้ว่า จะเก็บข้อมูลไหนใน disk ไหน

• resource scratchdisk 

เป็นตัวระบุพื้นที่ที่ใช้เก็บ temporary file ที่เกิดขึ้นระหว่างการทำงาน เมื่อการทำงานนั้นๆ เสร็จสิ้นลง temporary file ที่ถูกสร้างขึ้นมาจะโดนลบทิ้งไป ซึ่งใน 1 node สามารถกำหนด resource scratchdisk ได้หลายค่า

ในกรณีที่ resource scratchdisk ที่กำหนดไว้ ถูกใช้จนเต็ม จะไปใช้พื้นที่ของ Temp ที่กำหนดไว้ใน DataStage และ /tmp ของระบบ ตามลำดับ

Temp ของ DataStage สามารถดูได้ที่ uvconfig ใน DataStage Home Directory ที่ parameter UVTEMP

เพราะฉะนั้น หากต้องการกำหนดให้บาง server เท่านั้น ที่ทำการ sort data สามารถกำหนดได้โดย กำหนดที่ pool ระดับ fastname ว่าให้ใช้ในการ sort หรือสามารถกำหนดได้ที่ properties ของ Sort Stage ว่าจะใช้ node ไหนในการทำงาน
*** Home Directory ของ DataStage สามารถดูได้โดยใช้คำสั่ง cat /.dshome

Reserve word ที่ใช้ในการกำหนดชื่อ node pool มีดังนี้
1. DB2
2. INFORMIX
3. ORACLE
4. sas
5. sort
6. syncsort

Reserve word ในการกำหนดชื่อ disk pool มีดังนี้
1. buffer
2. export
3. lookup
4. sasdataset
5. sort
6. syncsort