10 April 2010

Sort - Resource Usage

การ Sort บน DataStage กิน memory และ disk อย่างไร

โดย default การ sort แต่ละครั้งจะจอง memory ไว้ 20MB ต่อ partition 

เราสามารถปรับขนาด memory ได้ที่ option "Restrict Memory Usage" ยิ่งใหญ่ยิ่งดี แต่ต้องระวัง memory จะไม่พอ

หรือจะไปปรับที่ Environment variable ชื่อ $APT_TSORT_STRESS_BLOCKSIZE = [mb] เลยก็ได้ เสมือนเราไปตั้งค่า default นั่นแหละ ซึ่งมันจะถูก override โดย option "Restrict Memory Usage" อยู่ดี

ที่พูดไปทั้งหมดเป็นการ set ขนาด memory ที่ใช้ในการ sort พอเริ่ม sort จริง มันก็จะอ่าน data file เข้าสู่ memory ถ้า memory เต็มก็จะไปใช้ Temp disk ตาม path ดังนี้
  • Scratch disk in the $APT_CONFIG_FILE with "sort" named disk pool
  • Scratch disk in the $APT_CONFIG_FILE default named disk pool
  • $TMPDIR aka. UVTEMP
  • UNIX /tmp directory

No comments: