Limit of File Pattern

Symptom:
Usually job can run successfully, but sometimes job failed with this error message.

seq_Read_CCN: Unable to generate a node map from fileset /tmp/import_tmp_433284afb15c.fs.

Cause:
There are too many files to read in file pattern. It hit some OS limit proven by use ls in command line

$ ls -l /etl_uat/source/in/SCP/VOICE*100707*
-bash: /bin/ls: Argument list too long

Workaround:
Separate job to more than 1 job to read small set of files. For example, /etl_uat/source/in/SCP/VOICE*100707*[0-4]  and
/etl_uat/source/in/SCP/VOICE*100707*[5-9]

How to set job user status

วิธีการส่งค่าจาก job หนึ่งไปยังอีก job หนึ่ง ภายใน job sequencer

1. ใน job ที่หนึ่ง ให้กำหนด user status ของ job ใน Job Properties > Job Control แล้วใส่คำสั่ง 

Call DSSetUserStatus("XXX")

ตัวอย่างเช่น 

Call DSSetUserStatus(DSJobStartTimestamp)

2. ใน Job Activity หรือ Execute Command Activity อื่นๆ ที่รันหลังจาก job ที่หนึ่ง สามารถเข้าถึงค่า user status โดยการเรียก

#[Stage Name].$UserStatus#

Oracle Bulk Load in DataStage

Error message:

ora_write_SOR_RI,10: [IIS-CONN-ORA-001003] The OCI function OCIDirPathPrepare returned status -1. Error code: 2,373, Error message: ORA-02373: Error parsing insert statement for table UAT_SOR.RI.

ORA-01502: index 'UAT_SOR.RI_PK' or partition of such index is in unusable state. (CC_OraLoad::prepareDirectPathLoad, file CC_OraLoad.cpp, line 1,039)

Cause:

Bulk load into Oracle table with index and/or constraint and/or trigger

Solution:

Disable index and/or constraint and/or trigger before loading and enable them back.
Setting bulk load option in Oracle Connector Stage as follow.

Cache Oracle Sequence

ถ้าสร้าง surrogate key ช้า ลองเพิ่ม cache ของ Oracle Sequence ดู

The way to improve performance of generating new surrogate key ID.

อ่านเพิ่มเติมที่ http://www.techonthenet.com/oracle/sequences.php

APT_IMPORT_PATTERN_USES_FILESET

ถ้า job ต้องอ่าน sequential file หลายๆไฟล์ ใน Sequential Stage ให้กำหนดดังนี้

• Read Method = File Pattern
• File Name Column = SRC_FILE_NM

 แต่ File Name Column จะมีค่าเป็น File Pattern (เช่น /source/abc*.txt) ไม่ได้เป็นชื่อ File จริงๆ (เช่น /source/abc_1234.txt)

ให้เพิ่ม Environment Variable ชื่อ APT_IMPORT_PATTERN_USES_FILESET = True เข้าไปใน job ก็จะทำให้ File Name Column = ชื่อไฟล์ตามที่ต้องการ

System Monitoring

Link นี้ละเอียดสุดยอด
http://adminschoice.com/iostat-vmstat-netstat

Link นี้ของไทย อ่านแบบคร่าวๆ
http://www.numsai.com/คอมพิวเตอร์/System-Watch-สารพัดวิธีการเฝ้ามองระบบลีนุกซ์.html

อันนี้เป็นตัวอย่าง โคตรคร่าว
http://www.thaiadmin.org/board/index.php?action=printpage;topic=3922.0

ORA-24334

Symptom:
Cannot select/insert/bulk load to Oracle via Oracle Connector Stage

Message:

ora_Write_STG_ZTE_SMS,0: [IIS-CONN-ORA-001003] The OCI function OCIParamGet returned status -1. Error code: 24,334, Error message: ORA-24334: no descriptor for this position. (CC_OraLoad::initColumns, file CC_OraLoad.cpp, line 671)

Solution
Check column definition. It have to exactly match between Oracle Connector Stage and Table itself in Oracle DB.