Absolute value function

การหาค่า Absolute มี function ให้ใช้อยู่ 2 function คือ

1. Abs()
2. Fabs()

ต่างกันที่ Argument ที่รับเข้ามา Abs() รับ int32 ส่วน Fabs() รับ dfloat ส่วน output ที่ได้เป็น dfloat เหมือนกันทั้งคู่

เพราะฉะนั้นควรระวังการใช้ Abs() กับข้อมูลที่เป็น decimal หรือ dfloat ด้วยเพราะมันจะ round ค่าให้เป็น integer ก่อนหาค่า absolute ซึ่งทำให้ผลลัพธ์ผิดได้

Sort Key No Longer Exists

Warning Message:

main_program: Sort key "GTEWAY_TP_ID" no longer exists in dataset schema. It will be dropped from the inserted sortmerge collector.

Job:

Solutions:

1. แก้ชื่อ column ของ join key (GTEWAY_TP_ID -> KEY) ที่ Input link ทั้ง 2 link ของ join stage ถ้า source ของ link นั้นเป็น Oracle Stage ให้ SELECT col as Newname เช่น SELECT GTEWAY_TP_ID as KEY

2. Rename column กลับไปเป็นชื่อปกติ (GTEWAY_TP_ID) ที่ output link ของ join stage

Environment Variable ที่ควร set

1. $APT_CONFIG_FILE
DS/EE configuration file

2. $APT_DUMP_SCORE
Flag to identify report score

3. $OSH_ECHO
Includes a copy of the generated osh in the job’s DataStage log. Default to 1 (enabled)

4. $APT_RECORD_COUNTS
Outputs record counts to the DataStage job log as each operator completes processing. The count is per operator per partition. Default to 0 (disabled)

5. $OSH_PRINT_SCHEMA
Outputs actual runtime metadata (schema) to DataStage job log. Default to 0 (disabled)

6. $APT_PM_SHOW_PIDS
Places entries in DataStage job log showing UNIX process ID (PID) for each process started by a job. Does not report PIDs of DataStage “phantom” processes started by Server shared containers. Default to 1 (enabled)

7. $APT_BUFFER_MAXIMUM_TIMEOUT
Maximum buffer delay in seconds. Default to 1

8. $APT_PM_CONDUCTOR_HOSTNAME
Specifies the name of processing node which is required for Sequential File to be run on Processing Nodes without Conductor Node and the File is in Conductor Node.

Update and Merge Statement for Oracle

Update based on a query returning multiple values

UPDATE <table_name> <alias>
SET (<column_name>,<column_name> ) = (
SELECT (<column_name>, <column_name>)
FROM <table_name>
WHERE <alias.column_name> = <alias.column_name>)
WHERE <column_name> <condition> <value>;

Update the results of a SELECT statement

UPDATE (<SELECT Statement>)
SET <column_name> = <value>
WHERE <column_name> <condition> <value>;

http://psoug.org/reference/update.html

Merge Statement Demo

MERGE <hint> INTO <table_name>
USING <table_view_or_query>
ON (<condition>)
WHEN MATCHED THEN <update_clause>
DELETE <where_clause>
WHEN NOT MATCHED THEN <insert_clause>

http://psoug.org/reference/merge.html

EDW UAT Case & Strategy

UAT 

ภาพคือรันข้อมูล1วัน ปรู๊ด รอไปข้ามคืน

เช้ามา ไม่มี job aborted

แล้วก็ตะลุย test บน sor เลย

ข้อมูลวันแรกผ่าน ก็รันวันที่2 ต่อ

แล้วก็ตะลุย test บน sor อีกรอบ

จะไม่สนใจ HA เลย HA เอาไว้ทำ Unit Test เท่านั้น

UAT Test Case

1. Compare #records between source file & staging table

2. Compare staging table & SOR

  2.1 #records including rejects

  2.2 Checking lookup values

  2.3 count/sum measurement values group by dimensions