[SAP][Data Service] 資料評量 Data Assessment

Data Services Designer 可以在處理資料前，先評量資料，可保障及改善資料的有效性。在 Data Store 中選取要檢視的資料表，按滑鼠右鍵選取 View Data...。

View Data 視窗中，預設是在 Data Tab 頁籤上，可以檢視資料內容，第二個圖示即為 Profile Tab。

切換至 Profile Tab 後，可勾選要統計的欄位或點選滑鼠右鍵，選 Select All...，再按下 Update 按鈕。預設提供 Column、Distinct Values、NULLs、Min、Max 及 Last Updated 統計資料。

切換至 Column Profile Tab 可以指定欄位名稱進行前10名( 或自行指定數目 ) 的資料值統計。

為了資料的品質控制，對於有不正確的資料必須排除。在工作區中先建立 Data Source 資料表、Platform 分類中拖拉出 Validation transform 物件及 Template Table。由 Validation transform 拖拉關聯至 Template Table 時，選取 Pass。

點擊 Validation 進入編輯畫面。在 Validation Rules 頁籤中按下 Add 按鈕來新增規則。

輸入 Name 及 Description 並確認 Enabled 選項被勾選。
Action on Fail 設定為 Send to Pass，當 CallerName 為空值時 ( 違反所設定的規則時 )，還是要讓資料通過。( 若設定 Send to Fail 表示違反設定時不將資料傳至資料表 )
設定資料檢驗的規則，選取 Column Validation，Column 由下拉選單中選取 CallerName
Condition 選取 IS NOT NULL。

按下 OK 後回到 Validation 的編輯視窗。
在 If rule(s) fails and send to PASS, substitute with :下方勾選 Enable，在 Column 欄位中選取 CallerName，在 Express 欄位輸入 ' ' ( 表示如果 CallerName 為 Null 時將欄位值要填入空白 )。如果違反所定的條件並是設定 Send To Pass 時，所要進行資料修正的動作。若設定 Send To Pass 但在此沒有設定如何處理這資料，系統只會原封不動將資料傳過去。

在工作區中於 Platform 分類中拖拉出 Validation transform 物件及 Template Table。由 Validation transform 拖拉關聯至 Template Table 時，選取 Fail。

點選 Validation 進入，在 Validation Rules 頁籤中點選規則後按下 Edit 進入Rule Editor ，將 Action on Fail 改為 Send to Fail。

點選功能表中的 Audit 圖示。在 Audit 視窗中選取 Label 頁籤。

在來源資料表及 Template Table 圖示上按右鍵，並選取 Count。會自動產生 $Count_T4 及 $Count_T4TEMPLATE 變數。

在 Audite 視窗切換至 Rule 頁籤，點選 Add 按鈕，在 Auditing Rules 下方有三個下拉選單，分別選取 $Count_T4 = $Count_T4TEMPLATE ；並在 Action on failure 區域內，取消選取的 Raise exception。因為希望 Audit Rule 失敗，Job 可以繼續執行。

點選 Validate All ，檢查是否有錯誤。

執行 JOB 後檢查資料庫中的資料表，即可看到 CallerName 若為 NULL 的資料，會存於另一張資料表內。

以上述的 Audit 是為了在 Data Services Management Console 中可以看到執行筆數結果。點選功能表中 Tools 選項下拉中的 Data Services Management Console，會開啟瀏覽器視窗。登錄後點選
Operational Dashboard 圖示。

再點選 Job Execution Duration History 曲線圖中的今天。

最後一筆記錄為最近執行的 JOB，點選進入後，可以看到上述 Audit 設定時 Cout 變數的值。