[SAP][Data Service] Data Services Designer 執行 JOB 時 "The job server you selected is not working"

今天發生了一件怪事，在此做個記錄，希望能幫到發生過這個問題，而不知如何解決的人。在 Data Services Designer 執行時，都會要登錄至 Repositories ，在此登錄時都沒有什麼問題。

但在執行 JOB 時，確出現以下的錯誤訊息!!

「The job server you selected is not working.」

[SAP][Data Service] 函數設定的對話視窗

在 Query Transform 中，Mapping 頁籤中常會用到 Function 的，對於 Function 不熟的使用者而言，要修改其參數實在有些困難，在設定 Function 時，可以按下 Mapping 頁籤中的 Functions 按鈕，再選取要使用的 Function。

以取出字串部分文字為例，按下 Functions 按鈕後，會出現一個 Select Function 的視窗，在 Function categories 中選取 String Functions 類別後，在右側 Function name 再選取 substr 函數。

[SAP][Data Service] Work Flow

Work Flow 是定義資料流的決策過程。Job 是一個特殊的 Work Flow，只有它可以被執行 ( Execute )。工作流程可以呼叫另一個工作流程，也可以呼叫自己本身。

下列的元件可以置於 Work Flow 中

•  Work flows
•  Data flows
•  Scripts
•  Conditionals
•  While loops
•  Try/catch blocks

[SAP][Data Service] Conditionals

Conditionals 是在 Work Flow 中來實現 if / then / else 邏輯的物件。定義一個 Conditional ，指定兩個邏輯的分流。

[SAP][Data Service] 分析 Web Log 資料

非結構化的檔案格式也是 Flat File 的一種類型，以 Web Log 來說，它是用來追蹤 Web Site 的詳細記錄，會包含的資訊有

• Client Domain or IP address
• User names
• Timestamps
• Requested action ( might include search string )
• Bytes transferred
• Referred address
• Cookie ID

因為 Web Log 並不是一欄一欄地記錄這些資料，所以屬於「非結構化檔案格式」( Unstructured file formats )。

非結構化檔案格式包含：

• Unstructured text
• Unstructured binary

[SAP][Data Service] Importing XML Schema

XML 檔案可以指定 XML Schema ( .xsd ) 或 Document Type Definition ( .dtd ) 來顯示格式化的結果。XML 檔案是巢狀式資料結構，可以將 Master、Detail 資料放置在同一份文件中，有別於關聯式資料表，使用多張工作表及使用 JOIN 的方式來表示。

XML的資料可能如下

XML Schema 如下

[SAP][Data Service] Template Table 相關

在設計初期可以使用 Template Table 來表示資料庫中的資料表。使用 Template Table 不需要先建立資料表，在執行 JOB 時會自動建立 Template Table 並匯入 Metada ，包含了 schema。如果更改 Query Transform 的 Schema Out 的欄位，Template Table 也會在執行 JOB 後，重新使用新的 Schema Out 的欄位。因為預設在 Template Table 的 Properties 的 Option 頁籤中，Drop and re-create table 是有勾選的，若沒有勾選，在 JOB 執行時會有錯誤。

[SAP][Data Service] 建立 Excel file format 時的錯誤

Data Service 在設定 Formats 中的  Excel Workbook 時，可能也會遇到以下錯誤訊息。
------------------------------------------------------------------------------------------
Error.Cannot import metadata.
OLE or COM processing error.Please make sure Microsoft Access DataBase
Engine is properly installed : ＜找不到提供者。它可能未被正確安裝。＞
(BODI-1112338)
------------------------------------------------------------------------------------------

Excel Workbooks 只能當資料來源。
在 Froms 中，點選 Excel Workbooks 來設定資料來源，點選滑鼠右鍵，選取 New。

[SAP][Data Service] 定義 Plat File 格式並匯入資料表

若資料來源或目標是儲存在 flat files ，則必須在 Data Services 中先定義其格式來描述檔案的結構。可以從頭開始或由匯入的檔案來修改其格式。

首先在 Object Library 中切換至 Formats 頁籤，在 Object Library 空白處點選右鍵，選取 New 再選取 File Format。

[SAP][Data Service] Datastore 相關

Datastores 是呈現與資料庫連線的組態，讓資料可以軟體可以讀寫資料。

• 在 Local Object Library 區域中點選滑鼠右鍵，可以建立新的 Datastore。

Datastore type 選擇 Database

[SAP][Data Service] 資料評量 Data Assessment

Data Services Designer 可以在處理資料前，先評量資料，可保障及改善資料的有效性。在 Data Store 中選取要檢視的資料表，按滑鼠右鍵選取 View Data...。

[SAP][Data Service] Change Data Capture (CDC) 異動數據記錄

在進行資料倉儲資料轉換時，使用 ETL 將所有交易資料轉入後，當資料量少時，當然可以在進行 ETL 前，先將目標資料表的資料清除再進行轉入的作業，但隨著時間的增加，資料可能是倍增的，而重複轉入不會再異動的資料也是非常沒有效率的一件事。

實務上常見的CDC實作方法很多，有些會根據 Timestamp欄位當作判斷異動資料的依據，有些則是以精心設計過的 Flag 指標為基準。

[SAP][Data Service] 匯整關聯資料表至目標資料表

在進行資料匯整時為了查詢方便及效率，會進行反正規化，將要關聯的資料表匯整至一張目標資料表中。
使用 LOOKUP_EXT() 函數，來找出對應值。首先在 Data Flow 工作區中拖拉出兩個來源資料表、一個 Query Transform 及一個目標資料表。

D_COMPLAINTS 資料表：RecordID、CallerName、ServiceTypeID、CreatedDateTime
B_SERVICETYPE 資料表：ServiceTypeID、ServiceTypeName
T4 目標資料表：RecordID、CallerName、ServiceTypeID、CreatedDateTime、ServiceTypeName
( 來源資料表可以來自不同的資料來源或資料庫 )

[SAP][Data Service] Reimport 資料表

當資料庫中的資料表有所異動時，不論是欄位的新增、修改或刪除；或是資料型態的改變，
在 Datastore 中須 Reimport 資料表。

[SAP][Data Service] 使用 XML_Pipeline

當我們擷取 XML 資料至目的資料表時，常只擷取部分資料。XML_Pipeline Transform 主要目的就是擷取 XML 中的部分資料，比使用 Query Transform 效率更好。

在 Data Flow 工作區中拖拉相關元件出來。

XML_Pipeline 在 Data Integrator 類別中

[SAP][Data Service] 使用 DTD 轉換 XML 資料

XML 檔案可能會有巢狀式的資料，要轉入資料表中，必須扁平化 XML 的元素，才能將非規格化的資料轉入資料表中。對 XML 文件而言，DTD可有可無。

•  Well-formed XML 文件：
• 沒有對應的 DTD 或 XML Schema。
• 只需符合 Well-formed XML 規則。
• Valid XML 文件：
• 有對應 DTD 或 XML Schema。
• 除符合 well-formed XML 規則外，文件內容結構須符合 DTD 或 XML Schema 之規範。

[SAP][Data Service] 使用 Transform 產生時間維度

時間維度包含了日期、時間及相關屬性例如季、假期、財報的季別...等。
在 Project 下先建立一個 Job 後，直接新增一個 Data Flow。在 Object Library 中切換至 Transforms 頁籤，展開 Data Integrator 資料夾，並點選 Date_Generation，拖拉至工作區中。並將 Query Transform 也拖拉至工作區，在目標 Datastores 中時間維度的資料表也放在工作區中，做為目標工作表。

[SAP][Data Service] Project 與 Job 基本觀念篇

Data Services Designer 基本觀念篇，只是記錄一些在進入這個領域時，一些最基礎需要了解的東西而已。
Project 是在 Data Services Designer Window 中最高層級的物件。
Job 在獨立的排程執行時的最小單位。
Job 是由 Work Flows、Data Flows 所組成。
Work Flow 是由相關連的 Data Flows 所組成。

Data Flow 是在處理來源資料轉換至目的資料。

[SAP][Data Service] Data Services Designer 找不到 Keycode 或過期

今天發生了一件怪事，要開啟 SAP Data Services Designer 時，竟跳出了一個錯誤訊息。

The base keycode for the Data Services platform was not found or has expired.
Obtain a valid keycode and use the License Manager to update your installation.(BODI-1116106)

在安裝時必須輸入 Keycode 才能安裝，雖然已有一段時間沒去開這個應用程式，也不應消失或過期的問題。