DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁腳本 >  >> XML學習教程 >> XML詳解
用 WebSphere DataStage 的 XML 與 Web Services 套件完成資料轉換與整合
編輯:XML詳解     

IBM® WebSphere® DataStage™ 的 XML 套件與 Web Services 套件,是 DataStage 中專為 XML 與 Web 服務情境打造的元件,能加速資料整合方案的交付。本文先梳理這兩個套件的主要功能,再透過四個完整範例,示範如何用它們轉換資料、整合資料,並呼叫 Google 搜尋的 Web 服務。每個範例都附有概要、詳細步驟、說明與截圖。

簡介

Ascential DataStage 於 2005 年被 IBM 收購,更名為 IBM WebSphere DataStage。它是一套以圖形介面為核心的 ETL(擷取、轉換、載入)工具,能整合結構與格式各異的資料,並有效支撐 CRM 分析、決策支援系統(DSS)與電子商務等應用。

DataStage 建立在用戶端/伺服器架構上,由 Designer、Manager、Director 與 Administrator 等元件組成。它能大幅簡化從開發到維護的各項工作。

本文的焦點是其中的 XML 套件與 Web Services 套件。有了這兩個套件,把 XML 與 Web 服務接進 DataStage 方案變得相當容易,好處包括:縮短開發時間、加快回應速度,以及友善的開發/管理/維護圖形環境。

DataStage XML 套件由 XML 摘要、XML 發布與轉換功能組成,本文的 XML 部分聚焦其中一項核心轉換:XML 文件與表資料之間的雙向轉換。Web Services 套件則讓 DataStage 能呼叫遠端服務,並把它當成單純的資料來源、資料目標或互動式資料介面;本文的 Web 服務部分將介紹提供互動式資料介面的 Web Services Transformer。

以下四個範例皆以 DataStage V7.5.1A(已安裝 XML 與 Web Services 套件)實作,涵蓋三種典型情境:

  • 依據表資料發布 XML 文件
  • 把 XML 文件解析為表資料
  • 存取具備輸入與輸出資料的 Web 服務

先決條件

  • 已安裝 WebSphere DataStage V7.5.1A,含 DB2® 套件、XML 套件與 Web Services 套件。
  • 已安裝 IBM® DB2 for Linux®、UNIX® 與 Windows® V8.2 或更高版本。
  • 讀者具備 XML、Web 服務與 DB2 的實務經驗,並了解 DataStage 基礎操作。

第 1 部分:依據表資料發布 XML 文件

把既有的表資料轉成 XML,是很常見的需求。有時需要將關聯表或循序檔案轉換為 XML 的階層結構,例如一份 XML 文件或一則 XML 區塊。這時可以使用 XML Output stage 來產生輸出,它透過 XPath 運算式把輸入的表欄位對應到輸出文件中的特定位置。

圖 1. XML 發布的任務圖

範例 1:用 XML Output stage 從兩個表產生 XML 檔

範例 1 分別從兩個 DB2 表取出客戶資料與聯絡方式資料,接著用 Transformer 取代複雜的 SQL 完成整併,再透過 DSLink6 把結果餵給 XML Output stage,最後由它產生 XML 並寫入檔案系統。

部署步驟如下:

  1. 定義並部署 DB2 表
  2. 準備 XML 結構
  3. 匯入 DB2 表定義與 XML 表定義
  4. 設定 DB2 stage,用 Transformer 提供整併後的資料
  5. 設定 XML Output stage 以產生 XML 文件
  6. 編譯並執行

步驟 1:定義並部署 DB2 表

用清單 1 的 DDL 在本地 DB2 伺服器的範例資料庫中建表,並載入一些範例資料(如圖 2.1、2.2 所示)。

清單 1. 客戶表與聯絡方式表的 DDL

-- customer table
CREATE TABLE S_CUST
(
  CUST_NUM   CHARACTER(10) PRIMARY KEY,
  CUST_NAME  VARCHAR(100) NOT NULL
);

-- contact table
CREATE TABLE S_CONTACT
(
  CNT_NUM   INTEGER
            GENERATED ALWAYS AS IDENTITY (START WITH 1, INCREMENT BY 1)
            PRIMARY KEY,
  CUST_NUM  CHARACTER(10) NOT NULL,
  F_NAME    VARCHAR(50) NOT NULL,
  L_NAME    VARCHAR(50) NOT NULL,
  EMAIL     VARCHAR(100) NOT NULL
);

圖 2.1. 客戶表的範例資料

圖 2.2. 聯絡方式表的範例資料

步驟 2:準備 XML 結構

目標 XML 結構可以用 XSD 綱要檔定義,也可以直接用一份 XML 範例文件描述。清單 2 就是要匯入 DataStage 的範例文件。

清單 2. target.xml

<CustomerInfo xmlns="https://www.ibm.com/schemas/SimpleXMLDemo"
               XMLns:cnt="https://www.ibm.com/schemas/ContactDemo"
               xmlns:xsd="https://www.w3.org/2001/XMLSchema"
               xmlns:xsi="https://www.w3.org/2001/XMLSchema-instance">
  <CustomerID>0000000001</CustomerID>
  <CompanyName>MindLight Corp.</CompanyName>
  <Contacts>
    <cnt:Contact>
      <cnt:FirstName>Lee</cnt:FirstName>
      <cnt:LastName>Chen</cnt:LastName>
      <cnt:Email>LeeChen@gmail.com</cnt:Email>
    </cnt:Contact>
  </Contacts>
</CustomerInfo>

這份 XML 有五個主要欄位:CustomerID、CompanyName、FirstName、LastName 與 Email,每一個在資料庫表中都有對應的欄位。

步驟 3:匯入 DB2 表定義與 XML 表定義

要讓 DataStage 認識資料來源,可以手動輸入表定義,也可以直接從來源匯入。DataStage 的表定義保存了表格型資料來源的後設資料(見圖 3),包括資料所在資料表或檔案的名稱與位置,以及各欄位的定義,這些資訊存放在 DataStage 儲存庫中。

本範例從 DB2 匯入兩個資料表,並從範例檔案萃取 XML 結構。

註:需先安裝 DB2 與 XML 外掛模組,才能使用這些功能。

圖 3. 表定義結構

匯入 DB2 表定義

選擇 Plug-in Meta Data Definitions(圖 4 紅圈處),即可匯入一個 DB2 表。

圖 4. 外掛後設資料定義

在彈出的視窗中選 DB2 plug-in 並按 OK。在「Import DSDB2 Meta Data」的第一頁(圖 5),選 SAMPLE 資料庫作為後設資料來源,輸入相應的帳號與密碼;確認已勾選 Tables 與 Fully Qualified Table Names,這樣下一頁的表名才會帶上綱要名稱。按 Next 繼續。

圖 5. 匯入 DSDB2 後設資料(一)

DB2 表定義可以存進名為「PlugInsample」的目錄中,如圖 6。

圖 6. 匯入 DSDB2 後設資料(二)

匯入 XML 表定義

在 repository 檢視中對 Table definitions 按右鍵,選擇 Import > XML Table Definition(動作類似圖 4)。此時 XML Meta Data Importer 便會啟動(圖 7)。

圖 7. XML Meta Data Importer

XML Meta Data Importer 可以從 XML 範例檔或 XSD 檔匯入結構。開啟 target.xml 後,它會被映射成表結構。如圖 7 所示,選取五個資料元素的 TEXT 欄位(紅圈標記)作為表定義的欄位,以萃取 XML 元素的文字內容;「Description」欄位(紅框標記)則帶有 XPath,標明該欄位在 XML 文件中的對應位置。此範例假設每筆聯絡方式都有唯一的 e-mail,因此將它設為「Key」欄位。最後把表定義存進「PlugInsample」目錄,命名為 target_XML。

至此,三個表定義(圖 8 紅圈處)都已成功匯入目錄。

圖 8. 已匯入的表定義

步驟 4:設定 DB2 stage,用 Transformer 提供整併後的資料

有了儲存庫中的表定義,就能設定 XML 輸出的資料來源了。取數有兩種做法:在一個 DB2 stage 中直接寫 SQL,或用 Transformer 整併來自多個 stage 的資料。本範例採取後者。

清單 3. 取數用的查詢

SELECT cnt.CUST_NUM, c.CUST_NAME, cnt.F_NAME, cnt.L_NAME, cnt.EMAIL
FROM   S_CONTACT cnt
JOIN   S_CUST c ON cnt.CUST_NUM = c.CUST_NUM;

圖 9. 清單 3 查詢的結果

要在 DataStage 中得到圖 9 的結果,需要兩個 DB2/UDB API stage(位於 Palette 的 Database 目錄)與一個 Transformer stage(位於 Palette 的 Processing 目錄)。把它們放進新的任務圖並命名:

  • 兩個 DB2 stage:「CONTACT」與「CUST」
  • Transformer:「JOIN_CUST_CNT」

分別用 DSLink3 與 DSLink4 把「CONTACT」和「CUST」連到「JOIN_CUST_CNT」(見圖 10)。

圖 10. 任務圖

身為資料庫開發者,你通常會把客戶表與聯絡方式表連接,並直覺地把客戶表當主表。但在這個範例裡,聯絡方式表才是主表,DSLink3 的實線箭頭說明了這點。對於主表的每一筆記錄,Transformer 會到非主表中查閱;而主表的每筆記錄,只會從非主表取回一筆。

註:只有 ODBC 與 UniVerse stage 支援多列查閱。

「CONTACT」stage 設定

雙擊「CONTACT」stage 開啟屬性。在「Stage」頁填入 DB2 連線資訊:資料庫名稱、使用者名稱與密碼。切到「Output」頁的 columns 分頁,這裡可以手動編輯欄位,也可以直接從既有表定義匯入。本範例使用已匯入的 CHENLI.S_CONTACT 表定義來載入欄位:按 Load,在表定義視窗中選 CHENLI.S_CONTACT 並按 OK,接著在欄位選擇視窗中全選。載入完成後如圖 11。

圖 11. 已載入的欄位

接著設定 SQL 以從 DB2 取數。切到 SQL 分頁並按 SQL Builder,預設會啟動這個圖形化工具來協助撰寫查詢(圖 12)。

圖 12. SQL Builder

設定好 SQL 後按 OK,「SQL」分頁的外觀應如圖 13。此時可以按「View Data」預覽「CONTACT」表的內容。

圖 13. SQL 分頁

「CONTACT」stage 到此設定完畢,用同樣的步驟即可搞定「CUST」stage。之後兩個連接上會顯示各自對應的表圖示。

「JOIN_CUST_CNT」stage 設定

現在設定 Transformer「JOIN_CUST_CNT」,把兩個輸入的 DB2 stage 整併成連接後的資料。把 DSLink3 的 CUST_NUM 拖到 DSLink4 的 CUST_NUM 上即可,如圖 14。

圖 14. Transformer stage

步驟 5:設定 XML Output stage 以產生 XML 文件

從 Palette 的「Real Time」目錄把 XML Output stage 拖進名為「Gen_Cust_XML」的圖中,並把來自「JOIN_CUST_CNT」的連接接上,如圖 15。

圖 15. 把 XML Output 加入任務圖

雙擊 Gen_Cust_XML stage 設定屬性。對這個方案而言,只需在「Stage」頁的「Document Settings」分頁(圖 16)設定 Namespace Declarations,並在「Options」分頁(圖 17)指定輸出 XML 檔的路徑。命名空間宣告的載入方式與載入表欄位類似——都是從 XML 表定義中載入。

圖 16. 載入命名空間宣告

圖 17. 設定輸出檔案路徑

在「Input」頁同樣需要填 columns 分頁,做法與為 DB2 stage 載入輸出欄位相同。載入 XML 表定義 target_xml 之後,XML Output stage 如圖 18。

圖 18. 從 XML 表定義載入欄位

註:目標 XML 結構允許一位客戶有多筆聯絡方式,因此需要把同一客戶的聯絡資訊聚合起來以減少冗餘。為此,請比照圖 19 設定 transformation settings。

圖 19. 轉換設定

透過觸發器欄位 CustomerID,只有當 CustomerID 換成新值時才會產生一筆含單一 XML 文件的新記錄。圖 9 中的資料因此會被聚合為一份 XML 文件。

回到「JOIN_CUST_CNT」stage,用拖曳的方式把左側輸入欄位連到右側輸出(圖 20)。

圖 20. 修改後的 Transformer stage

按 OK,XML 發布方案就完成了。

步驟 6:編譯與執行

在 Designer 中編譯並執行這個任務。若沒有錯誤,就能把它作為常駐任務加入排程。執行時,成功的連接會變成綠色並顯示統計資訊(圖 21);若發生錯誤則會變紅,此時必須查閱日誌才能除錯。圖 21 中,任務成功產生了目標 XML 檔 SampleOutput1.XML。

圖 21. 執行範例 1 的任務

第 2 部分:把 XML 文件解析為表資料

這部分正好是 XML 發布的逆向流程:接收 XML,把它解析成表記錄,再寫入資料庫。以下兩個範例展示如何做到這件事。範例 2 是範例 1 的反向操作,把 XML 載入客戶表與聯絡方式表;範例 3 則處理更複雜的輸入與三個表的輸出。兩者採用不同的部署手法。

範例 2:用 XML Input stage 從 XML 檔取出客戶與聯絡資訊

本範例沿用範例 1 的表定義(圖 8),並準備一份含一家新公司與兩筆聯絡方式的 XML 檔作為輸入。做法是先用 Folder stage 讀檔,把內容交給 XML Input stage 解析成表記錄,再用 Transformer 把欄位分流到不同的表。任務圖見圖 22。

圖 22. 範例 2 任務圖

「XML_CUST_CNT」stage 的預期輸出如圖 9 所示。

註:CUST_NUM 與 CUST_NAME 兩欄會出現重複資訊,若直接寫入客戶表將導致主鍵衝突。解法是加一個 Aggregator,把同一客戶的重複記錄合併成一筆。

開發步驟:

  1. 設定讀取 XML 檔的 Folder stage
  2. 設定 XML Input stage
  3. 設定接收資料的 DB2 stage
  4. 設定 Aggregator
  5. 設定分流資料的 Transformer stage
  6. 編譯與執行

實務上可以先把圖 22 中的所有 stage 與連接都放進新任務,再逐一設定。

步驟 1:設定讀取 XML 檔的 Folder stage

雙擊 XML_FOLDER stage。在「Stage」頁設定資料夾路徑屬性;在「Output」頁填入檔案名的萬用字元(例如 *.XML)。

接著用內建的「Folder」表定義載入該 stage 的欄位(圖 23)。Folder 定義含兩個欄位:FileName 與 Record,其中 Record 欄位承載來源檔案的內容。

圖 23. 從「Folder」表定義載入欄位

步驟 2:設定 XML Input stage

雙擊 XML_CUST_CNT 開啟屬性視窗。指定「Record」作為 XML 來源欄位,並把「Column content」相應設為「XML document」。

圖 24. 設定 XML 來源

如圖 25,在「Output」頁填好「Transformation Settings」與「Columns」兩個分頁,讓該 stage 能解析輸入的 XML 並產生輸出記錄。首先勾選 Repetition element required,因為輸入文件含多個聯絡方式元素;接著從 XML 表定義載入命名空間(做法同圖 16)。

註:若輸入文件含多個命名空間與前置詞,命名空間宣告就是必要的。

圖 25. 「XML_CUST_CNT」stage 的轉換設定

通常不必手動為 XML Input stage 載入欄位定義,因為載入命名空間的同時,XML 表定義的欄位也會一起被載入到「Columns」分頁(圖 26)。

註:XML Input stage 的名稱空間與欄位是同時載入的,這點與 XML Output stage 不同——後者必須分開載入。

圖 26. 「XML_CUST_CNT」stage 的輸出欄位

每個欄位定義的 description 中都有一個 XPath 運算式,負責把 XML 中的某個元素對應到相應的輸出資料欄,這是解析 XML 時最關鍵的設定。此外,key 欄位用來標示重複元素;此處選 e-mail 作為鍵,因為它唯一對應一筆聯絡方式。

步驟 3:設定接收資料的 DB2 stage

先為「CONTACT」與「CUST」兩個 DB2 stage 設定伺服器資訊。與先前的 DB2 stage 範例不同,這次是在「Input」頁操作,因為這裡用的是輸入連接而非輸出連接。選好目標表(圖 27)並為每個 stage 載入欄位。

註:不應包含自動產生的欄位。

圖 27. 選擇目標表

聯絡方式表沒有選 CNT_NUM,因為它是自動增量的 id 欄位,值會在插入新記錄時自動產生。客戶表則四個欄位全選,因為它們都來自 XML 文件。

步驟 4:設定 Aggregator

由於 XML Input stage 會為同一客戶產生多筆記錄,需要用 Aggregator stage 為「CUST」stage 合併冗餘資訊。

Aggregator 的輸入結構必須與輸出連接一致,而該結構由「CUST」stage 定義(實際上就是 DB2 表 CHENLI.S_CUST)。因此這裡載入 CHENLI.S_CUST 作為 Aggregator 的輸入。

在 Aggregator 的輸出頁,輸出欄位為 CUST_NUM 與 CUST_NAME,需要為這兩個欄位定義來源以消除冗餘記錄,如圖 28。

圖 28. Aggregator stage

雙擊圖 28 中來源欄位下方高亮的儲存格,會開啟「Derivation」對話框。圖 29 是詳細的來源設定,其中使用了名為 grouped 的彙總函數。

圖 29. Derivation 對話框

除了 grouped,彙總函數選擇對話框中還有 Max、Min、Count、Average、Sum 等選項,可依其他情境選用。

步驟 5:設定分流資料的 Transformer stage

在 Transformer 屬性視窗中,把來源連到目標(圖 30)。

圖 30. 在 Transformer 中分流資料

完成後按 OK,範例 2 就可以執行了。

步驟 6:編譯與執行

完成所有步驟並執行後,載入完成時會看到圖 31 的畫面。

圖 31. 成功載入一份 XML 文件

再用清單 4 的 SQL 檢查 DB2 中的表,結果如圖 32。

清單 4. 檢查 DB2 中的表

SELECT * FROM S_CUST    cust WHERE cust.CUST_NUM = '0000000002';
SELECT * FROM S_CONTACT cnt  WHERE cnt.CUST_NUM  = '0000000002';

圖 32. 清單 4 中 SQL 的結果

範例 3:用一組 XML Input stage 把資料載入三個表

範例 2 的 XML 檔代表的是單純情境:資料只分流到兩個表,且其中一個表參照另一個。本範例則是更複雜的情況——XML 含多組重複元素(清單 5)或巢狀重複元素(清單 6),並且要分流到超過兩個表。對應的關聯模型可以是:

  • 一個頭表參照三個或更多表
  • 三個或更多表巢狀在一個樹狀結構中
  • 以上兩種混合

這類文件用單一 XML Input 處理起來相當棘手,卻又是最常見的形態,因為它能把各種相關資料一次封裝進同一份文件裡。

清單 5. 含多組重複元素的 XML

<A>
  <A_DATA/>
  <B>
    <B_DATA/>
    <B_DATA/>
    <B_DATA/>
  </B>
  <C>
    <C_DATA/>
    <C_DATA/>
  </C>
</A>

清單 6. 含多組巢狀重複元素的 XML

<A>
  <B>
    <B_DATA/>
    <C/>
    <C/>
    <C/>
  </B>
  <B>
    <B_DATA/>
    <C/>
    <C/>
    <C/>
  </B>
</A>

處理清單 5、6 那類文件的簡易解法,是使用一組 XML Input stage,彼此以 Transformer stage 串接,各自負責接收與處理文件的不同分支。本範例在範例 2 的 XML 結構中加上「Orders」元素(清單 7),並為清單 5 的每個結構建立對應的新表 S_ORDER(清單 8)。

清單 7. input_cust_cnt_ord.xml

<?xml version="1.0" encoding="UTF-8"?>
<CustomerInfo XMLns:cnt="https://www.ibm.com/schemas/ContactDemo"
               xmlns="https://www.ibm.com/schemas/SimpleXMLDemo"
               xmlns:xsd="https://www.w3.org/2001/XMLSchema"
               xmlns:xsi="https://www.w3.org/2001/XMLSchema-instance">
  <CustomerID>0000000003</CustomerID>
  <CompanyName>Eastway software Inc.</CompanyName>
  <Orders>
    <OrderItem>
      <OrderNum>00001</OrderNum>
      <OrderQty>1.00</OrderQty>
      <PartId>A01</PartId>
    </OrderItem>
    <OrderItem>
      <OrderNum>00002</OrderNum>
      <OrderQty>2.00</OrderQty>
      <PartId>A02</PartId>
    </OrderItem>
    <OrderItem>
      <OrderNum>00003</OrderNum>
      <OrderQty>4.00</OrderQty>
      <PartId>A03</PartId>
    </OrderItem>
  </Orders>
  <Contacts>
    <cnt:Contact>
      <cnt:FirstName>Andy</cnt:FirstName>
      <cnt:LastName>Lin</cnt:LastName>
      <cnt:Email>AndyLin@eastway.com</cnt:Email>
    </cnt:Contact>
    <cnt:Contact>
      <cnt:FirstName>Tom</cnt:FirstName>
      <cnt:LastName>Zheng</cnt:LastName>
      <cnt:Email>TomZ@eastway.com</cnt:Email>
    </cnt:Contact>
  </Contacts>
</CustomerInfo>

清單 8. 訂單表的 DDL

CREATE TABLE S_ORDER
(
  ORDER_NUM CHARACTER(5)  PRIMARY KEY,
  CUST_NUM  CHARACTER(10) NOT NULL,
  PART_ID   CHARACTER(3)  NOT NULL,
  QTY       DECIMAL(10,3)
);

這個方案用兩層 XML Input stage 分兩階段處理文件。第一階段由一個 XML Input stage 解析客戶資訊,並取得聯絡方式與訂單的 XML 區塊;接著把這兩個區塊分別交給下一階段的兩個 XML Input stage,萃取 S_CONTACT 與 S_ORDER 表的資料。任務圖見圖 33。

圖 33. 範例 3 任務圖

開發步驟:

  1. 設定 Folder stage
  2. 設定三個 XML Input stage
  3. 設定串接相關 stage 的 Transformer
  4. 設定 DB2 輸出 stage
  5. 編譯與執行

各 stage 的設定方式前面已談過,這裡只聚焦較棘手的部分:這些 XML Input stage 的「Columns」設定。首先透過 XML Meta Data Importer(圖 7)匯入 XML 表定義,再修改欄位清單與 XPath。

第一個 XML Input stage 名為「XML_Cust」。設定它的輸出連接欄位,以取出 S_CUST 表的 CustomerID 與 CompanyName,以及 <Orders/> 和 <Contacts/> 兩個 XML 區塊,如圖 34。

圖 34.「XML_Cust」的 Output Columns 分頁

註:在這個例子中,若要以 XML 區塊形式取出資料,不應在 XPath 運算式後面加上 /text(),例如應寫成「/ns1:CustomerInfo/ns1:Orders」。如此該欄位會回傳整個元素的 XML 結構,後續 stage 便能輕鬆進一步處理。

為了接收 XML 區塊並產生帶有客戶表參照的記錄,必須手動設定另外兩個 XML Input stage,取得輸入欄位中的 CUST_NUM 與 XML 區塊欄位,如圖 35。

圖 35.「XML_Contact」的 Input Columns 分頁

準備好「XML_Contact」與「XML_Order」的輸入欄位後,用 Transformer「Div_branches」把它們串接起來。

圖 36. 在「Div_branches」stage 中分流資料

接著分別設定「XML_Contact」與「XML_Order」的輸出欄位。

註:XML Input stage 與 DB2 stage 之間沒有 Transformer 來映射欄位,因此必須確保 XML Input stage(即「XML_Contact」與「XML_Order」)的輸出欄位名稱與資料庫表完全一致。完成設定後,DB2 stage 的輸入欄位會被自動載入。切勿重新載入表定義去覆寫 DB2 stage 的輸入欄位,否則先前設定的 XPath 會全部遺失。

圖 37.「XML_Contact」stage 的輸出欄位

圖 38.「XML_Order」stage 的輸出欄位

註:兩個 XML Input stage 的輸入與輸出欄位中都有 CUST_NUM,這是一個「傳遞」欄位,會直接從輸入連接往下游傳。

所有 stage 設定完成後執行任務,應該能看到類似圖 39 的成功畫面。

圖 39. 成功把一份 XML 檔載入三個表

最後檢查 DB2 中的資料。

清單 9. 檢查表資料的 SQL

SELECT * FROM S_CUST    cust WHERE cust.CUST_NUM = '0000000003';
SELECT * FROM S_CONTACT cnt  WHERE cnt.CUST_NUM  = '0000000003';
SELECT * FROM S_ORDER   ord  WHERE ord.CUST_NUM  = '0000000003';

圖 40. 清單 9 中 SQL 的結果

第 3 部分:存取具備輸入與輸出資料的 Web 服務

透過 Web Services 套件,DataStage 能在伺服器任務中輕鬆存取 Web 服務操作。這個套件為 DataStage 加入兩個即時 stage:Web 服務用戶端 stage 與 Web 服務 Transformer stage。當 Web 服務只是資料來源或資料目標時,使用用戶端 stage,此時該操作的輸入或輸出只需要一個連接;而 Web 服務 Transformer 同時具備輸入與輸出連接,能在資料交易中與遠端服務互動。套件另外還支援 Web 服務常式,可在 Transformer stage 中當作轉換函數使用。

本文只使用並討論 Web 服務 Transformer,因為它是在 DataStage 中採用 Web 服務最典型、也最靈活的方式。用戶端 stage 與 Web 服務常式相對單純,「Web services Pack Designer Guide」已有完善說明。

要把 Web 服務 Transformer 整合進方案,需要匯入 WSDL 描述檔、把 Transformer 放進方案中並選定目標服務,接著餵入資料,再以合適的方式處理輸出(例如寫入檔案或資料庫)。下面的範例用一個實用案例走過整個流程。

範例 4:從資料表取出關鍵字查詢 Google,並把結果存回另一個表

這裡選 GoogleSearch 服務作為目標,因為它是典型的「送出查詢、取回記錄」情境,而且免費、易用。GoogleSearch 服務屬於 Google SOAP Search API 專案,提供三個操作:doGoogleSearch、doGetCachedPage 與 doSpellingSuggestion,本範例使用 doGoogleSearch。

在呼叫之前必須先註冊一個免費帳號(一個網頁位址)以取得授權金鑰,這個金鑰會隨請求一起送出,用來識別呼叫者。在 doGoogleSearch 的事務中,先把查詢與授權金鑰送給 Google,對方回傳的應答訊息中則包含以重複結構表示的命中結果。

註:DataStage 7.5.1A 的 Web 服務 Transformer 有個限制——它無法把應答中的重複元素解析成多筆記錄,每一筆輸入只能產生一筆輸出。所幸 Transformer 使用 XPath 從應答文件中取數,並且支援 XML 區塊輸出。因此可以把含重複結構的 XML 區塊整塊取出,再交給後續的 XML Input stage 處理,就能繞過這個限制,甚至能應付更複雜的結構。

本範例的方案是:從一個 DB2 表取出查詢關鍵字交給 Web 服務 Transformer,Transformer 呼叫 Web 服務後把應答直接輸出給下一個 XML Input stage,最後把結果寫進另一個 DB2 表。任務圖見圖 41。

圖 41. 範例 4 預期的任務圖

設定步驟:

  1. 從 WSDL 檔匯入目標服務
  2. 設定 Web 服務 Transformer
  3. 設定 XML Input stage
  4. 建立 DB2 表並設定輸入/輸出資料庫 stage
  5. 編譯與執行

步驟 1:從 WSDL 檔匯入目標服務

在 repository 檢視中對 Table Definition 按右鍵,選擇 Import > Web Services WSDL Definitions(同圖 4 的操作),即可啟動 Web Services Meta Data Importer(圖 42)。用它載入 WSDL 檔,選好目標操作後按 Import 儲存定義。

圖 42. Web Services Meta Data Importer

每匯入一個操作都會產生若干表定義,doGoogleSearch 也不例外。假設自動建立了以下幾個:

  • Info_WS:Web 服務後設資料,例如 URI、連接埠名稱等
  • doGoogleSearch_IN:輸入參數
  • doGoogleSearch_MSGIN:輸入訊息後設資料
  • doGoogleSearch_MSGOUT:輸出訊息後設資料
  • doGoogleSearch_OP:操作後設資料
  • doGoogleSearch_OUT:輸出參數

步驟 2:設定 Web 服務 Transformer

Web 服務 Transformer 是這個方案的核心,因為輸入與輸出的資料結構完全由它決定,因此優先度最高。在它的「Stage」頁只需設定要存取的 Web 服務操作——以本範例來說,就是 GoogleSearch 這個開放的公共服務。

註:「Stage」頁還提供許多進階選項,例如設定代理、HTTP AUTH、HTTP 與 Web 服務參數等。

在「Stage」頁按 Select Web Service Operation,接著在 Web 服務瀏覽器中雙擊目標操作,如圖 43。

圖 43. Select Web Service Operation

切到「Input」頁的「Input Message」分頁(圖 44)。

圖 44. 載入輸入訊息後設資料

按 Load Message Information,即可從所選操作中自動載入後設資料、命名空間與欄位。

圖 45. 載入後設資料的同時也載入了輸入欄位

圖 45 中的欄位就是 doGoogleSearch 需要提供給 Google 的實際參數,例如授權金鑰(key)、查詢關鍵字(q)以及許多其他設定參數。

輸出連接的設定方式與輸入類似——在它的 Output 頁「Output Message」分頁載入後設資料。但如稍前提到的限制,這裡要改用一個 XML Input stage 來處理應答中的重複元素,因此 Transformer 的輸出連接必須調整成輸出整份 SOAP 文件。圖 46 中,欄位「RS_XML」承載的就是一份完整、格式正確的 XML 應答。

圖 46. 客製化的「GoogleWST」stage 輸出欄位

步驟 3:設定 XML Input stage

設定方式與範例 2 步驟 2 相同,唯一的差別在於輸出連接的表定義並非來自匯入的 XML 表定義,而是來自 Web 服務輸出表定義 doGoogleSearch_OUT。該定義中有許多欄位,分別對應應答訊息中的每個資料元素。基於測試目的,本範例只取其中一部分:URL、摘要片段、標題、緩存大小、相關資訊是否存在、主機名稱,以及查詢關鍵字本身。

圖 47.「RS_parsing」XML Input stage 的輸出欄位

註:URL 欄位被設為「Key」,因為它能唯一區分每一筆搜尋命中結果。

步驟 4:建立 DB2 表並設定輸入/輸出資料庫 stage

建立一個簡單的查詢表 S_GOOGLE_Q(只含 id 與關鍵字欄位),以及一個結果表 S_GOOGLE_RS(含前面提到的所有應答欄位)。

清單 10. 查詢表與結果表的 DDL

CREATE TABLE S_GOOGLE_Q
(
  Q_ID    INTEGER
          GENERATED ALWAYS AS IDENTITY (START WITH 1, INCREMENT BY 1)
          PRIMARY KEY,
  KEYWord VARCHAR(255)
);

CREATE TABLE S_GOOGLE_RS
(
  R_ID                        INTEGER
                              GENERATED ALWAYS AS IDENTITY (START WITH 1, INCREMENT BY 1)
                              PRIMARY KEY,
  URL                         VARCHAR(255) NOT NULL,
  CACHEDSIZE                  VARCHAR(255) NOT NULL,
  HOSTNAME                    VARCHAR(255) NOT NULL,
  RELATEDINFORMATIONPRESENT   VARCHAR(255) NOT NULL,
  SNIPPET                     VARCHAR(255) NOT NULL,
  TITLE                       VARCHAR(255) NOT NULL,
  SEARCHQUERY                 VARCHAR(255) NOT NULL
);

為這兩個表各設一個 DB2 stage:「REQUESTS」與「RESULTS」。在「REQUESTS」中,欄位應涵蓋 doGoogleSearch 所需的所有欄位,並從 Web 服務表定義 doGoogleSearch_IN 載入表定義。

註:若某個 SQL 類型欄位顯示為「unknown」(圖 45),必須為它指定一個實際型別,例如 VarChar。

圖 48.「REQUEST」DB2 stage 的輸出欄位

在 SQL 分頁選擇 Enter custom SQL statement,輸入一個查詢以從 S_GOOGLE_Q 取出關鍵字,並一併補上 Web 服務操作所需的其他輸入參數(圖 49)。

圖 49. 用自訂 SQL 準備資料

必須用一個 Transformer 把「REQUEST」stage 接到「GoogleWST」stage;否則即使兩邊欄位名稱完全一致,任務也無法啟動。這大概是 Web 服務表定義中那些 Unknown SQL 類型造成的。

圖 50.「COL_mapping」Transformer 設定

接著設定「RESULTS」DB2 stage,這裡只需設定伺服器資訊並挑選目標表。XML Input stage「RS_parsing」的表定義欄位名(圖 41)與資料庫表完全一致,因此 DB2 stage 會依輸入欄位名稱自動產生插入語句。

步驟 5:編譯與執行

完成上述設定後即可編譯執行。但在呼叫線上服務之前,先在查詢表裡準備幾個關鍵字,例如「Beijing」、「space shuttle」與「iguana」三個(圖 51)。

圖 51. 成功完成 Google 搜尋

圖 51 中可以看到共有 30 筆記錄被寫入結果表——每個關鍵字各 10 筆。接著檢查 S_GOOGLE_RS 表,就能看見這些資料。

清單 11. 檢查 Google 回傳結果的 SQL

SELECT searchquery, url, hostname FROM S_GOOGLE_RS;

圖 52. 清單 11 中 SQL 的結果

附錄:用自訂訊息呼叫 Web 服務

有些時候輸入訊息相當複雜,或者訊息本體已經現成在手。這種情況下,用表資料當輸入未必是最佳解。

Web 服務 Transformer 支援自訂訊息,可以直接接收 XML 文件作為訊息本體,這提供了更大的彈性——你可以自行選擇準備請求訊息的方式,例如手寫一份訊息文件,或用第三方程式依資料庫內容產生複雜的 XML。

為了示範自訂訊息的用法,可以把範例 4 的任務稍作修改,改用 Folder stage 把 XML 檔(googleReq.xml)交給 Web 服務 Transformer。新任務見圖 53。

圖 53. 使用自訂訊息的 Web 服務任務

圖 54. Web 服務 Transformer stage 的自訂訊息設定

結語

XML 與 Web Services 套件是一組強大又順手的工具。本文透過四個範例,示範了如何依據 DB2 表發布 XML 文件、如何從 XML 文件萃取資料,以及如何呼叫 Web 服務,並附上關鍵流程與分析。

DataStage 還提供了許多其他有用的元件,而且允許以直觀的方式自由組合,構築出非常靈活的整合方案。在實務中,你一定能挖掘出更多關於 XML、Web 服務與其他 DataStage 元件的有趣用法。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved