DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁腳本 >  >> XML學習教程 >> XML詳解
跨部門遠端資料自動匯入的設計與實作:以 XML 為交換格式
編輯:XML詳解     

有個需求聽起來簡單,做起來卻處處是坑:A 部門的資料庫裡有一批會不定期更新的資料,B 部門需要定期取得這些變更並匯入自己的資料庫。難點在於——兩個部門的資料庫結構不同,彼此也不願意(或基於安全考量不能)直接開放資料庫連線。本文記錄這個案例的完整設計過程,包含為什麼最後選 XML 作為交換格式。

需求拆解

先把條件寫清楚:

  • 資料存放在 A 部門的資料庫,內容會不定期變更(以新增為主)。
  • 需要把變更定期、自動同步到 B 部門的資料庫。
  • 兩邊的資料庫結構不一致,不能直接共用。
  • 兩邊的資料庫彼此不互通。

最直覺的想法是「從 A 取出資料,寫進 B」。但仔細想,這句話裡藏著三個獨立的問題。

第一個問題:怎麼把資料從 A 拿出來

如果兩邊網路互通、防火牆允許、DBA 也同意,直接開一條資料庫連線當然最省事。但跨部門情境下這通常不可行——開放資料庫連接埠意味著把整個 DB 的存取面暴露出去,安全審查很難通過。

於是換個角度:在 A 部門架一個網站,把要提供的資料讀出來顯示在頁面上。對外只暴露一個 HTTP 端點、只吐出被允許公開的那幾個欄位,存取面小得多,也符合既有的網路安全政策。

第二個問題:怎麼解析這些資料

資料到了 B 部門手上,得先能解析,才能對應到 B 的資料表結構。這裡的關鍵決定是:頁面上要用什麼格式呈現資料?

HTML 是個誘人的選項——反正就是抓網頁。但 HTML 的問題是它的結構是為了「呈現」而設計的:表格有表頭列、有巢狀 table 排版、有樣式標籤混在內容之間。用 Regular Expression 或字串切割去挖資料,只要對方網頁改版一次,你的解析程式就全盤失效。這是典型的脆弱設計。

最後選了 XML,理由很直接:

  • 結構即語意。標籤名稱自己定義,代表什麼就是什麼,不掺入呈現資訊。
  • 標準解析器現成可用。.NET 的 XmlDocument / XmlReader、Java 的 DOM / SAX 都能直接吃,不必自己寫解析邏輯。
  • 結構驗證容易。雙方約定好格式後,可用 XSD 驗證收到的資料是否完整。
  • 好擴充。未來要加欄位,加一個屬性即可,舊的解析程式不會因此崩潰。

第三個問題:怎麼自動定期執行

答案是 Windows 服務。它常駐背景、不受使用者登入影響、可設定排程週期,正好符合「定期自動」的要求。服務的流程是:定時請求 A 部門的網址 → 取得 XML → 解析 → 寫入 B 的資料庫。

整體架構

把三個決定湊起來,方案就成形了:

  1. 在 A 部門架一個只讀的網站,把資料以 XML 格式輸出。
  2. 在 B 部門建一個 Windows 服務,定期抓取該 XML、解析成物件、寫入 B 的資料庫。
  3. 資料庫連線字串放在登錄檔(或設定檔),避免 DB 異動時要改程式重新編譯。

實作一:A 部門的 XML 輸出

這一頁沒有任何商業邏輯,就是查資料庫、拼字串、輸出。約定的格式如下,title 是欄位說明、value 是實際值:

<Entities>
  <Entity>
    <Item title="-name" value="***"/>
    <Item title="age"  value="***"/>
    <Item title="city" value="***"/>
  </Entity>
</Entities>

這裡要務實提醒一句:用字串拼接產生 XML 在教學範例中夠用,但正式環境請改用 XmlDocument 或 XDocument 建物件再序列化。原因是資料值只要出現 &、<、雙引號這類字元,手拼的結果就會變成非法 XML,而這種錯誤往往在資料進到 production 才爆發。用 XML API 建文件,轉義會自動處理好。

實作二:從網頁取得 XML

/// <summary>
/// 從頁面中獲得 XML 文件
/// </summary>
public class GetXMLDocFromWeb
{
    /// <summary>獲得 XML 文件</summary>
    public static XmlDocument LoadXMLDocument(string url)
    {
        StreamReader streamReader = GetWebContent(url);
        XmlDocument xdoc = new XmlDocument();
        xdoc.Load(streamReader);
        return xdoc;
    }

    private static StreamReader GetWebContent(string url)
    {
        // 宣告一個 HttpWebRequest 請求
        HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
        // 設定連線逾時時間
        request.Timeout = 300000;
        request.Headers.Set("Pragma", "no-cache");

        HttpWebResponse response = (HttpWebResponse)request.GetResponse();
        Stream streamReceive = response.GetResponseStream();
        Encoding encoding = Encoding.GetEncoding("utf-8");
        return new StreamReader(streamReceive, encoding);
    }
}

這個類別接收一個網址、回傳一份 XmlDocument。實務上有幾處該補強:用 using 區塊確保 response 與 stream 確實釋放;把 Timeout 從 300 秒調到合理值(五分鐘對一支定時服務而言太長,容易導致週期堆疊);加上非 200 狀態碼的處理,否則 404 或 500 頁面也會被當成 XML 硬塞給解析器。

實作三:解析成物件

從格式不難看出結構:多個 Entity、每個 Entity 有多個 Item、每個 Item 有 title 與 value。於是抽象出兩個類別:

/// <summary>要匯入的資料</summary>
public class EntityImport
{
    private List<ItemImport> _ItemList = new List<ItemImport>();

    /// <summary>匯入資料的詳細資訊</summary>
    public List<ItemImport> ItemList
    {
        get { return _ItemList; }
        set { _ItemList = value; }
    }
}

/// <summary>匯入資料的單一欄位</summary>
public class ItemImport
{
    public string Title { get; set; }   // 名稱
    public string Value { get; set; }   // 值
}

接著寫解析邏輯。這裡用 SelectSingleNode(rootNode) 帶入根節點名稱,讓解析方法能適應不同的根元素命名:

/// <summary>解析 XML 文件</summary>
public static List<EntityImport> ParseXmlDocument(XmlDocument xdoc, string rootNode)
{
    List<EntityImport> entityImportList = new List<EntityImport>();

    foreach (XmlNode xmlNode in xdoc.SelectSingleNode(rootNode).ChildNodes)
    {
        if (xmlNode == null) continue;

        EntityImport entityImport = new EntityImport();
        entityImportList.Add(entityImport);

        foreach (XmlNode node in xmlNode.ChildNodes)
        {
            if (node != null)
                entityImport.ItemList.Add(GetItemFromNode(node));
        }
    }
    return entityImportList;
}

private static ItemImport GetItemFromNode(XmlNode node)
{
    ItemImport item = new ItemImport();
    item.Title = GetStringFromAttribute(node, "title");
    item.Value = GetStringFromAttribute(node, "value");
    return item;
}

private static string GetStringFromAttribute(XmlNode node, string attributeName)
{
    if (node.Attributes[attributeName] == null)
        return string.Empty;
    return node.Attributes[attributeName].Value;
}

解析完就是一個 List,之後要遍历、要對應欄位、要做轉型別都很方便。若 XML 結構固定且簡單,其實用 XmlSerializer 直接反序列化到物件會更省事;這裡手寫解析的好處是對格式變動(例如多了裝飾性節點)容忍度較高。

實作四:取得資料庫連線

考慮到目標資料庫可能異動,把連線字串抽到登錄檔,換環境時不必改程式碼、不必重新編譯:

/// <summary>取得資料庫連線</summary>
public class GetDataBase
{
    private const string RegPath = @"SOFTWARE\Srims\Database";
    private const string ConnectionStringKey = "connectionString";

    public static Database GetNewDataBase()
    {
        string connectionString = GetConnectionString();
        return Database.New(connectionString);
    }

    private static string GetConnectionString()
    {
        return Registry.LocalMachine
                       .OpenSubKey(RegPath)
                       .GetValue(ConnectionStringKey)
                       .ToString();
    }
}

這裡要說清楚一個取捨。把連線字串(含帳號密碼)寫進登錄檔,其實是個有爭議的做法:登錄檔的 ACL 預設允許管理者與部分系統帳號讀取,明文密碼存在其中並不安全。更好的選擇依序是:Windows 整合式驗證、加密的 <connectionStrings> 設定區段(aspnet_regiis -pef)、或系統金鑰保護的 secrets store。
另外這段程式沒處理 OpenSubKey 回傳 null 的情形——路徑寫錯或機碼不存在時會直接 NullReferenceException。正式環境務必加上檢查與友善的錯誤訊息。

寫入目標資料庫

到了這一步,剩下的就是最傳統的部分:遍历 List、組 SQL 或呼叫 Stored Procedure、寫入 B 的資料庫。這裡唯一值得提的是冪等性——定時任務難免會重跑,若沒有主鍵或唯一索引保護,同一筆資料重複匯入就會產生重複記錄。建議的做法是:

  • 在目標表加上唯一約束,並用 MERGE / UPSERT 語法處理。
  • 在 XML 中帶入「最後修改時間」或版本號,服務端只處理比上次同步更新的資料。
  • 記錄每次執行的時間、筆數與失敗項目,方便排查。

總結

這個案例的技術核心其實只有兩件事:把資料取回來、把它解析成可用物件。這兩步做通,後面的寫入資料庫反而是最簡單的環節。

回頭看,最關鍵的決定不是任何一段程式碼,而是選 XML 作為交換格式。它讓跨部門、跨系統的資料流動有了穩定的契約:A 部門只要維持輸出格式,B 部門的解析程式就不必跟著改;反過來,若當初貪方便去挖 HTML 表格,日後任何一次網頁改版都會是一場災難。

如果今天重做一次,架構會有些不同——用 RESTful API 回傳 JSON 取代字串拼 XML,用工作排程器(如 Quartz.NET、Hangfire)取代自製 Windows 服務的計時器,用初三正規化(Third Normal Form)設計目標表並加上同步日誌。但「以穩定的結構化格式作為系統間契約」這個核心思路,二十年來沒有變過。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved