有個需求聽起來簡單,做起來卻處處是坑:A 部門的資料庫裡有一批會不定期更新的資料,B 部門需要定期取得這些變更並匯入自己的資料庫。難點在於——兩個部門的資料庫結構不同,彼此也不願意(或基於安全考量不能)直接開放資料庫連線。本文記錄這個案例的完整設計過程,包含為什麼最後選 XML 作為交換格式。
先把條件寫清楚:
最直覺的想法是「從 A 取出資料,寫進 B」。但仔細想,這句話裡藏著三個獨立的問題。
如果兩邊網路互通、防火牆允許、DBA 也同意,直接開一條資料庫連線當然最省事。但跨部門情境下這通常不可行——開放資料庫連接埠意味著把整個 DB 的存取面暴露出去,安全審查很難通過。
於是換個角度:在 A 部門架一個網站,把要提供的資料讀出來顯示在頁面上。對外只暴露一個 HTTP 端點、只吐出被允許公開的那幾個欄位,存取面小得多,也符合既有的網路安全政策。
資料到了 B 部門手上,得先能解析,才能對應到 B 的資料表結構。這裡的關鍵決定是:頁面上要用什麼格式呈現資料?
HTML 是個誘人的選項——反正就是抓網頁。但 HTML 的問題是它的結構是為了「呈現」而設計的:表格有表頭列、有巢狀 table 排版、有樣式標籤混在內容之間。用 Regular Expression 或字串切割去挖資料,只要對方網頁改版一次,你的解析程式就全盤失效。這是典型的脆弱設計。
最後選了 XML,理由很直接:
答案是 Windows 服務。它常駐背景、不受使用者登入影響、可設定排程週期,正好符合「定期自動」的要求。服務的流程是:定時請求 A 部門的網址 → 取得 XML → 解析 → 寫入 B 的資料庫。
把三個決定湊起來,方案就成形了:
這一頁沒有任何商業邏輯,就是查資料庫、拼字串、輸出。約定的格式如下,title 是欄位說明、value 是實際值:
<Entities>
<Entity>
<Item title="-name" value="***"/>
<Item title="age" value="***"/>
<Item title="city" value="***"/>
</Entity>
</Entities>
這裡要務實提醒一句:用字串拼接產生 XML 在教學範例中夠用,但正式環境請改用 XmlDocument 或 XDocument 建物件再序列化。原因是資料值只要出現 &、<、雙引號這類字元,手拼的結果就會變成非法 XML,而這種錯誤往往在資料進到 production 才爆發。用 XML API 建文件,轉義會自動處理好。
/// <summary>
/// 從頁面中獲得 XML 文件
/// </summary>
public class GetXMLDocFromWeb
{
/// <summary>獲得 XML 文件</summary>
public static XmlDocument LoadXMLDocument(string url)
{
StreamReader streamReader = GetWebContent(url);
XmlDocument xdoc = new XmlDocument();
xdoc.Load(streamReader);
return xdoc;
}
private static StreamReader GetWebContent(string url)
{
// 宣告一個 HttpWebRequest 請求
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
// 設定連線逾時時間
request.Timeout = 300000;
request.Headers.Set("Pragma", "no-cache");
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
Stream streamReceive = response.GetResponseStream();
Encoding encoding = Encoding.GetEncoding("utf-8");
return new StreamReader(streamReceive, encoding);
}
}
這個類別接收一個網址、回傳一份 XmlDocument。實務上有幾處該補強:用 using 區塊確保 response 與 stream 確實釋放;把 Timeout 從 300 秒調到合理值(五分鐘對一支定時服務而言太長,容易導致週期堆疊);加上非 200 狀態碼的處理,否則 404 或 500 頁面也會被當成 XML 硬塞給解析器。
從格式不難看出結構:多個 Entity、每個 Entity 有多個 Item、每個 Item 有 title 與 value。於是抽象出兩個類別:
/// <summary>要匯入的資料</summary>
public class EntityImport
{
private List<ItemImport> _ItemList = new List<ItemImport>();
/// <summary>匯入資料的詳細資訊</summary>
public List<ItemImport> ItemList
{
get { return _ItemList; }
set { _ItemList = value; }
}
}
/// <summary>匯入資料的單一欄位</summary>
public class ItemImport
{
public string Title { get; set; } // 名稱
public string Value { get; set; } // 值
}
接著寫解析邏輯。這裡用 SelectSingleNode(rootNode) 帶入根節點名稱,讓解析方法能適應不同的根元素命名:
/// <summary>解析 XML 文件</summary>
public static List<EntityImport> ParseXmlDocument(XmlDocument xdoc, string rootNode)
{
List<EntityImport> entityImportList = new List<EntityImport>();
foreach (XmlNode xmlNode in xdoc.SelectSingleNode(rootNode).ChildNodes)
{
if (xmlNode == null) continue;
EntityImport entityImport = new EntityImport();
entityImportList.Add(entityImport);
foreach (XmlNode node in xmlNode.ChildNodes)
{
if (node != null)
entityImport.ItemList.Add(GetItemFromNode(node));
}
}
return entityImportList;
}
private static ItemImport GetItemFromNode(XmlNode node)
{
ItemImport item = new ItemImport();
item.Title = GetStringFromAttribute(node, "title");
item.Value = GetStringFromAttribute(node, "value");
return item;
}
private static string GetStringFromAttribute(XmlNode node, string attributeName)
{
if (node.Attributes[attributeName] == null)
return string.Empty;
return node.Attributes[attributeName].Value;
}
解析完就是一個 List,之後要遍历、要對應欄位、要做轉型別都很方便。若 XML 結構固定且簡單,其實用 XmlSerializer 直接反序列化到物件會更省事;這裡手寫解析的好處是對格式變動(例如多了裝飾性節點)容忍度較高。
考慮到目標資料庫可能異動,把連線字串抽到登錄檔,換環境時不必改程式碼、不必重新編譯:
/// <summary>取得資料庫連線</summary>
public class GetDataBase
{
private const string RegPath = @"SOFTWARE\Srims\Database";
private const string ConnectionStringKey = "connectionString";
public static Database GetNewDataBase()
{
string connectionString = GetConnectionString();
return Database.New(connectionString);
}
private static string GetConnectionString()
{
return Registry.LocalMachine
.OpenSubKey(RegPath)
.GetValue(ConnectionStringKey)
.ToString();
}
}
這裡要說清楚一個取捨。把連線字串(含帳號密碼)寫進登錄檔,其實是個有爭議的做法:登錄檔的 ACL 預設允許管理者與部分系統帳號讀取,明文密碼存在其中並不安全。更好的選擇依序是:Windows 整合式驗證、加密的 <connectionStrings> 設定區段(aspnet_regiis -pef)、或系統金鑰保護的 secrets store。
另外這段程式沒處理 OpenSubKey 回傳 null 的情形——路徑寫錯或機碼不存在時會直接 NullReferenceException。正式環境務必加上檢查與友善的錯誤訊息。
到了這一步,剩下的就是最傳統的部分:遍历 List、組 SQL 或呼叫 Stored Procedure、寫入 B 的資料庫。這裡唯一值得提的是冪等性——定時任務難免會重跑,若沒有主鍵或唯一索引保護,同一筆資料重複匯入就會產生重複記錄。建議的做法是:
MERGE / UPSERT 語法處理。這個案例的技術核心其實只有兩件事:把資料取回來、把它解析成可用物件。這兩步做通,後面的寫入資料庫反而是最簡單的環節。
回頭看,最關鍵的決定不是任何一段程式碼,而是選 XML 作為交換格式。它讓跨部門、跨系統的資料流動有了穩定的契約:A 部門只要維持輸出格式,B 部門的解析程式就不必跟著改;反過來,若當初貪方便去挖 HTML 表格,日後任何一次網頁改版都會是一場災難。
如果今天重做一次,架構會有些不同——用 RESTful API 回傳 JSON 取代字串拼 XML,用工作排程器(如 Quartz.NET、Hangfire)取代自製 Windows 服務的計時器,用初三正規化(Third Normal Form)設計目標表並加上同步日誌。但「以穩定的結構化格式作為系統間契約」這個核心思路,二十年來沒有變過。