很长一段时间裡,我讀 XML 的方式只有一招:DataSet 的 ReadXml,其他屬性一概沒碰。資料量小的時候天下太平,直到某天要讀一個 20 MB 的 XML 串流,效率問題才赤裸裸地攤在眼前——慢到幾乎不能用。
ReadXml 預設使用 XmlReadMode.Auto。在這個模式下,由於 XML 檔裡並沒有內含結構描述(schema),DataSet 必須先推斷出整份 XML 的結構,然後才開始載入資料。對一個 20 MB 的串流做結構推斷,成本可想而知。
那換成別的模式呢?只要不是 Auto 也不是 InferSchema(後者同樣要根據資料推斷結構),行數雖然會隨之增加,但內容卻會被忽略掉——等於白讀一場。
思路其實很單純:既然推斷結構才是瓶頸,那就直接把結構描述餵給 DataSet(用 ReadXmlSchema),再把 XmlReadMode 設為 IgnoreSchema,讓它不要再自行推斷。
實測下來,處理時間從數分鐘降到數秒。
DataSet ds = new DataSet();
// 1. 先載入結構描述
using (StringReader sr = new StringReader(xxx))
{
ds.ReadXmlSchema(sr);
}
// 2. 關閉驗證/推斷期間的資料載入,減少事件與檢查開銷
ds.Tables[0].BeginLoadData();
// 3. 以 IgnoreSchema 快速灌入資料
using (StringReader sr = new StringReader(xxx))
{
ds.ReadXml(sr, XmlReadMode.IgnoreSchema);
}
ds.Tables[0].EndLoadData();
ReadXmlSchema:把結構描述的成本從「每次執行期推斷」變成「一次明確載入」,而且結構描述通常可以事先準備、甚至快取。XmlReadMode.IgnoreSchema:明確告訴 DataSet 不要對每個節點做結構推斷或驗證,直接依既有結構填入。BeginLoadData() / EndLoadData():這對是一對常被忽略的加速器。它會暫停驗證與事件通知,讓大量列寫入期間不必反覆觸發變更追蹤;只有在「只讀入、不做即時驗證」的批次載入場景才適合使用,用完務必成對呼叫 EndLoadData() 恢復正常狀態。這個技巧的前提是:你能取得對應的結構描述,且願意信任資料符合該結構。若 XML 來源不可控、結構經常變動,IgnoreSchema 反而可能讓不符預期的資料靜靜地落進錯誤的資料表,這時候該搭配的是明確的驗證與錯誤處理,而不是一味求快。
另外,若資料來源是超大檔案,與其用 StringReader 一次把內容塞進記憶體,不如直接對檔案流或 XmlReader 取用,並考慮分批處理,避免記憶體與 GC 壓力變成新的瓶頸。