Python 是處理 XML 的理想語言之一。它像 Perl、REBOL、REXX、TCL 一樣是靈活的腳本語言,具備強大的文字操作能力;同時 Python 原生支援複雜資料結構(通常用類與屬性表達),而 XML 除了編碼純文字之外,往往還承載大量結構化資料。
文字處理裡常見的「讀幾行,用正則表達式比對」模式,套在 XML 上通常行不通。所幸 Python 不僅能直接操作複雜資料結構,還有大量 XML 相關模組可用於解析、處理與生成。
理解 XML 處理的第一個分岔點:驗證(validating)與非驗證(non-validating)。
下面介紹的模組多屬非驗證型;若有驗證選項,會特別註明。
Python 的 XML 特殊興趣小組(XML-SIG)維護了大部分 Python XML 工具。該小組維護郵件列表、存檔、參考文件與標準套件。
其中最重要的是 PyXML 發行版,收錄了本文提到的多數模組、入門文件與範例程式。
今天的補充:PyXML 已停止維護,其功能大部分已被 Python 標準庫吸收。以下會標註每個模組的現況。
早期的 xmllib 模組是 Python 1.5 內附的低階非驗證解析器,用法是繼承 XMLParser 類別並覆寫處理文件元素的方法(如特定標籤、屬性、字元實體)。
現況:xmllib 已在 Python 2.0 時被移除,取而代之的是標準庫中的 xml.parsers.expat——它是 C 語言寫成的 expat 庫的封裝,速度遠快於純 Python 實作。
import xml.parsers.expat
class QuotationParser:
"""以 expat 提取 quotations 文件中的引文"""
def __init__(self):
self.thisquote = ''
p = self.parser = xml.parsers.expat.ParserCreate()
p.StartElementHandler = self.start_element
p.EndElementHandler = self.end_element
p.CharacterDataHandler = self.characters
def start_element(self, name, attrs):
if name == 'quotations':
print('--- Begin Document ---')
elif name == 'quotation':
print('QUOTATION:')
else:
self.thisquote += '{'
def end_element(self, name):
if name == 'quotation':
collapsed = ' '.join(self.thisquote[:230].split())
print(f'{collapsed}... ({len(self.thisquote)} bytes)')
self.thisquote = ''
else:
self.thisquote += '}'
def characters(self, data):
self.thisquote += data
if __name__ == '__main__':
parser = QuotationParser()
parser.parser.ParseFile(open("sample.xml", "rb"))
parser.parser.Close()
expat 的運作模式是事件驅動:你註冊回呼函式,解析器在遇到對應語法時呼叫它。所有狀態累加(例如把文字片段組回完整字串)都由你自己負責。
lxml。如果決定使用 XML 的簡單 API(SAX),解析器的差異就交給框架處理了。SAX 的設計理念是:
「SAX(Simple API for XML)是 XML 解析器的通用介面。它讓應用程式作者能寫出與解析器無關的程式碼——可以把它想成 XML 世界的 JDBC。」
— Lars Marius Garshol
SAX 本質上是 XML 文件的順序處理器。用法與 expat 類似但更抽象:你定義一個 handler 類別並註冊給解析器。SAX 定義了四個介面:
DocumentHandler:文件結構事件(元素開始結束、文字)DTDHandler:DTD 相關事件EntityResolver:外部實體解析ErrorHandler:錯誤與警告處理實務上直接繼承 HandlerBase 最省事,因為它一次實作了全部四個介面。
import string
from xml.sax import saxlib, saxexts
class QuotationHandler(saxlib.HandlerBase):
"""以 SAX 提取 quotations 文件中的引文"""
def __init__(self):
self.in_quote = 0
self.thisquote = ''
def startDocument(self):
print('--- Begin Document ---')
def startElement(self, name, attrs):
if name == 'quotation':
print('QUOTATION:')
self.in_quote = 1
else:
self.thisquote += '{'
def endElement(self, name):
if name == 'quotation':
print(string.join(string.split(self.thisquote[:230])) + '...', end=' ')
print(f'({len(self.thisquote)} bytes)')
self.thisquote = ''
self.in_quote = 0
else:
self.thisquote += '}'
def characters(self, ch, start, length):
if self.in_quote:
self.thisquote += ch[start:start + length]
if __name__ == '__main__':
parser = saxexts.XMLParserFactory.make_parser()
handler = QuotationHandler()
parser.setDocumentHandler(handler)
parser.parseFile(open("sample.xml"))
parser.close()
與 expat 版本相比有兩點差異值得注意:parseFile()/parse() 會處理整個資料流,你不必自己寫餵資料的迴圈;而 characters() 收到的資料量不固定,必須依傳入的 start 與 length 參數切片,不要假設 ch 就是完整的文字節點。
現代的 SAX 寫法:
命名空間支援則改用 xml.sax.handler.feature_namespaces 特性開啟,並實作 startElementNS。
DOM(Document Object Model)把 XML 文件表示為一棵樹。這個模型與語言無關,Python 的實作建構在 SAX 之上。
結構是這樣的:最外層的文件實例是樹根,它只有一個子節點——頂層元素。該元素再有子節點表示內容與子元素,如此遞迴。規範定義的函式讓你能:
DOM 的最大優勢是可修改性。你可以建立一棵 DOM 樹,透過新增節點與搬移子樹來修改它,然後輸出成新的 XML 文件。也可以從零組出一棵 DOM 樹再轉成 XML——這比直接把 <TAG1>...</TAG1> 字串寫進檔案靈活得多,因為不必自己處理跳脫與編碼。
from xml.dom import minidom
# 解析
doc = minidom.parse("sample.xml")
# 遍歷
for quotation in doc.getElementsByTagName("quotation"):
text = "".join(
node.data for node in quotation.childNodes
if node.nodeType == node.TEXT_NODE
)
print(text.strip()[:80])
# 新增節點
new_el = doc.createElement("author")
new_el.appendChild(doc.createTextNode(" someone"))
doc.documentElement.appendChild(new_el)
# 輸出
pretty = doc.toprettyxml(indent=" ", encoding="utf-8")
with open("out.xml", "wb") as f:
f.write(pretty)
pyxie 建構在 PyXML 之上,提供兩項能力:
PYX 格式是語言獨立的,其思路是讓 XML 能被 grep、sed、awk、Perl,或 Python 的 string、re 模組直接處理。對熟悉 shell 工具鏈的人來說,從 XML 轉到 PYX 能省下不少功夫。
pyxie 的樹操作概念與 DOM 相似。由於 DOM 是跨語言的標準,多數程式設計師在需要樹狀表示時會直接選 DOM。現況:pyxie 已停止維護。
這個名稱其實有點誤導——它是較早期的工具,用於檢查 XML 是否 well-formed 並驗證 DTD。額外的好處是它會放過某些 HTML 文件(即使缺少 XML 必需的閉合標籤)。
它的優點是簡單:從命令列執行時直接檢查 stdin 傳入的 XML,不必寫任何程式。
同樣建構在 SAX 之上,目的是把 XML 轉換成二維網格表示,以便存進關聯式資料庫。這個思路在今天通常用 ORM 或 dedicated 的 ETL 工具實作。
上面這些模組多已走入歷史。Python 現在處理 XML 的實際選項收斂為三個:
API 簡潔,同時支援解析、遍歷、修改與輸出,非驗證型。九成情境用它就夠。
import xml.etree.ElementTree as ET
tree = ET.parse("sample.xml")
root = tree.getroot()
for quotation in root.findall(".//quotation"):
print("".join(quotation.itertext()).strip())
# 用 XPath 查詢
prices = root.findall(".//price[@currency='USD']")
# 建立新文件
new_root = ET.Element("library")
book = ET.SubElement(new_root, "book", {"id": "1"})
ET.SubElement(book, "title").text = "書名"
ET.ElementTree(new_root).write("out.xml", encoding="utf-8", xml_declaration=True)
包裝 libxml2 與 libxslt,效能接近 C 層級,且支援 XSD、DTD、Relax NG、Schematron 驗證與 XSLT 轉換。
from lxml import etree
# XSD 驗證
schema_doc = etree.parse("schema.xsd")
schema = etree.XMLSchema(schema_doc)
parser = etree.XMLParser(schema=schema)
try:
tree = etree.parse("sample.xml", parser)
print("驗證通過")
except etree.XMLSyntaxError as e:
print(f"驗證失敗: {e}")
xmltodict 把 XML 直接轉成 Python dict,適合處理結構簡單的設定檔或 SOAP 回應。defusedxml 則是安全防護套件,用來阻擋 XXE(外部實體注入)與實體 expansion 攻擊。
安全提醒:Python 標準庫的 XML 模組對惡意建構的 XML 並不安全。處理不可信來源時,請務必改用 defusedxml,否則可能遭受 XXE 檔案讀取或 billion laughs 型的記憶體耗盡攻擊。這是近年真實發生過多次的漏洞類型。
下篇將深入 lxml.etree 的進階用法:XPath 的完整語法、命名空間處理、XSLT 轉換、串流式解析(iterparse)以處理超大檔案,以及與 JSON 之間的轉換策略。