有許多情境下,Python 是處理 XML 文件的理想語言。和 Perl、REBOL、REXX、TCL 一樣,它是靈活的腳本語言,具備強大的文字處理能力。而 XML 文件除了承載絕大多數的文字檔案內容之外,往往還編碼了相當複雜的資料結構。文字處理中常見的「讀幾行、丟給正則表達式比對」模式,通常無法妥善應對需要完整語法分析的 XML。所幸 Python 不僅天生就能處理複雜資料結構(通常透過類別與屬性),還有大量 XML 相關模組可以協助解析、處理與產生 XML。
關於 XML 有個基本觀念要先記住:文件可以用「驗證」或「非驗證」兩種方式處理。驗證處理在讀取 XML 之前必須先載入文件類型定義(DTD),除了套用 XML 本身的語法規則,還要檢查 DTD 定義的結構約束。大多數情況下,非驗證處理就足夠了,而且通常更快、更適合程式使用——我們相信文件的建立者遵守了自己定義的規則。本文介紹的模組大多屬於非驗證型;若有驗證選項,我會特別指出。
要尋找 Python 資源,Central Vaults of Parnassus 已經成為標準入口,本文提到的模組幾乎都能在那裡找到。特別是 PyXML 發行版,同時提供 tar 檔與 Win32 安裝程式。
XML-SIG 的成員承担了 Python XML 工具鏈中大部分——甚至全部——的維護工作。和其他 Python SIG 一樣,XML-SIG 維護郵件論壇、討論存檔、參考文件、標準套件與其他資源。讀完本文的概覽之後,建議直接從 XML-SIG 的網站往下深入。
XML-SIG 維護的 PyXML 發行版收錄了本文將提到的多數模組,還附上入門文件、示範程式以及其他被選進發行版的內容。個別套件的獨立版本可能比發行版內的新,但先從 PyXML 開始是個好主意;之後隨時可以補上缺少的模組或更新版本。
Python 1.5.x 雖然沒有把 XML 工具放進標準發行版,卻已經內建模組 xmllib。它是一個非驗證的低階語法分析器,用法是覆寫 XMLParser 類別,並為文件中的各類元素(標籤、實體參照、字元參照等)提供對應的處理方法。
PyXML 發行版附帶了名為 quotations.dtd 的 DTD 以及對應的 sample.xml。以下程式會印出文件中每段引言的前幾行,並為未知的標籤與實體產生簡單的 ASCII 標記。被分析的文字是以連續串流的方式傳入的,任何累加的工作(例如把 #PCDATA 字串拼接起來、或收集遇到的標籤清單)都要由程式設計者自行負責。
#-------------------- try_xmllib.py --------------------#
import xmllib, string
class QuotationParser(xmllib.XMLParser):
"""以 xmllib 簡陋擷取 quotations.dtd 文件"""
def __init__(self):
xmllib.XMLParser.__init__(self)
self.thisquote = '' # 引言累加器
def handle_data(self, data):
self.thisquote = self.thisquote + data
def syntax_error(self, message):
pass
def start_quotations(self, attrs):
print '--- Begin Document ---'
def start_quotation(self, attrs):
print 'QUOTATION:'
def end_quotation(self):
print string.join(string.split(self.thisquote[:230])) + '...',
print '(' + str(len(self.thisquote)) + ' bytes)'
self.thisquote = ''
def unknown_starttag(self, tag, attrs):
self.thisquote = self.thisquote + '{'
def unknown_endtag(self, tag):
self.thisquote = self.thisquote + '}'
def unknown_charref(self, ref):
self.thisquote = self.thisquote + '?'
def unknown_entityref(self, ref):
self.thisquote = self.thisquote + '#'
if __name__ == '__main__':
parser = QuotationParser()
for c in open("sample.xml").read():
parser.feed(c)
parser.close()
PyXML 發行版另外收錄了幾個功能各異的解析模組,作為對 xmllib 的補強。
pyexpat 是 GPL 授權的 C 語言 XML 解析工具箱 expat 的封裝。因為底層是 C,所以任何能呼叫它的語言都能受益;它是非驗證型,速度遠快於原本的 Python 解析器。sgmlop 的目標與 pyexpat 類似,同樣是非驗證型、同樣以 C 撰寫。pyexpat 有 MacOS 的執行檔可用,sgmlop 則提供 Win32 版本;若要在其他平台使用,就得自行用 C 編譯器建置。
xmlproc 是 Python 自家的解析器,幾乎支援完整的驗證功能。如果你需要驗證型解析器,xmlproc 是目前 Python 唯一的選擇,同時也提供其他解析器沒有的進階與測試介面。
如果你決定採用 SAX(XML 的簡易 API)——處理較複雜的任務時應該用它,因為多數工具都建立在它之上——那麼解析器的選用問題多半會自動解決。PyXML 的 xml.sax.drivers 收錄了許多解析器的薄封裝,命名形式是 drv_*.py。不過一般做法是透過高階 SAX 設施存取,由它自動挑選系統上「最佳」的可用解析器:
#------------- 選擇最佳解析器 ---------------# from xml.sax.saxext import * parser = XMLParserFactory.make_parser()
SAX 是什麼?一個不錯的定義是:
「SAX(Simple API for XML)是 XML 解析器的通用介面。它讓應用程式作者在撰寫使用 XML 解析器的程式時,不必依賴特定的解析器實作。(可以把它想成 XML 界的 JDBC。)」
— Lars Marius Garshol, SAX for Python
SAX 基本上是一個 XML 文件的循序處理器,用法與 xmllib 範例極為相似,只是抽象層更高。你定義一個 handler 類別並向解析器註冊,需要實作的四個介面分別是 DocumentHandler、DTDHandler、EntityResolver 與 ErrorHandler。這些介面都有基類可用,而最省事的做法是繼承 HandlerBase,因為它一次繼承了全部四個介面。以下程式完成的工作與 xmllib 範例完全相同:
#--------------------- try_sax.py ----------------------#
import string
from xml.sax import saxlib, saxexts
class QuotationHandler(saxlib.HandlerBase):
"""以 SAX 簡陋擷取 quotations.dtd 文件"""
def __init__(self):
self.in_quote = 0
self.thisquote = ''
def startDocument(self):
print '--- Begin Document ---'
def startElement(self, name, attrs):
if name == 'quotation':
print 'QUOTATION:'
self.in_quote = 1
else:
self.thisquote = self.thisquote + '{'
def endElement(self, name):
if name == 'quotation':
print string.join(string.split(self.thisquote[:230])) + '...',
print '(' + str(len(self.thisquote)) + ' bytes)'
self.thisquote = ''
self.in_quote = 0
else:
self.thisquote = self.thisquote + '}'
def characters(self, ch, start, length):
if self.in_quote:
self.thisquote = self.thisquote + ch[start:start + length]
if __name__ == '__main__':
parser = saxexts.XMLParserFactory.make_parser()
handler = QuotationHandler()
parser.setDocumentHandler(handler)
parser.parseFile(open("sample.xml"))
parser.close()
和 xmllib 相比,有兩點值得注意:parseFile()/parse() 會一次處理整個串流或字串,所以不必自己寫餵資料的迴圈;另外傳給 characters() 的資料量並不固定,參數會告訴你資料的長度與位置,因此不要假設 ch 會以什麼形式送進來。
DOM 是 XML 文件的高階樹狀表示。這個模型並非 Python 專屬,而是一種通用的 XML 模型。Python 的 DOM 套件建構在 SAX 之上,並包含在 PyXML 發行版中。由於篇幅所限這裡不放程式碼,但 XML-SIG 的「Python/XML HOWTO」有一份很好的整體說明。
「文件物件模型」為 XML 文件指定了樹狀表示:最上層的文件實例是樹的根,它只有一個子節點,也就是最上層元素;這個元素再有代表內容與子元素的子節點,並可繼續往下延伸。定義好的函式讓你可以自由走訪整棵樹、讀取元素與屬性值、插入或刪除節點,以及把樹轉回 XML。
DOM 也適合用來修改 XML 文件:建立一棵 DOM 樹,透過新增節點與搬移子樹來改變它,最後輸出成新的 XML 文件。你也可以完全從零組出一棵 DOM 樹再轉成 XML——這種產生 XML 的方式,比直接把 <TAG1>...</TAG1> 寫進檔案靈活得多。
pyxie 建構在 PyXML 發行版之上,為 XML 文件提供額外的高階介面,主要做兩件事:把 XML 文件轉換成更易於解析的「以行為基礎」的格式,以及提供把 XML 文件當作可操作樹狀結構處理的方法。
它採用的 PYX 行式格式是語言中立的,工具已經橫跨多種語言。一般來說,文件的 PYX 表示比 XML 表示更容易用 grep、sed、awk、bash、perl,或 Python 標準模組如 string、re 這類以行為單位的文字工具處理。因此,從 XML 轉到 PYX 往往能省下大量功夫。
pyxie 的樹狀處理概念與 DOM 類似。由於 DOM 標準已被許多語言廣泛支持,如果任務確實需要樹狀表示,多數程式設計者仍會選擇 DOM 而非 pyxie。
「XML 解析器」這個名字其實有點籠統,它指的是一項較早期的工具,用來檢查 XML 文件是否well-formed、結構是否完整(但不檢查 DTD 是否有效)。附帶的實用程式在檢查時有點小脾氣,它會讓 HTML 文件通過檢查,即使那些文件缺少 XML 要求的結束標籤。這個模組的適用範圍不如 PyXML 的其他模組全面,但如果你只想驗證幾份 XML 文件,設定與執行都很簡單。從命令列執行時,它會直接檢查 STDIN 上的 XML 文件,甚至不需要寫程式——這是最省事的做法。
和其他高階工具一樣,xml_objects 建構在 SAX 之上。它的目標是把 XML 文件轉換成二維網格表示,讓資料更容易存進關聯式資料庫。
下一期「Charming Python」專欄,我們會深入 xml.dom 模組——它很可能是 Python 程式設計者用來處理 XML 文件最強而有力的工具。