DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁腳本 >  >> XML學習教程 >> XML詳解
用 Python 處理 XML:解析器、SAX、DOM 與 PyXML 完整指南(上)
編輯:XML詳解     

Python 是處理 XML 的理想語言之一。它像 Perl、REBOL、REXX、TCL 一樣是靈活的腳本語言,具備強大的文字操作能力;同時 Python 原生支援複雜資料結構(通常用類與屬性表達),而 XML 除了編碼純文字之外,往往還承載大量結構化資料。

文字處理裡常見的「讀幾行,用正則表達式比對」模式,套在 XML 上通常行不通。所幸 Python 不僅能直接操作複雜資料結構,還有大量 XML 相關模組可用於解析、處理與生成。

驗證式與非驗證式處理

理解 XML 處理的第一個分岔點:驗證(validating)與非驗證(non-validating)。

  • 驗證式:讀取 XML 前先讀 DTD 或 Schema,除了檢查 XML 本身的語法規則,還會驗證文件是否符合 DTD 定義的結構約束。
  • 非驗證式:只檢查 well-formed,不驗證結構。執行更快,也更适合程式內部使用——通常我們相信文件產生者遵守了約定。

下面介紹的模組多屬非驗證型;若有驗證選項,會特別註明。

資源來源

Python 的 XML 特殊興趣小組(XML-SIG)維護了大部分 Python XML 工具。該小組維護郵件列表、存檔、參考文件與標準套件。

其中最重要的是 PyXML 發行版,收錄了本文提到的多數模組、入門文件與範例程式。

今天的補充:PyXML 已停止維護,其功能大部分已被 Python 標準庫吸收。以下會標註每個模組的現況。

xml.parsers.expat(原 xmllib 的替代)

早期的 xmllib 模組是 Python 1.5 內附的低階非驗證解析器,用法是繼承 XMLParser 類別並覆寫處理文件元素的方法(如特定標籤、屬性、字元實體)。

現況:xmllib 已在 Python 2.0 時被移除,取而代之的是標準庫中的 xml.parsers.expat——它是 C 語言寫成的 expat 庫的封裝,速度遠快於純 Python 實作。

import xml.parsers.expat

class QuotationParser:
    """以 expat 提取 quotations 文件中的引文"""
    def __init__(self):
        self.thisquote = ''
        p = self.parser = xml.parsers.expat.ParserCreate()
        p.StartElementHandler = self.start_element
        p.EndElementHandler = self.end_element
        p.CharacterDataHandler = self.characters

    def start_element(self, name, attrs):
        if name == 'quotations':
            print('--- Begin Document ---')
        elif name == 'quotation':
            print('QUOTATION:')
        else:
            self.thisquote += '{'

    def end_element(self, name):
        if name == 'quotation':
            collapsed = ' '.join(self.thisquote[:230].split())
            print(f'{collapsed}... ({len(self.thisquote)} bytes)')
            self.thisquote = ''
        else:
            self.thisquote += '}'

    def characters(self, data):
        self.thisquote += data

if __name__ == '__main__':
    parser = QuotationParser()
    parser.parser.ParseFile(open("sample.xml", "rb"))
    parser.parser.Close()

expat 的運作模式是事件驅動:你註冊回呼函式,解析器在遇到對應語法時呼叫它。所有狀態累加(例如把文字片段組回完整字串)都由你自己負責。

其他解析器選項

  • pyexpat:GPL 風格的 C 語言 expat 庫封裝,非驗證型,速度快。
  • sgmlop:同樣是 C 語言實作的非驗證解析器,目標與 pyexpat 相近。
  • xmlproc:純 Python 實作,幾乎完整的驗證能力。在當年是 Python 唯一的驗證型選擇。現況:已停止維護,驗證需求請改用 lxml。

SAX:事件驅動的標準介面

如果決定使用 XML 的簡單 API(SAX),解析器的差異就交給框架處理了。SAX 的設計理念是:

「SAX(Simple API for XML)是 XML 解析器的通用介面。它讓應用程式作者能寫出與解析器無關的程式碼——可以把它想成 XML 世界的 JDBC。」
— Lars Marius Garshol

SAX 本質上是 XML 文件的順序處理器。用法與 expat 類似但更抽象:你定義一個 handler 類別並註冊給解析器。SAX 定義了四個介面:

  • DocumentHandler:文件結構事件(元素開始結束、文字)
  • DTDHandler:DTD 相關事件
  • EntityResolver:外部實體解析
  • ErrorHandler:錯誤與警告處理

實務上直接繼承 HandlerBase 最省事,因為它一次實作了全部四個介面。

import string
from xml.sax import saxlib, saxexts

class QuotationHandler(saxlib.HandlerBase):
    """以 SAX 提取 quotations 文件中的引文"""
    def __init__(self):
        self.in_quote = 0
        self.thisquote = ''

    def startDocument(self):
        print('--- Begin Document ---')

    def startElement(self, name, attrs):
        if name == 'quotation':
            print('QUOTATION:')
            self.in_quote = 1
        else:
            self.thisquote += '{'

    def endElement(self, name):
        if name == 'quotation':
            print(string.join(string.split(self.thisquote[:230])) + '...', end=' ')
            print(f'({len(self.thisquote)} bytes)')
            self.thisquote = ''
            self.in_quote = 0
        else:
            self.thisquote += '}'

    def characters(self, ch, start, length):
        if self.in_quote:
            self.thisquote += ch[start:start + length]

if __name__ == '__main__':
    parser = saxexts.XMLParserFactory.make_parser()
    handler = QuotationHandler()
    parser.setDocumentHandler(handler)
    parser.parseFile(open("sample.xml"))
    parser.close()

與 expat 版本相比有兩點差異值得注意:parseFile()/parse() 會處理整個資料流,你不必自己寫餵資料的迴圈;而 characters() 收到的資料量不固定,必須依傳入的 start 與 length 參數切片,不要假設 ch 就是完整的文字節點。

現代的 SAX 寫法:

import xml.sax class MyHandler(xml.sax.ContentHandler): def startElement(self, name, attrs): print(f"Start: {name}, attrs: {dict(attrs)}") def characters(self, content): if content.strip(): print(f"Text: {content}") def endElement(self, name): print(f"End: {name}") xml.sax.parse("sample.xml", MyHandler())

命名空間支援則改用 xml.sax.handler.feature_namespaces 特性開啟,並實作 startElementNS。

DOM:樹狀表示與可修改的文件模型

DOM(Document Object Model)把 XML 文件表示為一棵樹。這個模型與語言無關,Python 的實作建構在 SAX 之上。

結構是這樣的:最外層的文件實例是樹根,它只有一個子節點——頂層元素。該元素再有子節點表示內容與子元素,如此遞迴。規範定義的函式讓你能:

  • 任意遍歷樹結構
  • 讀取元素與屬性值
  • 插入、刪除、搬移節點
  • 把樹序列化回 XML 文字

DOM 的最大優勢是可修改性。你可以建立一棵 DOM 樹,透過新增節點與搬移子樹來修改它,然後輸出成新的 XML 文件。也可以從零組出一棵 DOM 樹再轉成 XML——這比直接把 <TAG1>...</TAG1> 字串寫進檔案靈活得多,因為不必自己處理跳脫與編碼。

from xml.dom import minidom

# 解析
doc = minidom.parse("sample.xml")

# 遍歷
for quotation in doc.getElementsByTagName("quotation"):
    text = "".join(
        node.data for node in quotation.childNodes
        if node.nodeType == node.TEXT_NODE
    )
    print(text.strip()[:80])

# 新增節點
new_el = doc.createElement("author")
new_el.appendChild(doc.createTextNode(" someone"))
doc.documentElement.appendChild(new_el)

# 輸出
pretty = doc.toprettyxml(indent="  ", encoding="utf-8")
with open("out.xml", "wb") as f:
    f.write(pretty)

pyxie:以行為導向的 XML 處理

pyxie 建構在 PyXML 之上,提供兩項能力:

  1. 把 XML 轉換成一種以行為基礎的 PYX 格式,更適合文字工具處理。
  2. 提供把 XML 當作可操作樹處理的方法。

PYX 格式是語言獨立的,其思路是讓 XML 能被 grep、sed、awk、Perl,或 Python 的 string、re 模組直接處理。對熟悉 shell 工具鏈的人來說,從 XML 轉到 PYX 能省下不少功夫。

pyxie 的樹操作概念與 DOM 相似。由於 DOM 是跨語言的標準,多數程式設計師在需要樹狀表示時會直接選 DOM。現況:pyxie 已停止維護。

xml.parsers.xmlproc(歷史參考)

這個名稱其實有點誤導——它是較早期的工具,用於檢查 XML 是否 well-formed 並驗證 DTD。額外的好處是它會放過某些 HTML 文件(即使缺少 XML 必需的閉合標籤)。

它的優點是簡單:從命令列執行時直接檢查 stdin 傳入的 XML,不必寫任何程式。

XML_OBJECTS

同樣建構在 SAX 之上,目的是把 XML 轉換成二維網格表示,以便存進關聯式資料庫。這個思路在今天通常用 ORM 或 dedicated 的 ETL 工具實作。

今天的標準選擇

上面這些模組多已走入歷史。Python 現在處理 XML 的實際選項收斂為三個:

xml.etree.ElementTree(標準庫,日常首選)

API 簡潔,同時支援解析、遍歷、修改與輸出,非驗證型。九成情境用它就夠。

import xml.etree.ElementTree as ET

tree = ET.parse("sample.xml")
root = tree.getroot()

for quotation in root.findall(".//quotation"):
    print("".join(quotation.itertext()).strip())

# 用 XPath 查詢
prices = root.findall(".//price[@currency='USD']")

# 建立新文件
new_root = ET.Element("library")
book = ET.SubElement(new_root, "book", {"id": "1"})
ET.SubElement(book, "title").text = "書名"
ET.ElementTree(new_root).write("out.xml", encoding="utf-8", xml_declaration=True)

lxml(功能最完整,需驗證時的首選)

包裝 libxml2 與 libxslt,效能接近 C 層級,且支援 XSD、DTD、Relax NG、Schematron 驗證與 XSLT 轉換。

from lxml import etree

# XSD 驗證
schema_doc = etree.parse("schema.xsd")
schema = etree.XMLSchema(schema_doc)

parser = etree.XMLParser(schema=schema)
try:
    tree = etree.parse("sample.xml", parser)
    print("驗證通過")
except etree.XMLSyntaxError as e:
    print(f"驗證失敗: {e}")

xmltodict / defusedxml(特定場景)

xmltodict 把 XML 直接轉成 Python dict,適合處理結構簡單的設定檔或 SOAP 回應。defusedxml 則是安全防護套件,用來阻擋 XXE(外部實體注入)與實體 expansion 攻擊。

安全提醒:Python 標準庫的 XML 模組對惡意建構的 XML 並不安全。處理不可信來源時,請務必改用 defusedxml,否則可能遭受 XXE 檔案讀取或 billion laughs 型的記憶體耗盡攻擊。這是近年真實發生過多次的漏洞類型。

下一步

下篇將深入 lxml.etree 的進階用法:XPath 的完整語法、命名空間處理、XSLT 轉換、串流式解析(iterparse)以處理超大檔案,以及與 JSON 之間的轉換策略。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved