XMLStarlet 是一套開放原始碼的 XML 工具箱,可在 UNIX、Mac OS X 與 Windows 的命令列中使用。它能驗證、格式化、篩選、以 XSLT 轉換甚至直接編輯 XML——也就是說,你不必寫 Perl 或 Java 程式,就能在 shell 腳本裡加入完整的 XML 處理能力。本文作者 Jack Herrington 帶你快速上手。
XMLStarlet 需要 libxml2 與 libxslt2。Windows 使用者不必另外安裝這兩個函式庫,Win32 包已內含;下載可執行檔放到 PATH 中的任一位置即可。在 UNIX 上若尚未安裝,請先自行下載編譯。
接著到 XMLStarlet 首頁下載最新版本,依序執行:
./configure make install
若你不是超級使用者,請改用 sudo make install 安裝到系統目錄。另外建議抽空瀏覽 XML、XSLT 與 XPath 三份規範——要把這個工具用得好,這三者的觀念是關鍵。
不帶參數執行 xml 就會看到說明頁,可用命令包括:
ed (edit) 編輯/更新 XML 文件 sel (select) 以 XPath 等語法查詢、擷取資料 tr (transform) 以 XSLT 轉換 val (validate) 驗證(well-formed / DTD / XSD / RelaxNG) fo (format) 格式化 el (elements) 顯示元素結構 c14n 標準化(canonicalization) ls (list) 將目錄列成 XML esc / unesc 跳脫/還原 XML 特殊字元 pyx / p2x 與 PYX 格式互轉
所有命令的通用形式為 xml <command> [options],查詢單一命令的用法則是 xml <command> --help。例如 xml ed --help 會列出編輯命令可用的 action:
-d / --delete <xpath> 刪除節點 -i / --insert <xpath> 插入 -a / --append <xpath> 附加 -s / --subnode <xpath> 加成子節點 -m / --move <xpath1> <xpath2> 搬移 -r / --rename <xpath> -v <名稱> 重新命名 -u / --update <xpath> -v <值> 更新值
搭配的 -t 可指定型別為 elem、text 或 attr。看起來撲朔,實際最常用的就是刪除、插入與改值這幾個。
第一個實用命令是 xml ls,它把當前目錄以 XML 輸出:
% xml ls <xml> <d p="rwxr-xr-x" a="2005.05.04 23:03:46" m="2004.03.24 16:21:02" s="374" n="."/> <f p="rw-r--r--" a="2005.03.24 17:53:52" m="2004.03.24 00:41:46" s="173" n="build.xml"/> <f p="rw-r--r--" a="2005.03.24 17:53:52" m="2004.03.21 18:41:58" s="641" n="input.xml"/> <d p="rwxr-xr-x" a="2005.04.30 11:34:25" m="2004.03.24 00:20:07" s="272" n="output"/> </xml>
資訊太多?用管線把輸出餵給編輯命令,刪掉所有 d(目錄)節點:
% xml ls | xml ed -d "//d" <?xml version="1.0"?> <xml> <f p="rw-r--r--" ... s="173" n="build.xml"/> <f p="rw-r--r--" ... s="641" n="input.xml"/> </xml>
XPath 表達式 //d 會匹配任意層級的 d 節點;若想更精確,寫成 /xml/d。同理可以一口氣砍掉 p、a、m 屬性:
% xml ls | xml ed -d "//d" -d "//@a" -d "//@m" -d "//@p"
再用 rename 把 f 標籤改成 file、把 s 與 n 屬性改成 size 與 name,可讀性立刻不同:
% cat ls.xml | xml ed -r "//f" -v "file" \
-r "//@s" -v "size" \
-r "//@n" -v "name"
<?xml version="1.0"?>
<xml>
<file size="6148" name=".DS_Store"/>
<file size="173" name="build.xml"/>
<file size="641" name="input.xml"/>
</xml>
走到這一步,你還沒寫過一行 XSLT、Perl 或 Java。
% xml val ls2.xml ls2.xml - valid
這只代表它是「格式良好的」——標籤配對、字元編碼正確。但標籤與屬性是否符合預期結構,需要靠模式(schema)來檢查。以下是一份簡短的 RELAX NG 模式:
<?xml version="1.0" encoding="UTF-8"?>
<grammar xmlns="https://relaxng.org/ns/structure/1.0"
datatypeLibrary="https://www.w3.org/2001/XMLSchema-datatypes">
<start>
<element name="xml">
<oneOrMore>
<element name="file">
<attribute name="name"><data type="NMTOKEN"/></attribute>
<attribute name="size"><data type="integer"/></attribute>
</element>
</oneOrMore>
</element>
</start>
</grammar>
RELAX NG 的寫法相當直覺:最外層 element 定義根標籤,內部 oneOrMore 表示可以出現一個以上的 file 元素,每個 file 必須具備 name 與 size 兩個屬性。
% xml val -e -r ls.rng ls2.xml ls2.xml - valid
反過來說,若不小心在 file 節點多塞了一個屬性,驗證就會失敗並指出行號與原因:
% xml val -e -r ls.rng ls3.xml ls3.xml:4: element file: Relax-NG validity error : Invalid attribute someAttribute for element file ls3.xml - invalid
把檔案清單撈成純文字:
% xml sel -t -m "/xml/file" -v "concat(@name,' ')" ls2.xml .DS_Store build.xml input.xml main.xsl
-m 指定要遍歷的節點路徑,-v 則是輸出用的值;這裡用 concat 把 name 屬性與換行字元串起來。
加上 -s 就能排序。A:N:- 表示依數值遞增排序:
% xml sel -t -m "/xml/file" -s A:N:- "@size" \
-v "concat(@name,':',@size,' ')" ls2.xml
build.xml:173
Makefile:184
input.xml:641
main.xsl:3587
MyGenerator.class:3869
MyGenerator.java:5265
.DS_Store:6148
把 curl 與 XMLStarlet 串起來,就能直接從 RSS 饋送中撈出你要的欄位。以下用 Yahoo! Maps 的路況 RSS 為例:
% curl -g "https://maps.yahoo.com/traffic.rss?csz=94101" -s \ | xml sel -t -m "/rss/channel/item/description" -v "." Traffic Collision, Severity: Major, Started: 04:20pm 05/06/05, Estimated End: 04:50pm 05/06/05, Last Updated: 04:25pm 05/06/05 Disabled Vehicle, Severity: Moderate, Started: 04:20pm 05/06/05, ... Pedestrian On The Roadway, Severity: Critical, ...
-m 從每個 item 中取出 description,-v 用句點(.)輸出該節點的文字內容。把同樣的手法換成天氣、新聞或自家系統輸出的 XML,邏輯完全通用。
本文只涵蓋了 XMLStarlet 的一小部分能力。有時間不妨再試試它的 XSLT 轉換(tr)、跳脫與還原(esc/unesc)以及格式化(fo)功能——對於需要處理大量 XML 的維運與 ETL 工作,這些命令能省下大量時間。