很多人問過同一個問題:為什麼我的 XML 檔換個平台就讀不來?通常狀況是這樣——你建好文件、貼上資料、加上 <?XML version="1.0"?> 宣告,然後載入時 MSXML 卻跳出莫名的錯誤。對剛接觸 XML 的人來說相當挫折。
問題幾乎都不是 XML 本身,而是字元編碼:接收資料的平台以不同於發送端的方式解讀同一串位元組。
自從電腦界開始設法把兩台機器連在一起,跨平台技術與資料共享就是長期目標。隨著機器種類、連線方式與共享資料型別急遽增加,事情越來越複雜。幾十年研究下來,唯一真正可靠的跨平台方案,是透過簡單的標準資料格式——Web 的成功正建立在這上面:伺服器與瀏覽器之間傳遞的主要是 HTTP 標頭與 HTML 頁,兩者都是標準的文字格式。
標準文字格式建立在標準字元集之上。關鍵觀念是:電腦把文字存成數字,但不同系統可能用不同的數字代表同一個字。以下兩組位元組在 Windows(code page 1252)與 Macintosh(Macintosh Roman)上的意義完全不同:
位元組 Windows Macintosh
140 Œ å
229 å Â
231 ç Á
232 è &EUML;
233 é È
如果你祖母用 Mac 在網路書店下單,輸入瑞典老家地址時輸入 å(在她機器上位元組值是 140),她不會想到接收訂單的 Windows 伺服器會把 140 解讀成 Œ。
Unicode Consortium 的想法很直接:用雙位元組表示每個字元,定義一個涵蓋全世界語言的通用碼頁,映射問題就消失了。
那為什麼它沒有成為唯一標準?兩個原因。第一,轉換到 Unicode 往往代表所有檔案大小加倍,在網路上難以接受,所以 ISO-8859-1 到 ISO-8859-15、Shift-JIS、EUC-KR 等單位元組字元集仍在使用。第二,網路上仍存在大量非 Unicode 系統,某些組成 Unicode 字的位元組值會讓舊系統出錯。
因此定義了「Unicode 轉換格式(UTF)」:用位元轉換技術把 Unicode 字元編碼成在舊系統上「安全通過」的位元組值。最普及的是 UTF-8——它直接沿用 Unicode 前 127 個字元(基本拉丁字母 A-Z、a-z、0-9 與少數標點)對應到單一值,其餘則用高位元編碼。結果是瑞典小字 å(0xE5)會變成兩個位元組的 Ã¥(0xC3 0xA5)。除非你能在腦中做位元轉換,否則 UTF-8 編碼的資料人眼是讀不懂的。
既然舊單位元組字元集還在用,唯有明確指定實際字元集,傳輸問題才能解決。電子郵件與 HTTP 協議小組因此定義了標準做法:在 Content-Type 標頭中指定字元集,名稱取自 IANA 註冊的字元集清單。
HTTP/1.1 200 OK
Content-Length: 15327
Content-Type: text/Html; charset=ISO-8859-1;
Server: Microsoft-IIS/5.0
Content-Location: https://www.microsoft.com/Default.htm
Date: Wed, 08 Dec 1999 00:55:26 GMT
Last-Modified: Mon, 06 Dec 1999 22:56:30 GMT
這組標頭告訴應用程式:後續內容屬於 ISO-8859-1 字元集。
Content-Type 是選填項,有些應用程式會把 HTTP 標頭資訊丟掉只留 HTML 本體。為補救這點,HTML 標準定義了可選的元標記,讓 HTML 文件自我描述:
<META HTTP-EQUIV="Content-Type" CONTENT="text/Html; charset=ISO-8859-1">
這時 ISO-8859-1 就說明了在此頁中,位元組值 229 代表 å。遺憾的是,正因為它是選填的,錯誤也就有了可乘之機。
並非所有系統都支援所有註冊字元集——例如 EBCDIC 這種 IBM 主機字元集,多數平台並不支援。作為替代,HTML 允許用 Unicode 碼位直接編碼單一字元,這些字元實體在解析時脫離字元集獨立處理,語法是 å 或 å。
XML 借用了上述概念並更進一步,定義了一套完全明確的演算法。字元編碼由 XML 宣告中可選的 encoding 屬性定義,預設判定為:
若檔案以 Unicode 位元組順序標記 [0xFF 0xFE] 或 [0xFE 0xFF] 開頭,視為 UTF-16;否則視為 UTF-8。
以下都是正確且等效的 XML 文件:
字元集/編碼 HTTP 標頭 XML 文件
ISO-8859-1 Content-Type: text/xml; charset=ISO-8859-1; <test>å</test>
UTF-8 Content-Type: text/xml; <test>Ã¥</test>
ISO-8859-1 Content-Type: text/xml; <?XML version="1.0" encoding="ISO-8859-1"?><test>å</test>
UTF-8(字元實體) Content-Type: text/xml; <test>å</test>
UTF-16(含 BOM) ff fe 3c 00 74 00 65 00 73 00 74 00 3e 00 e5 00 ...
載入 XML DOM 文件的兩個主要方法是 LoadXML 與 Load,兩者對編碼的處理不同。
LoadXML 一律採用 Unicode BSTR(UCS-2/UTF-16)編碼。若傳入非有效的 Unicode BSTR,載入就會失敗。
Load 可接受三種 VARIANT:BSTR(視為 URL)、VT_ARRAY/VT_UI1(含原始編碼位元組的 SAFEARRAY)、以及 IUnknown(DOM 會對 IStream、IPersistStream、IPersistStreamInit 呼叫 QueryInterface)。
Load 的判定順序是:
「在文字內容中發現了一個無效字元。」
通常代表文件中的字元與宣告的編碼不符。ParseError 物件會告訴你這個搗亂字元的行號位置。
「不支援從目前編碼轉換到指定的編碼。」
代表一開始用了 Unicode 順序標記(或呼叫 LoadXML),但 encoding 屬性卻指定了非雙位元組的編碼(如 UTF-8、Windows-1250);反之,一開始是單位元組編碼卻在宣告中寫了 UTF-16、UCS-4 也會發生。
核心原則是:不能靠 XML 宣告的 encoding 屬性在多字元集(UTF-8、Shift-JIS、Windows-1250)與 Unicode 編碼(UTF-16、UCS-2、UCS-4)之間轉換,因為宣告本身必須對每個字元使用與文件其餘部分相同數量的位元組。
IXMLHttpRequest 提供的取回方式各有特性:ResponseXML 由 MSXML 剖析器解析(規則同 Load);ResponseText 以字串回傳,但會盲目地把收到的內容當 UTF-8 解碼,這是已知問題;ResponseBody 回傳無符號位元組陣列;ResponseStream 回傳 IStream 介面。
文件一旦載入,DOM 內部一律以 Unicode 存放,所有 XML DOM 介面都基於 COM BSTR(雙位元組 Unicode 字串),因此處理時完全不必操心編碼。
但存檔時預設會用 UTF-8:
var xmldoc = new ActiveXObject("Microsoft.XMLDOM");
var e = xmldoc.createElement("test");
e.text = "å";
xmldoc.appendChild(e);
xmldoc.save("foo.XML");
結果檔案內容是 <test>Ã¥</test>。看起來奇怪,但它是對的——重新載入後會正確解回 Unicode 碼位 229:
var xmldoc = new ActiveXObject("Microsoft.XMLDOM");
xmldoc.load("foo.XML");
if (xmldoc.documentElement.text.charCodeAt(0) == 229) {
WScript.echo("Yippee - it worked !!");
}
要改變存檔編碼,需要在文件頂端加上帶 encoding 屬性的 XML 宣告:
var pi = xmldoc.createProcessingInstruction("xml", " version='1.0' encoding='ISO-8859-1'");
xmldoc.appendChild(pi);
存檔後就會得到:
<?XML version="1.0" encoding="ISO-8859-1"?>
<test>å</test>
最後一個陷阱:不要被 XML 屬性迷惑。XML 屬性一律回傳 Unicode 字串,即使你剛建了 ISO-8859-1 宣告,讀出的內容裡也不會有該宣告。這是刻意設計——如此一來你可以把這個字串直接丟給 LoadXML 使用,否則 LoadXML 會因編碼衝突而失敗。
字元編碼這件事,一旦理解了原理其實相當單純,而 XML 在這方面反倒是規格中最不含糊的部分之一。MSXML DOM 有幾處行為需要留意,但它仍是少數能讓你自由讀寫各種 XML 編碼的工具。實務上給三條建議:XML 一律存成 UTF-8、XML 宣告要寫出 encoding、HTTP 回應的 Content-Type charset 要與檔案實際編碼一致。