DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁腳本 >  >> XML學習教程 >> XML詳解
為何 XML 文檔應採用 UTF-8 編碼
編輯:XML詳解     

Google 的 Sitemap 服務近來在 XML 社群引發了一些討論,因為它要求所有提交的站點地圖都必須採用 Unicode 的 UTF-8 編碼。Google 甚至不接受其他 Unicode 編碼(如 UTF-16),更別說 ISO-8859-1 這類非 Unicode 編碼了。嚴格從技術上說,這意味著 Google 使用的並非完全標準的 XML 解析器,因為 XML 規範明確要求「所有 XML 處理程序都必須接受 Unicode 的 UTF-8 與 UTF-16 編碼」。但那麼這真的是個大問題嗎?

每個人都能使用 UTF-8

普遍性,是選擇 UTF-8 的第一個、也是最具說服力的理由。它能處理目前世界上使用的幾乎每一種文字。雖然仍有少數尚待補齊的空白,但這些空白正逐漸被填平,也越來越不明顯。未被收錄的文字,通常在其他任何字符集中也不曾實現,即便有也未必能用於 XML。最好的情況下,這類罕見文字只能透過字型借用,勉强轉嫁到 Latin-1 之類的單字節字符集。而對這些罕見文字的真正支持,很可能最先來自 Unicode,甚至只有 Unicode 才會支持它們。

不過,這只是採用 Unicode 的理由之一。那為何要選 UTF-8,而不是 UTF-16 或其他 Unicode 編碼?最直接的原因之一,是廣泛的工具支持。基本上所有能用於 XML 的主要編輯器都能處理 UTF-8,包括 JEdit、BBEdit、Eclipse、Emacs,甚至記事本。無論在 XML 還是非 XML 工具中,都沒有其他 Unicode 編碼擁有如此廣泛的支持。

對於其中一些編輯器(如 BBEdit 與 Eclipse),UTF-8 並非預設字符集。現在正是改變預設設定的時候——所有工具出廠時都應把 UTF-8 設為預設編碼。否則,當文件跨越國界、平台與語言傳遞時,我們就會陷入無法互操作的泥潭。在全面普及之前,自行調整預設值也很容易。例如在 Eclipse 中,「General/Editors」偏好設定面板就允許指定所有文件採用 UTF-8。你可能會注意到 Eclipse 的預設值是 MacRoman,但若真如此,一旦把文件交給使用 Microsoft® Windows® 的同事,或美國、西歐以外的電腦,就會無法編譯。

圖 1. 變更 Eclipse 的預設字符集

當然,要讓 UTF-8 發揮作用,開發者之間交換的文件也都必須使用 UTF-8,但這一點不成問題。與 MacRoman 不同,UTF-8 並不侷限於少數文字或單一平台——任何人都能用 UTF-8;而 MacRoman、Latin-1、SJIS 以及其他各種遺留的國家字符集,都做不到這一點。

在不支援多位元組數據的工具中,UTF-8 同樣能正常運作。UTF-16 等其他 Unicode 格式往往含有大量零字節,許多工具會把這些字節解讀為檔案結尾或其他特殊分隔符,造成意料之外、甚至令人不悅的結果。舉例來說,若把 UTF-16 數據原樣載入 C 字串,字串可能從第一個 ASCII 字元的第二個位元組處就被截斷。而 UTF-8 檔案只在確實表示 null 的地方才含 null。當然,我們不該選這麼幼稚的工具來處理 XML 文檔;但遺留系統中的文檔常常在奇怪的地方結束,沒人真正察覺那些字元序列只是「舊瓶裝新酒」。相較於 UTF-16 或其他 Unicode 編碼,對於不支援 Unicode 與 XML 的系統,UTF-8 更不容易出問題。

專家們的說法

XML 是第一個全面支持 UTF-8 的重要標準,但這僅僅是個開始。各標準組織都在逐漸推薦 UTF-8。比方說,含有非 ASCII 字元的 URL,長期困擾著 Web:在 PC 上運作的、含非 ASCII 字元的 URL 無法用於 Mac,反之亦然。萬維網聯盟(W3C)與 Internet 工程任務組(IETF)近來達成共識,要求所有 URL 都必須採用 UTF-8 編碼,這才解決了問題。

W3C 與 IETF 對「最先、最後還是偶爾使用 UTF-8」的態度越來越強硬。《W3C 全球資訊網字元模型 1.0:基礎》指出:「如果必須選擇一種字符編碼,那就必須是 UTF-8、UTF-16 或 UTF-32。US-ASCII 對 UTF-8 向上相容(US-ASCII 字串也是 UTF-8 字串,參見 [RFC 3629]),因此若需與 US-ASCII 保持相容,UTF-8 非常合適。」事實上,與 US-ASCII 相容幾乎是必須的。W3C 也明智地補充:「在其他情況下,例如 API,UTF-16 或 UTF-32 可能更合適。選擇編碼的理由,可能包括內部處理效率以及與其他行程的互操作性。」

我同意「內部處理效率」這一點。比方說,Java™ 語言的字串內部表示採用 UTF-16,因此字串索引更快。但 Java 程式碼永遠不會把這種內部表示暴露給與它交換數據的程式;相反,對於外部數據交換,會使用 java.io.Writer 並明確指定字符集。此時,我強烈推薦 UTF-8。

IETF 的立場甚至更明確。《IETF 字符集政策 [RFC 2277]》以毫不含糊的措辭指出:

協議必須能夠使用 UTF-8 字符集,它由 ISO 10646 編碼集與 UTF-8 字符編碼方法組成,全文參見 [10646] Annex R(修正版 2 中發布)。

此外,協議可以規定如何使用其他 ISO 10646 字符集與編碼方案(如 UTF-16),但「不能使用 UTF-8」則違反本政策;這種違反在進入或提升到標準追蹤過程時,需經過變更程序([BCP9] 第 9 節),並在協議規範文檔中提出明確、可靠的理由。

現有協議,或從既有數據儲存轉移數據的協議,可能需要支援其他數據集,甚至使用 UTF-8 以外的預設編碼。這是允許的,但必須能夠支援 UTF-8。

要點:未來一段時間,對遺留協議與檔案的支援,可能要求接受 UTF-8 以外的字符集與編碼,但若非必要我會非常謹慎。每一種新的協議、應用程式與文檔,都應該採用 UTF-8。

中文、日文與韓文

一種常見的誤解,是以為 UTF-8 是一種壓縮格式。其實不然。相較於 UTF-16 等其他 Unicode 編碼,UTF-8 中 ASCII 字元只佔一半空間;不過有些字元的 UTF-8 編碼會多出 50% 的空間,尤其是中文、日文、韓文(CJK)這類表意文字。

但即便用 UTF-8 編碼 CJK 的 XML,實際大小仍可能比 UTF-16 小。比方說,中文 XML 文檔含有大量 ASCII 字元,如 <、>、&、=、"、' 與空格,這些字元的 UTF-8 編碼比 UTF-16 小。具體的壓縮或膨脹倍率因文檔而異,但無論如何,差距都不會很明顯。

最後值得一提的是,中文、日文這類表意文字,相較於 Latin、Cyrillic 這類字母文字,用字往往更少。由於字元絕對數量龐大,需要每個字元使用三個或更多位元組才能完整表達;也就是說,同樣的詞語或句子,這些語言能用更少的字來表達。舉例來說,「tree」在日文中以「木」表示(形狀非常像一棵樹),用 UTF-8 表示需三個位元組,而英文單字「tree」有四個字母,需四個位元組。日文中的「grove(小樹林)」是「林」(兩棵樹靠在一起),UTF-8 編碼需三個位元組,英文單字「grove」有五個字母,需五個位元組。日文中的「森」(三棵樹)同樣只需三個位元組,而對應的英文「forest」卻需要六個位元組。

如果確實需要壓縮,就用 zip 或 gzip。壓縮之後,UTF-8 與 UTF-16 的大小其實差不多,無論原始大小相差多少;而且原始檔案越大,壓縮演算法能去除的冗餘就越多。

健壯性

真正的優勢在於設計:相較於在它之前與之後出現的任何文字編碼,UTF-8 是一種更健壯、更容易解讀的格式。首先,與 UTF-16 相比,UTF-8 沒有位元組序(endianness)問題。UTF-8 無論以 Big-endian 還是 little-endian 表示都完全相同,因為它是按 8 位元組而非 16 位元來定義的,不存在需要靠位元組序標誌或探測手段來消除的順序不確定性。

UTF-8 更重要的一個特性是無狀態性。UTF-8 串流或序列中的每一個位元組都含義明確:給定一個位元組,你立刻就能判斷它是一個單位元組字元、雙位元組字元的第一個位元組、雙位元組字元的第二個位元組,還是三/四位元組字元的第二、第三或第四個位元組(當然還有其他可能,但意思大抵如此)。而在 UTF-16 中,你無法確定位元組「0x41」是否就是字母「A」——有時是,有時不是,必須記錄足夠的狀態才能確定它在串流中的位置。一旦丟失一個位元組,此後的數據可能就全部報廢。UTF-8 則不然,丟失或損壞的位元組很容易定位,也不會波及任何其他數據。

UTF-8 並非萬能。需要隨機存取文檔特定位置的應用程式,使用 UCS-2 或 UTF-32 這類固定寬度的編碼,操作起來可能更快。(若把代理對納入考量,UTF-16 其實也是一種變長編碼。)但 XML 處理並不屬於這類應用:XML 規範明確要求解析器從文檔的第一個位元組一直解析到最後一個位元組,現有的解析器也都是這麼做的。更快的隨機存取對 XML 處理毫無幫助——雖然對於資料庫或其他系統而言,選用不同編碼或許是個好理由,但並不適用於 XML。

結語

在日趨國際化的世界裡,語言與政治邊界日漸模糊,依賴地域的字符集已不再適用。Unicode 是唯一能跨越眾多地域實現互操作的字符集,而 UTF-8 是最好的 Unicode 編碼:

  • 廣泛的工具支持,並與遺留 ASCII 系統相容性最佳;
  • 處理起來簡單而高效;
  • 抗錯誤干擾;
  • 平台獨立。

關於字符集與編碼的爭論,該停止了。選擇 UTF-8,讓紛爭落幕。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved