這份問答整理自「Chinese XML FAQ」,聚焦於使用 XML 處理中文文件時最常遇到的問題。關於 XML 或 SGML 英文文件的處理,另有 Peter Flynn 維護的 XML FAQ 等文獻可參考。
Q:什麼是 XML?
XML(eXtensible Markup Language,可擴充標示語言)是用於標示具結構性資訊之電子文件的標示語言,其規範源自國際標準 SGML(ISO 8879:1986)。XML 的格式類似 HTML,但你可以自行定義標籤與文件結構,也可以從資料庫取得資料後,用 XML 進行序列化(serializing)的工作。
Q:誰在負責發展 XML?
SGML 最初由 IBM 研發,並吸納了許多公司的建議。XML 則由全球資訊網協會(W3C)主導發展,W3C 主持人為 WWW 發明人 Tim Berners-Lee,計畫主持人則是 Sun Microsystems 的首席資訊架構師 Jon Bosak。規範草案由 Netscape、Microsoft 的代表,以及大型學術研究計畫 Text Encoding Initiative(TEI)共同完成。W3C XML SIG 的成员超過一百家公司與受邀專家。
Q:我是否已經在使用 XML?
多數 XML 應用是隱含在系統內部的。例如 RealPlayer G2 採用 W3C 的 SMIL(Synchronized Media Interchange Language)規格;Netscape 的「What's Related」功能採用 RDF(Resource Description Framework);Internet Explorer 中的「頻道」功能則使用 CDF(Channel Definition Format)格式。
Q:XML 能處理中文資訊嗎?
可以。所有符合 XML 規格的軟體工具一定都支援 ISO 10646 字集,這是一組龐大的 ISO 標準字集,涵蓋了 Big5 與 GB2312 中所有的字。但由於當時 XML 應用才剛起步,多數工具尚未針對中文資料做過完整測試。
Q:可以直接用中文作為元素名稱嗎?
可以,規範允許直接使用中文(Han ideographs)作為元素名稱。但要注意這裡指的是 ISO 10646 中的「統一漢字字集」:某些字在 GB2312 與 Big5 中有不同字形,而在 ISO 10646 中繁簡已被統一為同一個字形。正確的 XML 工具在把 Big5 或 GB2312 轉為 ISO 10646 時,應確保元素型別名稱與屬性等 XML 名稱被「正規化」為統一形式,而非相容形式。
Q:能處理 Big5 與 GB2312 編碼的中文嗎?
可能可以。符合規格的 XML 工具一定支援 UTF-8 與 UTF-16(Unicode),但任何字碼集都可能用來撰寫 XML 資料——實際支援範圍取決於剖析器的實作決定。在 XML 系統外部,文件內容使用 Big5 或 GB2312;進入 XML 系統後(包含 Java 環境),則統一以 ISO 10646,也就是 Unicode 處理。
關鍵在於:你必須在每一份使用 Big5 或 GB2312 的 XML 檔開頭加上正確的編碼宣告:
<?xml version="1.0" encoding="Big5"?> <?xml version="1.0" encoding="gb2312"?>
為什麼一定要標明?因為若 XML 檔中沒有標示正確字碼,XML 系統會直接拒絕處理這份文件。XML 不再採用 HTML 那種「猜測編碼」的方式,而是以明確標示(explicit markup)取代之。
Q:如何知道某個工具支援哪些字碼?
可參考台灣中央研究院的「Chinese XML Now!」計畫所提供的資訊。無論工具支援能力如何,最保險的做法是先把 XML 檔轉碼為 UTF-8,那麼任何 XML 工具都能使用。
Q:要用的字不在 Big5 標準字集中怎麼辦?
可以使用 ISO 10646 統一字集中的任何字。若是 Big5 或 GB2312 的缺字,可用「數字字元參引」(numeric character reference)表示,例如以 媼 這種十六進位順序寫法。Windows 的「字元對應表」工具可以檢視 ISO 10646 中的所有字形。
若你使用的是 ISO 10646 中的變體,可以定義一個元素型別與屬性,再搭配樣式表(例如 CSS)來切換字型,達到正確顯示的目的。但如果該字根本不在 ISO 10646 字集中,就只能退回造字區(private-use character area)——這與過去的做法並無任何改進。
Q:Big5/GCCS、EUDC 與 Big5+ 是什麼?
EUDC(Extended User-defined Characters)是香港制訂的一組標準使用者造字,包含 R&D EUDC、HKUST EUDC 與 GCCS EUDC。香港政府將 Big5 字集再加上 3049 個字,定為「政府中文字集」(GCCS),已廣為使用。台灣方面,研考會委由中推會進行 Big5 字集擴編,約 24,066 字,稱為 Big5+。
請注意:這些字集並未在 IANA 註冊編碼名稱,因此無法直接在網路上使用。若你使用 Big5+,建議在文件標頭加上處理指令說明,例如:
<?xml version="1.0" encoding="Big5"?> <?ascc-hint non-IANA="Big5plus"?>
Q:Web 伺服器的轉碼問題怎麼看?
有些日本的伺服器、代理服務或瀏覽器能自動在 Shift-JIS 與 EUC-J 之間轉換,其他語言也有類似機制。但當時並沒有任何伺服器能自動進行 Big5 與 GB2312 的繁簡轉換。
更根本的困難是:Big5 無法完整轉換為 GB2312,有些字在 GB2312 中根本不存在,轉碼後就會產生錯誤。因此新一代瀏覽器應該採用「可認知 XML 的無損轉碼器」(XML-aware lossless transcoder)——它會把 GB2312 中沒有的字以數字字元參引表示,避免掉字。
實務上可以透過設定 MIME 類別為 application/xml 來避免轉碼。若使用 Apache,可這樣設定:
AddType application/xml xml xml ForceType application/xml DefaultType application/xml
把 XML 檔以 application/xml 而非 text/xml 送出,就是為了讓文件不被轉碼。
Q:伺服器送出的字集資訊錯誤怎麼辦?
多數 Web 伺服器並未在 HTTP/MIME 標頭中送出正確的字集資訊,甚至有些伺服器根本無法設定字集。原則是:若你的網站只提供單一字集的文件,就把伺服器預設值設為該字集;若伺服器支援 HTTP 1.1 的內容協商(例如 Apache),且文件有多語言版本,可依語言選擇適當版本送出(如 file.xml.en、file.xml.cn,或以不同目錄搭配 .htaccess 控制)。
每個 XML 元素都可以帶 xml:lang 屬性來標示語言,這對全文檢索與排版系統都有幫助。中文常見設定值:
xml:lang="zh":中文xml:lang="zh-TW":台灣使用的中文(繁體)xml:lang="zh-HK":香港使用的中文xml:lang="zh-CN":中國大陸使用的中文(簡體)xml:lang="zh-SG":新加坡使用的中文(簡體)這個屬性看似平凡,影響卻很深遠:中文搜尋機器人可以正確的把文件納入索引,西方語言的搜尋系統也能判斷這些文件該不該收錄,或啟動自動翻譯。由於各地中文用詞不盡相同,語言屬性也能協助翻譯與檢索系統做更精準的處理。
同一份文件內也可以混用不同語言標示,因為 xml:lang 是針對單一元素設定的:
<p xml:lang="zh-TW">...</p> 台灣中文 <p xml:lang="zh-HK">...</p> 香港中文 <p xml:lang="en-SG">...</p> 新加坡英文
你也可以自訂屬性來滿足特殊需求,例如 xml:lang="zh-HK-simplified" traditional="OK" 表示「使用簡體字的香港中文,但容許繁體字形」。使用 XML 的優勢就在於:你能用標示描述文件中的所有資訊,再依標示撰寫程式、樣式表或報表產生器來完成需求。
Unicode Consortium 集合了許多公司(包含 Fujitsu、Fuji Xerox 等亞洲廠商)共同制訂涵蓋全世界文字的巨大字集,它採用 ISO 10646 字集並加上標準名稱與特性資訊。Unicode 包含 GB2312 中所有的字,也涵蓋絕大多數 Big5 字,因此收字範圍比 Big5 與 GB2312 都更廣。
但 ISO 10646 也有幾個實務上的缺點:
這就是為什麼 XML 檔不一定要用 UTF-8 或 UTF-16 編碼,你確實可以使用 Big5 或 GB2312——只是支援這些中文字碼的工具相對稀少。從長遠來看,仍建議轉移到 UTF-8 或 UTF-16。
Q:為什麼有些工具文件說不支援 Big5,實際上卻能用?
Big5 屬於「7-bit safe」的「ASCII-family」編碼。ASCII-family 編碼(ASCII、ISO646、ISO8859-*、UTF-8、EUC、Big5、GB2312)中的 ASCII 部分都落在 ASCII 碼表原本的位子上,所有 ASCII 字都小於 128。
Big5 不是「8-bit safe」——因為多位元組字的第二個位元組可能小於 128;但它是「7-bit safe」——因為第二個位元組一定大於 63。而在 XML 中,所有分隔符號(< > & % " ')的值都小於 64。這意味著許多 XML 工具「碰巧」能正確處理 Big5 檔。嚴格來說,一個不辨識 XML 標頭中 encoding 屬性的系統應該產生錯誤訊息,且這類系統通常也無法正確處理數字字元參引。
Q:為什麼處理某些 Big5 檔時會出現奇怪錯誤?
這只會發生在「不把 Big5 轉為 8-bit safe 內部格式(如 Unicode、UTF-8、UTF-16)」的系統上,此時某些位元組會被誤觧為錯誤的字。有兩種典型狀況:
]]> 這個字串。解法是把該 CDATA 區段拆成兩個,中間插入一個無害的字元。問題根源在於:部分 Big5 中文字的第二個位元組正好是 0x5D,也就是 ASCII 的「]」。Q:為什麼我在瀏覽器裡看不到所有的字?
可能的原因有三:瀏覽器無法依 HTML 4 或 XML 規則正確處理數字字元參引;沒有安裝或選對字型;或瀏覽器依 encoding 設定選用的字型中缺少某些字形。可以試著在瀏覽器選項中切換「Encoding」為 Big5 或 UTF-8(不同瀏覽器放置的位置不一樣)。
想取得更多資訊,可參考中央研究院計算中心的「Chinese XML Now!」計畫。該計畫的目標是協助 XML 工具開發者測試其軟體的中文處理能力,並為使用者提供各工具的中文支援資訊;內容以英文與中文(UTF-8、Big5、GB2312)同步提供。