很多人在處理 XML 時都碰到同一個困擾:中文變成亂碼。要解決它,得先理解底層的編碼機制。答案幾乎總是同一個關鍵字——UTF-8。
歷史上曾有兩個獨立的單一字元集計畫:國際標準化組織(ISO)的 ISO 10646 計畫,以及由多語言軟體廠商組成的 Unicode 協會。所幸在 1991 年前後,雙方都意識到世界不需要兩套不同的單一字元集,於是合併工作成果、共同制訂單一編碼表。兩個計畫至今仍然存在,也各自發布標準,但 Unicode 協會與 ISO/IEC JTC1/SC2 承諾保持 Unicode 與 ISO 10646 的碼表相容,並緊密協調未來的任何擴充。
UCS 與 Unicode 只是「把整數分配給字元」的編碼表,並未規定這些整數該怎麼表示成位元組。最直覺的兩種做法是把 Unicode 文字存成 2 個或 4 個位元組的序列,正式名稱分別是 UCS-2 與 UCS-4;除非另有指定,多數實作採用大端序(big-endian)。把 ASCII 檔轉成 UCS-2,只需在每個位元組前插入 0x00;轉成 UCS-4 則要插入三個 0x00。
問題是,在 Unix 環境下使用 UCS-2 或 UCS-4 會引發嚴重的相容性災難:這些編碼的字串會含有 '\0' 或 '/' 這類在檔名與 C 標準庫參數中別具意義的字元;而且大多數處理 ASCII 的 Unix 工具,若不大幅改造根本讀不了 16 位元字元。因此在檔名、文字檔、環境變數等場合,UCS-2 並不適合作為 Unicode 的外部編碼。
在 ISO 10646-1 Annex R 與 RFC 2279 中定義的 UTF-8 沒有這些問題,是在 Unix 風格系統上使用 Unicode 的明顯正解。
各段碼位對應的位元組形式如下:
U-00000000 - U-0000007F: 0xxxxxxx U-00000080 - U-000007FF: 110xxxxx 10xxxxxx U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
xxx 的位置由字元編碼值的二進位表示填入,越右邊的 x 位數越少。實務上只會用到足以表達該碼位的最短序列;而多序列中第一個位元組開頭連續「1」的個數,就是整個序列的位元組數。
舉兩個例子:U+00A9(© 版權符號)的二進位為 1010 1001,在 UTF-8 中編碼為 11000010 10101001,即 0xC2 0xA9。U+2260(≠ 不等於)則編碼為 11100010 10001001 10100000,即 0xE2 0x89 0xA0。
這個編碼的正式名稱拼寫為 UTF-8,其中 UTF 代表 UCS Transformation Format。除非你指的是變數名稱,否則請勿在任何文件中用 utf8、UTF_8 等其他寫法稱呼它。
大約 1993 年之後開發的現代語言,大多提供了一個專門的 Unicode/ISO 10646-1 字元型別:Ada95 叫 Wide_Character,Java 叫 char。ISO C 也明確規範了處理多位元組編碼與寬字元(wide characters)的機制,並在 1994 年 9 月的 Amendment 1 中補充更多內容。這些機制主要是為東亞編碼設計的,比處理 UCS 所需的更完備。UTF-8 就是 ISO C 標準所謂多位元組字串編碼的一個實例,而 wchar_t 型別可以用來存放 Unicode 字元。
方法其實很簡單:把產出 XML 的每一個環節都統一設成 UTF-8。
<?xml version="1.0" encoding="utf-8"?>。如果是透過 XML 提交表單再產生 XML 檔,建議在程式中統一處理編碼。以下是一個 Java 的轉換範例:
/**
* 將給定的字串轉換為 UTF-8 編碼的字串。
*
* @param str 輸入字串
* @return 經 UTF-8 編碼後的字串;若發生異常則回傳原字串
*/
public static String toUTF8(final String str) {
if (str == null || str.trim().isEmpty()) {
return str;
}
String retVal = str;
try {
retVal = new String(str.getBytes("ISO-8859-1"), "UTF-8");
} catch (Exception e) {
// 這裡請寫入你的日誌
}
return retVal;
}
更根本的原則是:別讓資料在不同編碼之間反覆轉換。只要從資料庫、應用程式到輸出檔案全程維持 UTF-8,中文亂碼的問題就不會出現。