DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁腳本 >  >> XML學習教程 >> XML詳解
徹底解決 XML 的中文亂碼問題
編輯:XML詳解     

很多人在處理 XML 時都碰到同一個困擾:中文變成亂碼。要解決它,得先理解底層的編碼機制。答案幾乎總是同一個關鍵字——UTF-8。

什麼是 Unicode?

歷史上曾有兩個獨立的單一字元集計畫:國際標準化組織(ISO)的 ISO 10646 計畫,以及由多語言軟體廠商組成的 Unicode 協會。所幸在 1991 年前後,雙方都意識到世界不需要兩套不同的單一字元集,於是合併工作成果、共同制訂單一編碼表。兩個計畫至今仍然存在,也各自發布標準,但 Unicode 協會與 ISO/IEC JTC1/SC2 承諾保持 Unicode 與 ISO 10646 的碼表相容,並緊密協調未來的任何擴充。

什麼是 UTF-8?

UCS 與 Unicode 只是「把整數分配給字元」的編碼表,並未規定這些整數該怎麼表示成位元組。最直覺的兩種做法是把 Unicode 文字存成 2 個或 4 個位元組的序列,正式名稱分別是 UCS-2 與 UCS-4;除非另有指定,多數實作採用大端序(big-endian)。把 ASCII 檔轉成 UCS-2,只需在每個位元組前插入 0x00;轉成 UCS-4 則要插入三個 0x00。

問題是,在 Unix 環境下使用 UCS-2 或 UCS-4 會引發嚴重的相容性災難:這些編碼的字串會含有 '\0' 或 '/' 這類在檔名與 C 標準庫參數中別具意義的字元;而且大多數處理 ASCII 的 Unix 工具,若不大幅改造根本讀不了 16 位元字元。因此在檔名、文字檔、環境變數等場合,UCS-2 並不適合作為 Unicode 的外部編碼。

在 ISO 10646-1 Annex R 與 RFC 2279 中定義的 UTF-8 沒有這些問題,是在 Unix 風格系統上使用 Unicode 的明顯正解。

UTF-8 的特性

  • U+0000 到 U+007F(ASCII)被編碼為 0x00 到 0x7F,因此純 7 位元 ASCII 的檔案在兩種編碼下完全一樣。
  • 所有大於 U+007F 的字元都編碼成多個位元組,每個位元組都帶有標記位,因此 ASCII 位元組不可能作為其他字元的一部分。
  • 多字元序列的第一個位元組落在 0xC0 到 0xFD,並指出這個字元佔幾個位元組;其餘位元組落在 0x80 到 0xBF。這讓重新同步非常容易,編碼也因此不受國界限制,且很少因遺失位元組而全面崩壞。
  • 理論上可編碼全部 UCS 碼位;UTF-8 最長可到 6 個位元組,但 16 位元的 BMP 字元最多只用到 3 個。
  • 大端序 UCS-4 位元組序列的排列順序是固定的。
  • 位元組 0xFE 與 0xFF 在 UTF-8 中從不使用。

各段碼位對應的位元組形式如下:

U-00000000 - U-0000007F:  0xxxxxxx
U-00000080 - U-000007FF:  110xxxxx 10xxxxxx
U-00000800 - U-0000FFFF:  1110xxxx 10xxxxxx 10xxxxxx
U-00010000 - U-001FFFFF:  11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
U-00200000 - U-03FFFFFF:  111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
U-04000000 - U-7FFFFFFF:  1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

xxx 的位置由字元編碼值的二進位表示填入,越右邊的 x 位數越少。實務上只會用到足以表達該碼位的最短序列;而多序列中第一個位元組開頭連續「1」的個數,就是整個序列的位元組數。

舉兩個例子:U+00A9(© 版權符號)的二進位為 1010 1001,在 UTF-8 中編碼為 11000010 10101001,即 0xC2 0xA9。U+2260(≠ 不等於)則編碼為 11100010 10001001 10100000,即 0xE2 0x89 0xA0。

這個編碼的正式名稱拼寫為 UTF-8,其中 UTF 代表 UCS Transformation Format。除非你指的是變數名稱,否則請勿在任何文件中用 utf8、UTF_8 等其他寫法稱呼它。

哪些程式語言支援 Unicode?

大約 1993 年之後開發的現代語言,大多提供了一個專門的 Unicode/ISO 10646-1 字元型別:Ada95 叫 Wide_Character,Java 叫 char。ISO C 也明確規範了處理多位元組編碼與寬字元(wide characters)的機制,並在 1994 年 9 月的 Amendment 1 中補充更多內容。這些機制主要是為東亞編碼設計的,比處理 UCS 所需的更完備。UTF-8 就是 ISO C 標準所謂多位元組字串編碼的一個實例,而 wchar_t 型別可以用來存放 Unicode 字元。

回到 XML:怎麼讓中文不再亂碼

方法其實很簡單:把產出 XML 的每一個環節都統一設成 UTF-8。

  • XML 宣告寫成 <?xml version="1.0" encoding="utf-8"?>。
  • 用程式產生 XML 時,寫檔的編碼同樣指定為 UTF-8。
  • 資料庫連線的字元集設定也要一致,否則資料在進 XML 之前就已損壞。
  • 網頁表單送出的中文,在伺服器端可能需要做一次編碼轉換。

如果是透過 XML 提交表單再產生 XML 檔,建議在程式中統一處理編碼。以下是一個 Java 的轉換範例:

/**
 * 將給定的字串轉換為 UTF-8 編碼的字串。
 *
 * @param str 輸入字串
 * @return 經 UTF-8 編碼後的字串;若發生異常則回傳原字串
 */
public static String toUTF8(final String str) {
    if (str == null || str.trim().isEmpty()) {
        return str;
    }
    String retVal = str;
    try {
        retVal = new String(str.getBytes("ISO-8859-1"), "UTF-8");
    } catch (Exception e) {
        // 這裡請寫入你的日誌
    }
    return retVal;
}

更根本的原則是:別讓資料在不同編碼之間反覆轉換。只要從資料庫、應用程式到輸出檔案全程維持 UTF-8,中文亂碼的問題就不會出現。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved