DIV CSS 佈局教程網

UTF-8 的編碼演算法完整解析
編輯:JavaScript基礎知識     

Unicode 字符集是世界上最完善、最全面的字符集,幾乎涵蓋了世界上所有的字符。你可以把它想像成一張巨大的表格,把各種語言的字符與標點都編排進去,再按一定順序給每個字符編號。有了這張表,絕大多數字符都能對應到一個 Unicode 內碼(整數),電腦便靠記錄這個內碼來表示字符,最後交給操作系統透過「內碼到字體點陣」的映射,把字符顯示到螢幕上。

UTF-8 是什麼?

UTF-8 是我們常用的編碼方式,在 Web 開發中採用 UTF-8 能徹底解決字符集問題。其實 UTF-8 是 Unicode 字符集的一種物理實作,它描述了如何高效地儲存 Unicode 內碼。RFC2044 文件描述了從內碼轉換成 UTF-8 格式的演算法。看不懂英文也沒關係,看這張轉換表就一目了然:

UCS-4 range (hex.)        UTF-8 octet sequence (binary)
0000 0000-0000 007F       0xxxxxxx
0000 0080-0000 07FF       110xxxxx 10xxxxxx
0000 0800-0000 FFFF       1110xxxx 10xxxxxx 10xxxxxx
0001 0000-001F FFFF       11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
0020 0000-03FF FFFF       111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
0400 0000-7FFF FFFF       1111110x 10xxxxxx ... 10xxxxxx

表格左側是 16 進位的 Unicode 內碼,最後一行的「7FFF FFFF」是 UTF-8 所能表示的最大內碼,換成 10 進位就是 2147483647。右側欄則是對應的 UTF-8 二進位格式,轉換規則清楚明瞭。直接上演算法(JS 碼):

function toUtf8(code) {
    var iByte = 0;
    var i = 0;
    result = "";
    while (code > 0x7f) {
        iByte = code % 0x40;
        code = (code - iByte) / 0x40;
        result = "%" + (iByte | 0x80).toString(16).toUpperCase() + result;
        i++;
    }
    var prefix = [0x0, 0xc0, 0xe0, 0xf0, 0xf8, 0xfc];
    if (i > prefix.length) {
        i = 5;
    }
    result = "" + (code | prefix[i]).toString(16).toUpperCase() + result;
    return result;
}

動手算一次:以「漢」字為例

字符「漢」的 Unicode 是 6C49,把它當成一個大整數,轉成多字節編碼 110110001001001:

  1. 觀察其二進位序列(110,110001,001001),從後往前取。
  2. 若整個序列只有後 7 位(小於 128,即 ASCII 字符),直接取後 7 位形成一個 UTF-8 字符。
  3. 「漢」的二進位序列大於 7 位,因此取後 6 位(1001001),加上 10 形成一個位元組(10 001001,16 進位 89)。
  4. 剩下的序列(110,110001)再從後往前取 6 位,加 10 形成第二個位元組(10 110001,16 進位 B1)。
  5. 剩下的(110)從後往前取,因不足 6 位,把它與 1110000 做或運算,得到 11100110,16 進位 E6。

最終得到 UTF-8 編碼,16 進位表示為 E6 B1 89。

應用領域

雖然這種標準演算法大多已由開發工具或程式庫實作,但我們仍會在某些時候需要自己動手:

  • 某些舊瀏覽器(如 IE5)不支援 encodeURI 函數,此時用 AJAX 提交漢字有兩種方案:一是把漢字經 escape 轉成 "%uXXXX" 形式,由伺服器把 u 後面的 Unicode 序號轉成 UTF-8;二是用上述演算法搭配 escape,直接在客戶端實作 encodeURI 功能(推薦此方案)。
  • 實作 JSON-RPC 服務:JSON 是 JavaScript 的物件字面值形式,其中的字串必須是 Unicode 字符,漢字需轉成 "\uXXXX" 形式,因此我們需要把伺服器端的字符進行 JSON 轉換。對 PHP 而言,已有 JSON-PHP 與 PHP-JSON 兩個開源專案可用;而 JSON-RPC 作為以 JSON 為資料格式的 RPC 協議,能很方便地應用於 AJAX 專案中。
XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved