Unicode 字符集是世界上最完善、最全面的字符集,幾乎涵蓋了世界上所有的字符。你可以把它想像成一張巨大的表格,把各種語言的字符與標點都編排進去,再按一定順序給每個字符編號。有了這張表,絕大多數字符都能對應到一個 Unicode 內碼(整數),電腦便靠記錄這個內碼來表示字符,最後交給操作系統透過「內碼到字體點陣」的映射,把字符顯示到螢幕上。
UTF-8 是我們常用的編碼方式,在 Web 開發中採用 UTF-8 能徹底解決字符集問題。其實 UTF-8 是 Unicode 字符集的一種物理實作,它描述了如何高效地儲存 Unicode 內碼。RFC2044 文件描述了從內碼轉換成 UTF-8 格式的演算法。看不懂英文也沒關係,看這張轉換表就一目了然:
UCS-4 range (hex.) UTF-8 octet sequence (binary) 0000 0000-0000 007F 0xxxxxxx 0000 0080-0000 07FF 110xxxxx 10xxxxxx 0000 0800-0000 FFFF 1110xxxx 10xxxxxx 10xxxxxx 0001 0000-001F FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 0020 0000-03FF FFFF 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 0400 0000-7FFF FFFF 1111110x 10xxxxxx ... 10xxxxxx
表格左側是 16 進位的 Unicode 內碼,最後一行的「7FFF FFFF」是 UTF-8 所能表示的最大內碼,換成 10 進位就是 2147483647。右側欄則是對應的 UTF-8 二進位格式,轉換規則清楚明瞭。直接上演算法(JS 碼):
function toUtf8(code) {
var iByte = 0;
var i = 0;
result = "";
while (code > 0x7f) {
iByte = code % 0x40;
code = (code - iByte) / 0x40;
result = "%" + (iByte | 0x80).toString(16).toUpperCase() + result;
i++;
}
var prefix = [0x0, 0xc0, 0xe0, 0xf0, 0xf8, 0xfc];
if (i > prefix.length) {
i = 5;
}
result = "" + (code | prefix[i]).toString(16).toUpperCase() + result;
return result;
}
字符「漢」的 Unicode 是 6C49,把它當成一個大整數,轉成多字節編碼 110110001001001:
最終得到 UTF-8 編碼,16 進位表示為 E6 B1 89。
雖然這種標準演算法大多已由開發工具或程式庫實作,但我們仍會在某些時候需要自己動手: