我們知道,在電腦內部,所有資訊最終都表示為一串二進位字串。每個二進位位元有 0 和 1 兩種狀態,因此八個位元可以組合出 256 種狀態,這被稱為一個位元組(byte)。也就是說,一個位元組可用來表示 256 種不同狀態,每種狀態對應一個符號,從 00000000 到 11111111。
上世紀 60 年代,美國制定了一套字元編碼,對英文字元與二進位位元之間的關係做了統一規定,這就是 ASCII 碼,一直沿用至今。
ASCII 碼一共規定了 128 個字元的編碼,比如空格 "SPACE" 是 32(二進位 00100000),大寫字母 A 是 65(二進位 01000001)。這 128 個符號(含 32 個無法列印的控制符號)只佔用一個位元組的後 7 位,最前面一位統一規定為 0。
英文用 128 個符號編碼就够了,但表示其他語言卻遠遠不足。比如法語中字母上方帶有音符,就無法用 ASCII 表示。於是一些歐洲國家決定利用位元組中閒置的最高位元來編入新符號,例如法語的 é 編碼為 130(二進位 10000010)。如此一來,這些國家的編碼體系最多可表示 256 個符號。
但問題隨之而來:不同國家有不同字母,因此即使都採用 256 符號的編碼方式,代表的字母卻不一樣。比如 130 在法語編碼中代表 é,在希伯來語編碼中代表字母 Gimel(ג),在俄語編碼中又是另一個符號。不過無論如何,這些編碼方式中 0—127 表示的符號是一致的,不同的只是 128—255 這一段。
至於亞洲國家的文字,使用的符號就更多了,漢字多達十萬左右。一個位元組只能表示 256 種符號顯然不夠,必須用多個位元組來表達一個符號。比如簡體中文常見的 GB2312,用兩個位元組表示一個漢字,理論上最多可表示 256×256=65536 個符號。
中文編碼的細節需要專文討論,這裡只指出一點:雖然同樣是用多個位元組表示一個符號,但 GB 類漢字編碼與後文的 Unicode、UTF-8 是毫無關聯的兩套體系。
正如前一節所述,世界上存在多種編碼方式,同一個二進位數字可以被解釋成不同符號。因此,打開一個文字檔就必須知道它的編碼方式,否則用錯方式解讀便會出現亂碼。電子郵件為什麼常常亂碼?就是因為寄件人與收件人使用的編碼不同。
可以想像,如果存在一種編碼,把世界上所有符號都納入其中,每個符號都給一個獨一無二的編碼,亂碼問題就會消失。這就是 Unicode——顧名思義,它是一套涵蓋所有符號的編碼。
Unicode 的規模龐大,如今可容納一百多萬個符號。每個符號的編碼都不同,比如 U+0639 表示阿拉伯字母 Ain,U+0041 表示英文字母 A,U+4E25 表示漢字「嚴」。完整的對應表可查詢 unicode.org 或專門的漢字對應表。
需要注意的是,Unicode 只是一個符號集,它只規定了符號的二進位代碼,卻沒有規定這個代碼該如何儲存。
比如漢字「嚴」的 Unicode 是十六進位 4E25,轉成二進位足足有 15 位(100111000100101),也就是說這個符號至少需要 2 個位元組;表示更大的符號可能需要 3 或 4 個位元組,甚至更多。
這裡有兩個嚴重問題。第一,電腦怎麼知道三個位元組是表示一個符號,而不是分別表示三個符號?也就是如何區分 Unicode 與 ASCII。第二,我們已知英文字母用一個位元組就夠了,如果 Unicode 統一規定每個符號用三或四個位元組,那每個英文字母前都必有二到三個位元組是 0,對儲存是極大浪費,文字檔大小會因此暴增二三倍,這無法接受。
結果是:出現了 Unicode 的多種儲存方式,也就是有多種不同的二進位格式可以表示 Unicode;同時 Unicode 在很長一段時間內難以推廣,直到網際網路的出現。
網際網路的普及強烈要求一種統一編碼。UTF-8 就是網路上使用最廣的一種 Unicode 實作方式,其他還有 UTF-16 與 UTF-32,但在網路上基本不用。再強調一次:UTF-8 是 Unicode 的實作方式之一。
UTF-8 最大的特點是它採用變長編碼,可用 1 到 4 個位元組表示一個符號,長度隨符號而變。
編碼規則很簡單,只有兩條:
1)對單位元組符號,位元組第一位設為 0,後面 7 位為該符號的 Unicode 碼。因此對英文字母而言,UTF-8 編碼與 ASCII 完全相同。
2)對 n 位元組符號(n > 1),第一個位元組的前 n 位都設為 1,第 n+1 位設為 0,後續位元組的前兩位一律設為 10。其餘未提及的二進位位,全部填入該符號的 Unicode 碼。
下表總結編碼規則,字母 x 表示可用於編碼的位:
Unicode 符號範圍 | UTF-8 編碼方式 (十六進位) | (二進位) --------------------------+--------------------------------------------- 0000 0000-0000 007F | 0xxxxxxx 0000 0080-0000 07FF | 110xxxxx 10xxxxxx 0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx 0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
下面仍以漢字「嚴」為例,示範 UTF-8 編碼的過程。
已知「嚴」的 Unicode 是 4E25(100111000100101),依上表可判斷 4E25 落在第三行的範圍(0000 0800-0000 FFFF),因此「嚴」的 UTF-8 編碼需要三個位元組,格式為「1110xxxx 10xxxxxx 10xxxxxx」。接著從「嚴」的最後一個二進位位開始,依序由後往前填入格式中的 x,不足的位補 0,即得到「11100100 10111000 10100101」,轉成十六進位就是 E4B8A5。
由上一節的例子可見,「嚴」的 Unicode 碼是 4E25,UTF-8 編碼是 E4B8A5,兩者並不相同,但可透過程式互相轉換。
在 Windows 平台下最簡單的方法是使用內建的記事本 Notepad.exe。打開檔案後,點擊「檔案」選單中的「另存新檔」,會跳出對話框,最底部有一個「編碼」下拉選單,裡面有四個選項:ANSI、Unicode、Unicode big endian 與 UTF-8。
1)ANSI 是預設編碼方式。對英文檔是 ASCII,對簡體中文檔是 GB2312(僅針對 Windows 簡體中文版;若是繁體中文版則採用 Big5)。
2)Unicode 指的是 UCS-2 編碼方式,直接用兩個位元組存入字元的 Unicode 碼,此選項採用 little endian 格式。
3)Unicode big endian 與上一選項相對應,採用 big endian 格式。
4)UTF-8 即上一節所述的編碼方法。
選好編碼方式後點擊「儲存」,檔案編碼就立刻完成轉換。
Unicode 碼可以 UCS-2 格式直接儲存。以漢字「嚴」為例,Unicode 碼是 4E25,需要兩個位元組:一個是 4E,另一個是 25。儲存時 4E 在前、25 在後,就是 Big endian 方式;25 在前、4E 在後,則是 Little endian 方式。
這兩個古怪的名稱來自英國作家斯威夫特的《格列佛遊記》。書中小人國爆發內戰,起因竟是人們爭論吃雞蛋時該從大頭(Big-Endian)敲開還是小頭(Little-Endian)敲開。為這件事前後爆發六次戰爭,一位皇帝送了命,另一位皇帝丟了王位。
因此,第一個位元組在前就是「大頭方式」(Big endian),第二個位元組在前就是「小頭方式」(Little endian)。
那麼自然會有個問題:電腦怎麼知道某個檔案採用哪一種方式?
Unicode 規範中定義,每個檔案最前面要加入一個表示編碼順序的字元,名叫「零寬度不換行空格」(ZERO WIDTH NO-BREAK SPACE),以 FEFF 表示。它正好是兩個位元組,而且 FF 比 FE 大 1。
如果一個文字檔的頭兩個位元組是 FE FF,表示採用大頭方式;如果是 FF FE,則表示小頭方式。
打開記事本 Notepad.exe,新建一個文字檔,內容就是一個「嚴」字,分別以 ANSI、Unicode、Unicode big endian 與 UTF-8 四種編碼儲存。
然後用 UltraEdit 的「十六進位模式」觀察檔案內部編碼:
1)ANSI:編碼是兩個位元組「D1 CF」,這正是「嚴」的 GB2312 編碼,也說明 GB2312 採用大頭方式儲存。
2)Unicode:編碼是四個位元組「FF FE 25 4E」,其中「FF FE」表明是小頭方式,真正的編碼是 4E25。
3)Unicode big endian:編碼是四個位元組「FE FF 4E 25」,其中「FE FF」表明是大頭方式。
4)UTF-8:編碼是六個位元組「EF BB BF E4 B8 A5」,前三個「EF BB BF」是 UTF-8 的 BOM 標記,後三個「E4B8A5」就是「嚴」的實際編碼,其儲存順序與編碼順序一致。