過去對編碼這塊一直沒什麼講究,直到某天翻到一篇講 UTF-8 的文章,發現寫得又長又繞,於是乾脆自己重新整理一份簡單明瞭的版本。
一、中文簡體:GBK18030 系列
在中國大陸,最常用的是 GBK18030,此外還有 GBK 與 GB2312。三者的演進關係是這樣的:
按照 GBK18030 → GBK → GB2312 的順序,這三種編碼是向下相容的,同一個漢字在三套方案中的編碼值相同。
二、繁體中文:BIG5,主要用於台灣、香港等地。
三、日文:SJIS。
如果把各國的文字編碼比喻成各地方言,那麼 Unicode 就是各國合作開發出的一種「世界語言」。在這個環境下不會再有編碼衝突,同一個畫面裡可以同時顯示任何語言的內容——這正是 Unicode 最大的價值。
它的編碼方式其實很單純:把世界上所有文字用兩個位元組統一編碼。你可能會問,兩個位元組最多只能表示 65536 個編碼,夠用嗎?答案是夠的。韓國與日本的大量漢字本來就是從中國傳出去的,字型完全相同。像「文」這個字,在 GBK 和 SJIS 中是同一個字,只是編碼不同而已。把這類共通字元統一處理之後,兩個位元組足以容納世界主要語言的絕大部分文字。
Unicode 的學名是 Universal Multiple-Octet Coded Character Set,簡稱 UCS。目前使用的是 UCS-2,也就是兩個位元組編碼;UCS-4 則是為了防止未來兩個位元組不夠用而預先開發的。UCS-2 也稱為基本多文種平面,轉換到 UCS-4 只要在前方補上兩個位元組 0 即可。UCS-4 主要用於存放輔助平面,總共增加了 16 個輔助平面,把編碼空間從 65536 擴展到將近一百萬。
既然統一了編碼,那各國既有的文字編碼要怎麼相容?這就需要 codepage。簡單說,codepage 就是各國文字編碼與 Unicode 之間的對照表。比如簡體中文對應的映射表就是 CP936,透過查表就能完成 GBK 與 Unicode 的雙向轉換。
幾個常見的 codepage:
最後那個 65001,就個人理解應該只是一個虛擬的映射表,背後實際上是一套演算法而非真正的對照表。
從 936 的對照表中隨意取一行來看:
0x9993 0x6ABD #CJK UNIFIED IDEOGRAPH
前面的編碼是 GBK,後面是 Unicode。有這張表,轉換只是查表而已。
如果直接把 ASCII 轉成 UCS-2,只是在前面插入一個 0x00。這樣一來,編碼結果會包含一些控制符號,在 UNIX 環境或某些 C 函式處理時會引發嚴重錯誤。所以可以確定:UCS-2 不適合當作 Unicode 的外部編碼格式。UTF-8 就是為了解決這個問題而誕生的。
以「你」字為例:
UTF-8 編碼:E4 BD A0 → 11100100 10111101 10100000
Unicode 編碼:4F 60 → 01001111 01100000
依 UTF-8 的規則拆解:xxxx0100 xx111101 xx100000。把 x 以外的位元拼起來,就還原成「你」的 Unicode 編碼。要留意最前面的三個 1,它表示整串 UTF-8 由三個位元組構成。經過 UTF-8 編碼後,因為最高位固定為 1,那些敏感的控制字元就不會再出現了。
U-00000000 - U-0000007F: 0xxxxxxx
U-00000080 - U-000007FF: 110xxxxx 10xxxxxx
U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
也就是說,Unicode 轉 UTF-8 時,只要把 Unicode 的位元流依上表套進 x 的位置,就得到 UTF-8 了。