日常前端開發中我們不斷與 HTML、JavaScript、CSS 打交道。和真正的語言一樣,程式語言也有它的字母表、語法、詞法與編碼方式。本文談談最容易被混淆的一組概念。
電腦中儲存的所有資訊都是二進位碼。我們在螢幕上看到的英文、漢字,與底層二進位數字之間的互相轉換,就是編碼。
charset(字元集):某個符號與某個數字之間的對應表。它決定了 107 代表 'a'、21475 代表「口」。不同的表有不同的映射關係,如 ASCII、GB2312、Unicode。有了這張對照表,我們才能把二進位數字還原成字元。
character encoding(編碼方式):同一個「口」字的 21475,究竟該寫成 \u53E3 還是 %E5%8F%A3?這由編碼方式決定。
一句話:字元集決定「是哪個字」,編碼方式決定「怎麼把它寫成位元組」。
對 'koubei.com' 這樣的字串,美國人制定了 ASCII(American Standard Code for Information Interchange),用 0–127 這 128 個數字(2 的 7 次方)表示 123abc 等常用字元。7 bits 加上 1 個符號位,剛好湊成一個 byte。
當年他們想必覺得 8 bits 足夠了——確實能表示 128 個字元。誰也沒料到電腦會國際化。
電腦是美國人發明的,他們先把自家符號編好,用得心滿意足。但當電腦走向世界,問題來了:光中文就有好幾萬個漢字,8 bits 一個 byte 的基礎架構又不能推翻,於是只能走另一條路——用多個 ASCII 字元去表示一個其他字元,這就是 MBCS(Multi-Byte Character System,多位元組字元系統)。
有了 MBCS,可表示的字元瞬間變多:用 2 個 byte 就有 16 bits,理論上可編 65536 個字。但這些編號該怎麼分配給哪個字?答案又回到 charset。在 ASCII 這個最基礎的字元集之上,我們有了 GB2312、Big5 這些針對簡繁中文的 MBCS 字元集。
後來有個叫 Unicode Consortium 的組織決定做一件大事:制定一個涵蓋所有字元的字元集(UCS, Universal Character Set)與對應的編碼方式,即 Unicode。1991 年起發布,ISO 也以 ISO/IEC 10646 參與其中。ECMA 更進一步規定 JavaScript 的內部字元使用 Unicode——這意味著 JavaScript 的變數名與函式名原則上是可以用中文的。
中文開發者最常碰到「GBK、GB2312、UTF-8 轉換」的問題。嚴格說這個說法並不精準:GBK 與 GB2312 是字元集(charset),而 UTF-8 是一種編碼方式(character encoding),屬於 Unicode 標準中 UCS 字元集的一種編碼實作。因為使用 Unicode 的網頁大多採用 UTF-8,大家習慣把它們並列,但兩者並不在同一個維度上。
UTF-8(8-bit UCS/Unicode Transformation Format)有兩個關鍵優點:
第二點尤其重要。若採用定長編碼(例如規定每個字元固定 2 個 byte),純 ASCII 的文件儲存空間就會直接翻倍;而 UTF-8 讓 ASCII 字元仍只佔 1 個 byte,既相容舊系統又不浪費空間。
U-00000000 – U-0000007F: 0xxxxxxx U-00000080 – U-000007FF: 110xxxxx 10xxxxxx U-00000800 – U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx U-00010000 – U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
看前兩行就能掌握規則:單獨一個 0 開頭的位元組就是 ASCII;若開頭是 110,表示這個字元佔 2 個 byte,第二個 byte 以 10 開頭。以此類推,開頭的 1 有幾個,這個字元就佔幾個 byte;後續 byte 一律以 10 開頭,這個規律讓 UTF-8 具備了「從任意位置重新對齊」的能力。
實務結論:新專案一律使用 UTF-8,HTML 記得在 <head> 最前面寫上 <meta charset="utf-8">,伺服器回應標頭也標明 charset,並確認資料庫連線與檔案儲存格式三者一致——亂碼問題九成出在這三處不同步。