打開一些國外網站時出現亂碼,或者顯示一堆「口口口口」,這是許多人對編碼最直接的印象。WordPress 用的是 UTF-8,而不少 CMS 用的是 GB2312。於是問題來了:為什麼會有這麼多種編碼?兩者差在哪?我們自己做網站該選哪一個?
很久以前,有一群人決定用 8 個可開關的晶體管組合出不同狀態來表示萬物。8 個開關的組合剛剛好,於是他們把這個單位稱為「位元組」。8 位元總共能組合出 256 種狀態。
早期電腦只在美國使用,於是他們把從 0 開始的 32 種狀態規定了特殊用途:終端機遇到 0x10 就換行,遇到 0x07 就嗶一聲,遇到 0x1B 就下達特殊指令。這些 0x20 以下的狀態被稱為「控制碼」。
接著他們把空格、標點、數字、大小寫字母用連續的位元組狀態表示,一直編到第 127 號。這樣電腦就能用不同位元組儲存英文文字了。這套方案被稱為 ANSI 的 ASCII 編碼(American Standard Code for Information Interchange),當時全世界的電腦都用同一套方案保存英文。
後來電腦開始在全世界普及,但很多國家的字母裡有 ASCII 沒有的字元。於是他們決定用 127 號之後的空位來表示這些新字母與符號,還加進了畫表格用的橫線、豎線、交叉等造型,一路編到最後一個狀態 255。128 到 255 這一段被稱為「擴充字元集」。從此,再也沒有新的狀態可用了。
當中文世界拿到電腦時,可用的位元組狀態已經被佔滿,而我們有六千多個常用漢字要存。於是直接把 127 號之後那些「奇異符號」取消掉,重新規定:
小於 127 的字元意義不變;兩個大於 127 的字元連在一起時表示一個漢字——前一個位元組(高位元組)從 0xA1 到 0xF7,後一個(低位元組)從 0xA1 到 0xFE,這樣大約能組合出七千多個簡體漢字。
數學符號、羅馬與希臘字母、日文假名也都被編了進去,連 ASCII 裡本來就有的數字、標點、字母都重新編成兩個位元組的版本,這就是所謂的「全形」字元;127 號以下的那些則叫「半形」。這套方案就叫 GB2312,本質上是 ASCII 的中文擴充。
但漢字實在太多,很快我們發現有些人名打不出來。於是不得不把 GB2312 沒用到的碼位找出來用。後來還是不夠,乾脆不再要求低位元組必須大於 127,只要第一個位元組大於 127 就視為漢字的開始。擴充後的方案稱為 GBK,它包含 GB2312 的全部內容,並新增近兩萬個漢字(含繁體字)與符號。
接著少數民族的文字也要進電腦,於是再加幾千個字,GBK 擴成了 GB18030。這個標準最大的特點是:兩個位元組的漢字與一個位元組的英文並存在同一套編碼裡,所以程式在處理中文時必須逐一檢查每個位元組的值,若大於 127 就判定出現了雙位元組字元。
那個年代,寫程式的人每天都要默念一句咒語:「一個漢字算兩個英文字元。」
每個國家都搞一套自己的編碼,結果是彼此互不相通,連相隔 150 海浬、使用同一種語言的兄弟地區也採用不同方案:一個系統要顯示繁體中文,得裝「倚天漢字系統」,裝錯了就滿屏亂碼。
這時 ISO(國際標準化組織)出手了,方法很直接:廢掉所有地區性編碼,重新做一套涵蓋全世界文化、字母與符號的編碼,取名 UCS,俗稱 UNICODE。在 UNICODE 裡,「一個漢字算兩個英文字元」的時代結束了——不論半形英文還是全形漢字,都是統一的「一個字元」。
UNICODE 出現的同時,網路也興起,於是「UNICODE 該怎麼在網路上傳輸」成了新問題,面向傳輸的 UTF(UCS Transfer Format)標準隨之誕生。顧名思義,UTF-8 每次以 8 位元傳輸,UTF-16 每次以 16 位元傳輸。為了傳輸可靠性,從 UNICODE 轉到 UTF 並不是直接對應,而要經過一套演算法與規則。
UNICODE 用兩個位元組表示一個字元,總共能組合出 65535 個,大致足以覆蓋所有文化符號。若還不夠,ISO 也準備好了 UCS-4——用四個位元組表示一個字元,可組合出約 21 億個,大概能用到銀河聯邦成立那天。
亂碼是瀏覽器解釋 HTML 時造成的,常見有兩種原因。
第一種:語系標錯。例如頁面裡寫了:
<META CONTENT="text/html; charset=ISO-8859-1">
瀏覽器會把這一頁當成歐洲語系來解讀,於是顯示亂碼。解法是把 charset 改為 GB2312,若是繁體網頁則改為 BIG5。
第二種:根本沒標語系。也就是缺少 <META CONTENT="text/html; charset=XXXXX"> 這一行,而你的電腦預設語系又不是該頁使用的語系。訪問某些日文網站常遇到這個問題——開發者是面向本地使用者做的,本地預設語系一致所以沒事,你這個「外人」就得手動切換編碼。
至於「口口口口」這種情況,是因為網站沒有採用 UTF-8,而是用了當地編碼(例如蒙古語、阿拉伯語),你的電腦裡沒有該編碼,自然無法識別。解法是事先安裝多語言支援包,然後在瀏覽器的「檢視」→「編碼」中手動選擇對應語系。
通俗的理解是這樣:
從一份外國網站的調查可以看到,2001 至 2008 年間 GB2312 的使用比例雖然小幅上升,但 UTF-8 的成長曲線明顯更陡。

不過如果去看國內幾個大型入口網站,會發現用 GB2312 的比例反而更高:

這該怎麼解釋?我認為有三個原因:
這些顧慮對新站並不成立。所以在新建站的情況下,建議還是選 UTF-8——沒有歷史包袱,相容性又最好,無論訪客來自哪裡、用什麼裝置,都不至於看到一堆問號。