DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁腳本 >  >> WEB網站前端 >> 前端技巧
做網站該選 UTF-8 還是 GB2312?從編碼演進談到實務選擇
編輯:前端技巧     

打開一些國外網站時出現亂碼,或者顯示一堆「口口口口」,這是許多人對編碼最直接的印象。WordPress 用的是 UTF-8,而不少 CMS 用的是 GB2312。於是問題來了:為什麼會有這麼多種編碼?兩者差在哪?我們自己做網站該選哪一個?

一、各種編碼的由來

ANSI 與 ASCII

很久以前,有一群人決定用 8 個可開關的晶體管組合出不同狀態來表示萬物。8 個開關的組合剛剛好,於是他們把這個單位稱為「位元組」。8 位元總共能組合出 256 種狀態。

早期電腦只在美國使用,於是他們把從 0 開始的 32 種狀態規定了特殊用途:終端機遇到 0x10 就換行,遇到 0x07 就嗶一聲,遇到 0x1B 就下達特殊指令。這些 0x20 以下的狀態被稱為「控制碼」。

接著他們把空格、標點、數字、大小寫字母用連續的位元組狀態表示,一直編到第 127 號。這樣電腦就能用不同位元組儲存英文文字了。這套方案被稱為 ANSI 的 ASCII 編碼(American Standard Code for Information Interchange),當時全世界的電腦都用同一套方案保存英文。

擴充 ANSI 編碼

後來電腦開始在全世界普及,但很多國家的字母裡有 ASCII 沒有的字元。於是他們決定用 127 號之後的空位來表示這些新字母與符號,還加進了畫表格用的橫線、豎線、交叉等造型,一路編到最後一個狀態 255。128 到 255 這一段被稱為「擴充字元集」。從此,再也沒有新的狀態可用了。

GB2312

當中文世界拿到電腦時,可用的位元組狀態已經被佔滿,而我們有六千多個常用漢字要存。於是直接把 127 號之後那些「奇異符號」取消掉,重新規定:

小於 127 的字元意義不變;兩個大於 127 的字元連在一起時表示一個漢字——前一個位元組(高位元組)從 0xA1 到 0xF7,後一個(低位元組)從 0xA1 到 0xFE,這樣大約能組合出七千多個簡體漢字。

數學符號、羅馬與希臘字母、日文假名也都被編了進去,連 ASCII 裡本來就有的數字、標點、字母都重新編成兩個位元組的版本,這就是所謂的「全形」字元;127 號以下的那些則叫「半形」。這套方案就叫 GB2312,本質上是 ASCII 的中文擴充。

GBK 與 GB18030

但漢字實在太多,很快我們發現有些人名打不出來。於是不得不把 GB2312 沒用到的碼位找出來用。後來還是不夠,乾脆不再要求低位元組必須大於 127,只要第一個位元組大於 127 就視為漢字的開始。擴充後的方案稱為 GBK,它包含 GB2312 的全部內容,並新增近兩萬個漢字(含繁體字)與符號。

接著少數民族的文字也要進電腦,於是再加幾千個字,GBK 擴成了 GB18030。這個標準最大的特點是:兩個位元組的漢字與一個位元組的英文並存在同一套編碼裡,所以程式在處理中文時必須逐一檢查每個位元組的值,若大於 127 就判定出現了雙位元組字元。

那個年代,寫程式的人每天都要默念一句咒語:「一個漢字算兩個英文字元。」

UNICODE

每個國家都搞一套自己的編碼,結果是彼此互不相通,連相隔 150 海浬、使用同一種語言的兄弟地區也採用不同方案:一個系統要顯示繁體中文,得裝「倚天漢字系統」,裝錯了就滿屏亂碼。

這時 ISO(國際標準化組織)出手了,方法很直接:廢掉所有地區性編碼,重新做一套涵蓋全世界文化、字母與符號的編碼,取名 UCS,俗稱 UNICODE。在 UNICODE 裡,「一個漢字算兩個英文字元」的時代結束了——不論半形英文還是全形漢字,都是統一的「一個字元」。

UTF-8 與 UTF-16

UNICODE 出現的同時,網路也興起,於是「UNICODE 該怎麼在網路上傳輸」成了新問題,面向傳輸的 UTF(UCS Transfer Format)標準隨之誕生。顧名思義,UTF-8 每次以 8 位元傳輸,UTF-16 每次以 16 位元傳輸。為了傳輸可靠性,從 UNICODE 轉到 UTF 並不是直接對應,而要經過一套演算法與規則。

未來的 UCS-4

UNICODE 用兩個位元組表示一個字元,總共能組合出 65535 個,大致足以覆蓋所有文化符號。若還不夠,ISO 也準備好了 UCS-4——用四個位元組表示一個字元,可組合出約 21 億個,大概能用到銀河聯邦成立那天。

二、網頁為什麼會亂碼

亂碼是瀏覽器解釋 HTML 時造成的,常見有兩種原因。

第一種:語系標錯。例如頁面裡寫了:

<META CONTENT="text/html; charset=ISO-8859-1">

瀏覽器會把這一頁當成歐洲語系來解讀,於是顯示亂碼。解法是把 charset 改為 GB2312,若是繁體網頁則改為 BIG5。

第二種:根本沒標語系。也就是缺少 <META CONTENT="text/html; charset=XXXXX"> 這一行,而你的電腦預設語系又不是該頁使用的語系。訪問某些日文網站常遇到這個問題——開發者是面向本地使用者做的,本地預設語系一致所以沒事,你這個「外人」就得手動切換編碼。

至於「口口口口」這種情況,是因為網站沒有採用 UTF-8,而是用了當地編碼(例如蒙古語、阿拉伯語),你的電腦裡沒有該編碼,自然無法識別。解法是事先安裝多語言支援包,然後在瀏覽器的「檢視」→「編碼」中手動選擇對應語系。

三、現在開發網站該用哪一種

通俗的理解是這樣:

  • UTF-8 是全球通用編碼,也完整支援中文。如果你的網站要讓國外使用者正常訪問,最好用 UTF-8。
  • GB2312 屬於中文編碼,主要面向國內使用者;國外訪客打開時容易變成亂碼。

從一份外國網站的調查可以看到,2001 至 2008 年間 GB2312 的使用比例雖然小幅上升,但 UTF-8 的成長曲線明顯更陡。

不過如果去看國內幾個大型入口網站,會發現用 GB2312 的比例反而更高:

這該怎麼解釋?我認為有三個原因:

  1. 歷史包袱。這些網站成立得早,一開始就用 GB2312,要改成 UTF-8 意味著搬轉大量歷史頁面,難度與風險都不小。
  2. 檔案體積。UTF-8 編碼的檔案比 GB2312 佔空間。在今天的硬體環境下這點差距可以忽略,但入口級網站為了降低伺服器負載通常把頁面全部靜態化,每天生成的檔案量極大,儲存成本相應提高。
  3. 頻寬成本。UTF-8 解碼後的網路傳輸資料量比 GB2312 大,對入口級網站而言,這無形中就要擴充頻寬。用 GB2312 對網路流量是最好的優化。

結論

這些顧慮對新站並不成立。所以在新建站的情況下,建議還是選 UTF-8——沒有歷史包袱,相容性又最好,無論訪客來自哪裡、用什麼裝置,都不至於看到一堆問號。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved