<!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>HTML5的標題</title> </head> <body> <p>HTML5的內容!Hello</p> </body> </html>
我是用記事本寫的,保存後在網頁上運行竟然出現了亂碼。換成 GB2312 就能正確顯示中文。
<!DOCTYPE html> <html> <head> <meta charset="GB2312"> <title>HTML5的標題</title> </head> <body> <p>HTML5的內容!Hello</p> </body> </html>
但畢竟標準不一樣,還是要用 UTF-8。最後我發現程式碼其實一點問題都沒有,問題就出在記事本本身。 <meta charset="utf-8"> 只是告訴瀏覽器要用 UTF-8 來解釋,而文檔的編碼,是在你保存時的選擇決定的。如果保存成 ANSI 卻用 UTF-8 解釋,那肯定是亂碼。記事本預設保存的檔案格式是 ANSI,所以保存的時候要改成 UTF-8。用記事本編寫的同學一定要注意了。

搞定~
科普:UTF-8、GBK、UTF8、GB2312 之間的區別和關係
UTF-8、GBK、UTF8、GB2312 之間的區別
UTF-8:Unicode Transformation Format-8bit,允許含 BOM,但通常不含 BOM。它是用以解決國際上字符的一種多字節編碼,對英文使用 8 位(即一個字節),中文使用 24 位(三個字節)來編碼。UTF-8 包含全世界所有國家需要用到的字符,是國際編碼,通用性強;UTF-8 編碼的文字可以在各國支援 UTF8 字符集的瀏覽器上顯示。例如,如果是 UTF8 編碼,則在外國人的英文 IE 上也能顯示中文,他們無需下載 IE 的中文語言支持包。
GBK 是在國家標準 GB2312 基礎上擴容後相容 GB2312 的標準。GBK 的文字編碼是用雙字節來表示的,即不論中、英文字符均使用雙字節來表示,為了區分中文,將其最高位都設定成 1。GBK 包含全部中文字符,是國家編碼,通用性比 UTF8 差,不過 UTF8 佔用的資料庫比 GBK 大。
GBK、GB2312 等與 UTF8 之間都必須通過 Unicode 編碼才能相互轉換:
GBK、GB2312--Unicode--UTF8
UTF8--Unicode--GBK、GB2312
對於一個網站、論壇來說,如果英文字符較多,則建議使用 UTF-8 以節省空間;不過現在很多論壇的插件一般只支援 GBK。
簡單來說,unicode、gbk 和大五碼就是編碼的值,而 utf-8、uft-16 之類就是這個值的表現形式。前面那三種編碼是相互相容的,同一個漢字,那三個碼值是完全不一樣的。例如「漢」的 unicode 值與 gbk 就不一樣,假設 unicode 為 a040,gbk 為 b030,而 uft-8 碼,就是把那個值表現的形式。utf-8 碼完全只針對 unicode 來組織,如果 GBK 要轉 UTF-8,必須先轉 unicode 碼,再轉 utf-8 就 OK 了。詳細的就見下面轉的這篇文章。
談談 Unicode 編碼,簡要解釋 UCS、UTF、BMP、BOM 等名詞
這是一篇程序員寫給程序員的趣味讀物。所謂趣味是指可以比較輕鬆地了解一些原來不清楚的概念,增進知識,類似於打 RPG 遊戲的升級。整理這篇文章的動機是兩個問題:
問題一:
使用 Windows 記事本的「另存為」,可以在 GBK、Unicode、Unicode big endian 和 UTF-8 這幾種編碼方式間相互轉換。同樣是 txt 檔,Windows 是怎樣識別編碼方式的呢?我很早前就發現 Unicode、Unicode big endian 和 UTF-8 編碼的 txt 檔開頭會多出幾個字節,分別是 FF、FE(Unicode)、FE、FF(Unicode big endian)、EF、BB、BF(UTF-8)。但這些標記是基於什麼標準呢?
問題二:
最近在網上看到一個 ConvertUTF.c,實現了 UTF-32、UTF-16 和 UTF-8 這三種編碼方式的相互轉換。對於 Unicode(UCS2)、GBK、UTF-8 這些編碼方式,我原來就了解,但這個程式讓我有些糊塗,想不起來 UTF-16 和 UCS2 有什麼關係。
查了查相關資料,總算將這些問題弄清楚了,順帶也了解了一些 Unicode 的細節。寫成一篇文章,送給有過類似疑問的朋友。本文在寫作時盡量做到通俗易懂,但要求讀者知道什麼是字節,什麼是十六進制。0、big endian 和 little endian
big endian 和 little endian 是 CPU 處理多字節數的不同方式。例如「漢」字的 Unicode 編碼是 6C49,那麼寫到檔案裡時,究竟是將 6C 寫在前面,還是將 49 寫在前面?如果將 6C 寫在前面,就是 big endian;如果將 49 寫在前面,就是 little endian。“endian” 這個詞出自《格列佛遊記》。小人國的內戰就源於吃雞蛋時究竟從大頭(Big-Endian)敲開還是從小頭(Little-Endian)敲開,由此曾發生過六次叛亂,一個皇帝送了命,另一個丟了王位。
我們一般將 endian 翻譯成“字節序”,將 big endian 和 little endian 稱作“大尾”和“小尾”。
1、字符編碼、內碼,順帶介紹漢字編碼
字符必須編碼後才能被計算機處理。計算機使用的缺省編碼方式就是計算機的內碼。早期的計算機使用 7 位的 ASCII 編碼,為了處理漢字,程序員設計了用於簡體中文的 GB2312 和用於繁體中文的 big5。GB2312(1980年)一共收錄了 7445 個字符,包括 6763 個漢字和 682 個其它符號。漢字區的內碼範圍高字節從 B0-F7,低字節從 A1-FE,佔用的碼位是 72*94=6768,其中有 5 個空位是 D7FA-D7FE。
GB2312 支援的漢字太少。1995 年的漢字擴展規範 GBK1.0 收錄了 21886 個符號,分為漢字區和圖形符號區,漢字區包括 21003 個字符。
從 ASCII、GB2312 到 GBK,這些編碼方法是向下相容的,即同一個字符在這些方案裡總是有相同的編碼,後面的標準支援更多的字符。在這些編碼中,英文和中文可以統一地處理,區分中文編碼的方法是高字節的最高位不為 0。按照程序員的稱呼,GB2312、GBK 都屬於雙字節字符集 (DBCS)。
2000 年的 GB18030 是取代 GBK1.0 的正式國家標準。該標準收錄了 27484 個漢字,同時還收錄了藏文、蒙文、維吾爾文等主要的少數民族文字。從漢字字彙上說,GB18030 在 GB13000.1 的 20902 個漢字的基礎上增加了 CJK 擴展 A 的 6582 個漢字(Unicode 碼 0x3400-0x4db5),一共收錄了 27484 個漢字。
CJK 就是中日韓的意思。Unicode 為了節省碼位,將中日韓三國語言中的文字統一編碼。GB13000.1 就是 ISO/IEC 10646-1 的中文版,相當於 Unicode 1.1。
GB18030 的編碼採用單字節、雙字節和 4 字節方案。其中單字節、雙字節和 GBK 是完全相容的,4 字節編碼的碼位則收錄了 CJK 擴展 A 的 6582 個漢字。例如:UCS 的 0x3400 在 GB18030 中的編碼應該是 8139EF30,UCS 的 0x3401 在 GB18030 中的編碼應該是 8139EF31。
微軟提供了 GB18030 的升級包,但這個升級包只是提供了一套支援 CJK 擴展 A 的 6582 個漢字的新字體:新宋體-18030,並不改變內碼,Windows 的內碼仍然是 GBK。
這裡還有一些細節:
GB2312 的原文還是區位碼,從區位碼到內碼,需要在高字節和低字節上分別加上 A0。
對於任何字符編碼,編碼單元的順序是由編碼方案指定的,與 endian 無關。例如 GBK 的編碼單元是字節,用兩個字節表示一個漢字,這兩個字節的順序是固定的,不受 CPU 字節序的影響。UTF-16 的編碼單元是 word(雙字節),word 之間的順序是編碼方案指定的,word 內部的字節排列才會受到 endian 的影響。後面還會介紹 UTF-16。
GB2312 的兩個字節的最高位都是 1,但符合這個條件的碼位只有 128*128=16384 個,所以 GBK 和 GB18030 的低字節最高位都可能不是 1。不過這不影響 DBCS 字符流的解碼:在讀取 DBCS 字符流時,只要遇到高位為 1 的字節,就可以將下兩個字節作為一個雙字節編碼,而不用管低字節的高位是什麼。
2、Unicode、UCS 和 UTF
前面提到從 ASCII、GB2312、GBK 到 GB18030 的編碼方法是向下相容的,而 Unicode 只與 ASCII 相容(更準確地說,是與 ISO-8859-1 相容),與 GB 碼不相容。例如「漢」字的 Unicode 編碼是 6C49,而 GB 碼是 BABA。Unicode 也是一種字符編碼方法,不過它是由國際組織設計,可以容納全世界所有語言文字的編碼方案。Unicode 的學名是 "Universal Multiple-Octet Coded Character Set",簡稱為 UCS,UCS 也可以看作是 "Unicode Character Set" 的縮寫。
根據維基百科全書的記載,歷史上存在兩個試圖獨立設計 Unicode 的組織,即國際標準化組織(ISO)和一個軟件製造商的協會(unicode.org)。ISO 開發了 ISO 10646 項目,Unicode 協會開發了 Unicode 項目。
在 1991 年前後,雙方都認識到世界不需要兩個不相容的字符集,於是它們開始合併雙方的工作成果,並為創立一個單一編碼表而協同工作。從 Unicode2.0 開始,Unicode 項目採用了與 ISO 10646-1 相同的字庫和字碼。
目前兩個項目仍都存在,並獨立地公布各自的標準。Unicode 協會現在的最新版本是 2005 年的 Unicode 4.1.0,ISO 的最新標準是 ISO 10646-3:2003。
UCS 只是規定如何編碼,並沒有規定如何傳輸、保存這個編碼。例如「漢」字的 UCS 編碼是 6C49,我可以用 4 個 ASCII 數字來傳輸、保存這個編碼,也可以用 UTF-8 編碼:3 個連續的字節 E6 B189 來表示它,關鍵在於通信雙方都要認可。UTF-8、UTF-7、UTF-16 都是被廣泛接受的方案。UTF-8 的一個特別的好處是它與 ISO-8859-1 完全相容。UTF 是 “UCS Transformation Format” 的縮寫。
IETF 的 RFC2781 和 RFC3629 以 RFC 一貫的風格,清晰、明快又不失嚴謹地描述了 UTF-16 和 UTF-8 的編碼方法。我總是記不得 IETF 是 Internet Engineering Task Force 的縮寫,但 IETF 負責維護的 RFC 是 Internet 上一切規範的基礎。
2.1、內碼和 code page
目前 Windows 的內核已經支援 Unicode 字符集,這樣在內核上可以支援全世界所有的語言文字。但是由於現有的大量程式和文檔都採用了某種特定語言的編碼,例如 GBK,Windows 不可能不支援現有的編碼而全部改用 Unicode。Windows 使用代碼頁(code page)來適應各個國家和地區。code page 可以被理解為前面提到的內碼,GBK 對應的 code page 是 CP936。
微軟也為 GB18030 定義了 code page:CP54936。但是由於 GB18030 有一部分 4 字節編碼,而 Windows 的代碼頁只支援單字節和雙字節編碼,所以這個 code page 是無法真正使用的。
3、UCS-2、UCS-4、BMP
UCS 有兩種格式:UCS-2 和 UCS-4。顧名思義,UCS-2 就是用兩個字節編碼,UCS-4 就是用 4 個字節(實際上只用了 31 位,最高位必須為 0)編碼。下面讓我們做一些簡單的數學遊戲:UCS-2 有 2^16=65536 個碼位,UCS-4 有 2^31=2147483648 個碼位。
UCS-4 根據最高位為 0 的最高字節分成 2^7=128 個 group,每個 group 再根據次高字節分為 256 個 plane,每個 plane 根據第 3 個字節分為 256 行 (rows),每行包含 256 個 cells。當然同一行的 cells 只是最後一個字節不同,其餘都相同。
group 0 的 plane 0 被稱作 Basic Multilingual Plane,即 BMP;或者說 UCS-4 中,高兩個字節為 0 的碼位被稱作 BMP。
將 UCS-4 的 BMP 去掉前面的兩個零字節就得到了 UCS-2,在 UCS-2 的兩個字節前加上兩個零字節就得到了 UCS-4 的 BMP。而目前的 UCS-4 規範中還沒有任何字符被分配在 BMP 之外。
4、UTF 編碼
UTF-8 就是以 8 位為單元對 UCS 進行編碼。從 UCS-2 到 UTF-8 的編碼方式如下:
UCS-2 編碼(16進制) UTF-8 字節流(二進制)
0000 - 007F 0xxxxxxx
0080 - 07FF 110xxxxx 10xxxxxx
0800 - FFFF 1110xxxx 10xxxxxx 10xxxxxx例如「漢」字的 Unicode 編碼是 6C49。6C49 在 0800-FFFF 之間,所以肯定要用 3 字節模板了:1110xxxx 10xxxxxx 10xxxxxx。將 6C49 寫成二進制是:0110 110001 001001,用這個比特流依次代替模板中的 x,得到:1110011010110001 10001001,即 E6 B1 89。
讀者可以用記事本測試一下我們的編碼是否正確。需要注意,UltraEdit 在打開 UTF-8 編碼的文字檔時會自動轉換為 UTF-16,可能產生混淆,你可以在設置中關掉這個選項;更好的工具是 Hex Workshop。
UTF-16 以 16 位為單元對 UCS 進行編碼。對於小於 0x10000 的 UCS 碼,UTF-16 編碼就等於 UCS 碼對應的 16 位無符號整數;對於不小於 0x10000 的 UCS 碼,則定義了一個演算法。不過由於實際使用的 UCS2,或者 UCS4 的 BMP 必然小於 0x10000,所以就目前而言,可以認為 UTF-16 和 UCS-2 基本相同。但 UCS-2 只是一個編碼方案,UTF-16 卻要用於實際的傳輸,所以就不得不考慮字節序的問題。
5、UTF 的字節序和 BOM
UTF-8 以字節為編碼單元,沒有字節序的問題。UTF-16 以兩個字節為編碼單元,在解釋一個 UTF-16 文字前,首先要弄清楚每個編碼單元的字節序。例如「奎」的 Unicode 編碼是 594E,「乙」的 Unicode 編碼是 4E59,如果我們收到 UTF-16 字節流「594E」,那麼這是「奎」還是「乙」?Unicode 規範中推薦的標記字節順序的方法是 BOM。BOM 不是“Bill Of Material”的 BOM 表,而是 Byte order Mark。BOM 是一個有點小聰明的想法:
在 UCS 編碼中有一個叫做 "ZERO WIDTH NO-BREAK SPACE" 的字符,它的編碼是 FEFF,而 FFFE 在 UCS 中是不存在的字符,所以不應該出現在實際傳輸中。UCS 規範建議我們在傳輸字節流前,先傳輸字符 "ZERO WIDTH NO-BREAK SPACE"。
這樣如果接收者收到 FEFF,就表明這個字節流是 Big-Endian 的;如果收到 FFFE,就表明這個字節流是 Little-Endian 的。因此字符 "ZERO WIDTH NO-BREAK SPACE" 又被稱作 BOM。
UTF-8 不需要 BOM 來表明字節順序,但可以用 BOM 來表明編碼方式。字符 "ZERO WIDTH NO-BREAK SPACE" 的 UTF-8 編碼是 EF BB BF(讀者可以用我們前面介紹的編碼方法驗證一下),所以如果接收者收到以 EF BBBF 開頭的字節流,就知道這是 UTF-8 編碼了。Windows 就是使用 BOM 來標記文字檔的編碼方式的。
6、進一步的參考資料
本文主要參考的資料是 "Short overview of ISO-IEC 10646 and Unicode" (https://www.nada.kth.se/i18n/ucs/unicode-iso10646-oview.html)。我還找了兩篇看上去不錯的資料,不過因為我開始的疑問都找到了答案,所以就沒有看:
"Understanding Unicode A general introduction to the Unicode Standard" (https://scripts.sil.org/cms/scripts/page.php?site_id=nrsi&item_id=IWS-Chapter04a)
"Character set encoding basics Understanding character set encodings and legacy encodings" (https://scripts.sil.org/cms/scripts/page.php?site_id=nrsi&item_id=IWS-Chapter03)
我寫過 UTF-8、UCS-2、GBK 相互轉換的軟件包,包括使用 Windows API 和不使用 Windows API 的版本。以後有時間的話,我會整理一下放到我的個人主頁上(https://fmddlmyy.home4u.china.com)。我是想清楚所有問題後才開始寫這篇文章的,原以為一會兒就能寫好,沒想到考慮措辭和查證細節花費了很長時間,竟然從下午 1:30 寫到 9:00。希望有讀者能從中受益。
附錄 1 再說說區位碼、GB2312、內碼和代碼頁
有的朋友對文章中這句話還有疑問:
“GB2312 的原文還是區位碼,從區位碼到內碼,需要在高字節和低字節上分別加上 A0。”我再詳細解釋一下:
“GB2312 的原文”是指國家 1980 年的一個標準《中華人民共和國國家標準 信息交換用漢字編碼字符集 基本集 GB2312-80》。這個標準用兩個數來編碼漢字和中文符號,第一個數稱為“區”,第二個數稱為“位”,所以也稱為區位碼。1-9 區是中文符號,16-55 區是一級漢字,56-87 區是二級漢字。現在 Windows 也還有區位輸入法,例如輸入 1601 得到“啊”(這個區位輸入法可以自動識別 16 進制的 GB2312 和 10 進制的區位碼,也就是說輸入 B0A1 同樣會得到“啊”)。
內碼是指操作系統內部的字符編碼,早期操作系統的內碼是與語言相關的。現在的 Windows 在系統內部支援 Unicode,然後用代碼頁適應各種語言,“內碼”的概念就比較模糊了。微軟一般將缺省代碼頁指定的編碼說成是內碼。
內碼這個詞彙,並沒有什麼官方的定義,代碼頁也只是微軟這個公司的叫法。作為程序員,我們只要知道它們是什麼東西,沒有必要過多地考證這些名詞。
所謂代碼頁(code page)就是針對一種語言文字的字符編碼。例如 GBK 的 code page 是 CP936,BIG5 的 code page 是 CP950,GB2312 的 code page 是 CP20936。
Windows 中有缺省代碼頁的概念,即缺省用什麼編碼來解釋字符。例如 Windows 的記事本打開了一個文字檔,裡面的內容是字節流:BA、BA、D7、D6,Windows 應該去怎麼解釋它呢?
是按照 Unicode 編碼解釋、還是按照 GBK 解釋、還是按照 BIG5 解釋,還是按照 ISO8859-1 去解釋?如果按 GBK 去解釋,就會得到“漢字”兩個字,按照其它編碼解釋,可能找不到對應的字符,也可能找到錯誤的字符。所謂“錯誤”是指與文字作者的本意不符,這時就產生了亂碼。
答案是 Windows 按照當前的缺省代碼頁去解釋文字檔裡的字節流。缺省代碼頁可以通過控制面板的區域選項設置,記事本的另存為中有一項 ANSI,其實就是按照缺省代碼頁的編碼方法保存。
Windows 的內碼是 Unicode,它在技術上可以同時支援多個代碼頁。只要檔案能說明自己使用什麼編碼,用戶又安裝了對應的代碼頁,Windows 就能正確顯示,例如在 HTML 檔中就可以指定 charset。
有的 HTML 檔作者,特別是英文作者,認為世界上所有人都使用英文,在檔中不指定 charset。如果他使用了 0x80-0xff 之間的字符,中文 Windows 又按照缺省的 GBK 去解釋,就會出現亂碼。這時只要在這個 HTML 檔中加上指定 charset 的語句,例如:<meta http-equiv="Content-Type" content="text/html; charset=ISO8859-1">,如果原作者使用的代碼頁和 ISO8859-1 相容,就不會出現亂碼了。
再說區位碼,啊的區位碼是 1601,寫成 16 進制是 0x10,0x01,這和計算機廣泛使用的 ASCII 編碼衝突。為了相容 00-7f 的 ASCII 編碼,我們在區位碼的高、低字節上分別加上 A0,這樣“啊”的編碼就成為 B0A1。我們將加過兩個 A0 的編碼也稱為 GB2312 編碼,雖然 GB2312 的原文根本沒提到這一點。