下面這篇內容整理自一次關於 Unicode 字符集以及 JavaScript 對其支持情況的技術分享。

Unicode 源於一個很簡單的想法:把全世界所有的字符都收進同一個集合,只要計算機支持這一套字符集,就能顯示所有字符,再也不會出現亂碼。

它從 0 開始,為每個符號指定一個編號,稱作「碼點」(code point)。比如碼點 0 對應的符号就是 null(表示所有二進制位都是 0)。式中 U+ 表示緊跟在後面的十六進制數是 Unicode 的碼點。
U+0000 = null

目前 Unicode 最新版本收入了十多萬個符號,其中中日韓文字佔了很大比例。可以近似認為,全世界現有符號中,三分之二以上來自東亞文字。比如中文「好」的碼點是十六進制的 597D。
U+597D = 好
符號如此之多,Unicode 並非一次性定義,而是分區定義。每個區可存放 65536(2 的 16 次方)個字符,稱為一個平面(plane)。目前共有 17 個平面。最前面的 65536 個字符位稱為基本平面(BMP),碼點範圍是 U+0000 到 U+FFFF,所有最常見的字符都在這裡。剩下的字符則放在輔助平面(SMP),碼點範圍從 U+010000 到 U+10FFFF。

Unicode 只規定了每個字符的碼點,至於用什麼字節序來表示,就涉及到編碼方法。最直觀的做法是每個碼點用四個字節表示,這就是 UTF-32。
U+0000 = 0x0000 0000 U+597D = 0x0000 597D

UTF-32 的優點是轉換規則簡單、查找效率高,缺點是浪費空間——同樣內容的英文文本會比 ASCII 編碼大四倍。正因這個致命缺點,實際上幾乎沒有人使用它,HTML 5 標準甚至明文規定網頁不得編碼成 UTF-32。

人們真正需要的是一種節省空間的編碼方法,這便催生了 UTF-8。UTF-8 是一種變長編碼,字符長度從 1 個到 4 個字節不等,越常用的字符字節越短,最前面的 128 個字符只用 1 個字節表示,與 ASCII 完全相同。由於這種特性,UTF-8 成為互聯網上最常見的網頁編碼。
UTF-16 介於 UTF-32 與 UTF-8 之間,兼具定長與變長的特點。它的編碼規則很簡單:基本平面的字符佔用 2 個字節,輔助平面的字符佔用 4 個字節。

於是就有一個問題:當遇到兩個字節時,怎麼判斷它本身是獨立字符,還是需要和另外兩個字節一起解讀?答案很巧妙——在基本平面內,從 U+D800 到 U+DFFF 是一個空段,不對應任何字符,正好可以用來映射輔助平面的字符。UTF-16 把輔助平面所需的 20 個二進制位拆成兩半:前 10 位映射在 U+D800 到 U+DBFF(高位 H),後 10 位映射在 U+DC00 到 U+DFFF(低位 L)。因此,只要發現某個碼點落在 U+D800 到 U+DBFF 之間,就能斷定緊隨其後的兩個字節必須與它合併解讀。

基本平面字符可直接轉為對應的十六進制,長度為兩字節;輔助平面字符則需按以下公式計算高位與低位:
H = Math.floor((c - 0x10000) / 0x400) + 0xD800 L = (c - 0x10000) % 0x400 + 0xDC00
以某個碼點為 U+1D306 的輔助平面字符為例:
H = Math.floor((0x1D306 - 0x10000) / 0x400) + 0xD800 = 0xD834 L = (0x1D306 - 0x10000) % 0x400 + 0xDC00 = 0xDF06
因此它的 UTF-16 編碼為 0xD834 DF06,長度為四個字節。

JavaScript 語言採用 Unicode 字符集,但只支持一種編碼方法。它既不是 UTF-16,也不是 UTF-8 或 UTF-32,而是 UCS-2。

為什麼會冒出個 UCS-2?這要說一點歷史。互聯網尚未普及的年代,曾有兩個團隊不約而同地想搞統一字符集:一個是 1989 年成立的 Unicode 團隊,另一個是更早、1988 年成立的 UCS 團隊。當他們發現彼此的存在後,很快達成共識——世界上不需要兩套統一字符集。1991 年 10 月,兩個團隊決定合併字符集,此後只發布一套 Unicode,UCS 的碼點與 Unicode 完全一致。

當時 UCS 的開發進度快於 Unicode,早在 1990 年就公布了第一套編碼方法 UCS-2,用 2 個字節表示已有的字符(那時只有基本平面,兩個字節足夠)。而 UTF-16 遲至 1996 年 7 月才公布,並明確宣布自己是 UCS-2 的超集。簡單說,就是 UTF-16 取代了 UCS-2,或說 UCS-2 整合進了 UTF-16。所以如今只有 UTF-16,而沒有 UCS-2。
那為什麼 JavaScript 不選更高級的 UTF-16,而用了已被淘汰的 UCS-2 呢?答案很簡單:非不想也,是不能也。因為 JavaScript 出現時,UTF-16 還沒問世。1995 年 5 月,Brendan Eich 用 10 天設計出 JavaScript;次年 11 月,Netscape 正式向 ECMA 提交語言標準。對比 UTF-16 的發布時間(1996 年 7 月)便會明白,彼時 Netscape 別無選擇,只有 UCS-2 可用。

由於只能處理 UCS-2 編碼,JavaScript 中所有字符都是 2 個字節;若是 4 個字節的字符,會被當作兩個雙字節字符處理,導致字符函數無法返回正確結果。

還是以那個 4 字節字符為例,它的 UTF-16 編碼是 0xD834 DF06,不屬於 UCS-2,JavaScript 不認識,只會把它看作 U+D834 和 U+DF06 兩個單獨字符,而這兩個碼點恰好是空的,於是便誤以為它是兩個空字符組成的字符串。

要解決這個問題,必須手動判斷碼點並做調整。下面是正確遍歷字符串的寫法:
while (++index < length) {
// ...
if (charCode >= 0xD800 && charCode <= 0xDBFF) {
output.push(character + string.charAt(++index));
} else {
output.push(character);
}
}
也就是說,遍歷時只要碼點落在 0xD800 到 0xDBFF 區間,就要連同後面的字節一起讀取。類似的問題存在於所有 JavaScript 字符操作函數中,如 String.prototype.replace()、substring()、slice() 等,它們都只對 2 字節碼點有效。

JavaScript 的下一個版本 ES6 大幅增強了 Unicode 支持,基本上解決了上述問題。

(1)正確識別字符。ES6 可自動識別 4 字節碼點,遍歷字符串變得簡單:
for (let s of string) { // ... }
但為保持兼容,length 屬性行為不變,要得到正確長度可用:
Array.from(string).length
(2)碼點表示法。ES6 允許用「斜槓 u + 碼點」直接表示字符,並支持將 4 字節碼點放在大括號內正確識別。
'好' === '\u597D' // true
(3)字符串處理函數。ES6 新增了 String.fromCodePoint()、String.prototype.codePointAt()、String.prototype.at() 等專門處理 4 字節碼點的函數。
(4)正則表達式。ES6 提供了 u 修飾符,為正則表達式增加對 4 字節碼點的支持。

(5)Unicode 正規化。有些字符除了字母本身還帶有附加符號,Unicode 提供了兩種表示方法:一種用單個碼點表示,另一種把附加符號作為獨立碼點與主體字符複合顯示。二者視覺與語義完全相同,但 JavaScript 默認無法辨別相等。
// 方法一 '\u01D1' // 方法二 '\u004F\u030C'
ES6 提供了 normalize 方法進行「Unicode 正規化」,將兩種寫法轉為相同序列:
'\u01D1'.normalize() === '\u004F\u030C'.normalize() // true
以上就是 JavaScript 對 Unicode 支持的全貌,希望對你理解字符與編碼有所幫助。