DIV CSS 佈局教程網

Unicode 與 JavaScript 的漫長故事:為什麼 JS 用的是 UCS-2
編輯:關於JavaScript     

JavaScript 中的中文偶爾會出問題——某些罕用字的長度算錯、字串截取被切壞。要理解這件事的根因,得從字符編碼的歷史說起。

一、Unicode 想解決什麼

Unicode 源於一個非常朴素的想法:把全世界所有的字符放進同一個集合,只要電腦支援這一套字符集,就能顯示所有文字,再也不會有亂碼。

它從 0 開始,為每個符號指定一個編號,稱為「碼點」(code point)。例如碼點 0 是 null:

U+0000 = null

其中 U+ 表示後面的十六進位數字是 Unicode 碼點。

Unicode 收錄的符號數量龐大,其中中日韓文字約 74500 個,佔了全部的三分之二以上。例如中文「好」的碼點是:

U+597D = 好

這麼多符號並非一次定義完畢,而是分區定義。每個區可容納 65536 個字符,稱為一個「平面」(plane)。目前共有 17 個平面,也就是整個 Unicode 字符集的空間大小為 2 的 21 次方。

最前面的 65536 個字符位稱為基本平面(BMP),碼點範圍 U+0000 到 U+FFFF。所有最常見的字符都在這裡,這也是 Unicode 最早定義並公布的平面。其餘字符則放在輔助平面(SMP),範圍 U+010000 到 U+10FFFF。

二、UTF-32 與 UTF-8

Unicode 只規定了碼點,至於用什麼位元組序列來表示,屬於編碼方式的問題。

最直觀的做法是每個碼點固定用四個位元組表示,這就是 UTF-32:

U+0000 = 0x0000 0000
U+597D = 0x0000 597D

UTF-32 的優點是轉換規則簡單、查找效率高;缺點是極度浪費空間——同樣的英文文本會比 ASCII 大四倍。這個缺點足以致命,導致實際上無人使用,HTML5 標準甚至明文規定網頁不得編碼成 UTF-32。

人們真正需要的是省空間的編碼,這催生了 UTF-8。它是變長編碼,字符長度從 1 到 4 個位元組不等,越常用的字符位元組越少。最前面的 128 個字符只用 1 個位元組,與 ASCII 完全相同。

正因為這個特性,UTF-8 成為互聯網上最主流的編碼方式。

三、UTF-16 的折衷設計

UTF-16 介於 UTF-32 與 UTF-8 之間,同時結合了定長與變長的優點。規則很簡單:基本平面字符佔 2 個位元組,輔助平面字符佔 4 個位元組。

於是就產生一個問題:讀到兩個位元組時,怎麼判斷它本身是一個字符,還是需要與後面的位元組合起來讀?

設計上的解法相當巧妙:在基本平面內,U+D800 到 U+DFFF 是一段空段,不對應任何字符。這段空間正好可以用來映射輔助平面。

輔助平面共有 2 的 20 次方個字符位,至少需要 20 個二進位位。UTF-16 把這 20 位拆成兩半:前 10 位映射到 U+D800–U+DBFF(空間 2 的 10 次方),稱為高位(H);後 10 位映射到 U+DC00–U+DFFF,稱為低位(L)。也就是說,一個輔助平面字符會被拆成兩個基本平面字符來表示。

所以當程式讀到一個落在 U+D800 到 U+DBFF 之間的碼點,就能斷定後面兩個位元組必定落在 U+DC00 到 U+DFFF 之間,這四個位元組必須合起來解讀。

四、UTF-16 的轉碼公式

基本平面字符直接轉十六進位即可:

U+597D = 0x597D

輔助平面字符則需套用 Unicode 3.0 版提供的公式:

H = Math.floor((c - 0x10000) / 0x400) + 0xD800
L = (c - 0x10000) % 0x400 + 0xDC00

以碼點 U+1D306 為例:

H = Math.floor((0x1D306 - 0x10000) / 0x400) + 0xD800 = 0xD834
L = (0x1D306 - 0x10000) % 0x400 + 0xDC00       = 0xDF06

所以它的 UTF-16 編碼是 0xD834 DF06,佔四個位元組。

五、JavaScript 用的是哪一種

JavaScript 採用 Unicode 字符集,但只支援一種編碼——既不是 UTF-16,也不是 UTF-8 或 UTF-32。

它用的是 UCS-2。

六、UCS-2 從哪裡來

在互聯網出現之前,曾有兩個團隊各自想打造統一字符集:1988 年成立的 Unicode 團隊,以及 1989 年成立的 UCS 團隊。當他們發現彼此的存在後很快達成共識——世界不需要兩套統一字符集。

1991 年 10 月,兩個團隊決定合併。UCS 的碼點從此與 Unicode 完全一致。

UCS 的開發進度較快,1990 年就公布了 UCS-2,用 2 個位元組表示所有已知字符(當時只有基本平面,2 個位元組確實夠用)。UTF-16 遲至 1996 年 7 月才公布,並明確宣稱自己是 UCS-2 的超集。

簡單說,UTF-16 取代了 UCS-2,或者說 UCS-2 被整合進了 UTF-16。所以現在只有 UTF-16,沒有 UCS-2。

七、原來是時機問題

那 JavaScript 為什麼不用更先進的 UTF-16,反而選了已被淘汰的 UCS-2?

答案很樸素:不是不想要,而是當時還沒有。JavaScript 誕生的時候,UTF-16 尚未問世。

1995 年 5 月,Brendan Eich 用 10 天設計出 JavaScript;10 月第一個解釋引擎問世;隔年 11 月 Netscape 正式向 ECMA 提交語言標準。對比 UTF-16 的公布時間(1996 年 7 月),就能明白 Netscape 當時別無選擇。

八、這個歷史包袱帶來的問題

由於只能處理 UCS-2,JavaScript 中的所有字符都是 2 個位元組。遇到 4 個位元組的字符時,它會當成兩個独立的雙位元組字符處理,導致所有字串函式都無法回傳正確結果。

還是以 U+1D306 為例,它的 UTF-16 編碼是 0xD834DF06。這個四位元組序列不屬於 UCS-2,JavaScript 不認識,只會把它看作 U+D834 和 U+DF06 兩個字符——而這兩個碼點恰好落在空段,於是 JavaScript 會認為這是一個「由兩個空字符組成的字串」。

也就是說,JavaScript 會認為該字符的 length 是 2,取到的第一個字符是空字符,碼點是 0xDB34。這些結果全都錯了。

要正確處理,必須手動判斷碼點範圍並調整:

while (++index < length) {
  // ...
  if (charCode >= 0xD800 && charCode <= 0xDBFF) {
    output.push(character + string.charAt(++index));   // 高位代理,需連同下一位一起讀
  } else {
    output.push(character);
  }
}

類似的問題存在於所有 JavaScript 字串操作函式中,包括 String.prototype.replace()、substring()、slice() 等等。這些函式只對 2 位元組的碼點有效,要正確處理 4 位元組碼點,就得逐一實作自己的版本。

九、ECMAScript 6 的修正

ES6 大幅增強了 Unicode 支援,基本上解決了這個問題。

(1)正確辨識字符

ES6 能自動辨識 4 位元組碼點,遍歷字串因此變得簡單:

for (let s of string) {
  // ...
}

但為了向後相容,length 屬性維持原本的行為。若要取得正確長度:

Array.from(string).length

(2)碼點表示法

可以直接用碼點表示字符,寫法是「反斜線 + u + 碼點」:

'好' === '\u597D'   // true

但這種寫法對 4 位元組碼點無效。ES6 修正了這點,只要把碼點放進大括號即可:

'\u{1D306}'

(3)新增字串處理函式

  • String.fromCodePoint():由碼點回傳對應字符。
  • String.prototype.codePointAt():由字符回傳對應碼點。
  • String.prototype.at():回傳字串中指定位置的字符。

(4)正則表達式的 u 修飾符

為正則表達式加上 u 修飾符,即可正確處理 4 位元組碼點。

(5)Unicode 正規化

有些字符除了字母本身,還帶有附加符號。例如漢語拼音的 ǒ,字母上方的聲調就是附加符號——這對許多歐洲語言尤其重要。

Unicode 提供兩種表示方式:一種用單一碼點表示帶附加符號的字符(ǒ 的碼點是 U+01D1);另一種把附加符號當作獨立碼點,與主體字符複合顯示(ǒ = O 的 U+004F + ˇ 的 U+030C)。

// 方法一
'\u01D1'
// 方法二
'\u004F\u030C'

這兩種寫法在視覺與語義上完全相同,理應視為相等。但 JavaScript 無法自動辨識:

'\u01D1' === '\u004F\u030C'   // false

ES6 提供了 normalize() 方法,把兩種表示法轉成同樣的序列:

'\u01D1'.normalize() === '\u004F\u030C'.normalize()   // true

結語

這個故事說明了工程決策的宿命:1995 年為了在 10 天內交付而做的選擇,成了此後二十年 JavaScript 處理 Unicode 時必須背負的重量。而 ES6 的修正也印證了另一件事——好的語言設計,往往是在為前人未預見的需求打補丁。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved