先回顧一點編碼背景。漢字標準交換碼(GB2312)分為兩級:第一級是常用字,共 3755 字,依漢語拼音字母排序;第二級是次常用字,共 3008 字,依部首排列。它的編碼範圍是 2121H–777EH。
UNICODE 是兩個位元組的全編碼,對 ASCII 字元也使用兩個位元組表示。碼頁(code page)則靠高位元組的取範圍來判斷是 ASCII 還是漢字的高位元組;一旦資料在某處損壞,就可能造成其後漢字整片錯亂。UNICODE 一律用兩個位元組表示一個字元,最明顯的好處就是簡化了漢字的處理流程。
百度的頁面是 GB2312,URL 編碼自然由 GB 轉換而來。以「一」這個字為例,從 GB2312 出發的結果是 %D2%BB,而從 UTF-8 出發的結果是 %E4%B8%80——前者是 2 個位元組的編碼,後者是 3 個位元組的變長編碼。
可以用 JavaScript 的 encodeURI 與 decodeURI 觀察這些結果,切換頁面的編碼宣告就會看到不同的輸出。
網路上找不到現成的轉換程式,只好自己寫。還好網上不缺 GB 與 UTF 的對照表,改一改就能用。這裡要注意的是:對照表存的是「GB 位元組編碼 → UTF 的十六進位碼」,而不是位元組編碼本身。
而 JavaScript 的 escape 與 unescape 正是處理十六進位編碼的,於是思路就出來了:
1、encodeURI("漢字") 把 GB 字串轉成 %xx%xx 形式;
2、拿這個結果去對照表中查 UTF 的十六進位碼;
3、unescape("十六進位 UTF 編碼") 得到 UTF 字元。
中間那一步最關鍵,其餘兩步直接呼叫內建函式即可。
先在伺服器端把對照表讀進應用程式狀態,避免每次轉換都重讀檔案:
function genCodeStr(){
var codeRE = new RegExp("'(.*)' : '(.*)'", "gi");
var tempStr, codeStr = "";
var myReader = new Reader();
myReader.loadFile('inc/gb2312_utf.txt'); // 改成你的對照表路徑
while (!myReader.fStream.atEndofLine) {
tempStr = new String(myReader.fStream.readLine());
codeStr += tempStr.replace(codeRE, "$1") + ":" + tempStr.replace(codeRE, "$2") + ":";
}
Application("codeData") = codeStr;
}
function getCodeStr(){
var codeStr = new String(Application("codeData"));
if (codeStr.indexOf("%a1%a1") == -1) {
genCodeStr();
}
return new String(Application("codeData"));
}
接著是真正的轉換函式,逐一比對並替換:
function gb2utf(gbStr){
var codeStr = getCodeStr();
var codeRE = new RegExp("(%..%..)", "gi");
var replaceRE = new RegExp("(%..%..)", "i");
var gbCode, utfCode, gbStart;
while ((codeRE.lastIndex < gbStr.length) && replaceRE.test(gbStr)) {
codeRE.exec(gbStr);
gbCode = new String(RegExp.$1);
gbStart = new Number(codeStr.indexOf(gbCode.toLowerCase()));
var utfStart = 0;
if (gbStart != -1) {
utfStart = gbStart + 7;
utfCode = codeStr.substring(utfStart, utfStart + 6);
} else {
utfCode = "%u3000"; // 找不到對應時的替代字元
}
gbStr = gbStr.replace(gbCode, utfCode);
}
return gbStr;
}
這份程式反映的是「JavaScript 還沒有原生 Unicode 支援」的年代。現代的作法是:decodeURIComponent(escape(gbString)) 這類轉碼技巧已被 TextDecoder 取代——只要 new TextDecoder('gbk').decode(bytes) 就能把 GB 系位元組直接解成 JavaScript 字串,反向則用 TextEncoder 搭配 encodeURIComponent 處理。它不需要對照表,也不受「找不到就塞 %u3000」這種妥協的限制。