DIV CSS 佈局教程網

JavaScript 中的 GB2312 轉 UTF-8 實作
編輯:關於JavaScript     

先回顧一點編碼背景。漢字標準交換碼(GB2312)分為兩級:第一級是常用字,共 3755 字,依漢語拼音字母排序;第二級是次常用字,共 3008 字,依部首排列。它的編碼範圍是 2121H–777EH。

UNICODE 是兩個位元組的全編碼,對 ASCII 字元也使用兩個位元組表示。碼頁(code page)則靠高位元組的取範圍來判斷是 ASCII 還是漢字的高位元組;一旦資料在某處損壞,就可能造成其後漢字整片錯亂。UNICODE 一律用兩個位元組表示一個字元,最明顯的好處就是簡化了漢字的處理流程。

兩種編碼的差異一眼看出

百度的頁面是 GB2312,URL 編碼自然由 GB 轉換而來。以「一」這個字為例,從 GB2312 出發的結果是 %D2%BB,而從 UTF-8 出發的結果是 %E4%B8%80——前者是 2 個位元組的編碼,後者是 3 個位元組的變長編碼。

可以用 JavaScript 的 encodeURI 與 decodeURI 觀察這些結果,切換頁面的編碼宣告就會看到不同的輸出。

轉換的三個步驟

網路上找不到現成的轉換程式,只好自己寫。還好網上不缺 GB 與 UTF 的對照表,改一改就能用。這裡要注意的是:對照表存的是「GB 位元組編碼 → UTF 的十六進位碼」,而不是位元組編碼本身。

而 JavaScript 的 escape 與 unescape 正是處理十六進位編碼的,於是思路就出來了:

1、encodeURI("漢字") 把 GB 字串轉成 %xx%xx 形式;
2、拿這個結果去對照表中查 UTF 的十六進位碼;
3、unescape("十六進位 UTF 編碼") 得到 UTF 字元。

中間那一步最關鍵,其餘兩步直接呼叫內建函式即可。

程式碼

先在伺服器端把對照表讀進應用程式狀態,避免每次轉換都重讀檔案:

function genCodeStr(){
  var codeRE = new RegExp("'(.*)' : '(.*)'", "gi");
  var tempStr, codeStr = "";
  var myReader = new Reader();
  myReader.loadFile('inc/gb2312_utf.txt');  // 改成你的對照表路徑
  while (!myReader.fStream.atEndofLine) {
    tempStr = new String(myReader.fStream.readLine());
    codeStr += tempStr.replace(codeRE, "$1") + ":" + tempStr.replace(codeRE, "$2") + ":";
  }
  Application("codeData") = codeStr;
}

function getCodeStr(){
  var codeStr = new String(Application("codeData"));
  if (codeStr.indexOf("%a1%a1") == -1) {
    genCodeStr();
  }
  return new String(Application("codeData"));
}

接著是真正的轉換函式,逐一比對並替換:

function gb2utf(gbStr){
  var codeStr  = getCodeStr();
  var codeRE   = new RegExp("(%..%..)", "gi");
  var replaceRE = new RegExp("(%..%..)", "i");
  var gbCode, utfCode, gbStart;

  while ((codeRE.lastIndex < gbStr.length) && replaceRE.test(gbStr)) {
    codeRE.exec(gbStr);
    gbCode  = new String(RegExp.$1);
    gbStart = new Number(codeStr.indexOf(gbCode.toLowerCase()));
    var utfStart = 0;
    if (gbStart != -1) {
      utfStart = gbStart + 7;
      utfCode  = codeStr.substring(utfStart, utfStart + 6);
    } else {
      utfCode = "%u3000";   // 找不到對應時的替代字元
    }
    gbStr = gbStr.replace(gbCode, utfCode);
  }
  return gbStr;
}

今天該怎麼做

這份程式反映的是「JavaScript 還沒有原生 Unicode 支援」的年代。現代的作法是:decodeURIComponent(escape(gbString)) 這類轉碼技巧已被 TextDecoder 取代——只要 new TextDecoder('gbk').decode(bytes) 就能把 GB 系位元組直接解成 JavaScript 字串,反向則用 TextEncoder 搭配 encodeURIComponent 處理。它不需要對照表,也不受「找不到就塞 %u3000」這種妥協的限制。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved