用 Node.js 寫爬蟲時,亂碼是最讓人頭疼的老朋友之一。本文把常見的兩類亂碼場景——非 UTF-8 編碼頁面與 gzip 壓縮頁面——的排查思路與解決方案做了系統梳理。
一、非 UTF-8 頁面的處理
1. 背景
有些網站使用的是 Windows-1251(cp1251)編碼,比如某些俄語站點。這裡主要討論的是 Windows-1251 與 UTF-8 之間的轉碼問題,其他的如 GBK 暫不展開。

2. 解決方案
方案一:嘗試用 JS 原生方式做編碼轉換。目前從 UTF-8 轉 Windows-1251 已有現成思路可循,其核心是一張映射表 DMap,記錄的其實就是 Windows-1251 編碼與 Unicode 之間的對應關係:
var DMap = {0: 0, 1: 1, 2: 2, 3: 3, 4: 4, 5: 5, 6: 6, 7: 7, 8: 8, 9: 9, 10: 10, 11: 11, 12: 12, 13: 13, 14: 14, 15: 15, 16: 16, 17: 17, 18: 18, 19: 19, 20: 20, 21: 21, 22: 22, 23: 23, 24: 24, 25: 25, 26: 26, 27: 27, 28: 28, 29: 29, 30: 30, 31: 31, 32: 32, 33: 33, 34: 34, 35: 35, 36: 36, 37: 37, 38: 38, 39: 39, 40: 40, 41: 41, 42: 42, 43: 43, 44: 44, 45: 45, 46: 46, 47: 47, 48: 48, 49: 49, 50: 50, 51: 51, 52: 52, 53: 53, 54: 54, 55: 55, 56: 56, 57: 57, 58: 58, 59: 59, 60: 60, 61: 61, 62: 62, 63: 63, 64: 64, 65: 65, 66: 66, 67: 67, 68: 68, 69: 69, 70: 70, 71: 71, 72: 72, 73: 73, 74: 74, 75: 75, 76: 76, 77: 77, 78: 78, 79: 79, 80: 80, 81: 81, 82: 82, 83: 83, 84: 84, 85: 85, 86: 86, 87: 87, 88: 88, 89: 89, 90: 90, 91: 91, 92: 92, 93: 93, 94: 94, 95: 95, 96: 96, 97: 97, 98: 98, 99: 99, 100: 100, 101: 101, 102: 102, 103: 103, 104: 104, 105: 105, 106: 106, 107: 107, 108: 108, 109: 109, 110: 110, 111: 111, 112: 112, 113: 113, 114: 114, 115: 115, 116: 116, 117: 117, 118: 118, 119: 119, 120: 120, 121: 121, 122: 122, 123: 123, 124: 124, 125: 125, 126: 126, 127: 127, 1027: 129, 8225: 135, 1046: 198, 8222: 132, 1047: 199, 1168: 165, 1048: 200, 1113: 154, 1049: 201, 1045: 197, 1050: 202, 1028: 170, 160: 160, 1040: 192, 1051: 203, 164: 164, 166: 166, 167: 167, 169: 169, 171: 171, 172: 172, 173: 173, 174: 174, 1053: 205, 176: 176, 177: 177, 1114: 156, 181: 181, 182: 182, 183: 183, 8221: 148, 187: 187, 1029: 189, 1056: 208, 1057: 209, 1058: 210, 8364: 136, 1112: 188, 1115: 158, 1059: 211, 1060: 212, 1030: 178, 1061: 213, 1062: 214, 1063: 215, 1116: 157, 1064: 216, 1065: 217, 1031: 175, 1066: 218, 1067: 219, 1068: 220, 1069: 221, 1070: 222, 1032: 163, 8226: 149, 1071: 223, 1072: 224, 8482: 153, 1073: 225, 8240: 137, 1118: 162, 1074: 226, 1110: 179, 8230: 133, 1075: 227, 1033: 138, 1076: 228, 1077: 229, 8211: 150, 1078: 230, 1119: 159, 1079: 231, 1042: 194, 1080: 232, 1034: 140, 1025: 168, 1081: 233, 1082: 234, 8212: 151, 1083: 235, 1169: 180, 1084: 236, 1052: 204, 1085: 237, 1035: 142, 1086: 238, 1087: 239, 1088: 240, 1089: 241, 1090: 242, 1036: 141, 1041: 193, 1091: 243, 1092: 244, 8224: 134, 1093: 245, 8470: 185, 1094: 246, 1054: 206, 1095: 247, 1096: 248, 8249: 139, 1097: 249, 1098: 250, 1044: 196, 1099: 251, 1111: 191, 1055: 207, 1100: 252, 1038: 161, 8220: 147, 1101: 253, 8250: 155, 1102: 254, 8216: 145, 1103: 255, 1043: 195, 1105: 184, 1039: 143, 1026: 128, 1106: 144, 8218: 130, 1107: 131, 8217: 146, 1108: 186, 1109: 190} function UnicodeToWin1251(s) { var L = [] for (var i=0; i<s.length; i++) { var ord = s.charCodeAt(i) if (!(ord in DMap)) throw "Character "+s.charAt(i)+" isn't supported by win1251!" L.push(String.fromCharCode(DMap[ord])) } return L.join('') }本想著反過來實現即可,但一試才發現 charCodeAt 只對 Unicode 有效,其他編碼很難反推碼段。既然用的是 Node.js,那就乾脆借助相應的模塊來解決。

方案二:安裝並使用 iconv-lite 模塊(說明見 https://www.npmjs.com/package/iconv-lite )。用法大致如下,關鍵在於請求時要帶上 encoding: 'binary' 參數,再把拿到的數據轉成 Buffer 進行解碼:
var iconv = require('iconv-lite'); var Buffer = require('buffer').Buffer; // Convert from an encoded windows-1251 to utf-8 //這個str1應該是http.get 或request等請求返回的數據 //請求的時候要帶參數,不然就會出錯 //除了基本的參數之外 要注意記得使用 encoding: 'binary'這個參數 //比如 str1 = 'ценности ни в '; //把獲取到的數據 轉換成Buffer,記得格式使用 binary //binary在各編碼直接穿梭無阻~ var buf = new Buffer(str1,'binary'); var str2 = iconv.decode(buf, 'win1251'); //str2就被轉換出來了,默認是轉成 Unicode格式,估計這也是iconv-lite的初衷吧 console.log(str2);
方案三:安裝並使用 iconv 模塊(說明見 https://github.com/bnoordhuis/node-iconv ,本質上通常是把 node-gyp 裝好就行)。直接使用後若出現形如 "пїЅпїЅ..." 的亂碼,可參考相關討論(https://stackoverflow.com/questions/8693400/nodejs-convertinf-from-windows-1251-to-utf-8 ),解法是轉成二進制讀取數據,encoding 設為 binary(默認是 utf-8):
request({ uri: website_url, method: 'GET', encoding: 'binary' }, function (error, response, body) { body = new Buffer(body, 'binary'); conv = new iconv.Iconv('WINDOWS-1251', 'utf8'); body = conv.convert(body).toString(); } });另外要特別說明的是,iconv 依賴一定的編譯環境(見 https://github.com/TooTallNate/node-gyp ):

第一需要相應版本的 Python(如 2.7)支持;第二需要編譯工具的支持(Windows 下最容易出錯)。常見的報錯如下:

Node 在沒有指定更高版本時,默認會使用 VS2005 編譯工具(所以報錯提示的解法通常是安裝 VS2005 與 Framework SDK 2.0)。
問題解決方案:
1. 安裝 Visual Studio 2010;
2. 指定 VS 編譯工具版本(例如 VS2012 就寫 2012),必要時執行 npm config set msvs_version 2010 --global;

3. 若仍提示找不到 Framework SDK,可把其安裝路徑加入系統環境變量 path(2010 對應 SDK 4.0,2008 對應 3.5,2012 對應 4.5)。特別要注意的是,環境變量只會讀取第一個匹配項!

所以,如果你之前已把 SDK2.0 的路徑設進了系統環境變量,那麼後加的 SDK4.0 路徑其實並不生效,起作用的只有排在最前面的那個。對策是:要麼刪掉舊路徑,要麼把想生效的路徑放到最前面。
二、gzip 頁面的處理
還有這樣一種情況:浏覽器訪問頁面一切正常,但用程序模擬請求回來卻是亂碼。這時不妨查看浏覽器請求的 Response 信息,如果發現 Content-Encoding: gzip,那基本上就是頁面被 gzip 壓縮所致。解決辦法很簡單,在發起請求時加上一個參數即可:
gzip:true
把這兩類場景都排查清楚,Node.js 爬蟲遇到亂碼時就能對症下藥了。