用 Node.js 寫爬蟲時,抓英數網站通常沒事,一碰到中文站台就爆炸——畫面上全是「?」或無意義的方框。原因很單純:request 預設把回應當 UTF-8 解碼,但很多老站(例如早期的網易首頁)用的是 gb2312。本文一步步把這個問題解掉。
var request = require('request')
var url = 'https://www.163.com'
request(url, function (err, res, body) {
console.log(body)
})
執行後你會看到中文全變亂碼,因為位元組序列被用錯的字碼表翻譯了。
npm install iconv-lite
裝好之後,關鍵是讓 request 不要自動解碼(encoding: null),拿到原始的 Buffer,再交給 iconv 用正確的編碼表轉字串。順便把 User-Agent 也換掉,可以避免被網站直接擋下。
var originRequest = require('request')
var iconv = require('iconv-lite')
var headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
}
function request (url, callback) {
var options = {
url: url,
encoding: null, // 關鍵:不要自動轉碼
headers: headers
}
originRequest(options, callback)
}
request(url, function (err, res, body) {
var html = iconv.decode(body, 'gb2312')
console.log(html)
})
實務上更穩妥的做法是讀取回應標頭的 content-type 中的 charset,再決定要餵給 iconv 哪個編碼名稱,這樣同一份程式碼就能同時吃 utf-8 與 gb2312 的站台。
可以粗暴地把 cheerio 理解為「跑在伺服器端的 jQuery」。有了它,取樣的方式跟寫前端一樣直觀,比一堆 \w+ 好維護太多。
npm install cheerio
request(url, function (err, res, body) {
var html = iconv.decode(body, 'gb2312')
var $ = cheerio.load(html)
console.log($('h1').text())
console.log($('h1').html())
})
輸出會長這樣:
網易 网易
.text() 的結果正常,但 .html() 卻把「網易」變成 网易。這不是亂碼,而是 cheerio 預設把非 ASCII 字元轉成實體編碼,對後續的字串處理很困擾。查文件後發現可以直接關掉這個行為:
// 原本
var $ = cheerio.load(html)
// 改成
var $ = cheerio.load(html, {decodeEntities: false})
var originRequest = require('request')
var cheerio = require('cheerio')
var iconv = require('iconv-lite')
var headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
}
function request (url, callback) {
var options = {
url: url,
encoding: null,
headers: headers
}
originRequest(options, callback)
}
var url = 'https://www.163.com'
request(url, function (err, res, body) {
var html = iconv.decode(body, 'gb2312')
var $ = cheerio.load(html, {decodeEntities: false})
console.log($('h1').text())
console.log($('h1').html())
})
三個要點複習一下:encoding 設 null 拿 Buffer、iconv 依實際編碼解碼、cheerio 關掉 decodeEntities。這三個環節任意一個漏掉,中文就會以某種形式壞掉。