DIV CSS 佈局教程網

Node.js 抓取中文網頁出現亂碼怎麼辦?iconv-lite 與 cheerio 完整解法
編輯:關於JavaScript     

用 Node.js 寫爬蟲時,抓英數網站通常沒事,一碰到中文站台就爆炸——畫面上全是「?」或無意義的方框。原因很單純:request 預設把回應當 UTF-8 解碼,但很多老站(例如早期的網易首頁)用的是 gb2312。本文一步步把這個問題解掉。

問題重現

var request = require('request')
var url = 'https://www.163.com'

request(url, function (err, res, body) {
  console.log(body)
})

執行後你會看到中文全變亂碼,因為位元組序列被用錯的字碼表翻譯了。

解法一:用 iconv-lite 指定編碼

npm install iconv-lite

裝好之後,關鍵是讓 request 不要自動解碼(encoding: null),拿到原始的 Buffer,再交給 iconv 用正確的編碼表轉字串。順便把 User-Agent 也換掉,可以避免被網站直接擋下。

var originRequest = require('request')
var iconv = require('iconv-lite')

var headers = {
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
}

function request (url, callback) {
  var options = {
    url: url,
    encoding: null,   // 關鍵:不要自動轉碼
    headers: headers
  }
  originRequest(options, callback)
}

request(url, function (err, res, body) {
  var html = iconv.decode(body, 'gb2312')
  console.log(html)
})

實務上更穩妥的做法是讀取回應標頭的 content-type 中的 charset,再決定要餵給 iconv 哪個編碼名稱,這樣同一份程式碼就能同時吃 utf-8 與 gb2312 的站台。

解法二:用 cheerio 取代正則解析 HTML

可以粗暴地把 cheerio 理解為「跑在伺服器端的 jQuery」。有了它,取樣的方式跟寫前端一樣直觀,比一堆 \w+ 好維護太多。

npm install cheerio
request(url, function (err, res, body) {
  var html = iconv.decode(body, 'gb2312')
  var $ = cheerio.load(html)
  console.log($('h1').text())
  console.log($('h1').html())
})

輸出會長這樣:

網易
网易

又一個坑:.html() 吐出 HTML 實體

.text() 的結果正常,但 .html() 卻把「網易」變成 网易。這不是亂碼,而是 cheerio 預設把非 ASCII 字元轉成實體編碼,對後續的字串處理很困擾。查文件後發現可以直接關掉這個行為:

// 原本
var $ = cheerio.load(html)

// 改成
var $ = cheerio.load(html, {decodeEntities: false})

完整程式碼

var originRequest = require('request')
var cheerio = require('cheerio')
var iconv = require('iconv-lite')

var headers = {
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
}

function request (url, callback) {
  var options = {
    url: url,
    encoding: null,
    headers: headers
  }
  originRequest(options, callback)
}

var url = 'https://www.163.com'

request(url, function (err, res, body) {
  var html = iconv.decode(body, 'gb2312')
  var $ = cheerio.load(html, {decodeEntities: false})
  console.log($('h1').text())
  console.log($('h1').html())
})

三個要點複習一下:encoding 設 null 拿 Buffer、iconv 依實際編碼解碼、cheerio 關掉 decodeEntities。這三個環節任意一個漏掉,中文就會以某種形式壞掉。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved