DIV CSS 佈局教程網

Node.js 爬蟲抓取數據之 HTML 實體編碼問題
編輯:關於JavaScript     

在用 cheerio 把網頁 DOM 化並解析時,一個容易被忽略的坑就是 HTML 實體編碼。這裡分享一點實踐經驗:

1. 如果使用 .text() 方法,一般不會遇到 HTML 實體編碼的問題;

2. 而如果使用 .html() 方法,很多時候(尤其是非英文內容)都會出現類似下面的實體編碼:

 Халк крушит. Новый способ исполнен

這些內容大多是 &#(x)?\w+ 的格式。由於我們需要把它們存儲起來,所以必須先做一次轉義還原。可以用正則來批量處理:

 var body = ....//這裡就是請求後獲得的返回數據,或者那些 .html()後獲取的 //一般可以先轉換為標准unicode格式(有需要就添加:當返回的數據呈現太多\\\u 之類的時) body=unescape(body.replace(/\\u/g,"%u")); //再對實體符進行轉義 //有x則表示是16進制,$1就是匹配是否有x ,$2就是匹配出的第二個括號捕獲到的內容,將$2以對應進制表示轉換 body = body.replace(/&#(x)?(\w+);/g,function($,$1,$2){ return String.fromCharCode(parseInt($2,$1?16:10)); });

這樣就搞定了。網上其實也有不少现成的轉換版本,挑一個合用的即可。

後記:用爬蟲抓取網頁數據時,cheerio 幾乎是必備利器,它像 jQuery 一樣方便流暢。只不過有些功能並未被支持或換了形式,比如 jQuery 裡的 jQuery('.myClass').prop('outerHTML'),在 cheerio 中等價於 jQuery.html('.myClass')(參考:https://www.mgenware.com/blog/?p=2514 )。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved