今天跟著 alsotang 的爬蟲教程,把 CNode 首頁簡單爬了一遍。整個流程可以拆成四個環節:建立專案、分析目標結構、抓取原始資料、解析並並發處理。
先建立一個 Express 專案,然後把 app.js 的內容整份刪掉——因為我們暫時不需要在 Web 端展示任何東西。當然,也可以直接在空資料夾下執行 npm install express 來取得需要的功能。
如下圖,這是 CNode 首頁的一部分 div 結構。我們要做的就是透過這一連串的 id 與 class 來定位需要的資料。

superagent 是一個可以用來呼叫 HTTP 的函式庫,使用方式跟 jQuery 的 ajax 差不多。我們透過它發起 get 請求,在回呼函式中輸出結果。
var express = require('express');
var url = require('url'); //解析操作url
var superagent = require('superagent');
var cheerio = require('cheerio');
var eventproxy = require('eventproxy');
var targetUrl = 'https://cnodejs.org/';
superagent.get(targetUrl)
.end(function (err, res) {
console.log(res);
});
這三個外部相依套件別忘了先 npm install。res 是一個包含目標網址資訊的物件,網站內容主要放在它的 text 屬性(字串)裡。

cheerio 扮演的是伺服器端 jQuery 的角色。先用它的 .load() 載入 HTML,之後就能用 CSS selector 篩選元素。
var $ = cheerio.load(res.text);
//通過CSS selector來篩選數據
$('#topic_list .topic_title').each(function (idx, element) {
console.log(element);
});
結果會是一個個物件,呼叫 .each(function(index, element)) 就能逐一走訪,每個元素都是 HTML DOM Element。

執行 console.log($element.attr('title')); 會得到類似 廣州 2014年12月06日 NodeParty 之 UC 場 這樣的標題;執行 console.log($element.attr('href')); 則得到 /topic/545c395becbcb78265856eb2 之類的相對路徑。要拿完整網址,就用 Node 的 url.resolve() 來補全。
superagent.get(tUrl)
.end(function (err, res) {
if (err) {
return console.error(err);
}
var topicUrls = [];
var $ = cheerio.load(res.text);
// 獲取首頁所有的鏈接
$('#topic_list .topic_title').each(function (idx, element) {
var $element = $(element);
var href = url.resolve(tUrl, $element.attr('href'));
console.log(href);
//topicUrls.push(href);
});
});
教程展示了深度巢狀(序列)與計數器兩種寫法,而 eventproxy 是用事件(並行)的方式來解決這個問題。當所有抓取都完成後,eventproxy 收到事件訊息,會自動幫你呼叫處理函式。
//第一步:得到一個 eventproxy 的實例
var ep = new eventproxy();
//第二步:定義監聽事件的回調函數。
//after方法為重復監聽
//params: eventname(String) 事件名, times(Number) 監聽次數, callback 回調函數
ep.after('topic_html', topicUrls.length, function(topics){
// topics 是個數組,包含了 40 次 ep.emit('topic_html', pair) 中的那 40 個 pair
topics = topics.map(function(topicPair){
var topicUrl = topicPair[0];
var topicHtml = topicPair[1];
var $ = cheerio.load(topicHtml);
return ({
title: $('.topic_full_title').text().trim(),
href: topicUrl,
comment1: $('.reply_content').eq(0).text().trim()
});
});
//outcome
console.log('outcome:');
console.log(topics);
});
//第三步:確定放出事件消息的
topicUrls.forEach(function (topicUrl) {
superagent.get(topicUrl)
.end(function (err, res) {
console.log('fetch ' + topicUrl + ' successful');
ep.emit('topic_html', [topicUrl, res.text]);
});
});
執行結果如下:


在文章頁面的原始碼中找到評論用戶的 class,名稱是 reply_author。印出 $('.reply_author').get(0) 可以看到,我們需要的東西都在裡面。

先針對單篇文章做一次完整抓取,把需要的資料一次拿齊:
var userHref = url.resolve(tUrl, $('.reply_author').get(0).attribs.href);
console.log(userHref);
console.log($('.reply_author').get(0).children[0].data);
積分資訊可以透過 https://cnodejs.org/user/username 這個路徑取得:
$('.reply_author').each(function (idx, element) {
var $element = $(element);
console.log($element.attr('href'));
});
在使用者資訊頁面上,$('.big').text().trim() 就是積分。另外,cheerio 的 .get(0) 用來取得集合中的第一個元素:
var userHref = url.resolve(tUrl, $('.reply_author').get(0).attribs.href);
console.log(userHref);
以上只是單篇文章的處理,要推廣到 40 篇還有幾處需要調整,下一篇再來收尾。