DIV CSS 佈局教程網

Node.js 打造爬蟲全流程:superagent + cheerio + eventproxy
編輯:關於JavaScript     

今天跟著 alsotang 的爬蟲教程,把 CNode 首頁簡單爬了一遍。整個流程可以拆成四個環節:建立專案、分析目標結構、抓取原始資料、解析並並發處理。

建立專案 craelr-demo

先建立一個 Express 專案,然後把 app.js 的內容整份刪掉——因為我們暫時不需要在 Web 端展示任何東西。當然,也可以直接在空資料夾下執行 npm install express 來取得需要的功能。

分析目標網站結構

如下圖,這是 CNode 首頁的一部分 div 結構。我們要做的就是透過這一連串的 id 與 class 來定位需要的資料。

用 superagent 取得原始資料

superagent 是一個可以用來呼叫 HTTP 的函式庫,使用方式跟 jQuery 的 ajax 差不多。我們透過它發起 get 請求,在回呼函式中輸出結果。

var express = require('express');
var url = require('url');              //解析操作url
var superagent = require('superagent');
var cheerio = require('cheerio');
var eventproxy = require('eventproxy');
var targetUrl = 'https://cnodejs.org/';

superagent.get(targetUrl)
  .end(function (err, res) {
    console.log(res);
  });

這三個外部相依套件別忘了先 npm install。res 是一個包含目標網址資訊的物件,網站內容主要放在它的 text 屬性(字串)裡。

用 cheerio 解析 HTML

cheerio 扮演的是伺服器端 jQuery 的角色。先用它的 .load() 載入 HTML,之後就能用 CSS selector 篩選元素。

var $ = cheerio.load(res.text);
//通過CSS selector來篩選數據
$('#topic_list .topic_title').each(function (idx, element) {
  console.log(element);
});

結果會是一個個物件,呼叫 .each(function(index, element)) 就能逐一走訪,每個元素都是 HTML DOM Element。

執行 console.log($element.attr('title')); 會得到類似 廣州 2014年12月06日 NodeParty 之 UC 場 這樣的標題;執行 console.log($element.attr('href')); 則得到 /topic/545c395becbcb78265856eb2 之類的相對路徑。要拿完整網址,就用 Node 的 url.resolve() 來補全。

superagent.get(tUrl)
  .end(function (err, res) {
    if (err) {
      return console.error(err);
    }
    var topicUrls = [];
    var $ = cheerio.load(res.text);
    // 獲取首頁所有的鏈接
    $('#topic_list .topic_title').each(function (idx, element) {
      var $element = $(element);
      var href = url.resolve(tUrl, $element.attr('href'));
      console.log(href);
      //topicUrls.push(href);
    });
  });

用 eventproxy 並發抓取各主題內容

教程展示了深度巢狀(序列)與計數器兩種寫法,而 eventproxy 是用事件(並行)的方式來解決這個問題。當所有抓取都完成後,eventproxy 收到事件訊息,會自動幫你呼叫處理函式。

//第一步:得到一個 eventproxy 的實例
var ep = new eventproxy();

//第二步:定義監聽事件的回調函數。
//after方法為重復監聽
//params: eventname(String) 事件名, times(Number) 監聽次數, callback 回調函數
ep.after('topic_html', topicUrls.length, function(topics){
  // topics 是個數組,包含了 40 次 ep.emit('topic_html', pair) 中的那 40 個 pair
  topics = topics.map(function(topicPair){
    var topicUrl = topicPair[0];
    var topicHtml = topicPair[1];
    var $ = cheerio.load(topicHtml);
    return ({
      title: $('.topic_full_title').text().trim(),
      href: topicUrl,
      comment1: $('.reply_content').eq(0).text().trim()
    });
  });
  //outcome
  console.log('outcome:');
  console.log(topics);
});

//第三步:確定放出事件消息的
topicUrls.forEach(function (topicUrl) {
  superagent.get(topicUrl)
    .end(function (err, res) {
      console.log('fetch ' + topicUrl + ' successful');
      ep.emit('topic_html', [topicUrl, res.text]);
    });
});

執行結果如下:

延伸練習:抓取留言用戶名與積分

在文章頁面的原始碼中找到評論用戶的 class,名稱是 reply_author。印出 $('.reply_author').get(0) 可以看到,我們需要的東西都在裡面。

先針對單篇文章做一次完整抓取,把需要的資料一次拿齊:

var userHref = url.resolve(tUrl, $('.reply_author').get(0).attribs.href);
console.log(userHref);
console.log($('.reply_author').get(0).children[0].data);

積分資訊可以透過 https://cnodejs.org/user/username 這個路徑取得:

$('.reply_author').each(function (idx, element) {
  var $element = $(element);
  console.log($element.attr('href'));
});

在使用者資訊頁面上,$('.big').text().trim() 就是積分。另外,cheerio 的 .get(0) 用來取得集合中的第一個元素:

var userHref = url.resolve(tUrl, $('.reply_author').get(0).attribs.href);
console.log(userHref);

以上只是單篇文章的處理,要推廣到 40 篇還有幾處需要調整,下一篇再來收尾。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved