DIV CSS 佈局教程網

Node.js 爬蟲續篇:eventproxy 串接多層非同步抓取與踩雷修正
編輯:關於JavaScript     

接續上一篇,這次要讓程式能連續抓取 40 個頁面的內容。最終目標是輸出每篇文章的標題、連結、第一條評論、評論者,以及該使用者的論壇積分。

取得第一條評論的用戶名

如圖所示,$('.reply_author').eq(0).text().trim(); 取到的值就是第一條評論的發言者。

在 eventproxy 拿到評論與用戶名之後,我們需要拿著用戶名跳到使用者頁面,繼續抓取積分:

var $ = cheerio.load(topicHtml);
//此URL為下一步抓取目標URL
var userHref = 'https://cnodejs.org' + $('.reply_author').eq(0).attr('href');
userHref = url.resolve(tUrl, userHref);
var title = $('.topic_full_title').text().trim().replace(/\n/g, "");
var href = topicUrl;
var comment1 = $('.reply_content').eq(0).text().trim();
var author1 = $('.reply_author').eq(0).text().trim();
//傳遞參數到下一次並發抓取
ep.emit('user_html', [userHref, title, href, comment1, author1]);

找到積分所在的 class

在這一段 eventproxy 裡,我們得先確認 score 放在哪裡(class="big")。

找到 class 名就好辦了,先把結果印出來驗證:

var outcome = superagent.get(userUrl)
  .end(function (err, res) {
    if (err) {
      return console.error(err);
    }
    var $ = cheerio.load(res.text);
    var score = $('.big').text().trim();
    console.log(user[1]);
    console.log(user[2]);
    console.log(user[3]);
    console.log(user[4]);
    console.log($('.big').text().trim());
    return ({
      title: user[1],
      href: user[2],
      comment1: user[3],
      author1: user[4],
      score1: score
    });
  });

第一個坑:.end() 的回呼沒有回傳值

問題來了:我們在 .end() 的回呼函式中能正確印出結果,但外層的 outcome 卻不對。仔細一看,印出來的 outcome 是一個 Request 物件。這其實是個概念上的疏忽——.end() 並不會把回傳值交給 Request 物件,必須把結果回傳到上一層(users)才行。

//find userDetails
ep.after('user_html', topicUrls.length, function(users){
  users = users.map(function(user){
    var userUrl = user[0];
    var score;
    superagent.get(userUrl)
      .end(function (err, res) {
        if (err) {
          return console.error(err);
        }
        var $ = cheerio.load(res.text);
        score = $('.big').text().trim();
      });
    return ({
      title: user[1],
      href: user[2],
      comment1: user[3],
      author1: user[4],
      score1: score
    });
  });

第二個坑:非同步回呼的執行順序

把 users 印出來之後發現,除了 score1 之外其他都是正確值。仔細除錯才看出問題:console.log() 是先執行的,而 .map() 裡的 .get() 回呼還沒把 score 賦值完成,return 就已經把物件交出去了。這正是非同步回呼的本質:外層的同步程式碼不會停下來等回呼做完。

我的解法是讓 eventproxy 再 emit 一層訊息,把需要的資料伴隨訊息一起傳給 .after() 的接收端;只有當訊息全部收齊,才印出傳遞過來的參數(也就是最終結果)。

score = $('.big').text().trim();
//新添加
ep.emit('got_score', [user[1], user[2], user[3], user[4], score]);
.....
ep.after('got_score', 10, function(users){
  console.log(users);
});

第三個坑:class 名重複

問題解決了,但 score1 的數值未免也太大了些。再一看才知道,原來 class='big' 在頁面上出現了兩次,使用者的話題收藏數也用了同一個 class。得靠 cheerio 的 .slice(start, [end]) 切出第一個元素,也就是把 score 改寫成:

score = $('.big').slice(0).eq(0).text().trim();

這樣才拿到正確結果。這兩個坑——非同步回呼的時序、以及 selector 命中的元素不唯一——大概是用 cheerio 寫爬蟲時最容易反覆栽跟頭的地方。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved