DIV CSS 佈局教程網

使用 PhantomJS 進行網頁抓取的實作
編輯:關於JavaScript     

PhantomJS 是無頭瀏覽器,能執行 JavaScript,因此也能處理 DOM 節點,用來做網頁抓取再合適不過。

例如我們想批次抓取某個「歷史上的今天」網站的內容。

觀察 DOM 結構後發現,我們只需要取到 .list li a 的 title 值即可,於是可以用選擇器建構要抓取的片段:

var d= ''
var c = document.querySelectorAll('.list li a')
var l = c.length;
for(var i =0;i<l;i++){
  d=d+c[i].title+'\n'
}

接著只要讓這段 JS 在 PhantomJS 裡跑起來即可:

var page = require('webpage').create();
page.open('https://www.todayonhistory.com/', function (status) {
  if (status !== 'success') {
    console.log('FAIL to load the address');
  } else {
    console.log(page.evaluate(function () {
      var d= ''
      var c = document.querySelectorAll('.list li a')
      var l = c.length;
      for(var i =0;i<l;i++){
        d=d+c[i].title+'\n'
      }
      return d
    }))
  }
  phantom.exit();
});

最後把它另存為 catch.js,在 DOS 中執行,就能把輸出內容導向 txt 檔(也可以用 PhantomJS 的檔案 API 來寫)。

關鍵在於 page.evaluate 能把瀏覽器端的 DOM 操作結果回傳給 PhantomJS,讓抓取變得相當直觀。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved