PhantomJS 是無頭瀏覽器,能執行 JavaScript,因此也能處理 DOM 節點,用來做網頁抓取再合適不過。
例如我們想批次抓取某個「歷史上的今天」網站的內容。

觀察 DOM 結構後發現,我們只需要取到 .list li a 的 title 值即可,於是可以用選擇器建構要抓取的片段:
var d= ''
var c = document.querySelectorAll('.list li a')
var l = c.length;
for(var i =0;i<l;i++){
d=d+c[i].title+'\n'
}
接著只要讓這段 JS 在 PhantomJS 裡跑起來即可:
var page = require('webpage').create();
page.open('https://www.todayonhistory.com/', function (status) {
if (status !== 'success') {
console.log('FAIL to load the address');
} else {
console.log(page.evaluate(function () {
var d= ''
var c = document.querySelectorAll('.list li a')
var l = c.length;
for(var i =0;i<l;i++){
d=d+c[i].title+'\n'
}
return d
}))
}
phantom.exit();
});
最後把它另存為 catch.js,在 DOS 中執行,就能把輸出內容導向 txt 檔(也可以用 PhantomJS 的檔案 API 來寫)。

關鍵在於 page.evaluate 能把瀏覽器端的 DOM 操作結果回傳給 PhantomJS,讓抓取變得相當直觀。