如今,網頁抓取已是家喻戶曉的技術,但實際上仍有諸多複雜性。簡單的爬蟲往往難以應付那些採用 Ajax 輪詢、XMLHttpRequest、WebSockets、Flash Sockets 等現代技術打造出的網站。
以我們在 Hubdoc 專案上的需求為例:我們要從銀行、公共事業與信用卡公司的網站抓取帳單金額、到期日、帳號,以及最重要的——近期帳單的 PDF。一開始我採用了很簡單的方案(暫時沒用昂貴的商業產品),也就是我先前在 MessageLab/Symantec 用 Perl 寫過的簡單爬蟲。但結果並不順利,因為垃圾郵件寄送者製作的網站,遠比銀行和公共事業公司的網站單純得多。
後來我們從 Mikeal 開發的優秀 request 庫開始。做法是在瀏覽器中發出請求,於 Network 視窗觀察到底送出了哪些請求標頭,再把它們複製到程式碼裡。這個過程其實很單純:追蹤從登入開始、到下載 PDF 結束的整個流程,然後模擬其中所有請求。為了讓這類工作更輕鬆,我把從 HTML 取結果的做法移植到 jQuery(使用輕量的 cheerio 庫),讓用 CSS 選擇器挑選頁面元素變得相當容易。整個流程被包裝進一個框架,這個框架還能做額外的工作,例如從資料庫取得憑證、載入個別機器人,以及透過 socket.io 與 UI 溝通。
這套做法對部分網站有效,但它終究只是 JS 腳本,而非那些公司真正在用的完整解決方案。他們針對複雜性做了分層,讓你非常難搞清楚該如何取得登入資訊。有些網站我嘗試了好幾天、結合 request() 庫想方設法,最後仍徒勞無功。
在幾近崩潰之際,我發現了 node-phantomjs——這個庫能讓我從 Node 中控制 phantomjs 這個無介面(headless)的 webkit 瀏覽器(即在後台完成頁面渲染,無須顯示裝置)。它看似是個簡潔的解法,但仍有幾個 PhantomJS 無法迴避的問題:
1. PhantomJS 只能告訴你頁面是否載入完成,卻無法確定過程中是否存在透過 JavaScript 或 meta 標籤實現的重定向,尤其是 JavaScript 用 setTimeout() 延遲呼叫的情形。
2. PhantomJS 提供了 pageLoadStarted 鉤子,允許你處理上述問題,但這個函式只能在你確定要載入的頁面數、於每頁載入完成時遞減、並為可能的超時提供處理的前提下運作,當數字遞減到 0 時才呼叫你的回調。這方式可行,卻總讓人覺得像是變通手法。
3. PhantomJS 每抓一個頁面都需要一個完整獨立的進程,因為若不這樣,就無法隔離各頁之間的 cookies——若用同一個進程,已登入頁面的 session 會被帶到另一個頁面。
4. 無法用 PhantomJS 下載資源,你只能把頁面存成 png 或 pdf。這很有用,但也代表我們得回頭求助 request() 來下載 PDF。
5. 基於上述原因,我必須想辦法把 cookie 從 PhantomJS 的 session 分發到 request() 的 session 中,做法是把 document.cookie 的字串解析後注入 request() 的 cookie jar。
6. 把變數注入瀏覽器 session 並不容易,我需要動態建立一段 JavaScript 函式:
Robot.prototype.add_page_data = function (page, name, data) {
page.evaluate(
"function () { var " + name + " = window." + name + " = " + JSON.stringify(data) + "}"
);
}
7. 有些網站總是充斥著 console.log() 之類的程式碼,需要把它們重新導向到我們希望的位置。為此我這樣做:
if (!console.log) {
var iframe = document.createElement("iframe");
document.body.appendChild(iframe);
console = window.frames[0].console;
}
8. 告訴瀏覽器「我點擊了某個 a 標籤」也不是件容易的事,為此我加入了以下程式碼:
var clickElement = window.clickElement = function (id) {
var a = document.getElementById(id);
var e = document.createEvent("MouseEvents");
e.initMouseEvent("click", true, true, window, 0, 0, 0, 0, 0, false, false, false, false, 0, null);
a.dispatchEvent(e);
};
9. 我還需要限制瀏覽器 session 的最大並發量,以免把伺服器壓垮。
所有工作完成後,我便擁有一套還算體面的 PhantomJS + request 爬蟲方案:先用 PhantomJS 完成登入,再回到 request() 發請求,並使用在 PhantomJS 中設定的 Cookie 驗證登入 session。這是一場重大勝利,因為我們得以用 request() 的串流來下載 PDF 檔。整個計畫的核心目標,是讓 Web 開發者能相對容易地用 jQuery 與 CSS 選擇器,為不同網站打造各自的爬蟲。