先前介紹過如何用 NodeJS 搭配 PhantomJS 做截圖,但那套做法每截一次圖就要啟用一個 PhantomJS 行程,一旦並發量拉高,效率立刻成為瓶頸。於是我們重寫了全部程式碼,並把它獨立成一個模組,方便重複呼叫。
控制執行緒數量,以及單一執行緒處理的 url 數量;改用 Standard Output 與 WebSocket 通訊;加入緩存機制(目前以 JavaScript Object 實作);對外提供簡潔的介面。

PhantomJS 從 1.9.0 起才支援 WebSocket,所以先確認 PATH 中的版本:
$ phantomjs -v
能回傳 1.9.x 即可繼續;版本過低或報錯,請到官網下載最新版。
已安裝 Git 的話,直接執行:
$ npm install url-extract
截取百度首頁:
module.exports = (function () {
"use strict"
var urlExtract = require('url-extract');
urlExtract.snapshot('https://www.baidu.com', function (job) {
console.log('This is a snapshot example.');
console.log(job);
process.exit();
});
})();
輸出如下:

其中 image 屬性就是截圖相對於工作路徑的位址。想取得更清楚的資料,可改用 Job 的 getData 介面:
module.exports = (function () {
"use strict"
var urlExtract = require('url-extract');
urlExtract.snapshot('https://www.baidu.com', function (job) {
console.log('This is a snapshot example.');
console.log(job.getData());
process.exit();
});
})();
輸出變成:

image 是截圖相對於工作路徑的位址,status 表示狀態是否正常(true 為正常,false 代表截圖失敗)。更多範例可見 https://github.com/miniflycn/url-extract/tree/master/examples。
.snapshot —— url 快照
.snapshot(url, [callback]) .snapshot(urls, [callback]) .snapshot(url, [option]) .snapshot(urls, [option])
url {String} 要截取的位址;urls {Array} 要截取的位址陣列;callback {Function} 回呼函數;option {Object} 可選參數,包含:
id {String} 自定義 url 的 id(第一個參數是 urls 時無效)
image {String} 自定義截圖的儲存路徑(同上限制)
groupId {String} 定義一組 url 的 groupId,方便回傳時辨認屬於哪一組
ignoreCache {Boolean} 是否忽略緩存
callback {Function} 回呼函數
.extract —— 抓取 url 資訊並取得快照
.extract(url, [callback]) .extract(urls, [callback]) .extract(url, [option]) .extract(urls, [option])
參數結構與 snapshot 完全相同。
每個 url 對應一個 job 物件,url 的相關資訊由它儲存。
欄位:url {String} 連結位址、content {Boolean} 是否抓取頁面的 title 與 description、id {String} job 的 id、groupId {String} job 所屬組 id、cache {Boolean} 是否開啟緩存、callback {Function} 回呼函數、image {String} 圖片路徑、status {Boolean} job 目前是否正常。
原型方法:getData() 取得 job 的相關數據。
url-extract 根目錄的 config 檔可進行全域設定,預設如下:
module.exports = {
wsPort: 3001,
maxJob: 100,
maxQueueJob: 400,
cache: 'object',
maxCache: 10000,
workerNum: 0
};
wsPort {Number} WebSocket 佔用的連接埠;maxJob {Number} 每個 PhantomJS 執行緒可並發的 worker 數;maxQueueJob {Number} 最大等待工作數量,0 表示不限制,超過該值任何工作都直接回傳失敗(status = false);cache {String} 緩存實作,目前只有 object;maxCache {Number} 最大緩存連結數;workerNum {Number} PhantomJS 執行緒數,0 表示與 CPU 數量相同。
參考專案:https://github.com/miniflycn/url-extract-server-example。需要安裝 connect 與 url-extract:
$ npm install
若從網路磁碟下載檔案,還需另外安裝 connect:
$ npm install connect
然後啟動:
$ node bin/server
開啟 https://localhost:3000 即可查看效果。
這套設計的關鍵取捨在於:與其為每次截圖啟用一個行程,不如長期維持固定數量的 worker 並透過 WebSocket 溝通,再搭配佇列與緩存吸收尖峰。這是 Node 生態中處理瀏覽器自動化任務相當典型的思路。