DIV CSS 佈局教程網

NodeJS 網頁截圖模組 url-extract 使用實例
編輯:JavaScript基礎知識     

先前介紹過如何用 NodeJS 搭配 PhantomJS 做截圖,但那套做法每截一次圖就要啟用一個 PhantomJS 行程,一旦並發量拉高,效率立刻成為瓶頸。於是我們重寫了全部程式碼,並把它獨立成一個模組,方便重複呼叫。

改進方向

控制執行緒數量,以及單一執行緒處理的 url 數量;改用 Standard Output 與 WebSocket 通訊;加入緩存機制(目前以 JavaScript Object 實作);對外提供簡潔的介面。

依賴與安裝

PhantomJS 從 1.9.0 起才支援 WebSocket,所以先確認 PATH 中的版本:

$ phantomjs -v

能回傳 1.9.x 即可繼續;版本過低或報錯,請到官網下載最新版。

已安裝 Git 的話,直接執行:

$ npm install url-extract

一個簡單的例子

截取百度首頁:

module.exports = (function () {
    "use strict"

    var urlExtract = require('url-extract');

    urlExtract.snapshot('https://www.baidu.com', function (job) {
        console.log('This is a snapshot example.');
        console.log(job);
        process.exit();
    });
})();

輸出如下:

其中 image 屬性就是截圖相對於工作路徑的位址。想取得更清楚的資料,可改用 Job 的 getData 介面:

module.exports = (function () {
    "use strict"

    var urlExtract = require('url-extract');

    urlExtract.snapshot('https://www.baidu.com', function (job) {
        console.log('This is a snapshot example.');
        console.log(job.getData());
        process.exit();
    });
})();

輸出變成:

image 是截圖相對於工作路徑的位址,status 表示狀態是否正常(true 為正常,false 代表截圖失敗)。更多範例可見 https://github.com/miniflycn/url-extract/tree/master/examples。

主要 API

.snapshot —— url 快照

.snapshot(url, [callback])
.snapshot(urls, [callback])
.snapshot(url, [option])
.snapshot(urls, [option])

url {String} 要截取的位址;urls {Array} 要截取的位址陣列;callback {Function} 回呼函數;option {Object} 可選參數,包含:

id {String} 自定義 url 的 id(第一個參數是 urls 時無效)
image {String} 自定義截圖的儲存路徑(同上限制)
groupId {String} 定義一組 url 的 groupId,方便回傳時辨認屬於哪一組
ignoreCache {Boolean} 是否忽略緩存
callback {Function} 回呼函數

.extract —— 抓取 url 資訊並取得快照

.extract(url, [callback])
.extract(urls, [callback])
.extract(url, [option])
.extract(urls, [option])

參數結構與 snapshot 完全相同。

Job(類別)

每個 url 對應一個 job 物件,url 的相關資訊由它儲存。

欄位:url {String} 連結位址、content {Boolean} 是否抓取頁面的 title 與 description、id {String} job 的 id、groupId {String} job 所屬組 id、cache {Boolean} 是否開啟緩存、callback {Function} 回呼函數、image {String} 圖片路徑、status {Boolean} job 目前是否正常。

原型方法:getData() 取得 job 的相關數據。

全域設定

url-extract 根目錄的 config 檔可進行全域設定,預設如下:

module.exports = {
    wsPort: 3001,
    maxJob: 100,
    maxQueueJob: 400,
    cache: 'object',
    maxCache: 10000,
    workerNum: 0
};

wsPort {Number} WebSocket 佔用的連接埠;maxJob {Number} 每個 PhantomJS 執行緒可並發的 worker 數;maxQueueJob {Number} 最大等待工作數量,0 表示不限制,超過該值任何工作都直接回傳失敗(status = false);cache {String} 緩存實作,目前只有 object;maxCache {Number} 最大緩存連結數;workerNum {Number} PhantomJS 執行緒數,0 表示與 CPU 數量相同。

一個簡單的服務範例

參考專案:https://github.com/miniflycn/url-extract-server-example。需要安裝 connect 與 url-extract:

$ npm install

若從網路磁碟下載檔案,還需另外安裝 connect:

$ npm install connect

然後啟動:

$ node bin/server

開啟 https://localhost:3000 即可查看效果。

這套設計的關鍵取捨在於:與其為每次截圖啟用一個行程,不如長期維持固定數量的 worker 並透過 WebSocket 溝通,再搭配佇列與緩存吸收尖峰。這是 Node 生態中處理瀏覽器自動化任務相當典型的思路。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved