DIV CSS 佈局教程網

Node.js 搭配 PhantomJS 下載整頁資源的實作思路
編輯:JavaScript綜合知識     

想把一個網頁的 HTML、CSS、圖片都存到本機,用 PhantomJS 抓資源清單、再用 Node.js 逐一下載,是個頗經典的組合。

整體流程

PhantomJS 負責開啟頁面並攔截所有網路請求,把 URL 收集起來;接著透過 child_process 啟動 Node 子行程,由 Node 負責實際抓取與寫檔。對於 CSS,還要額外解析內容中的 url(...) 並下載其中的圖片。

PhantomJS 端:down.js

關鍵是 page.onResourceReceived 事件,在 res.stage === 'start' 時把資源網址推進陣列。頁面 open 成功後,用 spawn 啟動子行程並把以逗號串接的 URL 清單傳入:

var child = spawn("node", ["--harmony", "downHtml.js", urls.join(',')])

子行程結束時呼叫 phantom.exit() 收尾。

Node 端:downHtml.js

這支腳本做三件事。遞迴建目錄:寫檔前必須確保上層目錄存在,因此 makedir 會一層層往上找父目錄並建立,並用 dirCache 記錄已處理過的路徑減少重複判斷。依網址決定存檔路徑:以 URL 的 hostname 與 pathname 組成本地路徑,根路徑則存成 index.html。解析 CSS 中的圖片:用正則抓出 url 參照,以 url.resolve() 轉成絕對路徑,再用 isDownMap 去重後下載。

執行方式

把 down.js 與 downHtml.js 放在同一資料夾,然後執行:

D:\phantomjs-2.0.0-windows\bin\phantomjs.exe down.js https://www.youku.com/

這個方案的極限

作者自己也指出問題:在響應式設計與非同步載入的網站上,還有大量資源抓不到。原因很直接——PhantomJS 只在首屏載入期間攔截請求,捲動後才觸發的懶載入圖片自然不在清單中。

更根本的問題是,PhantomJS 早已停止維護(其 WebKit 引擎停留在舊版,不支援現代 ES 語法)。今天要達成同樣目的,我會建議改用 Puppeteer 或 Playwright:它們能監聽 response 事件取得所有資源、可以自動滾動頁面觸發懶載入,並在 page.waitForLoadState('networkidle') 後再收尾。下載與寫檔的部分則可以沿用本文的 makedir 與去重邏輯,那部分設計仍然適用。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved