此前我們聊過抓取系統的基本框架、涉及的網絡協議和抓取的基本流程,這一篇接著講第二部分內容——spider 在抓取過程中的策略設計。
spider 面對的是一個龐雜且持續變化的網絡環境。為了在有限資源下盡可能多地抓到有價值的內容,同時不給目標站點造成訪問壓力,系統需要設計一整套複雜的策略。以下逐項說明。
互聯網資源的數量級決定了抓取系統必須高效利用帶寬,在有限的硬件條件下盡可能多抓。但這會帶來一個副作用:消耗被抓站點的帶寬,形成訪問壓力,程度過大會直接影響正常用戶的訪問。所以抓取過程中必須做壓力控制,目標是既不打擾站點的正常用戶,又盡量多拿有效資源。
最基礎的做法是基於 IP 的壓力調配。之所以不直接用域名,是因為存在一個域名對應多個 IP(大型站點)或多個域名共享同一個 IP(小型站點)的情況。實際執行中,通常會結合 IP 與域名的多種條件綜合調控。
站長平台也提供了壓力反饋工具,站長可以主動設定抓取頻率,spider 會優先遵循站長的設定。
對同一站點的速度控制一般分兩類:一段時間內的抓取頻次,以及一段時間內的抓取流量。同一站點在不同時段的抓取速度也會不同——通常會錯開用戶訪問高峰,在夜間等低峰時段加快,並依站點類型持續調整。
404(Not Found)——網頁已失效,通常會從索引庫中刪除;短期內若再次遇到同一 URL,也不會重複抓取。
503(Service Unavailable)——網頁暫時不可訪問,常見於站點臨時關閉或帶寬受限。spider 不會立即刪除該 URL,短期內會反覆訪問幾次:若已恢復則正常抓取,若持續返回503,則判定為失效鏈接並刪除。
403(Forbidden)——網頁禁止訪問。新 URL 暫不抓取但會短期內重試;已收錄 URL 不會直接刪除,同樣會重試。若始終無法正常訪問,最終也會被判定為失效。
301(Moved Permanently)——網頁永久重定向至新 URL。遇到站點遷移、域名更換、站點改版時,推薦使用301,同時配合站長平台的改版工具,能有效減少流量損失。
互聯網上有相當一部分頁面處於重定向狀態。為了正常抓取這類資源,同時防範作弊,spider 需要具備重定向識別能力。重定向主要分三類:HTTP 30x 重定向、meta refresh 重定向、JS 重定向。此外,百度也支持 Canonical 標籤,效果上可視為一種間接重定向。
由於資源規模巨大且變化迅速,要全部抓取並保持內容一致幾乎不可能,因此必須設計合理的優先級策略。常見方案包括:深度優先遍歷、寬度優先遍歷、PR 優先、反鏈策略、社會化分享引導策略等。每種策略各有利弊,實踐中通常多種組合使用,以達到最優效果。
spider 需要判斷某個頁面是否已抓取過,未抓過才執行抓取並記錄到已抓集合中。這一環節的核心是快速查找與比對,同時涉及 URL 歸一化處理——例如一個 URL 帶有大量無效參數但實際指向同一頁面,應視為同一 URL 對待。
互聯網上存在大量搜尋引擎暫時抓不到的數據,統稱為暗網數據。成因有兩類:一是很多站點的大量數據存放在網絡數據庫中,難以通過常規網頁抓取完整獲取;二是由於網絡環境、站點自身不符合規範或形成孤島等原因導致無法抓取。
目前的解法主要是通過開放平台採用數據提交的方式,例如站長平台、開放平台等渠道。
抓取過程中經常會遇到所謂的抓取黑洞,或者面臨大量低質量頁面的困擾,因此系統中必須設計完善的反作弊機制。常見手段包括分析 URL 特徵、分析頁面大小與內容、對比站點規模與抓取規模是否合理等。
以上梳理了抓取過程中的主要策略類型。每一項策略內部都包含大量細節,而這些細節都可能對某個具體站點的抓取表現產生實際影響。