說得直白一點,網絡爬蟲和你用的離線閱讀工具原理相似——都要聯網把內容抓回來。不同之處在於:
那麼該怎麼設計一個爬蟲?要注意哪些環節?
這一點上 larbin 做得相當出色。URL遍歷本身並不複雜,用幾行命令就能從抓取結果中提取出完整的URL列表。
各有優勢。一台普通PC一天要爬下5G數據、約二十萬個網頁,並不算難事。
最笨的做法是沒有更新權重,一通猛爬,回頭再一通猛爬。
通常的做法是:把本次抓取的數據與上一次做比對。如果連續五次都沒有變化,就把該頁面的抓取間隔擴大一倍;如果連續五次都有更新,就把間隔縮短為原來的一半。
效率是取勝的關鍵之一。
要看條件。如果你有幾萬台伺服器,這一點可以跳過。如果你只有一台,那麼這個統計值得參考:
網頁深度 網頁數量 重要程度
0 1 10
1 20 8
2 600 5
3 2000 2
4以上 6000 通常無法計算
爬到三層基本就夠了。再往深一層,數據量擴大三四倍,重要度卻明显下降——種下的是龍種,收穫的是跳蚤。
爬蟲通常不直接請求對方頁面,而是經過一層代理。代理有緩解壓力的作用:當對方頁面沒有更新時,只要取回 header 標籤即可,不必重傳整頁,能節省大量帶寬。伺服器日誌中的 304 一般就是被緩存命中的請求。
有空就照看一下,別做不該做的事。
這部分見仁見智。Google 用自建的 GFS 體系;如果你只有七八台伺服器,NFS 就夠;有七八十台,可以考慮 AFS;只有一台,怎麼方便怎麼來。
上面兩條最值得記住:
其一,更新頻度決定抓取頻度。蜘蛛來得越勤,收錄概率越高、收錄數量越多,而收錄是SEO最基礎的環節。
其二,盡量把站點控制在三層目錄以內。深層頁面會給蜘蛛帶來更大壓力,三層以下的頁面被抓取與更新的頻度明顯更低。這也說明了為什麼物理結構與邏輯結構要吻合——現在就去看看你前台生成的靜態頁實際有幾層,能優化就優化。