DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
搜索引擎網絡爬蟲的設計邏輯分析
編輯:SEO優化集錦     

說得直白一點,網絡爬蟲和你用的離線閱讀工具原理相似——都要聯網把內容抓回來。不同之處在於:

  • 高度可配置
  • 能解析抓取到的頁面中的鏈接
  • 具備簡單的存儲配置
  • 能根據網頁更新情況做智能分析
  • 效率極高

那麼該怎麼設計一個爬蟲?要注意哪些環節?

1. URL 的遍歷與記錄

這一點上 larbin 做得相當出色。URL遍歷本身並不複雜,用幾行命令就能從抓取結果中提取出完整的URL列表。

2. 多進程與多線程

各有優勢。一台普通PC一天要爬下5G數據、約二十萬個網頁,並不算難事。

3. 更新頻率的控制

最笨的做法是沒有更新權重,一通猛爬,回頭再一通猛爬。

通常的做法是:把本次抓取的數據與上一次做比對。如果連續五次都沒有變化,就把該頁面的抓取間隔擴大一倍;如果連續五次都有更新,就把間隔縮短為原來的一半。

效率是取勝的關鍵之一。

4. 爬多深

要看條件。如果你有幾萬台伺服器,這一點可以跳過。如果你只有一台,那麼這個統計值得參考:

網頁深度 網頁數量 重要程度
0 1 10
1 20 8
2 600 5
3 2000 2
4以上 6000 通常無法計算

爬到三層基本就夠了。再往深一層,數據量擴大三四倍,重要度卻明显下降——種下的是龍種,收穫的是跳蚤。

5. 走代理

爬蟲通常不直接請求對方頁面,而是經過一層代理。代理有緩解壓力的作用:當對方頁面沒有更新時,只要取回 header 標籤即可,不必重傳整頁,能節省大量帶寬。伺服器日誌中的 304 一般就是被緩存命中的請求。

6. 留意 robots.txt

有空就照看一下,別做不該做的事。

7. 存儲結構

這部分見仁見智。Google 用自建的 GFS 體系;如果你只有七八台伺服器,NFS 就夠;有七八十台,可以考慮 AFS;只有一台,怎麼方便怎麼來。

對站長的啟發

上面兩條最值得記住:

其一,更新頻度決定抓取頻度。蜘蛛來得越勤,收錄概率越高、收錄數量越多,而收錄是SEO最基礎的環節。

其二,盡量把站點控制在三層目錄以內。深層頁面會給蜘蛛帶來更大壓力,三層以下的頁面被抓取與更新的頻度明顯更低。這也說明了為什麼物理結構與邏輯結構要吻合——現在就去看看你前台生成的靜態頁實際有幾層,能優化就優化。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved