DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
搜索引擎蜘蛛怎麼爬:五種常見爬取策略
編輯:SEO優化集錦     

搜索引擎蜘蛛每天究竟如何抓取我們的網站?它的抓取路徑有沒有規律可循?理解這件事,對做優化的人來說並不是可有可無的知識。

在蜘蛛系統裡,最關鍵的構件是「待抓取下載URL隊列」。所有等待抓取的頁面URL在這裡排隊,調度程序每次從隊頭取出一個URL,交給網頁下載器去取內容;新下載的頁面裡包含的鏈接,會被追加到隊列末尾,如此循環,整個爬蟲系統就是由這個隊列驅動的。我們的網站每天都要經歷這樣一輪隊列調度。

那麼,隊列裡的URL是依據什麼排序的?「新鏈接追加到隊尾」只是一種方式,並非唯一。實際系統會採用多種策略來決定優先級。以下逐一說明。

一、寬度優先遍歷策略

這是最直觀、歷史也最久的方法,爬蟲出現之初就在用。新提出的策略通常會拿它當對照基準。但別小看它——很多新方法在實測中並不比它更好,所以至今仍是大量實際系統的首選。

它的抓取順序基本按網頁重要性排序:一個頁面如果有大量入鏈,就更可能被提前抓到。而入鏈數量本身就從側面反映了網頁的重要性,所以這個策略隱含了一層重要性假設。

二、非完全PageRank策略

PageRank是衡量網頁重要性的經典鏈接分析算法,很自然會想到用它來給URL排優先級。但這裡有個矛盾:PageRank是全局算法,所有頁面下載完成後結果才可靠,而爬蟲的目的正是去下載頁面,運行過程中只能看到一部分。因此抓取階段拿不到可靠的PageRank得分。

變通辦法是:把已下載的頁面與待抓取隊列中的URL合在一起構成一個集合,在這個集合內部計算PageRank,然後按得分高低給隊列排序,得出接下來應該依次抓取的URL列表。這就是「非完全PageRank」的由來。

三、OPIC策略(在線頁面重要性計算)

OPIC可以理解為一種改進版的PageRank。算法開始時,每個頁面都獲得相同的「現金」;下載某個頁面P之後,P把自己全部的現金平均分配給它包含的所有鏈接頁面,然後現金清零。對於待抓取隊列中的頁面,則按當前持有現金的多少排序,優先下載現金最充裕的。

它與PageRank思路一致,區別有兩點:PageRank需要反覆迭代,OPIC不需要,因此計算速度遠快,適合實時場景;另外PageRank計算中存在向無鏈接關係頁面的跳轉項,OPIC沒有這個因子。實驗結果顯示,OPIC衡量重要性的效果略優於寬度優先遍歷。

四、大站優先策略

思路很直接:以網站為單位判斷重要性,把待抓取隊列按所屬站點歸類,哪個站等待下載的頁面最多,就優先下載它的鏈接。本質上傾向於先抓大型站點——因為大站往往頁面更多,內容多為知名機構產出,質量通常也更高。這個策略雖然簡單,效果同樣略優於寬度優先遍歷。

五、網頁更新策略

互聯網的顯著特徵是動態:隨時有新頁面出現,也有內容被修改或刪除。對爬蟲來說,抓回本地並不算任務完成,它還要反映這種動態性。本地副本可以理解為互聯網頁面的鏡像,爬蟲要盡量保持兩者一致。

設想一下:某個頁面已被刪除或內容大改,而搜索引擎毫不知情,仍然按舊內容排序呈現給用戶——這種體驗的糟糕程度不言而喻。所以爬蟲還要決定「何時重新抓取之前下載過的頁面」,這就是網頁更新策略的職責。常用方案有三種。

1. 歷史參考策略。最直觀的一種,基於這樣的假設:過去頻繁更新的頁面,將來也會頻繁更新。因此預估更新時間時,參考它的歷史更新情況即可。這一點對我們有直接啟發——網站的更新必須有規律。很多人只知道要定期更新,卻不明白背後的原理,答案就在這裡:規律性能幫蜘蛛建立起對你的穩定預期。

2. 用戶體驗度策略。用戶提交查詢後,結果可能成千上萬,但沒人有耐心翻到後面,多數只看前三頁。這個策略正是利用這一特點來設計更新頻次的。

3. 聚類抽樣策略。前兩種策略都嚴重依賴歷史更新信息,而為每個頁面保存歷史記錄會給系統帶來額外負擔;首次抓取的頁面更是根本沒有歷史可依。聚類抽樣的思路是:網頁具有一定屬性,屬性相近的頁面更新週期通常也相近,因此可以根據屬性來預測更新頻率。

了解蜘蛛的抓取流程與策略之後,是否該回頭看看自己的站了?

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved