DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
搜尋引擎是怎麼抓取網頁的?演算法層層拆解
編輯:SEO優化集錦     

搜尋引擎看似只是簡單的「抓取—入庫—查詢」,但其中每個環節暗藏的演算法卻十分複雜。抓取網頁的工作由蜘蛛(Spider)完成,抓取動作本身不難實現,可究竟抓哪些頁面、優先抓哪些,卻要靠演算法來決定。下面介紹幾種常見的抓取策略:

1、寬度優先抓取策略

大部分網站都按樹狀結構分布頁面。那麼在這樣的連結結構中,哪些頁面會被優先抓取、為什麼?寬度優先策略的做法是:沿著樹狀結構,先抓同級連結,待同級抓完後,再抓下一級。如下圖:

這裡筆者用的是「連結結構」而非「網站結構」——它由任意頁面的連結構成,未必局限於站內連結。這是一種理想化的寬度優先策略;在實際抓取中,不可能做到完全的寬度優先,而是「有限寬度優先」,如下圖:

上圖中,Spider在取回G連結時,透過演算法發現G頁面毫無價值,於是G連結及其下級H連結就被「和諧」掉了。至於G為何被和諧?下面一節會分析。

2、非完全遍歷連結權重計算

每個搜尋引擎都有一套pagerank(頁面權重,非谷歌PR)計算方法,且經常更新。互聯網近乎無窮大,每天都在產生海量新連結,搜尋引擎對連結權重的計算只能「非完全遍歷」。為什麼谷歌PR要三個月左右才更新一次?為什麼百度大更新一個月才一兩次?正是因為採用了非完全遍歷的權重演算法。以今天的技術,實現更高頻率的更新並不難,計算與存儲速度完全跟得上,可為什麼不做?因為沒那麼必要,或者早已實現卻不願公開。那什麼是非完全遍歷權重計算?

設有K數量的連結構成一個集合,R代表連結獲得的pagerank,S代表連結所包含的連結數量,Q代表是否參與傳遞,β代表阻尼因數,那麼連結權重的計算公式為:

從公式不難發現,決定連結權重的是Q。如果連結被發現作弊、被人工清除,或基於其他原因,Q被設為0,那麼再多外鏈也沒用。β是阻尼因數,主要作用是防止權重歸零導致連結無法參與傳遞,同時防範作弊,一般取值0.85。為什麼要在網站數量上乘以阻尼因數?因為一個頁面內並非所有連結都參與權重傳遞,搜尋引擎會把已過濾的連結再剔除15%。這種非完全遍歷計算需積累到一定數量的連結後才能重新開始,所以更新週期較慢,無法滿足使用者對即時資訊的需求。於是,在此基礎上又出現了「實時權重分配抓取策略」:蜘蛛完成抓取並入庫後,馬上進行權重分配,把權重重新分配到待抓連結庫,蜘蛛再依權重高低決定抓取順序。

3、社會工程學抓取策略

社會工程學策略,是在蜘蛛抓取過程中引入人工智能(或由AI培訓出的機器智能)來確定抓取優先度。目前已知的策略有:

a、熱點優先策略:對爆發式熱點關鍵詞優先抓取,且不必經過嚴格去重和過濾,因為會有新連結不斷覆蓋、加上使用者的主動選擇。

b、權威優先策略:搜尋引擎會依網站歷史、更新情況等為每個站分配一個權威度,優先抓取權威度高的網站連結。

c、使用者點擊策略:當大量使用者搜索某行業詞庫內的關鍵詞時,頻繁點擊同一個網站的結果,搜尋引擎就會更頻繁地抓取這個站。

d、歷史參考策略:對保持高頻更新的網站,搜尋引擎會建立更新歷史,據此預估未來更新量並確定抓取頻率。

對SEO工作的指導:

原理講完,再說說它對SEO的啟示:

A、定時、定量更新,會讓蜘蛛準時來爬;

B、公司運作的網站,權威度往往高於個人站;

C、建站時間長的網站更容易被抓取;

D、頁面內連結要適度分布,太多太少都不好;

E、受使用者歡迎的網站,同樣受搜尋引擎歡迎;

F、重要頁面應放在更淺的網站結構中;

G、站內的行業權威資訊,能提升網站權威度。

這次教程就到這裡,下次的主題是:頁面價值以及網站權重的計算。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved