DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
蜘蛛怎麼爬、怎麼抓:搞懂這件事才知道站該怎麼改
編輯:SEO優化集錦     

這篇主要談蜘蛛的爬行與抓取原理,目的是讓做SEO和程式的朋友對抓取機制有更完整的理解,知道該怎麼把網站調整成蜘蛛喜歡的樣子。

一、蜘蛛的特徵:快、全、準

蜘蛛的爬行有三個核心特徵:快、全、準。把它想成現實中的蜘蛛就好理解——蜘蛛要爬行需要網,而這張網就是由無數網站互相連結構成的網際網路。想讓蜘蛛快速又完整地抓你的站,建站時就要注意模板、列表頁與文章頁的簡潔程度,以及使用者的瀏覽體驗。

二、兩種爬行策略

蜘蛛的爬行策略主要有兩種:深度優先與寬度優先。

深度優先可以類比小孩學步:路徑越長越累,走到一半累了就想回頭。如果網站的列表頁與文章頁路徑很長,蜘蛛爬到一半就走了,而且什麼內容都沒帶走。前面提到蜘蛛的第一特徵是「快」,在講求效率的環境下,如果它在你的站上爬了半天還找不到內容,它會選擇去爬別的站。

寬度優先更好理解:同一層級的頁面中,內容品質好的會被優先抓取。

三、如何引導蜘蛛來訪

做外鏈時可以挑選資源中權重較高、IP瀏覽量較大、快照經常更新、不會隨意刪文的平台發佈網址。這麼做等於告訴搜尋引擎:這個網站已經建好了,而且有人在為它背書。背書越多,代表曝光度越廣,也等於在邀請蜘蛛來爬你的內容。

四、重複內容的判定

動態網址靜態化。可以簡單理解為重複內容檢測的一環。如果一個動態頁面的入口參數指向多種不同結果,蜘蛛會看到大量重複的網址變體,無法判斷你到底想讓它抓哪一個,只會覺得抓取成本太高而放棄。

路徑結構的處理。建站時把動態網址設為靜態,有助於提高抓取速度。目錄結構可以透過偽靜態規則改寫成簡短的路徑:例如 a/b/c/123.html 是實際存在的物理路徑,經過規則改寫後對外顯示為 /abc-123.html 這樣的邏輯路徑,並以扁平結構呈現。(靜態不一定非得是.html形式。)

「物理路徑」指真實存在的路徑,「邏輯路徑」指用規則改寫後的理想路徑,一般呈扁平結構。使用靜態化規則可以避免網址的重複性問題、讓權重任意累積,避免同樣內容分散到多個網址上。

五、網址庫

可以把它理解成「地址」與「庫」兩個概念。蜘蛛以快、全、準的方式爬行網路上的所有URL,抓到的內容再放進它自己的儲存庫中,這就是網址庫。理解這一層,你就能明白為什麼網址的簡潔與唯一性如此重要。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved