本文圍繞搜尋引擎與索引理論展開,幫助 SEO 人員與建站工程師更全面地理解蜘蛛抓取與索引的相關知識,從而知道怎樣做一個讓蜘蛛喜歡、願意抓取並收錄的網站。今天我們先圍繞主題解說爬行抓取理論。
蜘蛛爬行抓取的特徵主要是「快」「全」「準」。我們可以把蜘蛛比喻成現實中的蜘蛛,蜘蛛爬行需要蜘蛛網,而蜘蛛網可以理解為互聯網——由所有網站相互連結而成的龐大網絡。想讓蜘蛛喜歡、快速爬行抓取你的網站,就要在建站時注意讓模板、列表頁、文章頁簡潔並具良好用戶體驗。
一種是深度優先,另一種是寬度優先。
(1)深度優先:可以類比小孩學走路前先學爬行,路徑越長越累,甚至爬到一半就累了想折返。同理,若網站列表或文章路徑很長,蜘蛛爬到一半就走,走時什麼內容都沒帶走。前面提到蜘蛛有個「快」的特徵,在高速發展的時代什麼都講效率與結果,若在網站上爬半天都找不到內容,蜘蛛還不如去爬別的站。
(2)寬度優先:這更容易理解——同一層次的頁面,蜘蛛更喜歡優先抓取內容好的。
做 SEO 的外鏈專員可挑選一些高權重、IP 瀏覽量大、百度天天更新快照、不會刪文的優質平台,發佈一些網址,讓百度知道你這個網站已經建好,並有越來越多人為它投票加分(投票越多越好,說明網站曝光度廣),藉此告訴百度蜘蛛快來抓取你的內容。
(1)動態地址靜態化:可簡單理解為應對重複內容檢測。一個動態頁面入口(URL)若指向不同地方,蜘蛛會覺得裡面這麼多重複連結,不知哪個才是你真正想讓它抓的,抓取耗時太長就不想抓了。
(2)網站路徑:建站時把動態地址設置為靜態,有利於提升蜘蛛抓取速度。可透過偽靜態正則把目錄結構設置成簡短的路徑。例如 a/b/c/123.html 為物理路徑,透過偽靜態規則顯示為 abc-123.html 這樣的邏輯路徑(靜態不一定是 html 形式)。「物理路徑」指真實存在的路徑,「邏輯路徑」指用正則修改後的理想路徑,一般為扁平結構。使用靜態化規則可避免網頁重複性(URL 的絕對性),從而累積權重、避免重複,獲得最大分值。

可理解為「地址與庫」的概念:蜘蛛以「快、全、準」爬行抓取互聯網上所有 URL,再把抓到的地址放進它想存儲的庫裡,這就是地址庫。
以上為個人見解分析,歡迎喜愛學習 SEO 的朋友交流,轉載請保留地址。
註:更多內容請關注建站教程欄目。