我們每天都在寫文章、鋪外鏈,圖的就是讓蜘蛛願意爬過來。但多數人對這套機制的理解,僅停留在「它會來」的層面。
百度蜘蛛(Baiduspider)是百度搜尋引擎的自動抓取程序,負責訪問互聯網上的網頁、圖片、視頻等內容並建立索引庫,用戶能在百度搜到的每一條結果,背後都是它跑過的路。
搜尋引擎內部有一套調度程序,統一分配蜘蛛的任務:與伺服器建立連接、下載網頁、計算結果,都由調度層完成。蜘蛛本身只負責抓取。目前主流做法是採用分布式、多伺服器、多線程的蜘蛛集群,以此達成規模化的抓取能力。
蜘蛛下載的頁面,會先進入補充數據區,經過各類程序計算後才可能被放入檢索區,形成相對穩定的排名。這解釋了兩件事:
其一,補充數據是不穩定的,計算過程中隨時可能被剔除;檢索區的排名則相對牢固。百度目前採取緩存機制與補充數據並行的策略,並持續向後者傾斜——這正是近期收錄變難、以及很多站點「今天被拔、明天又放出來」的根本原因。
其二,抓取策略分兩種。廣度優先從種子站點(通常是門戶類站點)出發,目的是覆蓋更多網址;深度優先則為了拿到高質量頁面。兩者如何配比由調度層計算,蜘蛛只管執行。此外還有權重優先策略:反向鏈接較多的頁面會被優先抓取。一般來說,抓取覆蓋率達到 40% 屬正常水準,60% 已算優異,100% 不可能實現。
想推動頁面從補充數據區進入主檢索區,可行的做法是:在不改變欄目結構的前提下,增加相關頁面的反向鏈接來提高頁面權重,並輔以站外鏈接補權重。之所以強調不能動結構,是因為改版會觸發搜尋引擎重新計算,前面攢的東西可能一夜清零。
同時要注意鏈接質量與數量的平衡:短期內猛增大量反向鏈接極易導致被 K;而鏈接的相關性越高,對排名的正向作用越明顯。
蜘蛛從首頁登陸後,調度層會計算頁面上所有鏈接,生成下一輪抓取清單交回給它,如此循環往復。
網站地圖在這裡有兩個價值:一是引導方向,告訴蜘蛛哪些頁面重要——被越多頁面指向的頁面越重要,首頁的直接指向、父頁面的指向都能提升權重;二是擴充入口,提供更多鏈接路徑,讓蜘蛛能觸及更深層的內容。地圖本質上就是一份鏈接清單,幫助蜘蛛理解你的目錄層級,並通過站內鏈接結構判斷哪些頁面值得重點對待。