「百度蜘蛛」這個詞,做站的人大概都不陌生,甚至有人把它當成專職研究对象——這行當並不虛,做得深的會組建團隊,利潤相當可觀。那麼這隻爬蟲到底是什麼?它有什麼脾氣?又該怎麼和它相處?下面系統梳理一遍。

百度百科給出的解釋是:「Baiduspider」是百度搜索引擎中的一個自動程序,作用是訪問互聯網上的網頁、圖片、視頻等內容,建立索引數據庫,從而用戶能在百度上檢索到你站點的相關內容。
說得直白些,它是百度寫的一套程序,可以在任何時間抓取任何內容——除了根目錄robots.txt明確禁止的部分——再把抓到的東西整理歸檔,供網友使用。
一、它沿著鏈接通道做矢量運動。哪條路通向高價值站點,這條路遲早會變成主幹道。
二、它偏愛原創。同一篇文章它可能反覆回訪,但喜新厭舊是本性。
三、它每天要處理的量極大,因此在單個站點上的停留時間非常有限。對小站來說,這段時間幾乎可以忽略不計。
四、進站不等於抓取。所以別把快照和收錄畫等號——它來了也可能空手離開。如今它對抓取內容的質量判斷越來越嚴,完全重複的內容被同時收錄的情況已經很少見。
五、來訪次數越多,說明站點越被青睞,也側面說明你的優化方向沒走偏。
六、它喜歡扁平、樹狀、網狀相結合的結構,傾向於用最簡單的路徑拿到高質量的內容。把簡單的事搞複雜,往往適得其反。
持續產出高質量的原創內容,主題緊扣站點定位。
更新頻率要穩定,別想到什麼時候發就什麼時候發。這裡解釋一下為何不少博主偏好深夜或凌晨更新:其一,深夜整個互聯網進入低峰,抓取更容易;其二,競爭對手沒更新而你更新了,爬蟲更容易把你的文章識別為優質內容;其三,經常被作為精華抓取的站點,自然更容易獲得青睞,排名也隨之受益。
為站點結交一些質量不錯的朋友。外鏈作弊雖然被打擊得很厲害,但高質量外鏈的價值從未消失。
把內鏈做通。確保站內沒有死鏈和重複鏈——爬蟲不只是抓取,還要順著抓取層的鏈接走出去。別讓它進出都走同一扇門。如果它撞進死鏈,會隔一段時間再來;如果抓取層重複鏈接太多,它會判定這一層質量不高,來了也可能不抓。
建好網站地圖。這等於給蜘蛛修一條高速路,路修得越好,它跑得越快,評級也越高。關鍵詞是三個:簡單、清晰、整潔。
完善每個頁面的meta標籤。完整的標籤能加快蜘蛛對頁面的辨識速度,抓取效率自然提升。常用標籤包括keywords、description、robots、generator等。
準備高速穩定的服務器。這一點最終仍回到用戶體驗:如果一個站連正常訪問都成問題,蜘蛛自然會轉向更快的站點。
保證服務器返回信息正常。不要隨意限制返回頭,因為拿不到正確的返回信息,蜘蛛就會迷失路徑,下次可能就不敢再來了。