想把SEO做好,就得對搜尋引擎蜘蛛有足夠了解;而了解蜘蛛最直接的辦法,是認真分析網站日誌。下面我就拿幾份實際日誌,針對百度與谷歌蜘蛛做一些觀察。

從圖上可以看到,百度蜘蛛的訪問次數與抓取量分別是98600與224896,谷歌蜘蛛則是31157與172790。用國小數學算一下平均每次訪問抓取的頁面數:百度約為2.28,谷歌約為5.54。
結論很清楚:百度的抓取廣度更占優勢,而谷歌的抓取深度明顯更高。百度每隻蜘蛛平均只看兩個頁面,這也解釋了為什麼數據量稍大的網站常出現「谷歌收錄很多、百度收錄寥寥」的情況。因此做百度收錄時,若資料量龐大,內頁的隨機內容調用區塊一定要設計好——至於怎麼隨機呈現,就看你自己的巧思了。

上圖隨機抽了幾個返回404狀態碼的抓取記錄。可以看到,即使站內沒有死鏈,蜘蛛仍會去抓一部分不存在的路徑。百度蜘蛛常見的狀況是抓到一半 URL 就被別的連結帶走,谷歌則偶爾會把 htm 抓成 html,但整體錯誤率遠低於百度。原因大概是兩家工程師才清楚,我們不必深究。
實際結論是:不管你有沒有死鏈,都該把404頁面做好,因為蜘蛛無論如何都會摸到那些路徑。

觀察過幾個新站後會發現,百度蜘蛛對新站通常第一天瘋狂抓取,然後沉寂一段時間;谷歌則老實得多,按部就班一點一點增加。上圖是我六月上線的一個新站,掛上去不到一小時首頁就被收錄,當天抓取超過五千五百次,第二天就開始在爆發後歸於平靜。谷歌起初抓得很少,之後慢慢加溫(註:這段期間站內未做任何外鏈,不受外部因素干擾)。
很多人上線第一天看到蜘蛛大量造訪就誤以為自己權重很高,隔天流量驟減便开始苦惱,覺得是被拋棄了。其實不是,這只是百度蜘蛛的固有習性。
以上只是蜘蛛行為的冰山一角,網站日誌裡值得挖的東西還有很多。