翻查網站日誌時,有個細節很容易讓人誤判:某個IP的抓取行為和百度蜘蛛一模一樣,仔細一查,卻根本不是蜘蛛。

我遇到的這個IP是 222.77.187.33,歸屬地為福建省福州市電信;而百度蜘蛛的IP段位於北京聯通。它在日誌中的行為特徵很鮮明:只抓首頁,不碰內頁。追查下去才發現,這是某站長工具的友情鏈接檢測程式,為了提高檢測成功率,預設偽裝成百度蜘蛛來抓取目標頁面。該工具域名 link.chinaz.com 解析到的正是這個IP。
站長工具的友情鏈接檢測界面
根據日誌統計,百度蜘蛛主要有這幾類:
123.125.71.* —— Baiduspider/2.0,網頁爬蟲,同時包含 Baiduspider-image(圖片爬蟲)
61.135.186.* —— Baiduspider-cpro,百度聯盟爬蟲
分析日誌是SEO的日常功課。日誌裡有抓取頻次、抓取路徑、狀態碼分佈、用戶瀏覽行為等一手數據,比任何第三方工具都更接近真相。針對蜘蛛數據做分析,能摸清它的爬行偏好——哪些欄目常來、哪些頁面從未被抓、哪裡出現大量狀態碼異常,這些都是改進站點的直接依據。
面對以億計的網頁量,搜尋引擎本來就會調動多個IP、多套爬蟲程式分區作業。一旦其中混入了偽裝者,而分析的人不知情,結論就會跑偏。何況這次偽裝的是百度蜘蛛,抓取量還不小,干擾程度就更嚴重。
網上大量同類提問都指向同一個誤判:「為什麼百度蜘蛛只抓我的首頁?」「為什麼蜘蛛一直來卻不收錄?」提出這些問題的人,很可能只是在看某個檢測工具的造訪記錄,卻把它當成了搜尋引擎的真實態度,於是錯誤地調整策略,把時間花在不存在的问题上。
結論並不複雜:做日誌分析時,先核對IP歸屬與 User-Agent 是否匹配,再談結論。真蜘蛛的IP段是公開可查的,多花三十秒確認,能省下幾週的彎路。