關於真假百度蜘蛛的辨識,多數 SEO 和站長心裡已經有了一套方法。百度官方也發布過如何判別偽裝蜘蛛抓取的說明,可以參考:https://www.baidu.com/search/spider.htm
假蜘蛛對站點的傷害並不小,具體表現在四個方面:
1. 佔用帶寬,推高流量,增加額外開銷;
2. 在帶寬有限的情況下,擠佔正常蜘蛛的抓取資源;
3. 干擾我們判斷站點真實收錄狀況,誤導優化思路;
4. 部分偽裝成蜘蛛的採集工具,直接搬走了我們的內容成果。
網上分享「抓假蜘蛛」的文章很多,但大多只講操作步驟,很少談真正的判別依據。筆者最近在做一個電商站點的優化時,就遇到一個差點把真蜘蛛當假蜘蛛封掉的案例。
SEO 要靠大量分析和數據支撐,其中日志分析是重中之重——很多統計工具看不到的東西,日志裡一清二楚。筆者固定在每週三做一次周日志分析,用來回顧上一週的優化效果。這次分析時,發現了幾個並不屬於記憶中「蜘蛛 IP」的來源。

百度蜘蛛通常來自 202.181.108.* 和 123.125.71.* 這兩個 IP 段(順帶一提,這兩個段的蜘蛛並沒有高低權重之分)。顯然,日志裡那幾個 IP 按「常識」判斷並不屬於百度蜘蛛。
為避免誤傷,筆者用 nslookup 對 IP 做了反解:

反解結果進一步印證了判斷:這些 IP 不在百度蜘蛛的常見段內。按照慣例,接下來該做的是屏蔽它們,把被佔用的帶寬釋放出來。
就在準備動手屏蔽之前,筆者想起一件事:這家電商站上週通知過,要接入安全寶服務,需要把 DNS 解析到安全寶的服務器,由它根據訪問情況選擇距離最近的節點做 CDN 加速。
而在之前的例行檢查中,筆者確實發現站點 IP 被解析到了陝西的一個地址,而這個地址與日志中那三個「假蜘蛛」IP 屬於同一段。
為了驗證,筆者重新拆分查看了完整日志(此前只筛了百度的部分,因為站點是針對百度做優化),結果發現谷歌蜘蛛、搜狗蜘蛛也來自同樣的 IP。
結論清楚了:這些 IP 背後不是假蜘蛛,而是貨真價實的各家搜索引擎蜘蛛。只不過它們經過了同一個 CDN 節點,導致來源 IP 顯示一致。
這讓筆者想到,此前讀相關文章時,常看到站長抱怨發現假蜘蛛來自某幾個固定機房。這其實並不奇怪,成因大致是這樣的:
1. 相当一部分站長使用的是主機商的集群主機或類似性質的虛擬主機;
2. 集群主機的原理與 CDN 相通,都是把站點資料同步到同一群組的所有服務器;
3. 蜘蛛的到訪路徑不同,有的是直接訪問站點,有的是沿外鏈過來,而後者會就近走 CDN 節點;
4. 各家 CDN 的節點劃分方式不同,大致按地域大區以及電信、網通等線路來分;
5. 於是經過 CDN 節點的蜘蛛,來源 IP 自然不再是它從總部出發時的那個地址。
最終這件事得到了妥善解決。該電商站點自優化以來效果一直不錯,接入 CDN 後也沒有出現障礙,反而在訪問速度和用戶體驗上有正面幫助。
這個案例也提醒我們:網絡上的 SEO 教程是有保質期的。隨著技術環境變化,我們需要對既有經驗保持一分質疑,勇於實踐驗證,同時補上一些基礎技術知識——否則最容易犯的錯,就是把幫你的人當成敵人。