Spider抓取量突然暴增,往往讓站點措手不及。很多站長第一反應是去平台索要Baiduspider的IP白名單,但實際上BaiduSpider的IP會隨時變化,官方並不方便公布,因為一旦公開而站長設置不及時,反而會影響正常抓取效果。
那百度是如何計算和分配抓取流量的?抓取量暴增又可能是哪些原因造成的?

總體來說,Baiduspider會綜合站點規模、歷史上網站每天新產出的鏈接數量、已抓取網頁的綜合質量打分等因素來計算抓取流量,同時也會兼顧站長在抓取頻次工具中設置的、網站可承受的最大抓取值。
從目前追查過的抓取流量突增case來看,原因大致可以分為以下幾類:
1. 站內JS代碼較多。Baiduspider發現頁面調用了大量JS資源,於是投入更多資源去解析抓取這些JS代碼。
2. 百度其他部門的spider在抓取。例如商業、圖片等業務線的spider也在抓取你的站點,但流量沒有控制好。
3. 已抓取鏈接的質量打分不理想。垃圾內容過多,導致spider需要重新抓取。
4. 站點被攻擊,有人冒充百度爬蟲。這種情況並不少見,可以參考《如何正確識別BaiduSpider》來判斷。
如果你已經排除了自身問題和冒充問題,確認是BaiduSpider抓取流量確實過大,可以通過反饋中心提交反饋。切記一定要附上詳細的抓取日誌截圖,否則很難被有效處理。
(本文轉載自百度站長平台,原文地址:https://zhanzhang.baidu.com/college/articleinfo?id=898)