Spider 對網站的抓取數量突增,往往給站點帶來很大困擾,紛紛找平台想要 Baiduspider IP 白名單。但實際上 Baiduspider 的 IP 會隨時變化,所以並不敢公布出來,擔本站長設置不及時反而影響抓取效果。那百度是如何計算分配抓取流量的呢?站點抓取流量暴增的原因又有哪些?
總體來說,Baiduspider 會根據站點規模、歷史上網站每天新產出的鏈接數量、已抓取網頁的綜合質量打分等,綜合計算抓取流量,同時兼顧站長在抓取頻次工具裡設置的、網站可承受的最大抓取值。
從目前追查過的抓取流量突增案例來看,原因可分為以下幾種:
1、Baiduspider 發現站內 JS 代碼較多,調用大量資源針對 JS 代碼進行解析抓取。
2、百度其他部門(如商業、圖片等)的 spider 在抓取,但流量沒控制好。
3、已抓取的鏈接打分不夠好、垃圾過多,導致 spider 重新抓取。
4、站點被攻擊,有人仿冒百度爬蟲(推薦閱讀:《如何正確識別 BaiduSpider》)。
如果站長排除了自身問題與仿冒問題,確認 Baiduspider 抓取流量過大,可以透過反饋中心反饋,切記一定要提供詳細的抓取日誌截圖。