做一個網站,除了更新內容、做優化,還要注意站點的安全防護。有些人會偽造百度蜘蛛的身份來抓取站點,一方面給服務器造成壓力,一方面也可能從中尋找破壞的機會。面對這種情況,官方給出了一套判斷方法。
核心思路:利用 DNS 反向解析,核實抓取來源 IP 是否真正屬於百度。
Baiduspider 的主機名以 *.baidu.com 或 *.baidu.jp 的形式命名。反解之後如果不是這兩個後綴,基本可以判定為冒充。
使用 host 命令對 IP 做反解:
$ host 123.125.66.120 120.66.125.123.in-addr.arpa domain name pointer baiduspider-123-125-66-120.crawl.baidu.com. $ host 119.63.195.254 254.195.63.119.in-addr.arpa domain name pointer BaiduMobaider-119-63-195-254.crawl.baidu.jp.
兩個結果都落在 baidu.com / baidu.jp 域下,說明來源真實。
打開命令處理器,使用 nslookup 反解:
nslookup xxx.xxx.xxx.xxx
輸入待核查的 IP 地址即可解析,同樣以主機名後綴是否為 *.baidu.com 或 *.baidu.jp 作為判斷依據。
使用 dig 命令:
dig xxx.xxx.xxx.xxx
打開命令處理器,輸入待核查 IP 進行反解,判斷標準與上述一致。
如果發現大量以百度蜘蛛名義高頻抓取的請求,且反解結果不符合上述命名規則,可以在服務器防火牆或 Web 服務日誌層面做限流封禁。日常建議定期抽查日誌中的抓取來源,尤其是站點加載突然變慢、帶寬異常佔用的時候。