DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO高級教程
如何辨別冒充百度蜘蛛的抓取行為?
編輯:SEO高級教程     

做一個網站,除了更新內容、做優化,還要注意站點的安全防護。有些人會偽造百度蜘蛛的身份來抓取站點,一方面給服務器造成壓力,一方面也可能從中尋找破壞的機會。面對這種情況,官方給出了一套判斷方法。

核心思路:利用 DNS 反向解析,核實抓取來源 IP 是否真正屬於百度。

Baiduspider 的主機名以 *.baidu.com 或 *.baidu.jp 的形式命名。反解之後如果不是這兩個後綴,基本可以判定為冒充。

Linux 平台

使用 host 命令對 IP 做反解:

$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer
baiduspider-123-125-66-120.crawl.baidu.com.

$ host 119.63.195.254
254.195.63.119.in-addr.arpa domain name pointer
BaiduMobaider-119-63-195-254.crawl.baidu.jp.

兩個結果都落在 baidu.com / baidu.jp 域下,說明來源真實。

Windows 或 IBM OS/2 平台

打開命令處理器,使用 nslookup 反解:

nslookup xxx.xxx.xxx.xxx

輸入待核查的 IP 地址即可解析,同樣以主機名後綴是否為 *.baidu.com 或 *.baidu.jp 作為判斷依據。

Mac OS 平台

使用 dig 命令:

dig xxx.xxx.xxx.xxx

打開命令處理器,輸入待核查 IP 進行反解,判斷標準與上述一致。

實務建議

如果發現大量以百度蜘蛛名義高頻抓取的請求,且反解結果不符合上述命名規則,可以在服務器防火牆或 Web 服務日誌層面做限流封禁。日常建議定期抽查日誌中的抓取來源,尤其是站點加載突然變慢、帶寬異常佔用的時候。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved