一、什麼是Baiduspider?
Baiduspider是百度搜索引擎的一個自動程序,它的作用是訪問互聯網上的網頁、建立索引數據庫,從而使用戶能在百度搜索引擎中檢索到你網站上的網頁。

二、Baiduspider的user-agent是什麼?
百度各個產品使用不同的user-agent:
無線搜索:Baiduspider
圖片搜索:Baiduspider-image
視頻搜索:Baiduspider-video
新聞搜索:Baiduspider-news
百度搜藏:Baiduspider-favo
百度聯盟:Baiduspider-cpro
商務搜索:Baiduspider-ads
網頁及其他搜索:Baiduspider
三、Baiduspider會給網站服務器造成多大壓力?
為達到對目標資源較好的檢索效果,Baiduspider需要對你的網站保持一定量的抓取。我們會盡量不給網站帶來不合理的負擔,並依據服務器承受能力、網站質量、更新情況等綜合因素作出調整。若你覺得baiduspider的訪問有任何不合理之處,可反饋至百度投訴平台。
四、為什麼Baiduspider不停抓取我的網站?
對於你網站上新產生或持續更新的頁面,Baiduspider會持續抓取。此外,你也可以檢查網站訪問日誌中Baiduspider的訪問是否正常,以防有人惡意冒充Baiduspider頻繁抓取你的網站。若發現Baiduspider非正常抓取,請透過投訴平台反饋,並盡量附上Baiduspider對貴站的訪問日誌,以便我們跟蹤處理。
五、如何判斷是否有人冒充Baiduspider?
建議您使用DNS反查方式,確認抓取來源的IP是否屬於百度。依平台不同,驗證方法如下:
1、在Linux平台下,可用host ip命令反解IP來判斷。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非此格式即為冒充。
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer baiduspider-123-125-66-120.crawl.baidu.com.
host 119.63.195.254
254.195.63.119.in-addr.arpa domain name pointer BaiduMobaider-119-63-195-254.crawl.baidu.jp.
2、在Windows或IBM OS/2平台下,可用nslookup ip命令反解IP判斷。打開命令處理器,輸入nslookup xxx.xxx.xxx.xxx(IP地址)即可解析,判斷是否來自Baiduspider,其hostname同樣以 *.baidu.com 或 *.baidu.jp 命名,非此格式即為冒充。
3、在Mac OS平台下,可用dig命令反解IP判斷。打開命令處理器,輸入dig xxx.xxx.xxx.xxx(IP地址)即可解析,判斷規則同上。
六、我不想網站被Baiduspider訪問,該怎麼做?
Baiduspider遵守互聯網robots協議。你可以利用robots.txt文件完全禁止Baiduspider訪問你的網站,或禁止它訪問站內部分文件。注意:一旦禁止Baiduspider訪問,你的網頁將無法在百度及所有由百度提供搜索服務的搜索引擎中被檢索到。關於robots.txt的寫法,可參閱相關介紹。
你可依據各產品不同的user-agent設置不同的抓取規則;若想完全禁止百度所有產品收錄,直接對Baiduspider設置禁止抓取即可。
以下robots實現禁止所有來自百度的抓取:
User-agent: Baiduspider
Disallow: /
以下robots實現禁止百度所有抓取,但允許圖片搜索抓取/image/目錄:
User-agent: Baiduspider
Disallow: /
User-agent: Baiduspider-image
Allow: /image/
請注意:Baiduspider-cpro抓取的網頁並不會建入索引,只是執行與客戶約定的操作,因此不遵守robots協議,若它給你造成困擾,請聯繫union1@baidu.com。Baiduspider-ads抓取的網頁同樣不會建入索引,只是執行與客戶約定的操作,也不遵守robots協議,若有困擾,請聯繫你的客戶服務專員。