使用百度站長平台時,後台會看到 Robots 的相關功能。那麼 Robots.txt 到底是什麼,又有什麼用?

robots 是站點與蜘蛛溝通的重要管道。站點透過 robots 檔聲明哪些部分不希望被收錄,或指定只允許收錄特定部分。要注意的是:只有在網站確實存在不希望被收錄的內容時,才需要這個檔案;如果你希望全部內容都被收錄,就不要建立 robots.txt。
百度站長平台提供的 robots 工具,可以幫站長正確設定這個檔案:
1、robots.txt 可以告訴百度網站哪些頁面允許抓取、哪些不可以。
2、你可以用 Robots 工具建立、校驗、更新 robots.txt,或查看它在百度的生效情況。
3、Robots 工具暫不支援 https 站點。
4、目前支援 48k 的檔案內容檢測,請確保檔案不要過大,單一路徑最長不超過 250 個字元。
可以把它想成網站與搜尋引擎簽的規則協議書。每個蜘蛛造訪站點時,會先檢查根目錄下是否存在 robots.txt:存在就照規則決定訪問範圍;不存在,蜘蛛就會沿著連結自行抓取。
User-agent:用來描述蜘蛛的名稱。User-agent:* 表示適用所有蜘蛛;User-agent:BaiduSpider 表示只針對百度蜘蛛。
Disallow:描述不希望被訪問的 URL 群組,可以是完整路徑,也可以是路徑前綴。例如 Disallow:/help 會禁止訪問 /help.html、/helpabc.html、/help/index.html;而 Disallow:/help/ 則允許前兩者、只禁止 /help/index.html。寫成 Disallow: 空值表示允許訪問全站所有 URL。檔案中至少要有一條 Disallow 記錄;若 robots.txt 不存在或為空檔,則對所有蜘蛛開放。
Allow:描述希望被訪問的 URL 群組,用法與 Disallow 相似。例如 Allow:/hibaidu 允許 /hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。由於全站 URL 預設都是 Allow,所以這項通常與 Disallow 搭配,用來實現「開放一部分、禁止其餘」的效果。

常見搜尋引擎蜘蛛的名稱可以對照下表填寫。

robots 檔在搜尋生態裡很重要,卻也是很容易被忽略的細節。網站運營過程中隨手覆蓋或全站封禁,都可能造成不必要的損失。處理方式:
1、把 robots 的封禁改為允許,然後到站長後台檢測並更新 robots。
2、在站長後台做抓取檢測,此時顯示抓取失敗是正常的,多點幾次抓取,觸發蜘蛛來訪。
3、在抓取頻次頁面申請提高抓取頻次。
4、到反饋中心說明這是誤操作導致的情況。
5、在鏈接提交處設定數據主動推送(實時)。
6、更新 sitemap 並重新提交,每天手動提交一次。