概述
robots.txt 是放在網站根目錄下的純文本文件,也是蜘蛛訪問網站時默認第一個要讀取的文件。它用來告訴蜘蛛哪些頁面可以抓、哪些不可以。
語法規則
文件名必須全部小寫。最簡單的 robots.txt 只用兩條規則:
User-Agent:適用規則的漫游器
Disallow:要攔截的網頁
使用技巧
其一,即使暫不需要,也建議添加一個 robots.txt,以免服務器日志頻繁記錄 404。其二,用它把蜘蛛擋在後台、程序腳本、附件、數據庫等目錄之外,節省服務器資源。其三,若為動態頁做了靜態副本,可在 robots.txt 中屏蔽動態頁,避免被判重復內容。其四,可直接在其中寫入 sitemap 的鏈接,如 Sitemap:https://www.***.com/sitemap.xml,方便蜘蛛自動抓取。其五,還可阻止搜索者直接進入購物車等無需收錄的頁面。
常用示例
如禁止全站抓取(User-agent:* / Disallow:/)、允許全部抓取(Disallow: 留空)、僅禁止或僅允許特定蜘蛛、禁止特定目錄、用「*」與「$」做後綴匹配等,均可按需靈活配置。