先說概念:帶 .txt 後綴的是純文本文檔,robots 是「機器人」的意思,所以 robots.txt 就是寫給搜索引擎蜘蛛看的純文本文件。它告訴蜘蛛哪些頁面允許抓取、索引並在結果中顯示,哪些是禁止抓取的。蜘蛛訪問你的網站時,會先查看根目錄下是否有 robots.txt。我們都知道某些大型平台屏蔽特定搜索引擎,靠的正是這個文件。基本寫法如:
User-agent: Baiduspider
Disallow: /
通過屏蔽搜索引擎對某些內容的抓取,可以大幅降低無謂抓取所佔用的帶寬,大型網站尤為明顯。你也可以藉此指定某個搜索引擎不去索引特定 URL。比如通過 URL 重寫把動態鏈接靜態化後,就能用 robots.txt 阻止蜘蛛去抓那些動態網址,減少重複頁面,對 SEO 更為友好。
以常見博客為例,文件中可寫入:
User-agent: *
Disallow:
Allow: /
寫法上要注意幾點:其一,robots.txt 必須放在網站根目錄下,不能放子目錄;其二,robots.txt、Disallow 等要注意大小寫,不能混用;其三,User-agent、Disallow 後面的冒號必須是英文半角狀態;其四,User-agent 用來指定搜索引擎(蜘蛛),星號「*」代表所有蜘蛛。