robots.txt 是一個純文字檔案。透過它,網站管理者可以聲明網站中不希望被 robots(搜尋引擎爬蟲)拜訪的部分,或者反过来指定搜尋引擎只收錄特定內容。
當一個搜尋機器人(有些人稱之為搜尋蜘蛛)拜訪某個站點時,它會先檢查該站點的根目錄下是否存在 robots.txt。如果存在,搜尋機器人就會依據檔案中的內容來決定拜訪範圍;如果該檔案不存在,機器人就會沿著連結自行抓取。
另外要特別注意:robots.txt 必須放在站點的根目錄下,而且檔名必須全部小寫。
先來看一個範例:https://www.csswebs.org/robots.txt,其內容大致如下:
# Robots.txt file from https://www.csswebs.org
# All robots will spider the domain
User-agent: *
Disallow:
以上文字表達的意思是:允許所有搜尋機器人拜訪 www.csswebs.org 站點下的所有檔案。
具體語法分析:# 後面的文字為說明資訊;User-agent: 後面填的是搜尋機器人的名稱,若是 *,則泛指所有搜尋機器人;Disallow: 後面則填不允許拜訪的檔案目錄。
允許所有 robot 拜訪:
User-agent: *
Disallow:
或者也可以直接建立一個空的 robots.txt 檔案。
禁止所有搜尋引擎拜訪網站的任何部分:
User-agent: *
Disallow: /
禁止所有搜尋引擎拜訪網站的幾個部分(下例中的 01、02、03 目錄):
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
禁止某個特定搜尋引擎拜訪(下例中的 BadBot):
User-agent: BadBot
Disallow: /
只允許某個特定搜尋引擎拜訪(下例中的 Crawler):
User-agent: Crawler
Disallow:
User-agent: *
Disallow: /
上面這段的邏輯是:先針對 Crawler 設定為允許(Disallow 後留空),再用 User-agent: * 對其他所有機器人設定為禁止。
除了 robots.txt,還有一個常被提及的機制——Robots META 標籤。它主要是針對一個個具體的頁面。與其他 META 標籤(如使用的語言、頁面描述、關鍵詞等)一樣,Robots META 標籤也放在頁面的 <head></head> 中,專門用來告訴搜尋引擎 ROBOTS 如何抓取該頁的內容。
Robots META 標籤不分大小寫,name="Robots" 表示針對所有搜尋引擎,若要針對某個具體的搜尋引擎,可寫成 name="BaiduSpider"。content 部分則有四個指令選項:index、noindex、follow、nofollow,指令之間以「,」分隔。
INDEX 指令告訴搜尋機器人抓取該頁面;
FOLLOW 指令表示搜尋機器人可以沿著該頁面上的連結繼續抓取下去。
Robots Meta 標籤的預設值是 INDEX 和 FOLLOW(唯 inktomi 例外,其預設值為 INDEX、NOFOLLOW)。由此可組合成四種搭配:
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
其中:
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"> 可寫成 <META NAME="ROBOTS" CONTENT="ALL">;
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"> 可寫成 <META NAME="ROBOTS" CONTENT="NONE">。
就目前來看,絕大多數搜尋引擎機器人都會遵守 robots.txt 的規則;而對於 Robots META 標籤,支援的還不多,但正在逐漸增加。以知名搜尋引擎 Google 為例,它就完全支援,甚至額外增加了一個 archive 指令,可用來限制 Google 是否保留網頁快取。例如:
<META NAME="googlebot" CONTENT="index,follow,noarchive">