robots.txt 是一個純文字檔案。網站管理者可以在其中宣告哪些內容不希望被搜尋引擎的機器人抓取,或者反向指定只允許抓取特定範圍。
當搜尋機器人(也常被稱為搜尋蜘蛛或爬蟲)造訪一個站點時,它會先檢查根目錄下是否存在 robots.txt。若存在,機器人就依檔案內容決定可抓取的範圍;若不存在,則預設可以沿著連結自由抓取。
兩個硬性規則:robots.txt 必須放在站點的根目錄下,檔名必須全部小寫。放在子目錄或寫成 Robots.txt 都不會被讀到。
先看一個範例:
# 允許所有機器人抓取整個站點
User-agent: *
Disallow:
三個要素:
* 代表所有機器人。注意還有一個 Allow 指令,用於在禁止範圍內重新開放特定子路徑,優先級高於 Disallow。
User-agent: *
Disallow:
或者乾脆建立一個空的 robots.txt 檔,效果相同。
User-agent: *
Disallow: /
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
User-agent: BadBot
Disallow: /
User-agent: Crawler
Disallow:
User-agent: *
Disallow: /
先列出規則允許的機器人,再用 * 涵蓋其餘全部。
robots.txt 管的是整個站點,而 robots meta 標籤針對的是單一頁面。它和其他 meta 一樣放在 <head> 中,用來告訴搜尋引擎如何處理該頁。
name 不分大小寫。name="robots" 代表所有搜尋引擎,若要針對特定引擎,可寫成 name="googlebot" 或 name="bingbot"。
content 有四個指令,以逗號分隔:
預設值是 index 與 follow。四種組合如下:
<meta name="robots" content="index,follow">
<meta name="robots" content="noindex,follow">
<meta name="robots" content="index,nofollow">
<meta name="robots" content="noindex,nofollow">
前兩者可簡寫為 content="all",後兩者可簡寫為 content="none"。
Google 另外支援 noarchive,用於限制是否保留網頁快照:
<meta name="googlebot" content="index,follow,noarchive">
這裡有一個非常常見、代價也很高的誤解:robots.txt 不是存取控制機制。
它只是一份「請求」。遵守 robots.txt 是爬蟲的自律行為,惡意爬蟲完全不會理會它。任何寫進 Disallow 的路徑,只要有人知道網址,仍然可以直接在瀏覽器中打開。因此機密資料、含個人資料的頁面、後台系統,都絕對不能只靠 robots.txt 保護——該用的是伺服器端的權限控管與驗證。
另一個常見錯誤是:不要用 robots.txt 阻擋已經被索引的頁面。爬蟲雖然讀不到該頁,卻仍能看到指向它的外部連結,於是網址會以「無摘要內容」的形式留在搜尋結果裡,你反而失去了控制摘要的機會。想讓頁面從索引中移除,應該讓爬蟲讀得到該頁,再由頁內的 noindex meta 或 X-Robots-Tag 回應標頭告知;若要彻底移除,則回傳 404 或 410 才是正解。
最後,改動 robots.txt 之後可以透過搜尋引擎官方的測試工具驗證規則是否如預期生效,這比憑感覺判斷可靠得多。