搜尋引擎都擁有各自的「搜尋機器人」(Robot),它們沿著網頁上的連結不斷抓取資料,建立自己的索引資料庫。然而,網站管理者有時會有不想被公開抓取的內容,這時就必須透過特定機制來告知 Robot。
robots.txt 是一個純文字檔,透過在檔案中宣告網站中不希望被 Robot 拜訪的部分,就能讓該網站的部分或全部內容不被搜尋引擎收錄,或反过来指定只收錄特定內容。當 Robot 拜訪一個站點時,會先檢查根目錄下是否存在 robots.txt,若有則依內容決定抓取範圍。這個檔案必須放在網站根目錄下,且檔名須全部小寫。
檔案由一條或多條記錄組成,每條記錄以空行分隔,格式為「欄位:值」。主要包含兩種欄位:
User-agent:描述 Robot 的名稱,設為 * 時對所有機器人有效。Disallow:描述不希望被拜訪的 URL 路徑,可為完整或部分路徑。User-agent: * 搭配 Disallow: /。Disallow: /cgi-bin/、Disallow: /tmp/ 等。User-agent: * 搭配 Disallow: / 封鎖其餘。最典型的錯誤是把順序顛倒——例如寫成 User-agent: * 卻接著 Disallow: GoogleBot,正確的應是把要限制的名稱放在 User-agent、把 * 放在特定規則之下。另一個錯誤是把多個禁止路徑寫在同一行,而正確做法是每個路徑各自一行。
常見的搜尋引擎 Robot 名稱包括 Baiduspider、Googlebot、MSNBOT、Slurp、Scooter 等,可作為進階設定時的參考。