robots.txt 是網站與搜尋引擎蜘蛛溝通的基礎協定。蜘蛛造訪網站時,會先檢查根目錄是否存在這個檔案;若存在,便依指示決定抓取範圍,若不存在,則可能沿連結自行抓取。
使用時務必將檔案放在網站根目錄,檔名需全小寫,且冒號要使用英文格式。User-agent 用來指定蜘蛛名稱,例如「User-agent:*」代表所有蜘蛛;Disallow 則用來限制不希望被抓取的目錄或路徑。

常見寫法包括禁止全部抓取、允許全部抓取、僅限制特定蜘蛛,或禁止特定目錄與檔案類型。例如要禁止某目錄,可寫成「Disallow: /admin/」;若要放行某頁面,可搭配 Allow 使用。初學者應先理解基本語法,再逐步調整規則,避免誤將重要內容擋住。