robots.txt 是放在網站根目錄的文字檔,用來告訴搜尋機器人哪些路徑可抓取、哪些不可抓取。當機器人拜訪網站時,通常會先讀取這個檔案。
基本寫法如 User-agent: * 與 Disallow: 可允許所有機器人;若要禁止全部抓取,可寫成 Disallow: /。此外,頁面也可使用 meta robots 控制單頁索引與跟隨。