
robots.txt 是放在網站根目錄的純文字檔案,用來告知搜尋引擎蜘蛛哪些內容可以抓取、哪些不建議抓取。它常被視為網站與爬蟲之間的溝通協議。
可用來阻擋後台、暫存頁面、下載檔案或較大資源,節省抓取與頻寬負擔;也可用來排除不希望对外的路徑。若希望全站被收錄,則不一定要建立此檔案。
最常見的設定是透過 User-agent 指定蜘蛛,再用 Disallow 限制路徑。例如,若要禁止所有蜘蛛抓取全站,可將 Disallow 設為根目錄;若空白,則代表允許抓取。
除了 robots.txt,頁面也可使用 meta robots 標籤控制是否索引與跟隨連結。真正靈活運用這些工具,才能兼顧抓取效率與內容管理。