Robots.txt 是放在網站根目錄的純文字檔案,主要用來告訴搜尋引擎蜘蛛哪些內容可以抓取、哪些內容不需要拜訪。設定得當,能讓抓取更有效率,也能避免資源浪費。
若網站有許多圖片、臨時頁面或後台路徑,若未妥善限制,可能被大量抓取,增加伺服器負擔。透過 Robots.txt 可減少不必要的請求,讓重要頁面更快被發現。
大型網站或頁面數量多的網站,更需要清楚抓取路徑。適度設定可讓蜘蛛優先拜訪有價值的內容,而不是在無意義頁面中耗費時間。
管理後台、暫存頁面或不想公開的資料,可透過 Robots.txt 限制抓取。另也可在其中加入 sitemap 位置,協助搜尋引擎更完整地了解網站結構。