對很多新手來說,robots 檔是個看不懂的神秘檔案:不知道它有何用、也不知道該怎麼寫。實際上,寫好 robots 能讓網站更快被收錄,進而更快取得排名,是 SEO 中相當關鍵的一大利器。

robots 檔本質上是一種協議。所有搜尋引擎的爬蟲進入你的網站時,最先訪問的就是這個檔案。它的作用可以一句話概括:告訴爬蟲哪些路徑可以抓取、哪些路徑不能抓取。
User-agent:定義適用的搜尋引擎類型。Disallow:定義禁止抓取的位址。Allow:定義允許抓取的位址。Crawl-delay:定義抓取延遲秒數。最後一點特別容易誤傷。例如寫成 Disallow: /t,代表屏蔽站內所有包含「/t」的路徑——像 /tools/、/tags/ 這種不以 t 開頭但內含 t 的目錄,都會被一併擋掉。因此規則寫完務必逐條驗證,一個錯誤的 robots 檔,輕則排名下滑,重則整站從索引中消失。
網路上每天有大量內容被發布,搜尋引擎只能透過內容本身判斷品質。有些人為了省工,用工具自動生成文章,效率確實高,但爬蟲抓取後與既有資料比對,相似度過高、頁面價值低,就不會被收錄。既然已收錄的頁面品質更好,就沒理由再收進一批更差的。用 robots 把這些無用且大量重複的路徑擋掉,是合理的做法。
搜尋引擎偏愛原創內容,而這裡的「原創」不只指文章,也包含網站模板。如果站點是直接套用的公開模板,建議用 robots 把 CSS 目錄與模板目錄一併屏蔽,避免被抓取判定為重複內容。
後台頁面、圖片目錄、資料庫備份等隱私路徑,建議一起屏蔽。一方面這些內容對搜尋引擎沒有價值,另一方面從安全角度出發,把敏感路徑改掉並屏蔽,能降低被入侵的風險。
網站改版或刪除垃圾連結後留下的頁面,一定要處理。只有把這些路徑屏蔽並主動提交給搜尋引擎,才不會被算成大量死鏈。實務上的做法是:屏蔽路徑、製作 404 頁面、再把死鏈清單提交至站長平台。
回到最初那句話——robots 的作用是指引爬蟲。透過這個檔案,能讓爬蟲把有限的抓取配額集中到真正重要的頁面上,原理與內鏈布局相似:都是在告訴搜尋引擎「哪些才是這個站最重要的內容」,而不是把資源浪費在無用頁面上。
robots 的設定雖是優化中的一個細節,但設定好壞會直接影響整體成效。建議每次修改後,都到站長平台的 robots 測試工具跑一遍,確認鎖定的路徑與預期一致,並留意是否有重要目錄被誤鎖。