對很多新手來說,robots.txt 是個看不懂的神秘檔案——不知道有什麼用,也不知道該怎麼寫。事實上,把它設定好能讓網站更快被收錄,是相當基礎卻常被忽略的一項優化。

robots.txt 是一種協定。所有搜尋引擎的爬蟲進入你的網站時,第一個讀取的就是這個檔案。它的作用只有一句話:告訴爬蟲哪些路徑可以抓、哪些路徑不要抓。
User-agent: 定義適用的爬蟲類型
Disallow: 定義禁止抓取的路徑
Allow: 定義允許抓取的路徑
Crawl-delay: 定義抓取間隔
例如 Disallow: /t 會屏蔽所有包含「/t」的路徑——注意,這不只屏蔽 /tag/,凡是路徑裡出現 t 的都會中。這也是為什麼寫規則時要精確,別用太短的字串。
一個常見的正例寫法:
User-agent: *
Disallow: /admin/
Disallow: /data/
Disallow: /templets/
Allow: /uploads/
Sitemap: https://www.example.com/sitemap.xml
寫錯 robots.txt 的後果不輕:輕則排名下滑,重則整站從索引中消失。這份檔案值得多花五分鐘確認。
1. 屏蔽低品質重複頁面。網路上每天有大量自動生成或低品質的內容產生。這些頁面若被抓取,只會與既有內容高度重複,對索引品質沒有幫助。用 robots.txt 把它們擋掉,能讓爬蟲把抓取預算留給真正重要的頁面。
2. 屏蔽樣板與樣式目錄。搜尋引擎重視原創,而這裡的「原創」不只指文章,也包括模板。若你的站是套用現成模板,建議把 css、模板目錄一并屏蔽,避免被抓取歸檔。
3. 屏蔽後台與敏感目錄。後台頁面、圖片目錄、資料庫備份檔這類內容,對搜尋引擎沒有價值,從網站安全角度也應該屏蔽。更嚴謹的做法是先改掉這些目錄的預設名稱,再用 robots.txt 屏蔽。
4. 屏蔽改版後的死連結。網站改版或大量刪除連結後,產生的舊路徑必須屏蔽。這樣搜尋引擎不會誤判你的站存在大量死連結;同時把死連結清單提交給站長平台,讓它明確知道這些頁面已經作廢。
5. 提升抓取效率。回到最開始那句話——robots.txt 的作用是指引爬蟲。它的邏輯與內部連結佈局其實相似:讓爬蟲清楚知道哪些內容才是重點,不要把抓取資源浪費在無意義的頁面上。
robots.txt 看似只是優化中的一個小細節,但設定得好不好,會直接反映在收錄效率上。把每個環節都做扎實,搜尋引擎才有足夠理由給你的站點一個好位置。
設定後請務必用站長平台的 robots 測試工具驗證一次,確認沒有誤屏蔽重要目錄。