robots.txt 的作用不必贅述,但實際觀察下來,不少朋友對它的規則理解仍有偏差,寫出來的協議看似合理,實際上並不生效。
很多人這樣寫:
User-agent: * Allow: / Disallow: /mulu/
表面上看,這段規則想表達的是「允許抓取除 /mulu/ 之外的所有頁面」。
但搜索引擎蜘蛛是自上而下逐行執行的。第一句 Allow: / 已經開放全部路徑,第二句 Disallow: /mulu/ 因此被覆蓋失效。
正確的順序應該是先禁止、後允許:
User-agent: * Disallow: /mulu/ Allow: /
百度蜘蛛對語法有更嚴格的要求:Disallow 與 Allow 之後的路徑必須以斜槓 / 開頭。
所以下面這種寫法是錯的:
Disallow: *.html
應該改為:
Disallow: /*.html
這類細節看起來瑣碎,但一旦寫錯,整條規則等於白寫,而且你通常察覺不到。
好在兩大搜索引擎都提供了測試手段,寫完別急著上傳,先驗一遍。
百度站長工具的 robots 檢測。



它的能力相對基礎:只能逐行檢測語法是否合規,並不驗證實際抓取效果與邏輯結果。也就是說,它能告訴你「這行寫錯了」,但不會告訴你「這條規則沒起到你想要的作用」。
Google 站長工具的抓取權限。

這裡的功能強不少,會報告 Google 抓取網站時被攔截了哪些網址。

更實用的是它支持在線即時測試:修改規則後立刻看效果,確認無誤再生成 robots.txt 文件,或把命令複製進文本文檔上傳到網站根目錄。

它與百度工具最大的差別在於:你可以輸入某個或某組具體網址,直接測試 Google 蜘蛛是否會抓取它們。

返回結果就是這些網址的實際抓取情況。這對於驗證「某條規則對特定 URL 是否真的生效」極有價值。
兩個工具結合使用效果最好:先用百度的做語法體檢,再用 Google 的做邏輯驗證。一層語法、一層效果,基本能杜絕絕大部分低級錯誤。
robots.txt 是少數「寫錯了完全沒提示」的配置項,這也是它值得多花五分鐘測試的原因。