DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
robots.txt 最常見的三個寫錯方式,以及怎麼驗證
編輯:SEO優化集錦     

robots.txt 的作用不必贅述,但實際觀察下來,不少朋友對它的規則理解仍有偏差,寫出來的協議看似合理,實際上並不生效。

誤區一:規則順序顛倒

很多人這樣寫:

User-agent: *
Allow: /
Disallow: /mulu/

表面上看,這段規則想表達的是「允許抓取除 /mulu/ 之外的所有頁面」。

但搜索引擎蜘蛛是自上而下逐行執行的。第一句 Allow: / 已經開放全部路徑,第二句 Disallow: /mulu/ 因此被覆蓋失效。

正確的順序應該是先禁止、後允許:

User-agent: *
Disallow: /mulu/
Allow: /

誤區二:路徑沒有用斜槓開頭

百度蜘蛛對語法有更嚴格的要求:Disallow 與 Allow 之後的路徑必須以斜槓 / 開頭。

所以下面這種寫法是錯的:

Disallow: *.html

應該改為:

Disallow: /*.html

這類細節看起來瑣碎,但一旦寫錯,整條規則等於白寫,而且你通常察覺不到。

怎麼驗證:兩個官方工具

好在兩大搜索引擎都提供了測試手段,寫完別急著上傳,先驗一遍。

百度站長工具的 robots 檢測。

它的能力相對基礎:只能逐行檢測語法是否合規,並不驗證實際抓取效果與邏輯結果。也就是說,它能告訴你「這行寫錯了」,但不會告訴你「這條規則沒起到你想要的作用」。

Google 站長工具的抓取權限。

這裡的功能強不少,會報告 Google 抓取網站時被攔截了哪些網址。

更實用的是它支持在線即時測試:修改規則後立刻看效果,確認無誤再生成 robots.txt 文件,或把命令複製進文本文檔上傳到網站根目錄。

它與百度工具最大的差別在於:你可以輸入某個或某組具體網址,直接測試 Google 蜘蛛是否會抓取它們。

返回結果就是這些網址的實際抓取情況。這對於驗證「某條規則對特定 URL 是否真的生效」極有價值。

建議

兩個工具結合使用效果最好:先用百度的做語法體檢,再用 Google 的做邏輯驗證。一層語法、一層效果,基本能杜絕絕大部分低級錯誤。

robots.txt 是少數「寫錯了完全沒提示」的配置項,這也是它值得多花五分鐘測試的原因。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved