前幾天寫了robots.txt的規則誤區,並介紹了百度與谷歌相關工具的使用,當時列舉了幾個規則上的誤區。後來發現,其實遠不止那些,還有不少容易被忽略的坑。今天重新梳理一下robots.txt在實際使用中的常見誤區。
誤區1:Allow的範圍超過Disallow,且位置排在Disallow前面。
比如很多人這樣寫:
User-agent: *
Allow: /
Disallow: /mulu/
本意是想讓所有蜘蛛抓取除/mulu/目錄外的所有頁面,禁止抓取/mulu/下的所有URL。但搜索引擎蜘蛛是按從上到下的順序執行規則的,這樣寫會導致第二句命令失效——也就是「禁止抓取/mulu/」這條規則根本不生效。正確的做法是,把Disallow放在Allow之上,這樣才能生效。
誤區2:Disallow或Allow命令之後沒有以斜槓「/」開頭。
這一點也很容易被忽略。比如有人寫成 Disallow: 123.html,這是沒有效果的。斜槓「/」表示文件相對於根目錄的位置,不帶斜槓,蜘蛛自然無法判斷URL指向哪裡,所以是錯誤的。正確的寫法應是 Disallow: /123.html,這樣才能屏蔽該文件,規則方可生效。
誤區3:屏蔽的目錄後沒有帶斜槓「/」。
比如想屏蔽抓取/mulu/這個目錄,有人寫成 Disallow: /mulu。這樣寫是否正確呢?首先,它確實能屏蔽/mulu/下的所有URL,但同時也會屏蔽掉類似/mulu123.html這種以/mulu/開頭的所有頁面,效果等同於 Disallow: /mulu*。正確的做法是:如果只想屏蔽目錄,結尾必須帶上斜槓「/」。