DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
網站robots.txt使用中的常見誤區
編輯:SEO優化集錦     

前幾天寫了robots.txt的規則誤區,並介紹了百度與谷歌相關工具的使用,當時列舉了幾個規則上的誤區。後來發現,其實遠不止那些,還有不少容易被忽略的坑。今天重新梳理一下robots.txt在實際使用中的常見誤區。

誤區1:Allow的範圍超過Disallow,且位置排在Disallow前面。

比如很多人這樣寫:

User-agent: *

Allow: /

Disallow: /mulu/

本意是想讓所有蜘蛛抓取除/mulu/目錄外的所有頁面,禁止抓取/mulu/下的所有URL。但搜索引擎蜘蛛是按從上到下的順序執行規則的,這樣寫會導致第二句命令失效——也就是「禁止抓取/mulu/」這條規則根本不生效。正確的做法是,把Disallow放在Allow之上,這樣才能生效。

誤區2:Disallow或Allow命令之後沒有以斜槓「/」開頭。

這一點也很容易被忽略。比如有人寫成 Disallow: 123.html,這是沒有效果的。斜槓「/」表示文件相對於根目錄的位置,不帶斜槓,蜘蛛自然無法判斷URL指向哪裡,所以是錯誤的。正確的寫法應是 Disallow: /123.html,這樣才能屏蔽該文件,規則方可生效。

誤區3:屏蔽的目錄後沒有帶斜槓「/」。

比如想屏蔽抓取/mulu/這個目錄,有人寫成 Disallow: /mulu。這樣寫是否正確呢?首先,它確實能屏蔽/mulu/下的所有URL,但同時也會屏蔽掉類似/mulu123.html這種以/mulu/開頭的所有頁面,效果等同於 Disallow: /mulu*。正確的做法是:如果只想屏蔽目錄,結尾必須帶上斜槓「/」。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved