在網站優化體系裡,robots.txt 是個必備文件。但很多從業者會忽略它的重要性——往往等到站點冒出大量 404 頁面,或者有內容不想被搜索引擎抓取時,才想起來還有這個工具。下面談談 robots.txt 最實用、最基礎的幾種用法。
常見搜索引擎蜘蛛名稱
Baiduspider —— 百度;
Scooter Vista;
ia_archiver —— Alexa;
Googlebot —— 谷歌;
FAST-WebCrawler —— Fast;
MSNBOT —— Msn。
常用語法中,Disallow 用來聲明不希望被索引的 URL 路徑;Allow 用來聲明允許被索引的路徑。由於默認值本身就是允許,所以 Allow 實際上很少用到。
假如要禁止百度抓取全站,寫法如下:
User-agent:Baiduspider
Disallow:/
講解:這裡 user-agent 針對的是百度蜘蛛。順帶一提,谷歌並沒有「蜘蛛」這一說法,它的抓取程序叫機器人。disallow 禁止了「/」目錄下的所有文件,這裡的斜槓代表根目錄(一般就是 wwwroot 下的內容)。
如果只想對百度開放,其他搜索引擎一律禁止,寫法如下:
User-agent:Baiduspider
Disallow:
User-agent: *
Disallow: /
講解:這段規則等於對百度說「我對你開放」,而對其他所有搜索引擎關門。「*」表示全部,後面的 disallow 禁止了根目錄下的所有索引。
如果要禁止抓取某幾個文件夾,寫法如下:
User-agent:*
Disallow:/a/
Disallow:/abc/
Disallow:/data/
講解:這裡針對所有搜索引擎,禁止訪問 a、abc、data 三個文件夾裡的任何文件。如果你想連「包含該文件名」以及「以該文件名作為路徑前綴」的內容一起禁止,就把後面的斜槓去掉:
User-agent:*
Disallow:/a
Disallow:/abc
Disallow:/data
講解:這樣不僅禁了該文件本身,也禁掉了所有以它命名的 URL 路徑。這種寫法影響面較大,實際中用得不多。
還有一種常見場景:很多站無法完全靜態化,即使做了偽靜態,仍有一部分帶參數的動態路徑被搜索引擎收了進去。這時候可以加上一條規則:
User-agent:*
Disallow:/*?*
講解:這裡的「*」表示所有帶「?」的路徑都會被禁止索引。如果參數分隔符不是「?」而是「$」,同理把「?」換成「$」即可。
以上幾種都是最常見、也最容易被忽略的寫法。一份寫得好的 robots.txt 能為網站加分,寫得糟糕反而可能讓整站抓取失效。把每個小細節都處理到位,網站的用戶體驗與抓取效率自然就上去了。