DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
robots.txt 怎麼寫?幾條最實用的規則與含義拆解
編輯:SEO優化集錦     

在網站優化體系裡,robots.txt 是個必備文件。但很多從業者會忽略它的重要性——往往等到站點冒出大量 404 頁面,或者有內容不想被搜索引擎抓取時,才想起來還有這個工具。下面談談 robots.txt 最實用、最基礎的幾種用法。

常見搜索引擎蜘蛛名稱

Baiduspider —— 百度;

Scooter Vista;

ia_archiver —— Alexa;

Googlebot —— 谷歌;

FAST-WebCrawler —— Fast;

MSNBOT —— Msn。

常用語法中,Disallow 用來聲明不希望被索引的 URL 路徑;Allow 用來聲明允許被索引的路徑。由於默認值本身就是允許,所以 Allow 實際上很少用到。

假如要禁止百度抓取全站,寫法如下:

User-agent:Baiduspider

Disallow:/

講解:這裡 user-agent 針對的是百度蜘蛛。順帶一提,谷歌並沒有「蜘蛛」這一說法,它的抓取程序叫機器人。disallow 禁止了「/」目錄下的所有文件,這裡的斜槓代表根目錄(一般就是 wwwroot 下的內容)。

如果只想對百度開放,其他搜索引擎一律禁止,寫法如下:

User-agent:Baiduspider

Disallow:

User-agent: *

Disallow: /

講解:這段規則等於對百度說「我對你開放」,而對其他所有搜索引擎關門。「*」表示全部,後面的 disallow 禁止了根目錄下的所有索引。

如果要禁止抓取某幾個文件夾,寫法如下:

User-agent:*

Disallow:/a/

Disallow:/abc/

Disallow:/data/

講解:這裡針對所有搜索引擎,禁止訪問 a、abc、data 三個文件夾裡的任何文件。如果你想連「包含該文件名」以及「以該文件名作為路徑前綴」的內容一起禁止,就把後面的斜槓去掉:

User-agent:*

Disallow:/a

Disallow:/abc

Disallow:/data

講解:這樣不僅禁了該文件本身,也禁掉了所有以它命名的 URL 路徑。這種寫法影響面較大,實際中用得不多。

還有一種常見場景:很多站無法完全靜態化,即使做了偽靜態,仍有一部分帶參數的動態路徑被搜索引擎收了進去。這時候可以加上一條規則:

User-agent:*

Disallow:/*?*

講解:這裡的「*」表示所有帶「?」的路徑都會被禁止索引。如果參數分隔符不是「?」而是「$」,同理把「?」換成「$」即可。

以上幾種都是最常見、也最容易被忽略的寫法。一份寫得好的 robots.txt 能為網站加分,寫得糟糕反而可能讓整站抓取失效。把每個小細節都處理到位,網站的用戶體驗與抓取效率自然就上去了。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved