DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO基礎教程
SEO教程之Robots協議設置優化
編輯:SEO基礎教程     

一、什麼是Robots?

很多站長對robots文件並不陌生,但在細節上常有疏忽、算不上精通。由於搜索引擎對robots的相關說明並不十分詳盡,加上每個站長的需求各異,robots的優化方式便格外靈活多變。簡單來說,robots是位於網站根目錄的一個文件協議,用來告訴蜘蛛哪些內容可以抓取、哪些不可以。蜘蛛訪問你的網站時,會先檢測是否存在robots文件:若存在,便依文件內容確定訪問範圍;若不存在,則沿著鏈接抓取。

二、Robots的寫作方法

先看一個範例:

# robots.txt file from 你的域名
# All robots will spider the domain
User-agent:.
Disallow:

以上表示允許所有搜索機器人訪問該站下的所有文件。具體語法為:「#」後為說明信息;「User-agent」後為機器人名稱,若為「.」則泛指所有機器人;「Disallow」後為不允許訪問的目錄,若留空則不起任何禁止作用。

列舉幾種常見用法:

允許所有robot訪問:

User-agent:.
Disallow:

(也可直接建一個空的robots.txt文件。)

禁止所有搜索引擎訪問任何部分:

User-agent:.
Disallow:/

禁止所有搜索引擎訪問某幾個目錄(如aa、bb、cc):

User-agent:.
Disallow:/aa/
Disallow:/bb/
Disallow:/cc/

禁止某個特定搜索引擎(如BadBot)訪問:

User-agent:BadBot
Disallow:/

只允許某個特定搜索引擎(如Crawler)訪問:

User-agent:Crawler

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved