
很多站長對robots文件並不陌生,但在細節上常有疏忽、算不上精通。由於搜索引擎對robots的相關說明並不十分詳盡,加上每個站長的需求各異,robots的優化方式便格外靈活多變。簡單來說,robots是位於網站根目錄的一個文件協議,用來告訴蜘蛛哪些內容可以抓取、哪些不可以。蜘蛛訪問你的網站時,會先檢測是否存在robots文件:若存在,便依文件內容確定訪問範圍;若不存在,則沿著鏈接抓取。
先看一個範例:
# robots.txt file from 你的域名
# All robots will spider the domain
User-agent:.
Disallow:
以上表示允許所有搜索機器人訪問該站下的所有文件。具體語法為:「#」後為說明信息;「User-agent」後為機器人名稱,若為「.」則泛指所有機器人;「Disallow」後為不允許訪問的目錄,若留空則不起任何禁止作用。
列舉幾種常見用法:
允許所有robot訪問:
User-agent:.
Disallow:
(也可直接建一個空的robots.txt文件。)
禁止所有搜索引擎訪問任何部分:
User-agent:.
Disallow:/
禁止所有搜索引擎訪問某幾個目錄(如aa、bb、cc):
User-agent:.
Disallow:/aa/
Disallow:/bb/
Disallow:/cc/
禁止某個特定搜索引擎(如BadBot)訪問:
User-agent:BadBot
Disallow:/
只允許某個特定搜索引擎(如Crawler)訪問:
User-agent:Crawler