搜索引擎訪問一個網站時,首先會檢查該網站根域下是否有一個名為robots.txt的純文本文件。Robots.txt用於限定搜索引擎對網站的訪問範圍,即告訴搜索引擎網站中哪些文件允許被檢索(下載),這就是網上常說的「拒絕Robots訪問標準」(Robots Exclusion Standard),下文簡稱RES。
Robots.txt文件的格式:它比較特殊,由若干記錄組成,記錄之間以空行分隔,每條記錄由兩個域構成:
1) 一個User-Agent(用戶代理)字符串行;
2) 若干Disallow字符串行。
記錄格式為:<Field> ":" <value>
User-agent(用戶代理):User-agent行用於指定搜索引擎robot的名字。以Google的檢索程序Googlebot為例:User-agent: Googlebot。一個robots.txt至少要有一條User-agent記錄;若有多條,則表示有多個robot受RES標準限制。若要指定所有robot,只需用通配符"*",即:User-agent: *。
Disallow(拒絕訪問聲明):每條記錄的第二個域是Disallow指令行,聲明了網站中不希望被訪問的文件或目錄。例如「Disallow: email.htm」禁止蜘蛛下載email.htm;「Disallow: /cgi-bin/」則拒絕蜘蛛進入cgi-bin目錄及其子目錄。Disallow還具通配符功能:「Disallow: /cgi-bin/」拒絕整個cgi-bin目錄及子目錄,而「Disallow:/bob」則同時拒絕名為bob的文件和bob目錄下的文件。若Disallow留空,則表示網站所有部分都向搜索引擎開放。
空格與註釋:在robots.txt中,凡以"#"開頭的行都被視為註釋,這與UNIX慣例一致。但有兩點需注意:RES標準允許把註釋放在指令行末尾,但並非所有蜘蛛都支持這種格式(有的會把「Disallow: bob #comment」誤解為禁止「bob#comment」),最好讓註釋自成一行;此外,標準雖允許指令行開頭存在空格,但也不建議這麼寫。
文件的創建:注意,應當在UNIX命令行終端模式下創建robots.txt純文本文件。好的文本編輯器一般都能提供UNIX模式功能,或者你的FTP客戶端軟件也「應該」能幫你轉換。若你試圖用一個不具文本編輯模式的HTML編輯器來生成它,那簡直是白費力氣。
對RES標準的擴展:儘管已有人提出Allow行、Robot版本控制等擴展標準,但尚未得到RES工作組的正式批准認可。
附錄I. Robots.txt用法舉例:
使用通配符"*",可設置對所有robot的訪問權限。
User-agent: * / Disallow: ——允許所有搜索引擎訪問網站下的所有內容。
User-agent: * / Disallow: / ——禁止所有搜索引擎訪問網站下所有網頁。
User-agent: * / Disallow: /cgi-bin/ / Disallow: /images/ ——禁止所有搜索引擎進入cgi-bin和images目錄及其子目錄(注意每個目錄須分開聲明)。
User-agent: Roverdog / Disallow: / ——禁止Roverdog訪問網站上任何文件。
User-agent: Googlebot / Disallow: cheese.htm ——禁止Google的Googlebot訪問站下的cheese.htm文件。
對於更複雜的設置,可參看一些大型站點的robots.txt文件(如www.cnn.com/robots.txt、www.looksmart.com/robots.txt)。