DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁腳本 >  >> HTML基礎知識 >> HTML5教程
robots.txt 是什麼?一篇搞懂寫法與用法
編輯:HTML5教程     

robots.txt 基本介紹

robots.txt 是一個純文字檔案。透過它,網站管理者可以聲明網站中不希望被 robots(搜尋引擎爬蟲)拜訪的部分,或者反过来指定搜尋引擎只收錄特定內容。

當一個搜尋機器人(有些人稱之為搜尋蜘蛛)拜訪某個站點時,它會先檢查該站點的根目錄下是否存在 robots.txt。如果存在,搜尋機器人就會依據檔案中的內容來決定拜訪範圍;如果該檔案不存在,機器人就會沿著連結自行抓取。

另外要特別注意:robots.txt 必須放在站點的根目錄下,而且檔名必須全部小寫。

robots.txt 寫作語法

先來看一個範例:https://www.csswebs.org/robots.txt,其內容大致如下:

# Robots.txt file from https://www.csswebs.org
# All robots will spider the domain

User-agent: *
Disallow:

以上文字表達的意思是:允許所有搜尋機器人拜訪 www.csswebs.org 站點下的所有檔案。

具體語法分析:# 後面的文字為說明資訊;User-agent: 後面填的是搜尋機器人的名稱,若是 *,則泛指所有搜尋機器人;Disallow: 後面則填不允許拜訪的檔案目錄。

常見用法範例

允許所有 robot 拜訪:

User-agent: *
Disallow:

或者也可以直接建立一個空的 robots.txt 檔案。

禁止所有搜尋引擎拜訪網站的任何部分:

User-agent: *
Disallow: /

禁止所有搜尋引擎拜訪網站的幾個部分(下例中的 01、02、03 目錄):

User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/

禁止某個特定搜尋引擎拜訪(下例中的 BadBot):

User-agent: BadBot
Disallow: /

只允許某個特定搜尋引擎拜訪(下例中的 Crawler):

User-agent: Crawler
Disallow:

User-agent: *
Disallow: /

上面這段的邏輯是:先針對 Crawler 設定為允許(Disallow 後留空),再用 User-agent: * 對其他所有機器人設定為禁止。

延伸:Robots META 標籤

除了 robots.txt,還有一個常被提及的機制——Robots META 標籤。它主要是針對一個個具體的頁面。與其他 META 標籤(如使用的語言、頁面描述、關鍵詞等)一樣,Robots META 標籤也放在頁面的 <head></head> 中,專門用來告訴搜尋引擎 ROBOTS 如何抓取該頁的內容。

Robots META 標籤不分大小寫,name="Robots" 表示針對所有搜尋引擎,若要針對某個具體的搜尋引擎,可寫成 name="BaiduSpider"。content 部分則有四個指令選項:index、noindex、follow、nofollow,指令之間以「,」分隔。

INDEX 指令告訴搜尋機器人抓取該頁面;
FOLLOW 指令表示搜尋機器人可以沿著該頁面上的連結繼續抓取下去。

Robots Meta 標籤的預設值是 INDEX 和 FOLLOW(唯 inktomi 例外,其預設值為 INDEX、NOFOLLOW)。由此可組合成四種搭配:

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

其中:
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"> 可寫成 <META NAME="ROBOTS" CONTENT="ALL">;
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"> 可寫成 <META NAME="ROBOTS" CONTENT="NONE">。

就目前來看,絕大多數搜尋引擎機器人都會遵守 robots.txt 的規則;而對於 Robots META 標籤,支援的還不多,但正在逐漸增加。以知名搜尋引擎 Google 為例,它就完全支援,甚至額外增加了一個 archive 指令,可用來限制 Google 是否保留網頁快取。例如:

<META NAME="googlebot" CONTENT="index,follow,noarchive">

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved