DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
robots.txt 文件,你真的知道怎麼用嗎?
編輯:SEO優化集錦     

搜尋引擎通過一種叫 robot(又稱 spider)的程序,自動訪問互聯網上的網頁並獲取信息。你可以在網站中創建一個純文本文件 robots.txt,在其中聲明不希望被robot訪問的部分,這樣網站的部分或全部內容就可以不被收錄,或者反过来指定只收錄特定內容。該文件應放在網站根目錄下。

當搜索機器人訪問一個站點時,它會首先檢查根目錄下是否存在 robots.txt:若存在,就按文件內容確定訪問範圍;若不存在,則沿著鏈接抓取。

文件格式

「robots.txt」包含一條或多條記錄,記錄之間以空行分隔,每條記錄格式為「<field>:<optionalspace><value><optionalspace>」。文件中可用 # 進行註解。記錄通常以一行或多行 User-agent 開頭,後接若干 Disallow 行。

User-agent:用於描述搜尋引擎robot的名字。若有多條User-agent記錄,說明有多個robot受該協議限制,文件中至少要有一條。若值設為 *,則對任何機器人有效,且「User-agent: *」只能有一條。

Disallow:用於描述不希望被訪問的URL,可以是完整或部分路徑。任何以Disallow開頭的URL都不會被訪問。例如「Disallow: /help」對 /help.html 和 /help/index.html 都禁止訪問,而「Disallow: /help/」則允許訪問 /help.html、禁止訪問 /help/index.html。若某條Disallow為空,說明允許訪問所有部分;文件中至少要有一條Disallow記錄。若整個文件為空,則對所有搜尋引擎開放。

用法示例

例1,禁止所有搜尋引擎訪問任何部分:
User-agent: *
Disallow: /

例2,允許所有robot訪問(或建一個空文件):
User-agent: *
Disallow:

例3,禁止某個搜尋引擎訪問:
User-agent: BadBot
Disallow: /

例4,允許某個搜尋引擎、禁止其他:
User-agent: baiduspider
Disallow:
User-agent: *
Disallow: /

例5,禁止多個目錄(需分開聲明,不能寫成「Disallow: /cgi-bin/ /tmp/」):
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

特殊參數與高級用法

允許特定Google爬蟲:Googlebot會跟隨指向自己那一行,而非指向所有漫游器的行。Google還支持名為「Allow」的標準擴展,其原理與Disallow相同,只需列出允許的目錄或頁面,且可與Disallow混用。例如攔截 folder1 目錄內除 myfile.html 外的所有頁面:

User-Agent: Googlebot
Disallow: /folder1/
Allow: /folder1/myfile.html

使用 * 匹配字符序列:如攔截所有以 private 開頭的子目錄:
User-Agent: Googlebot
Disallow: /private*/

使用 $ 匹配URL結束字符:如攔截以 .asp 結尾的網址:
User-Agent: Googlebot
Disallow: /*.asp$

你可將模式匹配與Allow配合使用,例如排除帶會話ID的網址以避免重復抓取:
User-agent: *
Allow: /*? $
Disallow: /*?

Sitemap 支持:還可直接在 robots.txt 中寫入站點地圖鏈接,例如「Sitemap: https://www.eastsem.com/sitemap.xml」,目前Google、Yahoo、Ask與MSN均支持。不過仍建議到Google Sitemap中提交,因為其中有很多分析鏈接狀態的功能。

robots.txt 的好處

幾乎所有搜尋引擎Spider都遵循 robots.txt 的爬行規則。若網站未配置該文件,Spider會被重定向至404頁面,若又使用了自定義404,Spider可能把它誤當作 robots.txt,從而干擾收錄。此外,它還能:制止不必要的爬蟲占用寶貴帶寬(如email retrievers、image strippers);阻止對後台、管理等非公開頁面的爬行索引;在Spider高壓訪問時保護網站正常運行;並通過限制重復內容頁面,避免網站因duplicate content被懲罰。

風險與解決

凡事有利有弊。robots.txt 也可能向攻擊者暴露網站的目錄結構與私密數據位置。例如屏蔽 /private/ 時,攻擊者一看文件便知隱藏內容在哪裡。對策有二:一是對該目錄設置訪問權限、實施密碼保護;二是把默認主文件 index.html 改名,並另建一個提示「無權訪問」的 index.html,讓攻擊者因不知真實文件名而無法進入。

另外,若設置不當(如誤寫「Disallow: /」),會導致所有搜尋引擎停止索引,後果嚴重,務必謹慎。目前絕大多數搜尋引擎機器人都遵守 robots.txt 規則;對於 Robots META 標籤支持雖在增加但尚不普遍,Google則完全支持,還新增了「noarchive」指令,例如:

<META NAME="googlebot" CONTENT="index,follow,noarchive">

表示抓取該站頁面並沿鏈接爬行,但不在Google上保留該頁的網頁快照。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved