DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO相關 >> SEO優化
robots.txt協議完全教程:語法、範例與SEO妙用
編輯:SEO優化     

robots協議可以說是各類網絡爬蟲與網站之間的一種約定。此前京東與一淘就360buy內容抓取鬧得沸沸揚揚,且不論對錯,從中我們能看到:robots能把某些內容屏蔽於爬蟲之外,而爬蟲也完全可以無視協議、按自己的喜好抓取信息,甚至需要登錄的站點它也能註冊賬號登入,全看想不想。有人或許因此覺得robots毫無作用,也有人探討過它是否涉及法律。協議確有一定約束力,但對於「流氓行徑」,連法律都難以完全阻止,更別說協議了。不過對於遵守規則的爬蟲而言,robots能為SEO帶來不小的幫助,具體能做些什麼呢?

robots協議的五大用途

第一:規範網站URL。當網站存在兩種甚至多種地址時,可用協議禁止蜘蛛抓取不想展示的URL,從而解決站內重複、集中權重。為數據分析而在URL後添加參數區分來路的情況,也能借此處理。

第二:屏蔽不願被搜索引擎展示給用戶的內容。

第三:控制蜘蛛抓取,減輕服務器負擔。對內容量大的網站而言,抓取對資源的消耗相當可觀。

第四:與nofollow配合,引導蜘蛛更充分地抓取。

第五:添加網站地址以促進抓取和收錄,語法:Sitemap: https://www.sem.cm/sitemap.xml

robots.txt用法舉例

例1. 禁止所有搜索引擎訪問網站任何部分

User-agent: *
Disallow: /

例2. 允許所有robot訪問(也可建一個空的「/robots.txt」)

User-agent: *
Allow: /

另一種寫法:
User-agent: *
Disallow:

例3. 僅禁止Baiduspider訪問

User-agent: Baiduspider
Disallow: /

例4. 僅允許Baiduspider訪問

User-agent: Baiduspider
Allow: /

例5. 禁止spider訪問特定目錄(每個目錄須分開聲明,不能寫成「Disallow: /cgi-bin/ /tmp/」)

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

例6. 允許訪問特定目錄中的部分url

User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look

例7. 使用「*」限制訪問url(禁止訪問/cgi-bin/下所有以「.htm」為後綴的URL,含子目錄)

User-agent: *
Disallow: /cgi-bin/*.htm

例8. 使用「$」限制訪問url(僅允許訪問以「.htm」為後綴的URL)

User-agent: *
Allow: /.htm$

例9. 禁止訪問網站中所有動態頁面

User-agent: *
Disallow: /*?*

例10. 禁止Baiduspider抓取所有圖片(僅允許抓取網頁)

User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$

例11. 僅允許Baiduspider抓取網頁和gif圖片

User-agent: Baiduspider
Allow: .gif$
Disallow: /.jpg$
Disallow: /.jpeg$
Disallow: /.png$
Disallow: /.bmp$

例12. 僅禁止Baiduspider抓取jpg圖片

User-agent: Baiduspider
Disallow: /.jpg$

robots.txt的寫法是否正確,可用Google網站管理員工具後台進行測試。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved