robots協議可以說是各類網絡爬蟲與網站之間的一種約定。此前京東與一淘就360buy內容抓取鬧得沸沸揚揚,且不論對錯,從中我們能看到:robots能把某些內容屏蔽於爬蟲之外,而爬蟲也完全可以無視協議、按自己的喜好抓取信息,甚至需要登錄的站點它也能註冊賬號登入,全看想不想。有人或許因此覺得robots毫無作用,也有人探討過它是否涉及法律。協議確有一定約束力,但對於「流氓行徑」,連法律都難以完全阻止,更別說協議了。不過對於遵守規則的爬蟲而言,robots能為SEO帶來不小的幫助,具體能做些什麼呢?
第一:規範網站URL。當網站存在兩種甚至多種地址時,可用協議禁止蜘蛛抓取不想展示的URL,從而解決站內重複、集中權重。為數據分析而在URL後添加參數區分來路的情況,也能借此處理。
第二:屏蔽不願被搜索引擎展示給用戶的內容。
第三:控制蜘蛛抓取,減輕服務器負擔。對內容量大的網站而言,抓取對資源的消耗相當可觀。
第四:與nofollow配合,引導蜘蛛更充分地抓取。
第五:添加網站地址以促進抓取和收錄,語法:Sitemap: https://www.sem.cm/sitemap.xml
例1. 禁止所有搜索引擎訪問網站任何部分
User-agent: *
Disallow: /
例2. 允許所有robot訪問(也可建一個空的「/robots.txt」)
User-agent: *
Allow: /
另一種寫法:
User-agent: *
Disallow:
例3. 僅禁止Baiduspider訪問
User-agent: Baiduspider
Disallow: /
例4. 僅允許Baiduspider訪問
User-agent: Baiduspider
Allow: /
例5. 禁止spider訪問特定目錄(每個目錄須分開聲明,不能寫成「Disallow: /cgi-bin/ /tmp/」)
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例6. 允許訪問特定目錄中的部分url
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
例7. 使用「*」限制訪問url(禁止訪問/cgi-bin/下所有以「.htm」為後綴的URL,含子目錄)
User-agent: *
Disallow: /cgi-bin/*.htm
例8. 使用「$」限制訪問url(僅允許訪問以「.htm」為後綴的URL)
User-agent: *
Allow: /.htm$
例9. 禁止訪問網站中所有動態頁面
User-agent: *
Disallow: /*?*
例10. 禁止Baiduspider抓取所有圖片(僅允許抓取網頁)
User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
例11. 僅允許Baiduspider抓取網頁和gif圖片
User-agent: Baiduspider
Allow: .gif$
Disallow: /.jpg$
Disallow: /.jpeg$
Disallow: /.png$
Disallow: /.bmp$
例12. 僅禁止Baiduspider抓取jpg圖片
User-agent: Baiduspider
Disallow: /.jpg$
robots.txt的寫法是否正確,可用Google網站管理員工具後台進行測試。