關於robots.txt的寫法,網上教程很多。它的作用主要是告訴搜索引擎哪些內容不必抓取,同時也可以主動把站點地圖的位置告知蜘蛛,讓抓取更高效。
User-agent: *
Disallow:
Sitemap:sitemap.xml
這是最常見的一套寫法:允許所有蜘蛛抓取全站,並順手把sitemap的位置報上去。

淘寶的robots.txt,直接屏蔽了百度蜘蛛

QQ在robots中加入了sitemap

打開QQ的sitemap之後發現裡面放的是一個壓縮包,下載解壓後才是真正的sitemap文件。蜘蛛能不能解析壓縮包,我沒法確認,但這種寫法還是頭一回見到。

CCTV也採用了同樣的思路
在robots.txt裡加上sitemap的聲明,究竟能不能帶動收錄,站長朋友們不妨在自己的站上試一試,用數據說話。最後感謝瓜視雲點播www.tvgua.com站長提供配圖。