DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
robots.txt 原來還能這樣寫
編輯:SEO優化集錦     

關於robots.txt的寫法,網上教程很多。它的作用主要是告訴搜索引擎哪些內容不必抓取,同時也可以主動把站點地圖的位置告知蜘蛛,讓抓取更高效。

最基礎的格式

User-agent: *

Disallow:

Sitemap:sitemap.xml

這是最常見的一套寫法:允許所有蜘蛛抓取全站,並順手把sitemap的位置報上去。

看看大站是怎麼寫的

淘寶的robots.txt,直接屏蔽了百度蜘蛛

QQ在robots中加入了sitemap

打開QQ的sitemap之後發現裡面放的是一個壓縮包,下載解壓後才是真正的sitemap文件。蜘蛛能不能解析壓縮包,我沒法確認,但這種寫法還是頭一回見到。

CCTV也採用了同樣的思路

在robots.txt裡加上sitemap的聲明,究竟能不能帶動收錄,站長朋友們不妨在自己的站上試一試,用數據說話。最後感謝瓜視雲點播www.tvgua.com站長提供配圖。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved