DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
robots.txt八種用法:用一行指令管好權重流向
編輯:SEO優化集錦     

答應寫這篇很久了。前幾天看到有人問起robots的相關問題,索性把常見用法一次整理清楚。

robots.txt放在網站根目錄,是爬蟲訪問站點時查看的第一個文件。當蜘蛛到達一個站,它會先檢查根目錄下有沒有這個文件:存在,就按裡面的規則決定抓取範圍;不存在,那麼所有未被密碼保護的頁面都會被視為可抓取。每個站都該有這份文件,它明確告訴搜尋引擎:哪些內容歡迎抓取,哪些不歡迎。

用法一:屏蔽全部搜尋引擎

如果你的站純屬私人用途,不想被檢索到,可以全部擋掉:

User-agent:*
Disallow: /

用法二:只開放某一個搜尋引擎

例如只允許百度抓取:

User-agent: Baiduspider
Allow:
User-agent: *
Disallow: /

用法三:用$屏蔽特定格式檔案

不想讓圖片被抓取時,可用通配符匹配副檔名:

User-agent: *
Disallow: /.bmp$
Disallow: /.jpg$
Disallow: /.gif$
Disallow: /.jpeg$

用法四:屏蔽帶參數的動態URL

動態網址通常帶問號,可利用這個特徵匹配:

User-agent: *
Disallow: /*?*

用法五:站點改版,整個目錄作廢

例如ab目錄已隨改版刪除:

User-agent: *
Disallow: /ab/

用法六:屏蔽目錄但放行其中一個頁面

ab目錄整體不開放,但裡面的cd可以抓:

User-agent: *
Disallow: /ab/
Allow:/ab/cd

用法七:宣告站點地圖位置

sitemap:<網站地圖的位置>

用法八:為什麼設了robots還是被收錄

這是常見誤解。蜘蛛是靠URL爬到頁面的,Google抓取這類URL時通常不帶標題和描述,而百度會帶上。所以你看到的往往是「抓取了這個鏈接,但沒有收錄頁面內容」,兩件事並不相同。設定生效了,只是表現形式和你想的不一樣。

最後說個底層邏輯:首頁權重最高,而權重靠鏈接傳遞。設定robots的真正目的,是把權重導引到真正需要它的頁面上,同時把不需要被索引的部分隔離出去。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved