DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
被忽略的 SEO 利器:robots.txt 完整用法整理
編輯:SEO優化集錦     

做網站也有些年頭了,應站長朋友要求,今天來聊聊一個常被忽略的檔案:robots.txt。多數站長很少關注它,但用得好,對網站絕對有百益而無一害。

(本文適合新手,老手請優雅地飄過。)

robots.txt 是什麼?

依照百度的說法:robots.txt 是一個必須放在根目錄底下的純文字檔案,檔名必須全小寫,也就是「robots.txt」。在這個檔案中可以宣告網站中不希望被機器人拜訪的部分,讓網站的部分或全部內容不被搜尋引擎收錄,或者反过来指定只收錄特定內容。

用法一:引導蜘蛛找到網站地圖

Google、Yahoo 等搜尋引擎都已支援在 robots.txt 中指明 sitemap 的位置,讓蜘蛛在拜訪 robots.txt 時就知道地圖在哪裡,收錄效率自然更好。語法寫成 sitemap: https://www.example.com/sitemap.xml(Google)或 sitemap: https://www.example.com/sitemap.txt(Yahoo)。地圖檔案可以用工具生成,也可以自己寫程式產生。

用法二:阻擋全部或特定目錄的抓取

第一種情況是完全禁止所有蜘蛛抓取任何內容。最典型的場景是:網站剛上線還在調整,標題與關鍵詞都沒優化好,卻已經有外部連結指過來,這時你並不希望搜尋引擎急著收錄。

這裡講一個反面前車之鑑。2006 年我建了一個站,套用了一套模板、加了點內容就興奮地向各搜尋引擎提交,隔天就被收錄,幾天內放出幾百篇內容。後來我又換了更漂亮的新模板,重新生成所有頁面,前前後後改了不只一次。蜘蛛對網站頁面頻繁改動——尤其是 title 這類重要屬性——會產生強烈的不信任感,結果我的站花了你一兩個月才恢復正常。所以網站正式對搜尋引擎開放之前,一定要先把定位想清楚、把優化做完。

另外像純粹給自己和伴侶用的私人網站、公司內部使用的不公開內容,也屬於需要阻擋的情況。禁止所有搜尋引擎收錄任何頁面的語法是:

User-agent: *
Disallow: /

第二種情況是只阻擋特定目錄,常見理由有三個:一是程式目錄完全沒有被抓取的必要,擋掉可以省下伺服器資源;二是部分目錄涉及會員資料或其他私密內容;三是某些目錄全是未經修改的採集內容,只用來充場面,不想被算成垃圾頁面而拖累整站權重。禁止特定目錄或頁面的語法範例:

User-agent: *
Disallow: /plus/count.php
Disallow: /include
Disallow: /news/old

用法三:只阻擋某一家蜘蛛

例如只想把某一個搜尋引擎擋在門外,語法寫成:

User-agent: baiduspider
Disallow: /

用法四:只允許指定蜘蛛抓取

網站流量通常來自幾家主要搜尋引擎,若不希望其他國內外搜尋或來路不明的蜘蛛耗用資源,可以反過來寫成白名單:

User-agent: baiduspider
Disallow:

User-agent: *
Disallow: /

其中可以把你允許的幾家蜘蛛逐一列出。特別提醒:robots.txt 必須正確書寫,寫錯反而會傷到網站。常見蜘蛛名稱包括百度的 baiduspider、Google 的 Googlebot、騰訊 Soso 的 Sosospider、Yahoo 的 Yahoo Slurp,以及 Msnbot。

用法五:按檔案類型阻擋

例如只允許抓取網頁、不讓圖片被收錄:

User-agent: *
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$

如果只想對特定搜尋引擎生效,把通配符 * 換成對應的蜘蛛名稱即可。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved