DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO相關 >> 關於SEO
SEO基礎:robots.txt協議規範與寫法
編輯:關於SEO     

做SEO時,robots.txt是必須了解的基础文件之一。它主要用來告訴搜尋引擎蜘蛛哪些內容可以抓取、哪些內容不建議抓取。若設定得當,可以幫助網站更有效率地被索引;若設定錯誤,也可能讓重要頁面無法被收錄。

robots.txt是什麼?

robots.txt是一個純文字文件,通常放在網站根目錄。搜尋引擎蜘蛛在抓取網站前,會先讀取這個文件,以了解抓取範圍。如果文件內容為空,通常代表允許抓取;如果有禁止規則,則代表某些路徑不希望被抓取。

基本語法

robots.txt主要由User-agent、Disallow與Allow組成。User-agent用來指定適用的搜尋引擎,Disallow用來標示禁止抓取的路徑,Allow則用來標示允許抓取的路徑。由於未指定通常就是允許,所以Allow通常需要與Disallow搭配使用。

常見寫法範例

1. 禁止所有搜尋引擎抓取:
User-agent: *
Disallow: /
此寫法會封鎖整站,非必要不建議使用。

2. 允許所有搜尋引擎抓取:
User-agent: *
Disallow:
此寫法等同於沒有設定限制。

3. 禁止特定搜尋引擎:
User-agent: Baiduspider
Disallow: /
User-agent: *
Disallow:
此寫法表示禁止百度抓取,其他搜尋引擎仍可抓取。

4. 禁止某些目錄或文件:
User-agent: *
Disallow: /admin/
Disallow: /test*/
Disallow: /a/a.html
Disallow: /b/*.html
此寫法可禁止后台、測試目錄或特定文件被抓取。

5. 允許抓取某目錄中的部分內容:
User-agent: *
Disallow: /admin/
Allow: /admin/c/
此寫法表示admin目錄大部分不抓取,但允許c子目錄。

6. 標明網站地圖:
Sitemap: /sitemap.xml
此寫法可協助蜘蛛找到網站地圖位置。

完整範例

User-agent: *
Sitemap: /sitemap.xml
Disallow: /zb_system/
Disallow: /zb_install/
Disallow: /zb_users/
Allow: /zb_users/upload/

需要特別注意:若網站暫時不想被搜尋引擎抓取,可透過robots.txt限制,但長期屏蔽並非明智做法。若網站需要重新建立信任與收錄,往往需要花費更多時間。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved