DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
ROBOTS.TXT入門:看懂蜘蛛名稱與常用寫法
編輯:SEO優化集錦     

robots.txt是網站與搜尋引擎蜘蛛溝通的重要檔案。當蜘蛛造訪網站時,通常會先讀取這個檔案,判斷哪些內容可以抓取、哪些內容不該抓取。學會基本寫法,不僅能幫助網站管理更順暢,也能減少不必要的抓取負擔。

先認識常見蜘蛛名稱

不同搜尋引擎都有自己的蜘蛛名稱,例如百度蜘蛛、Google蜘蛛、Bing蜘蛛、搜狗蜘蛛、有道蜘蛛等。在robots.txt中,可以透過User-agent指定規則適用的對象。

常用指令與符號

最常見的三個指令是:

User-agent:用來指定適用的蜘蛛。
Allow:允許抓取的內容。
Disallow:禁止抓取的內容。

此外,還有兩個常用符號:

「*」通常用來匹配多個字元,也可理解為全部。
「$」通常用來匹配行結尾。

常見寫法範例

1. 允許所有蜘蛛抓取

User-agent: *
Disallow:

或:

User-agent: *
Allow: /

2. 禁止所有蜘蛛抓取

User-agent: *
Disallow: /

3. 只禁止某個特定蜘蛛

User-agent: 蜘蛛名稱
Disallow: /

4. 只允許某個特定蜘蛛,其他禁止

User-agent: 蜘蛛名稱
Disallow:

User-agent: *
Disallow: /

5. 禁止抓取特定目錄

User-agent: *
Disallow: /admin/
Disallow: /manage/

6. 禁止抓取特定副檔名

User-agent: *
Disallow: *.htm

7. 只允許特定副檔名

User-agent: *
Allow: .htm$
Disallow: /

8. 禁止抓取動態網址

User-agent: *
Disallow: /*?*

9. 宣告網站地圖

Sitemap: https://你的域名/sitemap.xml

檢查robots.txt是否正確

完成設定後,建議使用搜尋引擎提供的站長工具或robots.txt檢測工具進行檢查,確認語法是否正確、是否誤鎖重要頁面。只要掌握基本規則,robots.txt就能成為網站維護中非常實用的小幫手。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved