robots.txt是網站與搜尋引擎蜘蛛溝通的重要檔案。當蜘蛛造訪網站時,通常會先讀取這個檔案,判斷哪些內容可以抓取、哪些內容不該抓取。學會基本寫法,不僅能幫助網站管理更順暢,也能減少不必要的抓取負擔。
不同搜尋引擎都有自己的蜘蛛名稱,例如百度蜘蛛、Google蜘蛛、Bing蜘蛛、搜狗蜘蛛、有道蜘蛛等。在robots.txt中,可以透過User-agent指定規則適用的對象。
最常見的三個指令是:
User-agent:用來指定適用的蜘蛛。
Allow:允許抓取的內容。
Disallow:禁止抓取的內容。
此外,還有兩個常用符號:
「*」通常用來匹配多個字元,也可理解為全部。
「$」通常用來匹配行結尾。
1. 允許所有蜘蛛抓取
User-agent: *
Disallow:
或:
User-agent: *
Allow: /
2. 禁止所有蜘蛛抓取
User-agent: *
Disallow: /
3. 只禁止某個特定蜘蛛
User-agent: 蜘蛛名稱
Disallow: /
4. 只允許某個特定蜘蛛,其他禁止
User-agent: 蜘蛛名稱
Disallow:
User-agent: *
Disallow: /
5. 禁止抓取特定目錄
User-agent: *
Disallow: /admin/
Disallow: /manage/
6. 禁止抓取特定副檔名
User-agent: *
Disallow: *.htm
7. 只允許特定副檔名
User-agent: *
Allow: .htm$
Disallow: /
8. 禁止抓取動態網址
User-agent: *
Disallow: /*?*
9. 宣告網站地圖
Sitemap: https://你的域名/sitemap.xml
完成設定後,建議使用搜尋引擎提供的站長工具或robots.txt檢測工具進行檢查,確認語法是否正確、是否誤鎖重要頁面。只要掌握基本規則,robots.txt就能成為網站維護中非常實用的小幫手。