Robots META 標籤針對的是單一頁面,用來告訴搜尋引擎的爬蟲該如何處理這一頁的內容。
它和放在 head 區的其他 META 標籤(例如語言、描述、關鍵詞)一樣,寫在 <head></head> 之間。
標籤名稱不分大小寫。name="Robots" 表示適用於所有搜尋引擎;若要針對特定爬蟲,則把名稱換成該爬蟲的識別字,例如 name="BaiduSpider"。
content 部分有四個指令可用:index、noindex、follow、nofollow,指令之間以逗號分隔。
index:允許爬蟲抓取並索引這個頁面。
follow:允許爬蟲沿著這個頁面上的連結繼續往下抓。
大多數搜尋引擎的預設值是 index 加上 follow,也就是「抓,並且繼續往下走」。
把四個指令兩兩搭配,可以得到四種常見寫法:
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">:抓取,並沿連結繼續。這是最常見的預設行為。<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">:不要收錄這一頁,但仍沿它的連結往下抓。<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">:收錄這一頁,但不要從這裡往外走。<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">:既不收錄,也不往外走。另外還有兩個縮寫:CONTENT="ALL" 等同於 INDEX,FOLLOW;CONTENT="NONE" 等同於 NOINDEX,NOFOLLOW。
多數主流爬蟲都遵守 robots.txt 的規則,但對 Robots META 標籤的支援程度不一,這方面的支援正在逐步擴展。其中 Google 完全支援,並額外提供了一個 archive 指令,用來控制是否保留網頁快照。例如:
<META NAME="googlebot" CONTENT="index,follow,noarchive">
簡單記法:robots.txt 管的是「哪些路徑不要進」,META 標籤管的是「這一頁進來之後怎麼處理」。
兩者搭配使用,才能精確控制站內哪些內容對外公開、哪些只對搜尋引擎關閉。