有些網站會希望限制搜尋引擎建立快照,或避免特定頁面被收錄。這類需求通常可透過 robots 協定與 meta 標籤來處理。
noarchive 可用來限制搜尋引擎存檔頁面快照。若只想限制特定搜尋引擎,也可指定對應的爬蟲名稱。
禁止抓取代表不讓搜尋引擎讀取頁面;禁止索引則是讀取後仍不納入資料庫。兩者目的不同,不可混淆。
index、noindex、follow、nofollow 可組合成不同策略。例如 noindex 搭配 follow,可避免本頁被索引,但允許繼續抓取頁內連結。
這類設定若使用錯誤,可能導致重要頁面消失。操作前應先確認需求,並測試是否影響正常收錄。