有些網站並不希望被搜尋引擎收錄,例如鏡像站、測試站或只用於特定投放的頁面。此時可以透過以下方式進行阻擋。
在根目錄建立 robots.txt,可針對特定蜘蛛設定禁止抓取。例如:
User-agent: * Disallow: /
若只想阻擋部分蜘蛛,可將 User-agent 替換為 Baiduspider、Googlebot 等名稱。
在網頁 head 中加入 robots 設定,內容可設為 noindex、nofollow,讓搜尋引擎不要索引與追蹤。
若擔心不遵守規則的爬蟲,可在伺服器設定中過濾相關 IP 或 User-Agent,必要時回傳 403。

若頁面已被收錄,可透過搜尋引擎提供的站長工具或投訴入口申請刪除快照。這屬於補救方式,效果通常需要時間。

阻擋爬蟲前,應先確認需求,避免誤傷正常收錄。