DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
如何阻擋搜尋引擎抓取與收錄?
編輯:SEO優化集錦     

有些網站並不希望被搜尋引擎收錄,例如鏡像站、測試站或只用於特定投放的頁面。此時可以透過以下方式進行阻擋。

一、robots.txt

在根目錄建立 robots.txt,可針對特定蜘蛛設定禁止抓取。例如:

User-agent: *
Disallow: /

若只想阻擋部分蜘蛛,可將 User-agent 替換為 Baiduspider、Googlebot 等名稱。

二、meta robots

在網頁 head 中加入 robots 設定,內容可設為 noindex、nofollow,讓搜尋引擎不要索引與追蹤。

三、伺服器層級封鎖

若擔心不遵守規則的爬蟲,可在伺服器設定中過濾相關 IP 或 User-Agent,必要時回傳 403。

四、刪除快照

若頁面已被收錄,可透過搜尋引擎提供的站長工具或投訴入口申請刪除快照。這屬於補救方式,效果通常需要時間。

阻擋爬蟲前,應先確認需求,避免誤傷正常收錄。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved