DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
robots.txt 明明禁止抓取,為什麼還是會被收錄
編輯:SEO優化集錦     

有些人會疑惑:我的站點在 robots.txt 裡禁止所有蜘蛛訪問,為什麼搜尋結果裡仍然找得到?而且標題就是網站名稱。今天就把這件事說清楚。

首先,所有主流搜尋引擎都遵守 robots.txt,百度也不例外,這一點不該被低估。爬蟲確實不會違背抓取規則。那為什麼禁止抓取的頁面還是會出現?

答案藏在描述裡。仔細看會發現,這類結果的描述往往是空的,或者根本不是頁面本身的內容,而是別的網站對它的介紹與評價。

原因其實不難理解:被禁止抓取的網站,很多是相當權威的站點,過去在搜尋引擎中累積了極高權重。就算擋住了蜘蛛,外部連結依然存在。這麼權威的網站不出現在搜尋結果裡,對搜尋引擎自己也是損失——它的初衷是把最好的結果交給用戶。但規則不能破:你不讓我抓,我就不抓;可我仍可以收錄你,描述則取自其他權威來源,例如 DMOZ、維基百科等。

Google 這邊目前還沒找到合適案例,不過淘寶擋百度這件事大家應該都還有印象,就拿它來說明。

案例:淘寶對百度爬蟲的限制

先看 robots.txt 的內容:

https://www.taobao.com/robots.txt

https://my.taobao.com/robots.txt

User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /

第一,www.taobao.com 有收錄、有描述,但沒有快照。值得留意的是,這段描述並非來自淘寶本身,而是其他權威站點寫的:

<meta name="description" content="淘寶網 – 亞洲最大、最安全的網上交易平台,提供各類服飾、美容、家居、數碼、話費/點卡充值… 2億優質特價商品,同時提供擔保交易(先收貨後付款)、先行賠付、假一賠三、七天無理由退換貨、數碼免費維修等安全交易保障服務,讓你全面安心享受網上購物樂趣!" />

第二,my.taobao.com 有收錄,但沒有描述。

在 Google 搜尋 my.taobao.com 可取得大量結果,其中不少 URL 都指向這個二級域名。值得注意的是,由於訪問需要登入權限,未登入用戶通常會被導回登入頁。

沒有描述的原因很直接:這個二級域名沒有其他權威網站替它寫過簡介。

如果你手上有 Google 方面的對應案例,歡迎補充一起討論。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved