有些人會疑惑:我的站點在 robots.txt 裡禁止所有蜘蛛訪問,為什麼搜尋結果裡仍然找得到?而且標題就是網站名稱。今天就把這件事說清楚。
首先,所有主流搜尋引擎都遵守 robots.txt,百度也不例外,這一點不該被低估。爬蟲確實不會違背抓取規則。那為什麼禁止抓取的頁面還是會出現?
答案藏在描述裡。仔細看會發現,這類結果的描述往往是空的,或者根本不是頁面本身的內容,而是別的網站對它的介紹與評價。
原因其實不難理解:被禁止抓取的網站,很多是相當權威的站點,過去在搜尋引擎中累積了極高權重。就算擋住了蜘蛛,外部連結依然存在。這麼權威的網站不出現在搜尋結果裡,對搜尋引擎自己也是損失——它的初衷是把最好的結果交給用戶。但規則不能破:你不讓我抓,我就不抓;可我仍可以收錄你,描述則取自其他權威來源,例如 DMOZ、維基百科等。
Google 這邊目前還沒找到合適案例,不過淘寶擋百度這件事大家應該都還有印象,就拿它來說明。
先看 robots.txt 的內容:
https://www.taobao.com/robots.txt
https://my.taobao.com/robots.txt
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
第一,www.taobao.com 有收錄、有描述,但沒有快照。值得留意的是,這段描述並非來自淘寶本身,而是其他權威站點寫的:
<meta name="description" content="淘寶網 – 亞洲最大、最安全的網上交易平台,提供各類服飾、美容、家居、數碼、話費/點卡充值… 2億優質特價商品,同時提供擔保交易(先收貨後付款)、先行賠付、假一賠三、七天無理由退換貨、數碼免費維修等安全交易保障服務,讓你全面安心享受網上購物樂趣!" />


第二,my.taobao.com 有收錄,但沒有描述。
在 Google 搜尋 my.taobao.com 可取得大量結果,其中不少 URL 都指向這個二級域名。值得注意的是,由於訪問需要登入權限,未登入用戶通常會被導回登入頁。
沒有描述的原因很直接:這個二級域名沒有其他權威網站替它寫過簡介。


如果你手上有 Google 方面的對應案例,歡迎補充一起討論。