DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
搜尋引擎的 Robots 規則全解析
編輯:SEO優化集錦     

robots.txt 是一種存放於網站根目錄下的純文字文件,用來告訴搜尋引擎的爬蟲(spider):站內哪些內容不應被索引、哪些可以索引。一般認為,它主要用於管理搜尋引擎對目標網頁的抓取。

值得注意的是,robots.txt 協議並非官方規範,而屬約定俗成。多數搜尋引擎會識別它,但也存在特殊情況。

以 Google 為例,光用 robots 未必能阻止它將網址納入索引——只要有其他網站連結到該頁,Google 仍可能對其建立索引。按 Google 的說法,若想徹底阻止網頁出現在索引中(即使有他站連結),需使用 noindex 元標記或 x-robots-tag。例如把下面這行加入網頁 header:

<meta name="googlebot" content="noindex">

一旦 Google 看到某頁帶有 noindex 標記,就會將其從搜尋結果中完全剔除,不論是否還有他頁連結至此。

對百度而言,情況類似:若有他站連結目標網頁,也可能被收錄。從百度說明頁來看,它並不支持像 Google 那樣用 noindex 徹底刪除網頁,僅支持用 noarchive 元標記禁止顯示快照。語法如下:

<meta name="Baiduspider" content="noarchive">

這個標記只是禁止百度顯示該頁快照,百度仍會繼續為網頁建立索引,並在結果中顯示摘要。

舉例來說,淘寶網目前便以 robots.txt 屏蔽百度爬蟲,但百度依舊收錄了淘寶內容——搜尋「淘寶網」,第一條仍是淘寶首頁,只是該頁沒有快照。由此可見,網站只能禁止百度顯示快照,卻無法阻止它為網頁建立索引。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved