DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
Google 黑板報:優化網站的抓取與收錄
編輯:SEO優化集錦     

很多關於網站結構、抓取與收錄、甚至排名的問題,都可以歸結為一個核心問題:搜尋引擎能夠多麼容易地抓取你的網站?我們在最近幾次活動上都談過這個話題,以下是要點概括。

網路世界極其龐大,每時每刻都在產生新內容。Google 本身的資源是有限的,面對近乎無窮無盡的網路內容,Googlebot 只能找到並抓取其中一定比例的內容;而在已抓取的內容中,我們也只能索引其中一部分。

URL 就像網站與搜尋引擎抓取工具之間的橋梁:為了抓取到你網站的內容,抓取工具需要能找到並跨越這些橋梁(也就是找到並抓取你的 URL)。如果你的 URL 很複雜或冗長,抓取工具就得反覆花時間跟蹤;如果 URL 規整且直接指向你的獨特內容,抓取工具就能把精力放在了解你的內容上,而不是白白浪費在抓取空網頁或重複內容上。

以下是一些應當避免的反例:被黑的 URL 與編碼、冗余參數偽裝成 URL 路徑的一部分、無限的抓取空間等。以下幾點建議能幫你理順網址迷宮,讓抓取工具更快更好地找到你的內容:

1. 去除 URL 中的用戶相關參數

那些不會對網頁內容產生影響的參數——例如 session ID 或排序參數——是可以從 URL 中去除、改由 cookie 記錄的。把這些資訊加入 cookie,然後 301 重定向到一個「乾淨」的 URL,就能保持原有內容,並減少多個 URL 指向同一內容的情況。

控制無限空間

你的網站上是否有一個日曆表,上面的連結指向無數個過去與未來的日期?你的網頁地址在加入 &page=3563 這類參數後,是否仍能返回 200 狀態碼,哪怕根本沒有那麼多頁?如果是這樣,你的網站就出现了所謂的「無限空間」,這會浪費抓取機器人的資源與你的網站帶寬。

2. 阻止 Google 爬蟲抓取它們不能處理的頁面

透過 robots.txt,你可以阻止登入頁面、聯繫方式、購物車等爬蟲無法處理的頁面被抓取。這樣一來,爬蟲就能把更多時間花在抓取網站上它們能處理的內容。

一人一票:一個 URL,一段內容

在理想狀態下,URL 與內容之間有一對一的對應:每個 URL 對應一段獨特內容,每段內容只能透過唯一一個 URL 訪問。越接近這種理想狀況,你的網站就越容易被抓取和收錄。如果你的 CMS 或建站方式讓它難以實現,可以嘗試使用 rel=canonical 元素來指定用哪個 URL 指示某段特定內容。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved