DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
解讀「Twitter技術風波」:大型網站動盪背後的真相
編輯:SEO優化集錦     

眾所周知,Twitter 前陣子 PR 從 9 一路跌到 0,大量頁面還不被谷歌 Robot 抓取,一時嘩然。雖說如今已恢復,但這究竟是怎么回事呢?以下引用谷奧的內容,為大家梳理這場網站動盪的真相。

首先要明確:Twitter 的 PR 暴跌與大量頁面不被抓取,是自身技術問題所致,與谷歌的搜尋機制並無關係。

引發這次動盪的,主要有五大技術問題:

(1)robots 設置問題

Twitter 在設定 robots 時,針對帶 WWW 與不帶 WWW 設置了兩套標準。如下所示(A 為不帶 www 的設定,B 為帶 WWW 的設定):

A:The file at twitter.com/robots.txt looks as follows:

#Google Search Engine Robot

User-agent:Googlebot

# Crawl-delay: 10 -- Googlebot ignores crawl-delay ftl

Allow: /*?*_escaped_fragment_

Disallow: /*?

Disallow: /*/with_friends

#Yahoo! Search Engine Robot

User-Agent: Slurp

Crawl-delay:1

Disallow: /*?

Disallow: /*/with_friends

#Microsoft Search Engine Robot

User-Agent:msnbot

Disallow:/*?

Disallow:/*/with_friends

# Every bot that might possibly read and respect this file.

User-agent:*

Disallow:/*?

Disallow:/*/with_friends

Disallow:/oauth

Disallow:/1/oauth

B:the file at www.twitter.com/robots.txt file looks as follows:

User-agent:*

Disallow:/

從這兩套標準不難看出:

1、針對帶 WWW 與不帶 WWW 的網站,搜尋引擎依 robots 標準返回的結果並不一致,也不夠規範。

2、Twitter 實際上是在阻止搜尋引擎抓取帶 WWW 的網址。

3、封鎖帶 www 的站點後,即使把它 301 重定向到不帶 www 的版本,也是徒勞無功。

4、由於帶 www 與不帶 www 的版本都有外部連結,但帶 www 的被阻止抓取,那麼這些外鏈對提升 Twitter 整體權重的價值就無法得到有效利用。

(2)302 重定向問題

twitter.com / vanessafox 使用了 302 重定向到 twitter.com /#!/ vanessafox。眾所周知,302 是暫時性轉移,會抓取新內容而保留舊網址,且原本的連結不會全部轉移過來。

(3)沒有遵守谷歌 AJAX 抓取標準

Twitter 的網址採用 AJAX 並使用 #!,需要告訴谷歌從伺服器獲取 _escaped_fragment_ 版本的 URL。由於未使用 301 重定向,導致大量相關 URL 頁面流失,AJAX 與重定向未能良好結合。

(4)速率限制

在 HTTP 標頭中可以看到速率限制:

HTTP/1.1 200 OKDate:Mon,18 Jul 2011 20:48:44 GMTServer:hiStatus:200 OKX-Transaction:1311022124-32783-45463X-RateLimit-Limit:1000

(5)網址不規範

twitter.com / VanessaFox 顯示的搜尋結果是 twitter.com / vanessafox,這兩個 URL 指向同一個地方,造成了又一次的 PageRank 稀釋、重複與規範化問題。最好的辦法是統一網址形式(最簡單的就是全部小寫),再把所有變體 301 重定向過去;此外,也可簡單地加上 rel=canonical 屬性來指定規範版本的頁面。

由此可見,Twitter 面臨的是 robots.txt、HTTP 狀態碼與 URL 規範化上的種種問題,而這恰恰是許多大型網站都會遇到的通病。至於谷歌 PR 工具欄是否刷新,那就是谷歌自己的問題了。

從 Twitter 的技術漏洞中,站長們可汲取的教訓:

(1)robots 設定一定要統一,集中權重,以免流失;(2)302 重定向不如 301;(3)必須遵守谷歌 AJAX 抓取標準;(4)不要在 HTTP 標頭限制速率;(5)網址要規範統一,不能大小寫混用、隨意亂用!

感謝 獨孤依風 的投稿

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved