眾所周知,Twitter 前陣子 PR 從 9 一路跌到 0,大量頁面還不被谷歌 Robot 抓取,一時嘩然。雖說如今已恢復,但這究竟是怎么回事呢?以下引用谷奧的內容,為大家梳理這場網站動盪的真相。
首先要明確:Twitter 的 PR 暴跌與大量頁面不被抓取,是自身技術問題所致,與谷歌的搜尋機制並無關係。
引發這次動盪的,主要有五大技術問題:
(1)robots 設置問題
Twitter 在設定 robots 時,針對帶 WWW 與不帶 WWW 設置了兩套標準。如下所示(A 為不帶 www 的設定,B 為帶 WWW 的設定):
A:The file at twitter.com/robots.txt looks as follows:
#Google Search Engine Robot
User-agent:Googlebot
# Crawl-delay: 10 -- Googlebot ignores crawl-delay ftl
Allow: /*?*_escaped_fragment_
Disallow: /*?
Disallow: /*/with_friends
#Yahoo! Search Engine Robot
User-Agent: Slurp
Crawl-delay:1
Disallow: /*?
Disallow: /*/with_friends
#Microsoft Search Engine Robot
User-Agent:msnbot
Disallow:/*?
Disallow:/*/with_friends
# Every bot that might possibly read and respect this file.
User-agent:*
Disallow:/*?
Disallow:/*/with_friends
Disallow:/oauth
Disallow:/1/oauth
B:the file at www.twitter.com/robots.txt file looks as follows:
User-agent:*
Disallow:/
從這兩套標準不難看出:
1、針對帶 WWW 與不帶 WWW 的網站,搜尋引擎依 robots 標準返回的結果並不一致,也不夠規範。
2、Twitter 實際上是在阻止搜尋引擎抓取帶 WWW 的網址。
3、封鎖帶 www 的站點後,即使把它 301 重定向到不帶 www 的版本,也是徒勞無功。
4、由於帶 www 與不帶 www 的版本都有外部連結,但帶 www 的被阻止抓取,那麼這些外鏈對提升 Twitter 整體權重的價值就無法得到有效利用。
(2)302 重定向問題
twitter.com / vanessafox 使用了 302 重定向到 twitter.com /#!/ vanessafox。眾所周知,302 是暫時性轉移,會抓取新內容而保留舊網址,且原本的連結不會全部轉移過來。
(3)沒有遵守谷歌 AJAX 抓取標準
Twitter 的網址採用 AJAX 並使用 #!,需要告訴谷歌從伺服器獲取 _escaped_fragment_ 版本的 URL。由於未使用 301 重定向,導致大量相關 URL 頁面流失,AJAX 與重定向未能良好結合。
(4)速率限制
在 HTTP 標頭中可以看到速率限制:
HTTP/1.1 200 OKDate:Mon,18 Jul 2011 20:48:44 GMTServer:hiStatus:200 OKX-Transaction:1311022124-32783-45463X-RateLimit-Limit:1000
(5)網址不規範
twitter.com / VanessaFox 顯示的搜尋結果是 twitter.com / vanessafox,這兩個 URL 指向同一個地方,造成了又一次的 PageRank 稀釋、重複與規範化問題。最好的辦法是統一網址形式(最簡單的就是全部小寫),再把所有變體 301 重定向過去;此外,也可簡單地加上 rel=canonical 屬性來指定規範版本的頁面。
由此可見,Twitter 面臨的是 robots.txt、HTTP 狀態碼與 URL 規範化上的種種問題,而這恰恰是許多大型網站都會遇到的通病。至於谷歌 PR 工具欄是否刷新,那就是谷歌自己的問題了。
從 Twitter 的技術漏洞中,站長們可汲取的教訓:
(1)robots 設定一定要統一,集中權重,以免流失;(2)302 重定向不如 301;(3)必須遵守谷歌 AJAX 抓取標準;(4)不要在 HTTP 標頭限制速率;(5)網址要規範統一,不能大小寫混用、隨意亂用!
感謝 獨孤依風 的投稿