DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
實測追蹤:robots.txt規則在谷歌與百度的反應差異
編輯:SEO優化集錦     

10月20日,我把部落格做了一次較大規模的調整,心態如同修剪一棵待長的樹——剪掉多餘枝葉,盼望它長得更好。這次調整中,robots.txt被我充分利用了起來。

一個工作週過去,問題來了:規則寫對了嗎?生效了嗎?谷歌和百度是否真的響應了?作為站長,我需要把這件事弄清楚,才能動態掌握收錄狀態。

調查結果是:谷歌反應迅速,第三天就在網站管理員工具裡看到了跡象;百度則遲遲不見動靜。說百度不認robots.txt那是冤枉它,但反應週期如此漫長,難免讓人產生別的猜測。

谷歌的反應

20日的調整中,我寫了兩條規則,後來又刪掉了。對比當時與現在的robots.txt,可以看到變化。

修改的原因很直接:按20日的寫法,第二天我發現管理員工具的Sitemaps裡,三個已提交的地址前出現了叉號——被robots.txt自己擋住了。這顯然不是本意。

提交的sitemap網站地圖

響應robots.txt規則後,谷歌停止抓取了2000多個地址。另外那500多個找不到的地址,是先前刪除文章標籤留下的後遺症。

2000多個連接地址被robots.txt規則限制

逐頁翻查之後沒有發現其他問題——除了一些 /?p= 形式的短鏈接讓人心疼,其餘一切正常。嚴格來說,規則本身沒毛病,谷歌只是不打折扣地執行了它。查詢「site:域名 inurl:?p」只剩14條殘缺結果(無標題或摘要),相信不久後會被清除。

百度的反應

規則20日就已存在,這個提示是什麼情況?

規則20日制定,圖上卻呈現另一種狀態,讓人一時分不清是顯示延遲還是自己看錯。我查過IIS日誌,百度在20日之後多次下載robots.txt,伺服器返回的都是200成功狀態碼。

抓取行為正常,反饋卻滯後,這大概就是很多站長對百度搜索反饋機制不滿意的地方。規則能被遵守是好事,但如果確認週期能縮短一些,站長的調整成本會低很多。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved