10月20日,我把部落格做了一次較大規模的調整,心態如同修剪一棵待長的樹——剪掉多餘枝葉,盼望它長得更好。這次調整中,robots.txt被我充分利用了起來。
一個工作週過去,問題來了:規則寫對了嗎?生效了嗎?谷歌和百度是否真的響應了?作為站長,我需要把這件事弄清楚,才能動態掌握收錄狀態。
調查結果是:谷歌反應迅速,第三天就在網站管理員工具裡看到了跡象;百度則遲遲不見動靜。說百度不認robots.txt那是冤枉它,但反應週期如此漫長,難免讓人產生別的猜測。
20日的調整中,我寫了兩條規則,後來又刪掉了。對比當時與現在的robots.txt,可以看到變化。
修改的原因很直接:按20日的寫法,第二天我發現管理員工具的Sitemaps裡,三個已提交的地址前出現了叉號——被robots.txt自己擋住了。這顯然不是本意。

提交的sitemap網站地圖
響應robots.txt規則後,谷歌停止抓取了2000多個地址。另外那500多個找不到的地址,是先前刪除文章標籤留下的後遺症。

2000多個連接地址被robots.txt規則限制
逐頁翻查之後沒有發現其他問題——除了一些 /?p= 形式的短鏈接讓人心疼,其餘一切正常。嚴格來說,規則本身沒毛病,谷歌只是不打折扣地執行了它。查詢「site:域名 inurl:?p」只剩14條殘缺結果(無標題或摘要),相信不久後會被清除。

規則20日就已存在,這個提示是什麼情況?
規則20日制定,圖上卻呈現另一種狀態,讓人一時分不清是顯示延遲還是自己看錯。我查過IIS日誌,百度在20日之後多次下載robots.txt,伺服器返回的都是200成功狀態碼。
抓取行為正常,反饋卻滯後,這大概就是很多站長對百度搜索反饋機制不滿意的地方。規則能被遵守是好事,但如果確認週期能縮短一些,站長的調整成本會低很多。