昨天和主管聊蜘蛛抓取的特點,他丟了一句:「百度蜘蛛抓得淺,你要是用 robots.txt 把它擋住,收錄就停了。」這句話讓我一整晚沒踏實。
我的博客是 8 月 12 日上線的,之後陸續寫了幾篇原創,也轉載了一部分文章,還往站長之家、站長網投過稿,外鏈多少鋪了一點。結果百度只收了首頁,其他頁面死活不動,首頁快照也不更新。回頭一看,博客的 robots.txt 裡確實有一條屏蔽 CSS 規則(Disallow: /*.css$),於是昨晚二話不說改了文件,發了篇文章,等今天看結果。

百度收錄量:總收錄 4;今日收錄 0;最近一周 1;最近一月 4。百度反向鏈接 661 個。百度排名:信陽seo 第 24,信陽網站優化 第 18,信陽網站推廣 第 77。

從 2011-08-13 到 2011-08-31,百度對這個博客的收錄量從 0 漲到 1 之後就一動不動。對比之下,Google 同期從 0 收錄到 82 條,其他搜索引擎也基本停擺。

同期百度反向鏈接從 1 增加到 131,Google 從 0 增加到 1(Google 反鏈一向漲得慢),雅虎從 0 到 21,有道始終為 0。單看百度的反應,robots.txt 屏蔽 CSS 確實很像收錄停滯的元凶。
晚上聊天,朋友給了另一個解釋:博客的 CSS 文件(https://www.0376seo.net/wp-content/themes/prowerV3/prowerV3/style.css)裡寫了隱藏代碼(display:none)。這本來是出於頁面佈局的無奈之舉,可一旦你把 CSS 屏蔽掉,蜘蛛讀到頁面裡有隱藏文字,卻沒法核對樣式表,就極容易判定成作弊。
我的 CSS 裡有兩處隱藏規則:
#nav li ul,.says{display:none;}
*html#go_top{display:none;}
對應到頁面代碼是這樣:
<div id="go_top"><em></em><a href="#">返回頂部</a></div>
<span class="says">說道:</span>
後來我在百度搜「robotscssseo」,翻到 seowhy 上一個帖子,主題正是「robots.txt 屏蔽 css 文件……作弊有關」。今天我又就此請教了幾位圈內前輩,答案並不一致,但多數人認為這確實是作弊打擊的範圍之內。其中一個說法我覺得最站得住腳:
「robots.txt 能阻止收錄,但頁面內容蜘蛛照樣讀得到,結果還是被判作弊。」
說到底,博客上線之初我照抄了網上一些博客的 robots.txt,沒有多想,這個懶省成了後患。
兩個新站,同樣的 dedecms 系統,空間配置一致,域名年齡接近。一個在 robots.txt 裡禁止抓取 CSS,另一個不禁止,同時提交百度,跑一段時間對比反應。結論出來再更新。