DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
如何辨別百度蜘蛛裡的「偽蜘蛛」
編輯:SEO優化集錦     

通過網站log分析蜘蛛抓取情況,是SEO的基本功。但有幾類「百度蜘蛛」需要特別留意,因為它們並不是真正在為收錄做貢獻的蜘蛛。該怎麼辨認?

先定義一下:所謂「偽蜘蛛」,顧名思義就是假蜘蛛,我們把非正常抓取網頁的百度蜘蛛統稱之。

比較好識別的一類,是站長工具查站點信息時直接標註出來的偽蜘蛛IP。比如目前站長工具給出的 IP 是「117.28.255.42」,通常我們看到以「117」開頭的百度蜘蛛IP,都可以先當作偽蜘蛛處理,直接忽略即可。想自己核實,可以在命令行執行「tracert IP地址」,結果如下圖。

今天還要介紹另一類偽蜘蛛。這類同樣是百度官方的蜘蛛,但它抓取的目的不是建立網頁索引,而是為了匹配網頁內容而來,不產生任何索引。從功能上看,它們也應該被歸為偽蜘蛛。

麻煩的是,這類蜘蛛用 tracert 查是看不出任何異常的,和普通百度蜘蛛別無二致,如下圖。

再回頭看它的IP,會發現和正常的一樣,同樣以「123」開頭。我自己的站就出現過不少這類蜘蛛,也就是說,tracert 命令並不足以證明一個IP就是真正會建立索引的百度蜘蛛。

所以除了要留意百度聯盟的蜘蛛,還要注意百度廣告等其他不建索引的偽蜘蛛IP。

總結一下:tracert 能查出非百度官方的假蜘蛛,但對於百度內部那些不建索引的蜘蛛(比如聯盟、廣告),還得靠我們自己去認識並判斷它到底能不能建立索引。

本文原創自 45fan,轉載請註明出處。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved