DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
日誌裡的假蜘蛛:百度蜘蛛IP被偽裝的困擾
編輯:SEO優化集錦     

翻查網站日誌時,有個細節很容易讓人誤判:某個IP的抓取行為和百度蜘蛛一模一樣,仔細一查,卻根本不是蜘蛛。

我遇到的這個IP是 222.77.187.33,歸屬地為福建省福州市電信;而百度蜘蛛的IP段位於北京聯通。它在日誌中的行為特徵很鮮明:只抓首頁,不碰內頁。追查下去才發現,這是某站長工具的友情鏈接檢測程式,為了提高檢測成功率,預設偽裝成百度蜘蛛來抓取目標頁面。該工具域名 link.chinaz.com 解析到的正是這個IP。

站長工具的友情鏈接檢測界面

真蜘蛛的IP段長什麼樣

根據日誌統計,百度蜘蛛主要有這幾類:

123.125.71.* —— Baiduspider/2.0,網頁爬蟲,同時包含 Baiduspider-image(圖片爬蟲)
61.135.186.* —— Baiduspider-cpro,百度聯盟爬蟲

為什麼這件事值得認真對待

分析日誌是SEO的日常功課。日誌裡有抓取頻次、抓取路徑、狀態碼分佈、用戶瀏覽行為等一手數據,比任何第三方工具都更接近真相。針對蜘蛛數據做分析,能摸清它的爬行偏好——哪些欄目常來、哪些頁面從未被抓、哪裡出現大量狀態碼異常,這些都是改進站點的直接依據。

面對以億計的網頁量,搜尋引擎本來就會調動多個IP、多套爬蟲程式分區作業。一旦其中混入了偽裝者,而分析的人不知情,結論就會跑偏。何況這次偽裝的是百度蜘蛛,抓取量還不小,干擾程度就更嚴重。

網上大量同類提問都指向同一個誤判:「為什麼百度蜘蛛只抓我的首頁?」「為什麼蜘蛛一直來卻不收錄?」提出這些問題的人,很可能只是在看某個檢測工具的造訪記錄,卻把它當成了搜尋引擎的真實態度,於是錯誤地調整策略,把時間花在不存在的问题上。

結論並不複雜:做日誌分析時,先核對IP歸屬與 User-Agent 是否匹配,再談結論。真蜘蛛的IP段是公開可查的,多花三十秒確認,能省下幾週的彎路。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved