DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
百度蜘蛛IP段的含義解讀:從IIS日志看站點狀態
編輯:SEO優化集錦     

互聯網上的頁面都是靠蜘蛛抓取的。蜘蛛本質上是一段程序,當網絡上出現新頁面時它就會過來爬。由於每天新增的頁面數以千億計,單個蜘蛛顯然無法在短時間內爬完,所以搜索引擎會派出大量蜘蛛,盡可能覆蓋整個網絡。不同蜘蛛的職責並不相同,那麼我們如何從IIS日志中判斷哪些在抓首頁、哪些在抓內頁?

下面以IIS日志中出現的百度蜘蛛IP為例,做一份對照說明,方便大家判斷站點當下的狀態。以下內容僅供參考。

123.125.68.* 這一帶如果來得格外頻繁、其他段反而稀少,往往預示站點可能進入沙盒或被降權。

220.181.68.* 若該IP段每天只增不減,同樣要警惕沙盒甚至K站風險。

220.181.7.*、123.125.66.* 代表百度蜘蛛到訪,準備抓取內容。

121.14.89.* 常出現於新站度過考察期的階段。

203.208.60.* 多在新站上線後、或站點出現異常時出現。

210.72.225.* 屬於不間斷巡邏各站的類型。

125.90.88.* 廣東茂名電信,也是百度蜘蛛的組成部分之一。新上線站點較多,或使用過站長工具、SEO綜合檢測工具時較常出現。

220.181.108.95 抓取首頁的專用IP。若屬於220.181.108這一段,通常意味著站點能維持隔夜快照。

220.181.108.92 絕大多數用於抓取首頁,偶爾觸及其他頁面。220.181整段屬於權重較高的IP段,抓取過的首頁或文章通常在24小時內放出。

123.125.71.106 用於抓取內頁收錄,權重相對較低,被抓過的內頁文章釋放速度偏慢,多因內容非原創或屬於采集。

220.181.108.91 綜合型,主要抓首頁,兼顧內頁與其他頁面,屬權重段,內容一般在24小時內放出。

220.181.108.75 約九成用於抓取更新過的內頁,少量抓首頁,屬權重段。

220.181.108.86 首頁專用權重段IP,返回碼通常為304 0 0,表示頁面未更新。

123.125.71.95、123.125.71.97、123.125.71.117 均屬內頁收錄抓取,權重較低,釋放較慢,多因內容非原創或為采集。

220.181.108.89、220.181.108.94、220.181.108.97、220.181.108.80、220.181.108.77、220.181.108.83 均為首頁專用權重段IP,返回碼一般為304 0 0,代表未更新。

需要說明的是,以上IP尾數還有很多,但同段位的規律一致:123.125.71.* 段主要抓取內頁收錄,權重偏低,可能因為采集或拼接文章而暫時入庫卻遲遲不放出,也就是所謂「待定」狀態。

220.181.108.* 段則以抓取首頁為主,兼顧內頁,被抓過的首頁或文章通常能在24小時內放出並形成隔夜快照。

最後補充一點:成功抓取通常返回200,返回304則代表站點內容未更新。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved