DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
新站上線12小時即被收錄:解讀蜘蛛爬行規律
編輯:SEO優化集錦     

今天早上用site:www.wengerbag.com查收錄時,發現威戈箱包網已被SOSO收錄,距上線僅12小時。SOSO永遠那麼善解人意!上線15小時後,谷歌也收錄了威戈箱包網——谷歌對新站果然夠友好!

其實9月8日晚8點多威戈箱包網上線並發了外鏈後,從日誌上看到,谷歌機器人幾分鐘後的8點28分就光顧了網站,百度蜘蛛半小時後出現,SOSO蜘蛛又晚了二十分鐘,比谷歌機器人遲到了整整五十分鐘。

從三家的爬行情況看,SOSO頗為奇怪:它先抓了robots.txt,然後就沒了下文——是因為夜裡太忙?一直等到凌晨一點,SOSO又抓取了首頁及必要腳本,隨後再度潛伏。早上8點,它又來抓了下首頁,期間威戈箱包網沒更新、首頁無變化,SOSO便再次撤退。

谷歌機器人也是先抓robots.txt,隨即抓首頁。一個半小時後的9點52分,它再次出現,還是先抓robots.txt,再抓首頁。又過一小時到11點04分,谷歌機器人開始爆發:仍是先抓robots.txt,然後抓取了目錄頁和其他文章頁,奇怪的是這些抓取並非一次完成,中間隔了約一小時,所有頁面在凌晨一點前抓完。截至上午11點發稿,谷歌機器人就沒再來過。

百度蜘蛛的特點極為鮮明。從8日晚8點半到9日上午11點,它共光顧11次。這11次試探頗有意思:8點56分抓首頁,半分鐘後再抓,又過三分鐘再來,再過三分鐘又來,估計看首頁沒變,才隔半小時來一次,隨後又是一刻鐘一次,接着一小時或一刻鐘一來,10點48分全面撤退。今天上午9點,它兩分鐘內兩次光顧首頁,大概見仍未更新,近11點又來抓了一次。

百度蜘蛛每次來都直奔首頁,對robots.txt置若罔聞,說明它還有點「暴力」——你的聲明我不在乎;同時對一個初次接觸的新站,它只關注首頁,對內頁不聞不問。

從三家的爬行規律看,站長們應當及時更新站點,尤其是首頁,務必保持每天更新的狀態。對新站而言,若想迅速勾起蜘蛛的興趣,可以考慮「少食多餐」:每隔一段時間發一篇文章,這比一次性全發效果更好。

感謝 長天博客 的投稿

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved