DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
蜘蛛的爬行不按套路:一次關於收錄時序的觀察
編輯:SEO優化集錦     

某論壇開啟了未登入用戶禁止訪問的權限,我當時的第一反應是:使用者不登入就看不到帖子,那蜘蛛是不是也抓不到內容?順著這個思路推,蜘蛛沿著錨文本鏈接爬行,遇到登入牆就是死鏈,發帖帶鏈接也就失去意義了。

後來證明這個推論是錯的——蜘蛛的抓取機制比我們想像的複雜。

一次意外測試

10月22日,我調整了公司網站的數據庫,順手測試發佈了一篇標題為「啊啊」的內容。這篇文章只存在於數據庫中,前台沒有生成任何頁面。當時的想法是第二天更新時改掉它就行,反正沒有對外頁面。

10月23日,我修改了這篇測試文章,同時又發了一篇新文章。收錄結果如下:

被修改的那篇顯示為22日的快照,新發的那篇正常。也就是說,22日那篇文章其實當天就被抓走了,只是內容沒有對外呈現,蜘蛛可能判斷它不是真正要發佈的內容,於是一直沒有放出來;23日內容修改、前台更新之後,蜘蛛沿鏈路再次確認,就用新內容替換了22日的記錄,但快照日期仍標為22日。

於是10月24日我又做了第二次測試:更新兩篇文章,再把其中一篇的發佈時間改為前一天。

同一時間發佈的兩篇,展現形式卻不同——一篇顯示詳細時間,一篇只顯示日期。這種差異只是暫時的,隔天再看都會統一成當天快照。

幾點結論

第一,蜘蛛的爬行路徑並不完全遵循我們的常規推理。它進入站點的方式多於前台可見的鏈路,站內的登入限制、前台屏蔽並不能真正阻擋它,除非用 robots 協議明確禁止。某論壇屏蔽了未登入使用者,但蜘蛛依然能取到內容,因為兩者的訪問方式不同。

第二,文章的發佈時間會在一定程度上影響快照日期的呈現,但這不是絕對規律。與其糾結展現細節,不如把注意力放回內容本身——蜘蛛最終放出來並保留的,永遠是它認定為真實內容的那一版。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved