DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
蜘蛛到底怎麼抓鏈接?爬行路徑的一次梳理
編輯:SEO優化集錦     

搜索引擎蜘蛛對多數人來說都挺神秘,配圖用蜘蛛俠也是這個緣故。我們既不是百度也不是谷歌,所以只能說「探秘」,談不上揭秘。內容不深,寫給還不太了解的朋友,高手可以直接跳過。

傳統印象裡,蜘蛛爬行就像真蜘蛛在网上走:找到一個連結,順著爬到一個頁面,再順著頁裡的連結繼續爬,一張網,也像一棵樹。這個理解方向對,但不準確。

搜索引擎內部有一個網址索引庫。蜘蛛是從搜索引擎的服務器出發,沿著庫裡已有的網址去抓一個頁面,把內容取回來。取回後引擎會分析這個頁面,把正文和連結分開處理——正文暫且不說,連結部分並不會立刻派蜘蛛去抓,而是連同錨文本一起記錄下來,交給網址索引庫做分析、比對和計算,最後入庫。只有進了索引庫,後續才會有蜘蛛上門。

這意味著,某個頁面出現了一條外鏈,不一定馬上就有蜘蛛來。中間隔著一段分析計算的過程。也正因如此,就算這條外鏈在蜘蛛到來之前就被刪了,它仍可能已被記錄,日後依然存在被抓的可能。而當蜘蛛下一次爬到那個頁面、發現連結沒了,或者頁面已經404,通常只是讓這條外鏈的權重下降,並不會把它從索引庫裡抹掉。

所以,一個已經不存在的頁面上的連結,也不是完全白留。今天就聊這些,以後繼續分享自己琢磨的心得,有不准的地方歡迎指正。

轉載請注明來自逍遙博客@LiboSEO:https://liboseo.com/1060.html

感謝 張立博 的投稿

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved