DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
搜索引擎蜘蛛的四種抓取策略
編輯:SEO優化集錦     

這篇文章聊聊爬蟲的工作原理,重點是它的四種抓取策略。

蜘蛛抓頁不是隨機的,它有規律可循,而且是靠超鏈接一站一站往外爬。下面逐個說。

深度優先

所謂深度優先,是指蜘蛛在一個頁面裡發現第一個鏈接就鑽進去,到了下一頁再找它的第一個鏈接,如此一路往下,一條路走到底。

問題很明顯:越往深處爬,頁面質量往往越來越低,權重傳遞也出現根本性的偏差。

寬度優先

為了修正這個缺陷,搜索引擎推出了第二種策略。寬度優先的做法是:先把當前頁面裡所有鏈接挨個爬一遍,然後再沿這些鏈接往下走。

但寬度優先也有短板,出在抓取效率和質量之間的平衡上。

先寬後深——權重優先

現在的搜索引擎其實是兩者的結合。蜘蛛抓一個頁面時,先把它上面的鏈接全抓一遍,再根據這些URL的權重決定下一步:權重高的用深度優先,權重低的用寬度優先,或者乾脆不抓。

重訪抓取策略

最後一種是重訪策略。蜘蛛抓完之後,會依據頁面權重、更新頻率、更新質量、外鏈數量等因素,決定什麼時候回來複查。權重高的頁面,間隔很短就會重訪,新浪那種量級的站,蜘蛛幾乎是按秒在抓。反之,長期不更新的低權重頁面,隔很久才來一次。我們常說的百度大更新,本質上就是對一批低權重頁面做了一次全面覆蓋,通常一個月一輪。

本文來源 https://www.shizhanqiang.com/ 轉載留下版權

感謝 史占強 的投稿

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved