這篇文章聊聊爬蟲的工作原理,重點是它的四種抓取策略。
蜘蛛抓頁不是隨機的,它有規律可循,而且是靠超鏈接一站一站往外爬。下面逐個說。
所謂深度優先,是指蜘蛛在一個頁面裡發現第一個鏈接就鑽進去,到了下一頁再找它的第一個鏈接,如此一路往下,一條路走到底。

問題很明顯:越往深處爬,頁面質量往往越來越低,權重傳遞也出現根本性的偏差。
為了修正這個缺陷,搜索引擎推出了第二種策略。寬度優先的做法是:先把當前頁面裡所有鏈接挨個爬一遍,然後再沿這些鏈接往下走。

但寬度優先也有短板,出在抓取效率和質量之間的平衡上。
現在的搜索引擎其實是兩者的結合。蜘蛛抓一個頁面時,先把它上面的鏈接全抓一遍,再根據這些URL的權重決定下一步:權重高的用深度優先,權重低的用寬度優先,或者乾脆不抓。
最後一種是重訪策略。蜘蛛抓完之後,會依據頁面權重、更新頻率、更新質量、外鏈數量等因素,決定什麼時候回來複查。權重高的頁面,間隔很短就會重訪,新浪那種量級的站,蜘蛛幾乎是按秒在抓。反之,長期不更新的低權重頁面,隔很久才來一次。我們常說的百度大更新,本質上就是對一批低權重頁面做了一次全面覆蓋,通常一個月一輪。
本文來源 https://www.shizhanqiang.com/ 轉載留下版權
感謝 史占強 的投稿