最近在看一本書,發現不實踐就直接看原理枯燥無味,而實踐過後反過來看原理,就會覺得很能引起共鳴。就拿我自己做反面教材:自稱是搜索引擎優化工作者,卻對搜索引擎的工作方式、基本抓取原理和更新策略都不太懂。那你呢?下面就分享下我的讀書筆記,權當給新人掃盲。
在介紹搜索引擎爬蟲之前,先了解爬蟲把網頁劃分的四種類型:
1,已過期的網頁和已下載的網頁;
2,待下載的網頁;
3,可知網頁;
4,不可知網頁。
下面我會詳細介紹:搜索引擎如何更新已下載網頁、如何下載待下載網頁、如何處理可知但未抓取的網頁,以及如何抓取不可知網頁。
一、處理待下載網頁
抓取策略:在一堆可知網頁中,搜索引擎會抽出待抓取網頁的URL,爬蟲將這些URL順序排列形成一個隊列,調度程序每次從隊列頭部取出某個URL,發送給網頁下載器下載內容;每個新下載頁面包含的URL會追加到待抓取隊列末尾,形成循環,這是最基礎的算法,但不是唯一方法。
純粹按順序抓取之外,搜索引擎通常會優先抓取重要頁面。網頁重要性大多按「網頁流行度」抓取,谷歌官方稱之為曝光度,通俗講就是反向鏈接(所以才有那麼多人做外鏈)。
一般有四種方案選擇重要頁面:寬度優先遍歷策略、非完全pagerank策略、OCIP策略、大站優先策略。
1、寬度優先遍歷策略:將新下載網頁包含的鏈接直接追加到待抓取URL隊列末尾。看似機械,其實包含優先策略:入鏈越多就越容易被抓取,入鏈數量側面反映了網頁的重要性(這就是為什麼要做好站內鏈接)。
2、非完全pagerank:前面是按數量定,這個加入了質量。初始算法是將已下載網頁加入待下載隊列形成集合,在集合中計算PR,再將待抓取隊列按PR重新排列後依次抓取。(每次新下載網頁後都要重新計算排序,效率太低)改進做法是每攢夠k個網頁再重新計算,但問題是新抽出的網頁沒算過PR、沒有PR值,其重要性可能比隊列中已有的還高,怎麼辦?解決辦法:給每個新抽出的網頁賦予一個臨時PR,這個臨時PR根據入鏈傳入的PR值匯總而來,這樣再參與計算,如果比隊列中的高就優先抓取它,這就是非完全PR。(PR高的優先抓取,收錄多、排名靠前的機會也大,所以才有那麼多人想提高PR)
3、OCIP(online page importance computation,在線頁面重要性計算)策略:一種改進的PR算法。算法開始前給每個頁面都一樣的「現金」,當某頁面被下載後,它的現金就平均分給它的導出頁面,而自己清零;這些導出頁面放在待抓取隊列中,按現金多少優先抓取。與PR的區別在於:PR上一頁面的值不清空、每次都要迭代重新計算,而OCIP不用重新計算、且一旦沒有鏈接關係就不傳遞現金。
4、大站優先:待抓取隊列中哪個網站的URL多,就優先抓取哪個(所以網站頁面要豐富、內容要豐富)。
二、更新已下載網頁
抓取到的頁面會加入已下載網頁庫,而這些網頁需要不斷更新,搜索引擎又是如何更新的呢?一般有三種更新策略:歷史參考策略、用戶體驗策略、聚類抽樣策略。
1、歷史參考:過去頻繁更新的頁面,現在可能也頻繁,用模型預測未來更新時間。它會忽略導航欄和廣告的頻繁更新,所以導航頻繁更新沒用,重在內容(現在知道為什麼更新內容要持續、有規律了吧)。
2、用戶體驗:即使網頁已過時、需要更新,但如果更新了不影響用戶體驗,搜索引擎就會晚些更新。其算法核心是:網頁更新對搜索質量的影響(一般看排名),影響大就盡快更新,所以他們會保存多個歷史網頁,據此判斷更新對質量的影響大小。
以上兩種的缺點是:依賴歷史、要保存大量歷史數據、增加負擔,若沒有歷史記錄就不準確了。
3、聚類抽樣策略:把網頁分類,根據同一類別網頁的更新頻率來更新所有這一類別的網頁。抽取最具代表性的一個,看它的更新頻率,之後同行業的都按這個頻率。
三、抓取不可知網頁
不可知網頁就是「暗網」,搜索引擎很難用常規方法抓到的數據,比如沒有鏈接的網站、數據庫。比如一個產品庫存查詢,可能要輸入產品名稱、地區、型號等一系列文本才能查到庫存數量,而搜索引擎難以抓取,這就有了「查詢組合」和「ISIT算法」。
先介紹兩個概念:
1、富含信息查詢模板:比如一個查詢系統,設定一個查詢模板,每個文本框輸入不同信息(地區、產品名稱等)形成不同查詢組合,若不同組合之間差異很大,就是富含信息查詢模板。這個模板怎麼確定呢?爬蟲先從一維模板開始,比如只輸入地區,看是否為富含信息查詢模板,是就擴展到二維(地區+型號),如此增加維度,直到沒有新模板。
2、詞的組合:爬蟲怎麼知道某輸入框該填地區、產品名稱還是時間?所以爬蟲開始需要人工提示,人工提供一些初始查詢種子表,爬蟲根據這個表格查詢下載頁面,再分析頁面、自動挖掘新關鍵詞,形成新的查詢列表,如此循環……