第一階段:大小通吃
搜索引擎抓取網頁時,普遍採取「大小通吃」的策略——把網頁中能發現的鏈接逐一加入待抓取隊列,並機械地從新抓取的網頁裡提取出新的URL。這種方式雖顯古老,卻頗為有效。這也正是為什麼不少站長反映「蜘蛛來過了,卻沒被收錄」——這僅僅是第一階段而已。
第二階段:網頁評級
第二階段,則是對網頁的重要性進行評級。PageRank是一種著名的鏈接分析算法,可用來衡量網頁的重要性。很自然地,站長們可以用PageRank的思路對URL排序,這也正是各位熱衷的「發外鏈」。據一位朋友了解,在中國,「發外鏈」這個市場每年有上億元的規模。
爬蟲的目的就是下載網頁,但PageRank是個全局性算法——只有當所有網頁都下載完成後,其計算結果才可靠。對中小網站而言,若服務器質量不佳,抓取過程中只能看到部分內容,那麼在抓取階段便無法獲得可靠的PageRank得分。
第三階段:OCIP策略
OCIP策略更像是对PageRank的一種改良。算法開始前,每個網頁都被賦予相同的「現金」;每當下載某個頁面A後,A便把自己的「現金」平均分給頁面中包含的鏈接頁面,隨即將自身「現金」清空。這也正是為什麼導出鏈接越少、權重反而越高的原因之一。
而對於待抓取的網頁,會依據手頭「現金」的多少排序,優先下載現金最充裕的頁面。OCIP大致與PageRank思路一致,區別在於:PageRank每次都要迭代計算,而OCIP則不需要,因此計算速度遠快於PageRank,適合實時計算——這或許就是為什麼有些網頁會出現「秒收」的緣故了。
第四階段:大站優先策略
大站優先的思路很直接:以網站為單位衡量網頁的重要性。對於待抓取隊列中的網頁,按其所述網站歸類,哪個網站等待下載的頁面最多,就優先下載這些鏈接。其本質思想是「傾向於優先下載大型網站的URL」。因為大型網站往往包含更多頁面,且多為知名站點,網頁質量通常較高,所以這個思路雖簡單,卻有一定依據。
實驗表明,這個算法雖簡單粗暴,卻能有效收錄高質量網頁,效果頗佳。這也正是為什麼許多網站的內容被轉載後,大站反而能排到你前面的最重要原因之一。
註:相關網站建設技巧閱讀,請移步到建站教程頻道。