蜘蛛系統的目標,是發現並抓取互聯網上有價值的一切網頁。百度官方也講得很明白:蜘蛛要盡可能多地抓到優質資源,保持系統與實際環境中頁面的一致性,同時不能給網站帶來壓力。也就是說,蜘蛛不會抓所有站的所有頁面,它有一套抓取策略,追求又快又全。
這也正是我們必須把鏈接結構做好的原因。下面只聊一種機制——蜘蛛如何應對翻頁式列表頁。
現在絕大多數站點用翻頁來有序排列內容。新文章上線,舊內容往後推到翻頁序列裡。對蜘蛛而言,這類索引頁是很好的爬行入口,但問題在於:蜘蛛的爬行頻率和網站的更新頻率往往不同步,文章鏈接很可能被推到第幾十頁之後。
蜘蛛不可能每天從第一頁一路爬到第八十頁,再一篇篇比對數據庫——太浪費它的時間,也太浪費你的收錄時間。所以它需要一套額外機制來處理這類翻頁頁面,把新增內容不漏地撈出來。
前提是資源按發布時間有序排列。判斷方法並不複雜:有些頁面的每條文章鏈接後面跟著發布時間,取這組時間做比對,看是否單調遞增或遞減;是的話,就說明列表按時間有序。即使頁面沒寫時間,蜘蛛也可以依據文章自身的發布時間推斷。
思路是「比對交集」。蜘蛛會記錄每次抓取時發現的文章鏈接,然後拿這批鏈接和歷史上已記錄的做比對:如果有交集,說明本次已經抓到了所有新增文章,後面的翻頁可以停;如果沒有交集,說明還沒抓完,繼續往下一頁甚至下幾頁翻。
舉個具體的例子。假設列表新添了29篇文章,上次最新一篇是第30篇,蜘蛛每次抓10條。第一次抓10篇,與上次沒有交集,繼續;第二次再抓10篇,累計20篇,仍無交集,繼續;第三次抓到了第30篇,出現交集——說明從上次到這次更新的29篇,已經全部抓完。
目前百度蜘蛛會判斷網頁類型、翻頁條的位置、翻頁條對應的鏈接,以及列表是否按時間排序,並依實際情況做不同處理。但識別率不可能到100%,所以:
翻頁條不要用JS,更不要用Flash;同時保持規律的內容更新節奏,主動配合蜘蛛的抓取習慣。這樣能明顯提高識別準確率,抓取效率自然也上來了。
需要提醒的是,本文只講了蜘蛛的一種抓取機制,真實環境中是多套機制同時運轉的。