
搜索引擎工作的第一大特點,就是爬行抓取——盡可能把需要的信息都抓回來處理分析。這是搜索引擎高效運作的第一步,也是所有網絡資源得以正常展示給訪客的前提。這一步一旦出錯,後續工作便無法展開。
不妨回想一下:我們想搜東西時,會在搜索框輸入關鍵詞,結果頁瞬間跳出海量相關信息。從搜索到呈現,往往以秒計算。搜索引擎能在一秒內把相關信息從龐大的互聯網中逐一篩出,靠的正是事先就已處理好的數據。
再想想,平時隨手打開一個網頁也就一秒,可搜索引擎要以秒計完成全網檢索,若每次都把互聯網查一遍,既費時費力又費錢。所以不難發現,搜索引擎都是事先處理好了要抓取的網頁。它在搜集信息時也遵循一定規律,大致可歸納為兩種特點。
把互聯網上所有存在鏈接的網頁都收集一遍。這個過程可能耗時很長,也會消耗不少額外帶寬,時效性大打折扣,但作為搜索引擎的關鍵一步,它依然按部就班地執行。
這可以理解為批量收集的高階階段,最大程度彌補了批量收集的短處。它在批量搜集的基礎上,只抓取新增的網頁內容、更新上次收集後發生變化的頁面,並刪除重複與已不存在的網頁,從而更高效、更時效。