搜索引擎處理的對象是互聯網網頁,而當前網頁數量已達千億級。所以它首先要解決的問題是:如何設計出一套高效的抓取系統,把如此海量的數據取回本地,形成互聯網的鏡像備份。
承擔這個職責的就是網絡爬蟲。它是整個搜索系統中最關鍵、也最基礎的構件。爬蟲技術經過數十年發展,整體框架已相對成熟,但隨着網絡形態的不斷演變,仍在面對一些有挑戰性的新問題。
流程大致如下:先從互聯網頁面中挑選一部分網頁,以它們的鏈接地址作為種子URL,放入「待抓取URL隊列」。爬蟲從隊列中依次取出URL,通過DNS解析把域名轉換為伺服器IP,然後連同相對路徑一起交給網頁下載器,由它負責抓取頁面內容。
抓回來的頁面有兩個去向:一方面存入頁面庫,等待建索引等後續處理;另一方面把該URL寫入「已抓取URL隊列」,記錄爬蟲已經下載過哪些頁面,避免重複抓取。
對於剛下載的頁面,從中抽取所有鏈接信息,並在已抓取隊列中比對——如果某個鏈接還沒被抓過,就把它追加到待抓取隊列末尾,等待後續調度。如此循環往復,直到待抓取隊列清空,代表這一輪可抓取的頁面已全部抓完。

爬蟲通常還需要進行網頁去重與反作弊處理
如果把處於動態抓取過程中的爬蟲與全網頁面放在一起看,可以把互聯網頁面劃分為五個集合:
1. 已下載網頁集合。爬蟲已經取回本地並建立索引的頁面。
2. 已過期網頁集合。由於頁面總量巨大,爬蟲完整抓一輪需要很長時間,期間很多已下載的頁面可能已經過期。互聯網內容始終處於動態變化中,本地副本與真實頁面不一致是常態。
3. 待下載網頁集合。即待抓取URL隊列中的頁面,它們即將被抓取。
4. 可知網頁集合。這些頁面尚未被抓取,也不在隊列中,但通過已抓取頁面或隊列中頁面的鏈接關係,總能最終被發現,稍後會被抓取並索引。
5. 不可知網頁集合。有些頁面對爬蟲而言是抓不到的,構成不可知集合。這部分佔比其實相當高。
1. 批量型爬蟲。有明確的抓取範圍和目標,達到設定目標後就停止。目標形式各異:可能是抓取一定數量的頁面,也可能是達到某個時間上限。
2. 增量型爬蟲。與批量型不同,它保持持續抓取。對於已抓取的頁面要定期更新,因為互聯網內容隨時在變——新增、刪除、修改都很常見,爬蟲需要及時反映這些變化。所以它要麼在抓新頁面,要麼在更新舊頁面。主流商業搜索引擎基本都屬於這一類。
3. 垂直型爬蟲。只關注特定主題或特定行業的頁面。比如做健康類搜索,只需要抓取與健康相關的內容,其他行業不在考慮範圍。它最大的特點也是最大的難點在於:如何判斷一個頁面是否屬於指定主題。從節省資源的角度出發,不可能先把全網頁面都下載下來再篩選,那樣的浪費太離譜;理想狀態是在抓取階段就能動態識別某個URL是否與主題相關,並盡量跳過無關頁面。垂直搜索和行業站往往需要這類爬蟲。