「網絡蜘蛛」學名叫 Spider,也常被稱作「網絡爬蟲」。關於它的基本定義這裡不再囉嗦,本文想談的是蜘蛛在爬行時的兩種設計思路:深度優先與廣度優先。
爬蟲的檢索策略大致可以分成兩類:深度優先(Depth First)與廣度優先(Breadth First)。下面用最白話的方式拆解,若有不精確之處也歡迎指教。
顧名思義,深度優先就是讓蜘蛛盡可能往網頁的更深層鑽。它從起始頁出發,沿著一個連結跟到下一個連結,把這一條線走完,才回頭換下一個起始頁繼續跟。
下面這張是簡化後的網頁連結模型圖,A 為起點,也就是蜘蛛索引的起點:

圖中一共分出 5 條路徑供蜘蛛爬行,重點在「深度」。
而這張是經過優化、也就是改良過的深度爬行策略圖:

對照兩張圖,可以整理出路徑:
圖1:路徑1 A→B→E→H;路徑2 A→B→E→i;路徑3 A→C;路徑4 A→D→F→K→L;路徑5 A→D→G→K→L。
優化後的圖2(箭頭方向已標好):路徑1 A→B→E→H;路徑2 i;路徑3 C;路徑4 D→F→K→L;路徑5 G。
優點:對工程師來說,深度優先的程序設計相對單純。至於其他好處,坦白說不太明顯——唯一值得學的是蜘蛛這種「勇往直前」的幹勁。
缺點:問題就多了些。每往下爬一層,就得回頭問一次資料庫:「還有必要繼續往下嗎?」爬一層問一次,成本不低。如果一隻蜘蛛不管三七二十一地一路往下衝,很可能迷路,甚至爬到國外站點去——本來鎖定的是中文網站,結果碰上國外 IP 做的中文站,就跑到別人家「老家」了。這不只讓系統資料的複雜度上升,也加重伺服器負擔,大概沒有哪家搜尋公司願意這樣設計。
接下來談目前普遍採用的廣度優先策略。在這裡它的定義就是「層爬行」:按照頁面的層級分布與佈局,一層一層地索引、處理與抓取。當然搜尋引擎不會只派一隻蜘蛛,每一層通常會派一隻或多隻 Spider 去抓內容。
下面這張就是廣度優先策略圖,也就是層爬行圖:

對照圖表整理路徑:路徑1 A;路徑2 B→C→D;路徑3 E→F→G;路徑4 H→i→K;路徑5 L。
優點:相較深度優先,廣度優先對資料抓取更容易控制,伺服器負載明顯減輕,加上爬蟲可以分散式處理,整體速度提升很多。其他好處大概也不難推想出來。