廣度優先是指網路蜘蛛會先抓取起始網頁中連結的所有網頁,然後再從中挑選一個連結網頁,繼續抓取該網頁中連結的所有網頁。這是最常用的方式,因為它能讓網路蜘蛛並行處理,提高抓取速度。深度優先則是指網路蜘蛛從起始頁開始,一個連結接一個連結地跟蹤下去,處理完這條線路後再轉入下一個起始頁,繼續跟蹤連結。這種方法的優點在於,網路蜘蛛在設計時比較容易。兩種策略的區別,看下面的說明會更清楚。
由於不可能抓取所有網頁,有些網路蜘蛛會對不太重要的網站設置訪問層數。例如在上圖中,A為起始網頁,屬於第0層,B、C、D、E、F屬於第1層,G、H屬於第2層,I屬於第3層。如果網路蜘蛛設置的訪問層數為2,那麼網頁I就不會被訪問到。這也解釋了為何有些網站的一部分網頁能在搜尋引擎上搜到,另一部分卻搜不到。對網站設計者而言,扁平化的網站結構設計,有助於搜尋引擎抓取更多網頁。
網路蜘蛛在訪問網站網頁時,經常會遇到加密資料與網頁權限的問題,有些網頁需要會員權限才能訪問。當然,網站所有者可以透過協議讓網路蜘蛛不去抓取(下節會介紹),但對於一些出售報告的網站,它們希望搜尋引擎能搜到自己的報告,又不便完全公開讓搜索者查看,這就需要給網路蜘蛛提供相應的用戶名與密碼。網路蜘蛛可以憑藉所給權限抓取這些網頁,從而被搜索到;而當搜索者點擊查看該網頁時,同樣需要提供相應的權限驗證。
網站與網路蜘蛛
網路蜘蛛需要抓取網頁,這有別於一般的訪問,如果控制不好,會引起網站服務器負擔過重。今年4月,淘寶就曾因雅虎搜尋引擎的網路蜘蛛抓取其資料,導致淘寶網服務器不穩定。那麼,網站是否就無法與網路蜘蛛溝通了呢?其實不然,有多種方法可以讓網站與網路蜘蛛交流:一方面讓網站管理員了解網路蜘蛛都來自哪裡、做了些什麼,另一方面也告訴網路蜘蛛哪些網頁不該抓取、哪些網頁應該更新。
每個網路蜘蛛都有自己的名字,抓取網頁時都會向網站表明身份。網路蜘蛛在抓取時會發送一個請求,其中有一個欄位為User-agent,用於標識該網路蜘蛛的身份。例如,Google網路蜘蛛的標識為GoogleBot,百度網路蜘蛛的標識為BaiduSpider,Yahoo網路蜘蛛的標識為Inktomi Slurp。如果網站上有訪問日誌記錄,網站管理員就能知道哪些搜尋引擎的網路蜘蛛曾經來過、什麼時候來的,以及讀了多少資料等等。若管理員發現某個蜘蛛有問題,就能透過其標識聯繫其所有者。
網路蜘蛛進入一個網站,通常會先訪問一個特殊的文字檔Robots.txt,這個檔案一般放在網站服務器的根目錄下。網站管理員可以透過robots.txt來定義哪些目錄網路蜘蛛不能訪問,或哪些目錄對某些特定的網路蜘蛛不能訪問。例如,有些網站的可執行檔目錄和暫存檔目錄不希望被搜尋引擎搜到,管理員就可以把這些目錄定義為拒絕訪問目錄。robots.txt語法很簡單,例如若對目錄沒有任何限制,可用以下兩行來描述:
User-agent: *
Disallow:
當然,robots.txt只是一個協議,如果網路蜘蛛的設計者不遵循它,網站管理員也無法阻止其對某些頁面的訪問,但一般網路蜘蛛都會遵循這些協議,而且管理員還可透過其他方式拒絕網路蜘蛛對某些網頁的抓取。
網路蜘蛛在下載網頁時,會識別網頁的HTML代碼,在其代碼部分會有META標識。透過這些標識,可以告訴網路蜘蛛本網頁是否需要被抓取,還可以告訴它本網頁中的連結是否需要被繼續跟蹤。關於robots.txt的語法與META Tag語法,有興趣的讀者可自行查閱相關資料。
如今一般的網站都希望搜尋引擎能更全面地抓取自己的網頁,因為這樣能讓更多訪客透過搜尋引擎找到本站。為此,網站管理員可以建立一個網站地圖,即Site Map。許多網路蜘蛛會把sitemap.htm檔案作為爬取網站網頁的入口,管理員可以把網站內部所有網頁的連結放在這個檔案裡,那麼網路蜘蛛便能很方便地把整個網站抓取下來,避免遺漏某些網頁,也能減輕對網站服務器的負擔。
內容提取
搜尋引擎建立網頁索引,處理的對象是文字檔。對網路蜘蛛而言,抓取下來的網頁格式五花八門,包括html、圖片、doc、pdf、多媒體、動態網頁及其他格式等。這些檔案抓取下來後,需要把其中的文字資訊提取出來。準確提取這些文檔的資訊,一方面對搜尋引擎的搜索準確性至關重要,另一方面也影響網路蜘蛛能否正確跟蹤其他連結。對於doc、pdf等由專業廠商軟件生成的文檔,廠商一般都會提供相應的文字提取接口,網路蜘蛛只需調用這些插件的接口,就能輕鬆提取文檔中的文字資訊與其他相關資訊。