這是搜索引擎原理系列的第一課,主題是:爬蟲(也常被叫做機器人、蜘蛛)如何代替人工完成資訊收集。
國外代表是 Google,國內代表是百度。本質上,它們用程式在互聯網上抓取網站資訊,把抓回來的內容分類整理,供用戶檢索匹配的結果。
舉個例子:你想買一支手機,直接在搜尋框輸入品牌名,不到一秒,一份銷售該品牌的網站清單就出現在眼前。這份清單是經過嚴格篩選的,而排序背後依賴的是各家的專有演算法——那是這些公司最核心的機密。
搜索引擎早期,互聯網上的資訊量不大,收錄完全靠人力:編輯每天訪問各個網站,把自己認為好的收進資料庫。但隨著網站數量爆炸式增長,人工已經不可能勝任,於是這些公司寫出了自動抓取資訊的程式——也就是爬蟲、機器人、蜘蛛。
下面以 Google 為例,說明爬蟲是如何接手這份工作的(多數搜索引擎的機制大同小異)。
Google 可以同時派出大量爬蟲訪問互聯網,遇到新資訊就存進隨身攜帶的資料庫,這種我們稱為「更新爬蟲」。它沿著 URL 高速爬行,一旦隨身空間裝不下更多內容,就返回 Google 提供的獨立資料庫卸貨,然後再出來接着收。
由於更新爬蟲隨身倉庫的容量有限(一般認為在 100KB 左右),所以很多從業者建議把每個頁面控制在 100KB 以內。頁面一旦超出,多餘的部分更新爬蟲無法一次帶走。
這也解釋了一個常見現象:未被主索引收錄的頁面,因為更新爬蟲是和主索引一起參與呈現結果的,所以你會看到自己的內容很快出現、又很快消失,直到一段時間後才在主索引中穩定下來。而對已經被主索引收錄的頁面,更新爬蟲抓到更新後,新內容會先反映在結果中,但幾天後可能退回更新前的狀態,直到深度爬蟲完成深度爬行,更新才會被完整呈現。
深度爬蟲的主要任務是訪問主索引中已存在的網站,進行整體的服務器級更新。目前 Google 深度爬蟲幾乎每天一輪,不細看根本察覺不到。百度頻率則長得多,大約一週一次——所以做百度優化的人特別盼著深度爬行,因為那意味著上一週的工作終於被承認。
更新爬蟲每天在互聯網上忙碌,力求收集更多更新的資訊;但受隨身儲存空間限制,它無法一次帶走超過上限的內容——這就是許多從業者拼命壓縮網頁體積的原因。
而深度爬蟲一旦完成對主索引的訪問,就意味着一波關鍵詞排名的大調整。只有經過深度爬蟲更新後的結果,才算基本穩定的結果。