DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
深入搜索引擎原理(一):爬蟲是如何取代人工收集資訊的
編輯:SEO優化集錦     

這是搜索引擎原理系列的第一課,主題是:爬蟲(也常被叫做機器人、蜘蛛)如何代替人工完成資訊收集。

先搞清楚:搜索引擎是什麼

國外代表是 Google,國內代表是百度。本質上,它們用程式在互聯網上抓取網站資訊,把抓回來的內容分類整理,供用戶檢索匹配的結果。

舉個例子:你想買一支手機,直接在搜尋框輸入品牌名,不到一秒,一份銷售該品牌的網站清單就出現在眼前。這份清單是經過嚴格篩選的,而排序背後依賴的是各家的專有演算法——那是這些公司最核心的機密。

從人工到程式

搜索引擎早期,互聯網上的資訊量不大,收錄完全靠人力:編輯每天訪問各個網站,把自己認為好的收進資料庫。但隨著網站數量爆炸式增長,人工已經不可能勝任,於是這些公司寫出了自動抓取資訊的程式——也就是爬蟲、機器人、蜘蛛。

下面以 Google 為例,說明爬蟲是如何接手這份工作的(多數搜索引擎的機制大同小異)。

更新爬蟲

Google 可以同時派出大量爬蟲訪問互聯網,遇到新資訊就存進隨身攜帶的資料庫,這種我們稱為「更新爬蟲」。它沿著 URL 高速爬行,一旦隨身空間裝不下更多內容,就返回 Google 提供的獨立資料庫卸貨,然後再出來接着收。

由於更新爬蟲隨身倉庫的容量有限(一般認為在 100KB 左右),所以很多從業者建議把每個頁面控制在 100KB 以內。頁面一旦超出,多餘的部分更新爬蟲無法一次帶走。

這也解釋了一個常見現象:未被主索引收錄的頁面,因為更新爬蟲是和主索引一起參與呈現結果的,所以你會看到自己的內容很快出現、又很快消失,直到一段時間後才在主索引中穩定下來。而對已經被主索引收錄的頁面,更新爬蟲抓到更新後,新內容會先反映在結果中,但幾天後可能退回更新前的狀態,直到深度爬蟲完成深度爬行,更新才會被完整呈現。

深度爬蟲

深度爬蟲的主要任務是訪問主索引中已存在的網站,進行整體的服務器級更新。目前 Google 深度爬蟲幾乎每天一輪,不細看根本察覺不到。百度頻率則長得多,大約一週一次——所以做百度優化的人特別盼著深度爬行,因為那意味著上一週的工作終於被承認。

本節回顧

更新爬蟲每天在互聯網上忙碌,力求收集更多更新的資訊;但受隨身儲存空間限制,它無法一次帶走超過上限的內容——這就是許多從業者拼命壓縮網頁體積的原因。

而深度爬蟲一旦完成對主索引的訪問,就意味着一波關鍵詞排名的大調整。只有經過深度爬蟲更新後的結果,才算基本穩定的結果。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved