DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
搜尋引擎抓取系統概述:蜘蛛是怎麼爬你的網站
編輯:SEO優化集錦     

往後會不定期在這裡分享搜尋引擎工作原理與網站營運相關的內容。今天先談抓取系統,包括基本框架、涉及的網路協議,以及抓取的基本流程三部分。

網路上的資訊呈爆發式增長,如何有效取得並利用這些資訊,是搜尋引擎工作的第一環節。資料抓取系統位於整個體系的上游,負責資訊的蒐集、保存與更新;它像蜘蛛一樣在網路間爬行,因此通常被稱為 spider。各家搜尋引擎的蜘蛛都有自己的名字,對吧。

抓取系統是搜尋引擎資料來源的根本保障。如果把整個網路理解成一張有向圖,那麼 spider 的工作就是遍歷這張圖:從一批重要的種子 URL 出發,沿著頁面之間的超連結不斷發現新位址並抓取,盡可能多地取得有價值的網頁。對大型抓取系統而言,由於隨時都有頁面被修改、刪除或產生新連結,因此還必須持續回訪過去抓過的頁面,維護 URL 庫與頁面庫。

一、抓取系統的基本框架

整個系統包含連結儲存、連結選取、DNS 解析服務、抓取調度、網頁分析、連結提取、連結分析與網頁儲存等模組,環環相扣。

二、抓取過程涉及的網路協議

搜尋引擎與資源提供者之間是相互依賴的關係:搜尋引擎需要站長提供內容,否則無法滿足使用者的檢索需求;站長則需要透過搜尋引擎把內容推到更多受眾面前。抓取系統直接牽涉資源提供方的利益,為了讓雙方能雙贏,過程中必須遵守一定的規範,以便資料處理與系統對接。這些規範,就是我們日常所說的網路協議。

HTTP 協議。超文本傳輸協議,是網路上應用最廣的協議之一,也是用戶端與伺服器端請求與回應的標準。用戶端一般指終端使用者,伺服器端即網站。使用者透過瀏覽器或蜘蛛向指定埠發送請求,回應中會攜帶標頭資訊,包含是否成功、伺服器類型、頁面最後更新時間等。

HTTPS 協議。實質上是加密版的 HTTP,一種更安全的資料傳輸協議。

UA 屬性。UA 即 user-agent,是 HTTP 協議中的一個屬性,代表終端身份,向伺服器表明「我是誰、來做什麼」,伺服器據此可以給出不同的回應。

robots 協議。robots.txt 是搜尋引擎訪問網站時讀取的第一個檔案,用來界定哪些內容允許抓取、哪些禁止抓取。它必須放在網站根目錄下,且檔名需為小寫。抓取方會嚴格遵守這份協議;此外,頁面中名為 robots 的 meta 標籤同樣支援 index、follow、nofollow 等指令。

三、抓取的基本過程

簡化來看,抓取流程可以概括為:從種子 URL 清單出發,解析連結、提取新位址、去重比對、抓取網頁、儲存並建立索引,同時把新發現的連結回寫到連結庫中,循環往復。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved