DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
搜索引擎索引系統概述(一):倒排索引為何能實現毫秒檢索
編輯:SEO優化集錦     

站長之家消息,百度站長平台Lee近日撰文介紹搜索引擎索引系統的相關問題,重點說明如何以最快速度返回用戶查詢結果、從而提升用戶體驗。

問題起點:億級網頁裡的檢索

搜索引擎的主要工作過程包括抓取、存儲、頁面分析、索引、檢索等環節。前幾周介紹了抓取部分的簡要流程,今天來說索引。

要在以億為單位的網頁庫中查找包含特定關鍵詞的頁面,相當於大海撈針。也許給足時間能完成查找,但用戶等不起——從用戶體驗出發,我們必須在毫秒級別給出滿意的結果,否則用戶只能流失。這個要求怎麼實現?

思路:把檢索轉化為集合求交

如果能提前知道用戶查詢的關鍵詞(分詞之後)分別出現在哪些頁面中,那麼檢索過程就可以理解為:把包含query各個分詞的頁面集合求交集。這樣一來,檢索就變成了頁面名稱之間的比較與求交操作,億級數據的毫秒響應成為可能。這就是通常所說的倒排索引與求交檢索。

建立倒排索引的三個步驟

(1)頁面分析。實質上是把原始頁面的不同部分識別並標記出來,例如title、keywords、content、link、anchor、評論以及其他非重要區域。哪些部分參與索引、權重如何分配,都在這一層確定。

(2)分詞處理。這一步包含切詞、同義詞轉換與同義詞替換等。以頁面title的分詞為例,最終得到的數據包括term文本、termid、詞類、詞性等屬性。

(3)建立倒排索引,形成{term => doc}的映射結構。

這裡值得多想一層:為什麼要用【term -> doc】,而不是直接用【doc -> term】?因為用戶查詢的入口永遠是詞,而非某個具體頁面。正向索引以文檔為主鍵,檢索時只能全量掃描;倒排索引以詞為主鍵,直接定位到包含該詞的文檔集合,再求交集即可。這個結構選擇,正是毫秒級檢索得以實現的關鍵。

以上即索引系統中的倒排索引過程,也是搜索引擎實現毫秒級響應最為重要的一環。

相關文章:搜索引擎抓取系統概述(一)、搜索引擎抓取系統概述(二)。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved