站長之家消息,百度站長平台Lee近日撰文介紹搜索引擎索引系統的相關問題,重點說明如何以最快速度返回用戶查詢結果、從而提升用戶體驗。
搜索引擎的主要工作過程包括抓取、存儲、頁面分析、索引、檢索等環節。前幾周介紹了抓取部分的簡要流程,今天來說索引。
要在以億為單位的網頁庫中查找包含特定關鍵詞的頁面,相當於大海撈針。也許給足時間能完成查找,但用戶等不起——從用戶體驗出發,我們必須在毫秒級別給出滿意的結果,否則用戶只能流失。這個要求怎麼實現?
如果能提前知道用戶查詢的關鍵詞(分詞之後)分別出現在哪些頁面中,那麼檢索過程就可以理解為:把包含query各個分詞的頁面集合求交集。這樣一來,檢索就變成了頁面名稱之間的比較與求交操作,億級數據的毫秒響應成為可能。這就是通常所說的倒排索引與求交檢索。

(1)頁面分析。實質上是把原始頁面的不同部分識別並標記出來,例如title、keywords、content、link、anchor、評論以及其他非重要區域。哪些部分參與索引、權重如何分配,都在這一層確定。
(2)分詞處理。這一步包含切詞、同義詞轉換與同義詞替換等。以頁面title的分詞為例,最終得到的數據包括term文本、termid、詞類、詞性等屬性。
(3)建立倒排索引,形成{term => doc}的映射結構。

這裡值得多想一層:為什麼要用【term -> doc】,而不是直接用【doc -> term】?因為用戶查詢的入口永遠是詞,而非某個具體頁面。正向索引以文檔為主鍵,檢索時只能全量掃描;倒排索引以詞為主鍵,直接定位到包含該詞的文檔集合,再求交集即可。這個結構選擇,正是毫秒級檢索得以實現的關鍵。
以上即索引系統中的倒排索引過程,也是搜索引擎實現毫秒級響應最為重要的一環。
相關文章:搜索引擎抓取系統概述(一)、搜索引擎抓取系統概述(二)。