站長之家(Chinaz.com)10月28日消息 今日百度站長平台Lee發布文章,介紹了搜索引擎索引系統的大致工作流程,主要包括:Query串切詞分詞、查出含每個term的文檔集合、求交、網站過濾,以及按需進行最終排序。
以下為文章全文:
前面簡要介紹過搜索引擎的索引系統,實際上在建立倒排索引的最後,還需要一個入庫寫庫的過程。而為了提高效率,這個過程還需要把全部term及其偏移量保存在文件頭部,並對數據進行壓縮——這部分過於技術化,此處不多展開。今天重點向大家介紹索引之後的檢索系統。
檢索系統主要包含五個部分,如下圖所示:

(1)Query串切詞分詞,即把用戶的查詢詞進行分詞,為後續檢索做準備。以“10號線地鐵故障”為例,可能的分詞結果如下(同義詞問題暫且略過):
10 0x123abc
號 0x13445d
線 0x234d
地鐵 0x145cf
故障 0x354df
(2)查出含每個term的文檔集合,即找出待選集合,如下:
0x123abc 1 2 3 4 7 9…..
0x13445d 2 5 8 9 10 11……
……
……
(3)求交。上述集合求交之後,文檔2和文檔9可能就是我們要找的目標。整個求交過程實際上關係到系統性能的成敗,這裡面用到緩存等多種手段做性能優化;
(4)各種過濾。舉例來說,可能包括過濾掉死鏈、重復數據、色情內容、垃圾結果等等;
(5)最終排序。把最能滿足用戶需求的結果排在最前,可能參與判斷的信息包括:網站的整體評價、網頁質量、內容質量、資源質量、匹配程度、分散度、時效性等等,後續會詳細介紹。
註:更多網站建設技巧,歡迎移步建站教程頻道閱讀。
收藏本文