《走進搜索引擎》一書比較簡潔地講解了主流搜索引擎的大體系統,主要分為爬蟲系統、分析系統、檢索系統與查詢系統。
爬蟲系統(又稱下載系統):下載萬維網各種類型的網頁,並保持同步。
1. 採用寬度優先策略;2. 不重複抓取策略,採用MD5或哈希函數;3. 網頁抓取優先策略,主要基於鏈接歡迎度(數量與質量、反向連接)、鏈接重要度與平均鏈接深度;4. 網頁重訪策略,分為統一重訪策略與個體重訪策略。
分析系統:對下載得到的網頁數據進行PageRank與分詞計算。
1. 網頁結構分析:對文本(長度、位置)打分;2. 網頁去重,有I-Match算法與Single算法;3. 通過字典對文本進行分詞;4. PageRank打分。
索引系統:將分析處理後的網頁對象索引入庫。
1. 通過倒排索引:[詞 文檔數 偏移量]、[單文檔數 詞個數 域列表]。
查詢系統:分析用戶查詢請求,從索引庫中檢索出相關網頁並排序後,以查詢結果返回用戶。
1. 計算信息熵(查詢詞與檢索詞);2. 自動摘要。
以上是大致的提綱,下面是我整理的思維導圖,歡迎各位指正。
