中文沒有明確的單詞邊界,因此搜尋引擎必須先進行分詞,才能理解查詢與網頁內容。常見做法包括以字為單位建立索引,以及以詞為單位建立索引。
全文檢索會掃描文章中的詞語,記錄其出現位置與次數。當使用者查詢時,系統再從索引中找出符合結果。
這種方式對每個字建立索引,查全率較高,但查準率可能較低。例如搜尋單一姓氏,可能出現大量不相關結果。
這種方式把詞語作為單位,能處理同義詞與常見搭配,有助於提高準確率。搜尋引擎通常會建立詞庫,再從查詢中抽取關鍵詞。
常見分詞方法之一是最大正向匹配,從句子前方開始嘗試匹配較長詞語。若詞典設計得當,多數常見詞都能被正確切分。
站長不必成為演算法專家,但理解分詞概念,有助於規劃標題與內容。讓文字自然、主題清楚,通常比刻意堆砌更容易被理解。