中文分詞是搜尋引擎處理查詢的基礎能力:把用戶輸入的長句按一定規則切成若干部分,從而抓住語義重心,讓用戶更快找到目標內容。百度最常用的方法有三類。
這類方法包含三種常見實現:正向最大匹配、逆向最大匹配、最少切分。
實測觀察:在百度搜索「我喜歡玩寵物連連看」,排名第一的頁面標題與該長尾完全一致,說明在其他條件相當的情況下,標題匹配度高的頁面優先展示——這也印證了標題中長尾詞的重要性。而翻到第二頁,通過快照可以看到該詞已被切分為「我喜歡/玩/寵物連連看」;在靠後的頁面中,切分方式則變成「我/喜歡玩/寵物/連連看」,這屬於最少切分的處理方式。
當輸入串不大於三個中文字符時,百度通常直接匹配數據庫索引詞彙;而當串長超過四個中文字符時,分詞模塊會先把它拆成若干單元再處理。搜索「電動車」這類詞時,就能觀察到這種差異。
核心邏輯是:相鄰字符同時出現的頻次越高,被當作一個詞的可能性越大。例如在百度輸入單個「網」字,結果中「網站」會被標紅,說明「網」與「站」的共現頻次已經高到足以進入詞庫。
分詞規則裡有個關鍵原則:按長度優先匹配,可分為最大(最長)匹配與最小(最短)匹配。長尾詞在文章中的間距也是影響排名的因素之一——「我喜歡玩寵物連連看」在百度較靠後的頁面上,已被切至「我/喜歡/玩/寵物/連連/看」的細粒度。
此外,完整匹配的詞,其權重通常高於被切散的詞。根據筆者的觀察,百度目前大量使用正向匹配,同時分詞完成後還會去掉句中無實義的詞。