最近和朋友一直在討論搜索引擎的分詞機制。翻了網上不少實例之後,我們嘗試對整個分詞流程做了一輪推演。必須說明,以下都是猜測,不可能與真實實現完全一致,但作為理解框架仍有參考價值。
1. 判斷用戶提交的字符串。如果包含多個字符串,先按空格、標點符號等進行切分。
2. 判斷字符串中是否含字母或數字。若有,將字母與數字作為獨立整體,並以此為界進行前後切分。
3. 判斷切分後的詞組是否存在重複,重複部分按一個計算。
4. 若提交的是單個字符串,判斷字數:達到或超過四個字的進行切分處理,少於四個字則不做處理。
5. 對照特殊詞庫表進行提取,若字符串中包含詞庫內的詞,單獨提取出來。
6. 進行正向分詞處理。
7. 進行反向分詞處理。
8. 比對正向與反向的分詞結果,若完全一致,直接輸出。
9. 若結果不一致,輸出路徑最短(詞數最少)的那一個。
10. 若詞數相同,則輸出單字最少的結果。
11. 若單字最少的結果仍相同,則輸出正向分詞結果。
1. 判斷詞組:單字詞不做提示,超過一個字的開啟提示功能。
2. 進行同音字提示。如果候選詞過多,則提取用戶搜索頻次最高的詞組優先提示。
除了上述規則,還有一點值得注意:現在的分詞已經引入了語義關聯的結合。
我們常會遇到這樣的情況——搜索某個詞,結果中並不完全匹配的詞也被飄紅了。這就是語義關聯在起作用。合理的解釋是,搜索引擎把相關詞表做了關聯處理,或者在索引層面進行了詞表合併。
比如搜索一個城市名, city 與「市」的兩種寫法都會被飄紅:


再比如搜索英文 car,中文的「汽車」同樣被飄紅:

理解這套流程,對標題寫作有直接的指導意義:既然搜索引擎會對長詞做正反向切分並取最優路徑,那麼在標題中合理排列關鍵詞的組合順序,就能讓同一個標題覆蓋更多檢索組合。同時,既然語義關聯已經生效,同義表達和相關術語也不必刻意迴避。