搞懂搜索引擎的分詞機制,對 SEO 的意義遠比多數人想像的大。關鍵詞怎麼佈局、鏈接結構怎麼搭,背後其實都繞不開分詞這件事。下面我把中文分詞的基本原理梳理一遍,再談談它對我們做站的實際啟示。
英文句子由一個個單詞、以空格分隔組成,切分天然容易。中文則是漢字連綿成句,處理起來複雜得多。所謂中文分詞,就是把一句漢語按一定規則切成獨立的詞,再重新組成詞序列的過程,業界也稱「中文切詞」。
分詞是文本挖掘的地基。它讓程序得以自動識別語句含義,從而使搜索結果更貼近真實需求——分詞品質的高低,直接決定檢索結果的精準度。目前主流做法大致分兩類:基於字典匹配,以及基於統計。
這種方法的前提是有一份足夠龐大的詞典(分詞索引庫),然後拿待處理的字符串去和詞庫逐條比對,命中即切分成功。常見的匹配策略有四種:
實務中,搜索引擎通常會把多種策略組合使用。但這條路線有個繞不開的難題:歧義。漢語的表達實在太靈活,同一串字可以有多種切法。為了提高命中率,引擎往往還會在分詞的同時做句法與語義分析,用上下文信息判斷該怎麼切——本質上是在模仿人對句子的理解過程。這套體系一般由分詞子系統、句法語義子系統和總控部分組成,需要大量語言知識支撐,也正因如此,它一直在迭代。
光靠詞典遠遠不夠,語言是活的,新詞每天都在產生。統計方法的思路是:看兩個字是否經常連著出現,如果共現頻率高到某個程度,就把它當作一個獨立的詞。
舉個例子,「搜索引擎優化」在純字典匹配下可能被切成「搜索/引擎/優化」,甚至「搜/索引/擎/優化」;但當引擎統計發現這幾個字總是連在一起出現,它就會把這個組合收進詞庫。上下文樣本越多,判斷越準,切分也越精細。
對搜索引擎來說,準確性固然重要,但速度同樣是生死線。面對以億計的網頁,分詞一旦拖慢,內容更新的節奏就會整體崩掉。所以這兩個指標必須同時達標,缺一不可。
理解分詞,才能把網站的主題相關性做清楚。假設你的站是做 SEO 培訓的,用戶搜這四個字時,引擎大概會切成「SEO」與「培訓」,再分別去索引庫裡匹配。
我在實踐中還有個體會:一組詞切開後,通常存在主詞與副詞之分,匹配時主詞優先。上例中「SEO」顯然是主詞,「培訓」是副詞。那麼標題、欄目與內鏈該怎麼排佈,讓引擎一眼看出主次,就留給各位自己去推演了。