百度能在中文搜尋市場長期領先,嚴格來說與它那套分詞技術有相當大的關係。核心技術我們無從得知,但可以從一些表層現象去推測。以下談一點關於百度分詞的觀察與猜測。
首先要理解:並不是所有詞都會被分詞。例如搜尋「大學生」,結果幾乎都是精準匹配,也就是說百度沒有對這個詞做拆分:

而搜尋「電影下載」時,百度會把它拆成「電影」「下載」以及「電影下載」三部分來匹配:

於是有人猜測:是不是以三個中文字為界開始分詞?這個說法流傳很廣,多試幾次會發現大致成立。但筆者後來測試時發現一個補充條件:如果一個詞已經被收進百度的詞庫成為獨立詞條,那麼不論它多長,百度都會先給精準匹配,再給分詞匹配的結果。
例如搜尋「不管你們信不信」,照理說這種句子應該會被拆分,但因為某個社會事件讓它成為常用語,百度已將其收入詞庫,於是搜尋結果幾乎都是精準匹配,看不到分詞結果:

當使用者搜尋一個詞時,百度會先查自己的詞庫做精準匹配。如果這個詞是常用詞、詞庫裡有,就直接調用相關網頁結果;如果沒有,才進入分詞處理,得出的結果中也會出現拆分後的匹配情況。
至於排名受到哪些因素影響,變數就更多了,例如網站權重會直接左右最終排序。這部分需要更深的數據分析,這裡就不班門弄斧了。