做過程式開發的人都知道,資料庫搜尋的原理,就是把使用者輸入的字串與資料表中某個或多個欄位的內容做比對。搜尋引擎的運作,簡單講也是這件事:使用者輸入一個詞,它從自己的資料中找出匹配項,再按特定順序呈現出來。它每天做的就是不斷重複這些動作。
看似簡單,但我們用數字算一下就知道了。全球網民按二十億計,全球網頁按五十億計,每人每天搜尋一次,意味著搜尋引擎每天要從五十億個網頁中比對二十億個關鍵詞。
這個規模聽起來很駭人,但實際上每次搜尋的回應時間不到一秒。顯然,用傳統的全文比對方式是不可能做到的。關鍵就在下圖中的「索引庫查詢」這幾個字。

先舉個熟悉的例子。老師上課時常說「同學們翻到第幾頁、看第幾段」,這其實就是一次索引操作——頁碼與段落就是索引鍵。有了這兩個索引,即使這本書厚達一千頁,你也能在幾秒內定位到具體位置。
搜尋引擎的索引庫,構成元素是詞匯。中文常用字約一萬二千個,由這些字組成的詞接近十萬;英文二十六個字母組成的詞,姑且算作一百萬個。這樣一來:
中文:五十億 ÷ 十萬 = 五萬
英文:五十億 ÷ 一百萬 = 五千
把比對規模從五十億壓縮到五萬或五千筆記錄,對電腦來說就是輕而易舉的事。這就是索引庫的價值。
在搜尋引擎眼中,再精美的網站也不過是一堆標籤。以一段頁面原始碼為例:

分析之後去掉 HTML 標籤,留下的是純粹的詞匯:

這些詞匯會進入索引庫,而每個詞匯後面掛著一串包含它的網址。這就像字典的檢字表:部首筆畫十畫的歸在一類,二十畫的歸在另一類,查詢時透過索引快速定位。搜尋引擎正是靠這種結構,才能在毫秒級完成返回。
上面提到的「多少多少個詞匯」,這個切分動作的本身就是分詞。人能憑語感判斷邊界,程式要靠演算法。Google 的中文分詞技術是向第三方公司採購的,百度則是自行研發。至於具體怎麼實現——是預先錄入詞庫,還是依據字元排列規則動態組合——不是我們能研究的範圍,也不必深究。
理解分詞與索引的存在,意義在於換一個視角看自己的頁面:使用者看到的是排版好的內容,搜尋引擎看到的是被切分成詞匯、掛進索引結構的資料。寫標題時想著「這句話會被切成哪幾個詞」,寫正文時想著「哪些詞會被關聯起來」,很多優化判斷就會變得直觀。