分詞是很多做 SEO 的人常聽到的概念。為了讓大家在這件事上不再有疑惑,這次就把分詞與索引庫一起講清楚——這也是更深入理解搜尋引擎的起點。
搜尋引擎每天處理的都是同一個基本需求:使用者輸入一個關鍵詞,引擎立刻找出相關網頁。這個過程怎麼實現?我們一步步拆開來看。
爬蟲順著網路上的連結一個接一個往下抓,最後形成一座記錄著 URL、完整 HTML 程式碼、網頁標題等資訊的資料庫。就現況而言,這座資料庫裡大約有上百億個網頁。
如果像用文書軟體按 Ctrl+F 那樣逐筆比對,即使用超級電腦也耗不起。但現在的搜尋引擎能在幾分之一秒內完成,背後一定做了處理。
解法其實不複雜:建立一份索引庫。就像查字典時,你不會從第一頁翻到最後一頁找那個字,而是先查索引表拿到頁碼,再直接翻過去。搜尋引擎同樣為上百億網頁建立索引,使用者查詢時先到索引庫確認資料在哪些網頁,再被引導過去。

字典的索引表用字母或部首分類,那搜尋引擎呢?用字母的話,平均每個字母底下要查的網頁數是 100 億 ÷ 26 ≈ 3.85 億,仍然太龐大;何況今天是一百億網頁,過陣子就是三百億。
最後找到的解法是:用詞語來分類。理由是,雖然網頁數量不斷激增,但每一種語言的詞彙量是相對固定的。英文約一百多萬個單字,100 億 ÷ 100 萬 = 1 萬;中文約八萬多個詞語,100 億 ÷ 8 萬 ≈ 12 萬 5 千。這對電腦來說完全處理得來。用詞語分類還有一個好處:使用者本來就是查這個詞,直接按詞分類最順。
所以搜尋引擎的索引庫,最後長這個樣子:

模擬的索引庫
理論上,當使用者搜尋「mp3 player」時,搜尋引擎只要從「mp3」那一列和「player」那一列中取出同時出現的交集 URL 即可。上圖也是當時英文版 Google 的真實排名:某個網站在搜「mp3」時排第四,搜「player」時也排第四,於是搜「mp3 player」時因為沒有其他站更匹配這個詞,它就排到了第一。

排在第一
搜尋引擎把網頁抓回來之後,接著要做的事就是把網頁裡的詞語切開、放進索引庫。分詞就是在這個環節派上用場——說穿了,就是把詞語分開而已。
英文分詞好處理一些,因為單詞之間有空格,主要只要處理虛詞、介詞,以及單複數和各種變形。中文就複雜多了,句子裡每個字都連在一起,有時候連人判斷都會有歧義。中文分詞有正向切分、逆向切分等多種方法,網路上資料很多,也容易理解。值得一提的是,Google 的中文分詞技術是向國外一家第三方公司買的,百度則是自行研發,在詞庫上可能略佔優勢,其他方面則互有長短。
對搜尋引擎而言,爬蟲找到的網頁就是一大堆詞語的組合。基本流程如下:

搜尋引擎的處理過程
看完這張流程圖,應該能給你在做站內優化時一些啟發。關鍵在於:一定要站在搜尋引擎的角度,把它的運作原理弄清楚,你才會明白哪些因素才是真正該關注的重點。
有人說「SEO 重在細節」,這是經驗之談。但或許該反過來想:那些看似細節的東西,是不是本來就該被當成重點?如果你控制不住自己的排名,會不會是因為過去特別在意的某些因素,其實根本抓錯了方向?