一、前言
傳統意義上,搜索引擎是指一種能針對指定查詢(Query)返回相關文檔集合(Documents)的系統。而百度將這一定義加以豐富:搜索引擎能幫助人們更方便地找到所求。這裡的「所求」,比「文檔」更寬泛也更豐富。比如一個關於天氣的查詢,直接返回天氣預報窗口,而非一篇講天氣的文檔;再如一個關於小遊戲的查詢,直接返回該小遊戲的 Flash 頁面,而非簡單的文字介紹。
百度對 Query 的深刻理解,源於自然語言處理技術在其中發揮的巨大作用。對搜索引擎而言,文本切分是最基礎也最重要的自然語言問題之一。今天,我們就來談談文本切分粒度與搜索引擎的關係。
本文後續章節安排如下:第二節介紹什麼是文本粒度,第三節闡述搜索引擎基本原理與文本切分粒度的關係,第四節深入探討粒度的屬性與檢索相關性計算,第五節小結。
二、文本粒度
什麼是文本粒度?我們又用什麼來衡量它?在回答前,先來看幾組詞匯:
纏綿、崎岖、葡萄、乒乓
綠茶、籃球、紅色、鼠標墊、起重機
打球、跳繩、炒菜、登山
筆記本電腦、高清機頂盒、IP 電視
但是、然後、如果、非常
步步驚心、家的 n 次方、一個人的精彩
百度在線網絡技術(北京)有限公司、清華大學
張學友、趙傳、工籐新一、裡奧內爾·安德雷斯·梅西
……
這幾組詞匯中,哪些粒度大,哪些粒度小?
無論在傳統語言學還是在自然語言處理領域,都尚未對粒度下過清晰而精確的定義。但就搜索引擎而言,我們不妨這樣界定:粒度是衡量文本所含信息量的大小。文本含信息量多,粒度就大,反之則小。有了這一原則,判斷粒度大小便容易多了。像「纏綿」「崎岖」「葡萄」這類詞,雖由兩個字組成,卻只表達一個意思,粒度較小;而「籃球」「鼠標墊」等詞由簡單詞合成,雖也只表達一個意思,卻仍可拆分,如「籃」與「球」、「鼠標」與「墊」,這類詞粒度稍大;「筆記本電腦」「高清機頂盒」這樣的詞,粒度就更大了。
專名是一類較特殊的詞,儘管字數不少,卻只表達一個意思,如「步步驚心」「家的 n 次方」這樣影視名稱,粒度其實很小。機構名、人名等屬於有內部結構的專名,粒度比影視名稍大一些。
顯而易見,討論文本粒度時,理想的方式是從語義角度出發合理判斷。然而以上僅是定性分析,如何為粒度找到合適的度量單位與計算方法,一直是百度人追求的目標。
三、搜索引擎的基本原理與詞匯切分關係
3.1 搜索引擎的基本原理
文本檢索系統是搜索引擎最簡單的實現方式,通過返回包含關鍵字的頁面來滿足檢索需求。形式化地說,就是給定關鍵字集合 K,返回所有包含其中任意關鍵字的文檔 D。一般我們採用倒排索引來實現:對關鍵字建立索引,記錄包含該關鍵字的文檔集合,對於請求的關鍵字集合,找出各關鍵字對應的索引並求交集,最後返回同時存在於所有索引中的文檔。
在百度,我們不僅允許用戶輸入關鍵字,也允許輸入一定長度範圍內的任意文本。此時需要對文本做切分處理,切分成一系列關鍵字,才能從倒排索引中找出對應文檔。
那麼為什麼要對輸入文本做切分?不切分會有什麼問題?可以想象一下,如果不做切分、直接用整段文本去匹配:首先,結果會非常少,因為完全匹配失去了靈活性,限制過死;其次,系統性能會極差,因為需要對所有長度的文本都建索引,這是指數級的開銷,實際系統根本無法承受。再考慮另一個極端——若做單字切分,我們又會得到大量無關頁面,既浪費性能,也給相關性計算帶來巨大壓力。所以,我們需要對文本做一個恰到好處的切分。
3.2 用戶滿意度與粒度關係
無論是建立倒排索引還是處理輸入文本,我們都需要切出合適的關鍵字。為使用戶對結果滿意,搜索引擎需要怎樣的粒度?先看幾個例子:
1、Q:「北京地圖」 P1:「北京市地圖」 P2:「北京城市地圖」
2、Q:「鬧太套是神馬意思」 P:「A:神吶,我騎不了這烈馬。B:鬧太套!」
3、Q:「獸獸門」 P:「獸獸艷照門」
4、Q1:「工業園」 Q2:「園區」 P:「工業園區」
5、Q:「ip 電視」 P1:「ip 電視的歷史」 P2:「電視銷售……您的 IP 是 xxx」
(註:Q 表示查詢詞,P 表示頁面。)