前面講了搜尋引擎如何搜集網頁,今天說第二個環節:網頁預處理。其中中文分詞尤其關鍵。
網頁預處理的第一步是為原始網頁建立索引,有了索引才能提供網頁快照功能;接著對索引網頁庫做網頁切分,把每篇網頁轉化為一組詞的集合;最後把「網頁到索引詞」的映射反轉為「索引詞到網頁」的映射,形成倒排文件(含倒排表與索引詞表),同時把網頁中不重複的索引詞匯聚成索引詞表。

一個原始網頁庫由若干記錄組成,每條記錄包含記錄頭部信息(HEAD)與數據(DATA),數據又由網頁頭信息(header)和網頁內容信息(content)構成。索引網頁庫的任務,是給定一個 URL,在原始網頁庫中定位到對應記錄。

對索引網頁庫的預處理包括網頁分析和建立倒排文件索引兩部分,而中文自動分詞是網頁分析的前提。文檔由被稱作特征項的索引詞(詞或字)組成,網頁分析就是把文檔表示為特征項的過程。在對中文文本做自動分析前,需要先把整句切成小的詞彙單元,也就是中文分詞(切詞)。切詞軟件使用的基本詞典包含詞條及其對應詞頻。
自動分詞的基本方法分兩類:基於字符串匹配的方法,和基於統計的方法。
又稱機械分詞法,按一定策略把待分析的漢字串與一個足夠大的詞典進行匹配,若能在詞典中找到該字符串,則匹配成功,識別出一個詞。
按掃描方向不同,可分正向匹配與逆向匹配;按長度優先策略,可分最大(最長)匹配與最小(最短)匹配;按是否結合詞性標注,又分單純分詞法與分詞標注一體化方法。常用的幾種是:正向最大匹配、逆向最大匹配、最少切分(讓每句切出的詞數最少)。把正向與逆向最大匹配結合起來,就構成雙向匹配法。由於漢語單字可成詞,正向最小匹配和逆向最小匹配很少使用。一般來說,逆向匹配的切分精度略高於正向匹配,遇到的歧義也更少。
機械分詞可模型化表示為 ASM(d,a,m),即 Automatic Segmentation Model。其中 d 為匹配方向,+ 表示正向、- 表示逆向;a 為每次匹配失敗後增減的字串長度,+ 為增字、- 為減字;m 為最大或最小匹配標志,+ 為最大、- 為最小。例如 ASM(+,-,+)就是正向減字最大匹配法(MM),ASM(-,-,+)就是逆向減字最大匹配法(RMM)。
從形式上看,詞是穩定的字的組合,因此上下文中相鄰的字同時出現的次數越多,構成一個詞的可能性就越大。字與字相鄰共現的頻率或概率,能較好反映成詞可信度。
對語料中相鄰共現的字組合做頻度統計,計算它們的互現信息。互現信息體現的是漢字之間結合關係的緊密程度,當緊密程度高於某個閾值時,即可認為該字組可能構成一個詞。這種方法只需統計字組頻度,不需要切分詞典,因此又叫無詞典分詞法或統計取詞法。
實際應用的統計分詞系統,都會使用一部基本分詞詞典(常用詞詞典)做串匹配分詞,同時用統計方法識別新詞——也就是把串頻統計和串匹配結合起來:既發揮匹配分詞速度快、效率高的特點,又利用無詞典分詞結合上下文識別生詞、自動消除歧義的優勢。
這是主要的中文切詞方法之一。它的切分過程是:從中文語句中取出設定長度的字串與詞典比較,若在詞典中,就算一個有意義的詞串,用分隔符隔開輸出;否則縮短字串,重新在詞典中查找。
算法輸入為:中文詞典、待切分文本 d(d 中有若干被標點分割的句子 s1)、設定的最大詞長 MaxLen。輸出為:每個句子被切為若干長度不超過 MaxLen 的字符串並用分隔符分開,記為 s2,所有 s2 的連接構成切分後的文本。

算法思想是:先把網頁預處理成每行一個句子的純文本格式,從 d 中逐句提取。對每個句子 s1 從左向右以 MaxLen 為界選出候選字串 w,若 w 在詞典中,處理下一個長為 MaxLen 的候選字段;否則去掉 w 最右邊一個字,繼續與詞典比較。s1 切分完後,構成詞的字符串(或此時 w 已為單字)用分隔符隔開輸出給 s2,從 s1 中減去 w,繼續處理後續字串。s1 處理結束,取下一個句子賦給 s1,重複上述步驟,直到整篇文本 d 切分完畢。其中 MaxLen 是經驗值,通常設為 8 個字節(即 4 個漢字):過小會切斷長詞,過大則降低切分效率。
