互聯網上存在大量重複頁面。統計顯示,近似重複頁面約佔網站總量的29%,完全重複頁面佔22%。這些重複內容對搜索引擎是資源負擔,因此去重是搜索技術裡很重要的一環。今天聊聊其中的 I-Match 算法。
I-Match 的思路是基於大規模文本集合做統計:把文本中出現的所有單詞按 IDF(逆文本詞頻因子)由高到低排序,去掉得分最高和最低的兩頭,剩下的作為特徵詞典。這一步的目的是濾掉無關詞,保留關鍵詞。流程示意圖如下:

I-Match流程示意圖
拿到全局特徵詞典之後,對待去重的頁面做一次掃描,得到該頁出現的所有單詞,再用詞典過濾:詞典裡有的保留下來表達文檔主旨,沒有的刪掉。提取出特徵詞後,用哈希函數計算,得到的數值就是這篇文檔的文本指紋。
所有文檔都算完指紋後,要判斷兩篇是否重複,只需比較指紋是否近似。這種方式直觀、效率高,去重效果明顯。
做偽原創的人常把詞語和段落調換位置,想騙過搜索引擎,但 I-Match 對單詞順序並不敏感。兩篇文章若包含的單詞相同、只是位置不同,它依然會判為重複。
不過這個算法也有明顯短板。第一是容易誤判,短文本尤其嚴重:短文檔本身單詞少,過濾後只剩極少特徵詞,兩篇原本不同的文檔就可能被判成重複。第二是穩定性差、對修改敏感。給文檔A加一個單詞H生成文檔B,如果H不在特徵詞典裡,兩篇特徵詞相同,判定重複;可一旦H恰好在詞典裡,文檔B就比A多一個特徵,算法很可能改判為不重複。這就是 I-Match 最大的問題。
針對這個缺陷,有人做了改進。原算法對文檔改動過於敏感,根源是過度依賴單一特徵詞典;改進的關鍵就是降低這種依賴,改用多個詞典,只要大體相近就忽略細微差別。
具體做法是:先像原算法那樣形成一個主特徵詞典,再由它衍生出若干輔助詞典。為了保證主體一致,可以從主詞典裡隨機刪掉若干詞項生成一個新詞典,這就是輔助詞典,重複若干次就得到多個輔助詞典。比對時,主詞典與各輔助詞典一起比,只要每個詞典的大體內容相同,忽略細小差異即可判定重複。改進後的示意圖如下:

I-Match算法改進
上圖中有兩個輔助詞典:主詞典拋棄特徵5和6形成輔助詞典1,拋棄特徵2和3形成輔助詞典2,三者各自生成文本指紋。若兩篇文檔有兩個指紋相同,即可判定重複。
改進後的 I-Match 顯著提高了去重成功率,穩定性也更好。
對SEO的啟發:傳統偽原創手法——改動首尾、調換中間段落順序——對搜索引擎毫無意義,它仍能判斷出兩篇是否重複。內容建設還是要真正原創,或者對原文做大幅度改寫,讓特徵詞典本身發生改變。
詞語解釋:
IDF 逆文檔詞頻因子:衡量一個詞普遍重要程度的指標。某個特定詞語的 IDF,等於總文檔數除以含有該詞的文檔數,取對數得到。

式中 n 表示文檔總數,k 表示含有該詞條的文檔數量。