DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
搜索引擎頁面去重算法分析之I-Match算法
編輯:SEO優化集錦     

互聯網上存在大量重複頁面。統計顯示,近似重複頁面約佔網站總量的29%,完全重複頁面佔22%。這些重複內容對搜索引擎是資源負擔,因此去重是搜索技術裡很重要的一環。今天聊聊其中的 I-Match 算法。

I-Match 的思路是基於大規模文本集合做統計:把文本中出現的所有單詞按 IDF(逆文本詞頻因子)由高到低排序,去掉得分最高和最低的兩頭,剩下的作為特徵詞典。這一步的目的是濾掉無關詞,保留關鍵詞。流程示意圖如下:

I-Match流程示意圖

拿到全局特徵詞典之後,對待去重的頁面做一次掃描,得到該頁出現的所有單詞,再用詞典過濾:詞典裡有的保留下來表達文檔主旨,沒有的刪掉。提取出特徵詞後,用哈希函數計算,得到的數值就是這篇文檔的文本指紋。

所有文檔都算完指紋後,要判斷兩篇是否重複,只需比較指紋是否近似。這種方式直觀、效率高,去重效果明顯。

做偽原創的人常把詞語和段落調換位置,想騙過搜索引擎,但 I-Match 對單詞順序並不敏感。兩篇文章若包含的單詞相同、只是位置不同,它依然會判為重複。

不過這個算法也有明顯短板。第一是容易誤判,短文本尤其嚴重:短文檔本身單詞少,過濾後只剩極少特徵詞,兩篇原本不同的文檔就可能被判成重複。第二是穩定性差、對修改敏感。給文檔A加一個單詞H生成文檔B,如果H不在特徵詞典裡,兩篇特徵詞相同,判定重複;可一旦H恰好在詞典裡,文檔B就比A多一個特徵,算法很可能改判為不重複。這就是 I-Match 最大的問題。

針對這個缺陷,有人做了改進。原算法對文檔改動過於敏感,根源是過度依賴單一特徵詞典;改進的關鍵就是降低這種依賴,改用多個詞典,只要大體相近就忽略細微差別。

具體做法是:先像原算法那樣形成一個主特徵詞典,再由它衍生出若干輔助詞典。為了保證主體一致,可以從主詞典裡隨機刪掉若干詞項生成一個新詞典,這就是輔助詞典,重複若干次就得到多個輔助詞典。比對時,主詞典與各輔助詞典一起比,只要每個詞典的大體內容相同,忽略細小差異即可判定重複。改進後的示意圖如下:

I-Match算法改進

上圖中有兩個輔助詞典:主詞典拋棄特徵5和6形成輔助詞典1,拋棄特徵2和3形成輔助詞典2,三者各自生成文本指紋。若兩篇文檔有兩個指紋相同,即可判定重複。

改進後的 I-Match 顯著提高了去重成功率,穩定性也更好。

對SEO的啟發:傳統偽原創手法——改動首尾、調換中間段落順序——對搜索引擎毫無意義,它仍能判斷出兩篇是否重複。內容建設還是要真正原創,或者對原文做大幅度改寫,讓特徵詞典本身發生改變。

詞語解釋:

IDF 逆文檔詞頻因子:衡量一個詞普遍重要程度的指標。某個特定詞語的 IDF,等於總文檔數除以含有該詞的文檔數,取對數得到。

式中 n 表示文檔總數,k 表示含有該詞條的文檔數量。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved