在這個「內容為王」的年代,原創文章對網站的分量怎麼強調都不誇張。一段時間內頁面質量撐不住,直接後果就是降權、流量下滑。
問題是,寫個一兩篇原創不難,長期保持可就太難了——除非你是大站,手底下養著一批專職寫手和編輯。沒這條件的站長,多半只能走偽原創或抄襲。但這兩條路真的走得通嗎?下面我把搜尋引擎判斷重複內容的機制整理出來,你或許就有答案了。
最通用的做法,是把每個頁面的數字指紋逐一比對。這招能抓到一部分重複,但缺點明顯:資源消耗大,速度慢、效率低。

這個演算法先把文本中出現的所有詞排序再評分,目的是剔除無關詞、留下關鍵詞。去重效果高、也夠明顯。也就是說,偽原創時把詞語、段落對調位置這種小技倆,根本騙不過它,它照樣判你重複。

文章裡若塞滿語氣助詞、副詞、介詞、連詞這類停用詞,有效資訊反而會被干擾。搜尋引擎在去重時會先把這些停用詞濾掉,再進行文檔匹配。所以做優化時,不妨降低停用詞的使用頻率、把關鍵詞密度提上來,更有利於抓取。

這個做法牽涉到幾何原理,講起來有點繞。簡單說:相似的文本會有相似的 hash 值,兩個文本的 simhash 越接近(漢明距離越小),就越相似。於是海量文本查重,就轉化成「如何在海量 simhash 中快速找出漢明距離小的指紋」。實務效果是,搜尋引擎能在極短時間內對大規模網頁完成近似查重。就目前來看,這個演算法在辨識效果與效率之間取得了不錯的平衡。
一、格式與內容都相似。電商網站最常見,盜圖現象幾乎遍地。
二、只有格式相似。
三、只有內容相似。
四、格式與內容各自部分相似。這種最普遍,企業型網站尤其明顯。
1. 省下抓取、索引與分析的空間和時間。一句話講完:搜尋引擎的資源有限,用戶的需求無限。大量重複內容會吃掉寶貴資源,從成本角度就必須處理。
2. 避免同一份內容被反覆收集。從已識別的內容中匯總出最貼近查詢意圖的資訊,既提效率,也減少重複抓取。
3. 重複頻率本身就是質量指標。既然能辨識重複,自然也更能辨識原創與優質內容。重複率越低,原創與優質程度就越高。
4. 改善用戶體驗。這也是搜尋引擎最在意的一點。把重複清乾淨,有用的資訊才有機會被推到用戶面前,用戶才會買單。
註:想延伸閱讀網站建設技巧,請移步建站教程頻道。