做站群很難避免大規模產出內容,實踐中通常就是采集加偽原創。而在偽原創的識別上,Google 明顯比百度更敏銳。理解它的判斷邏輯,比繼續琢磨替換同義詞要有價值得多。
相似度是搜索引擎去重最常用的手段,其中應用最廣的是 TF/IDF 演算法——它同時也是計算相關性的經典方法。
核心思想很直白:如果某個詞在一篇文章中出現頻率高,而在其他文章中很少出現,那麼這個詞的類別區分能力就強,適合用來做分類。
TF(詞頻)指某個詞在該文文件中出現的次數;IDF(反文檔頻率)則是包含該詞的文檔越少、數值越大,說明區分能力越強。
一篇文章經過 TF/IDF 計算後,會形成一個多維向量,這就是它的內容特徵向量。兩篇文章的特徵向量越接近,內容就越相似;完全一致,則判定為重複。
相似度把候選文章聚攏之後,還需要更精確的判定,這時用的是數據指紋。算法有多種,常見的一種是提取標點符號做比對——很難想像兩篇真正不同的文章,標點序列會完全一致。另一種是比對詞頻向量,也就是關鍵詞密度分佈。
想通這一層,很多偽原創工具的天花板就很清楚了:僅僅替換關鍵詞,標點指紋沒變,詞頻分佈也幾乎沒變;僅僅打亂段落順序,向量和詞頻問題依然存在。這類工具在 Google 面前基本無效(對百度或許還能勉強混過去)。
前面兩層判斷都建立在一個前提上:搜索引擎得先知道哪部分是正文。而每個站的模板不同、結構不同,導航、側欄、頁腳、評論、推薦位混雜在一起,如何從代碼裡剝出正文,是搜索引擎必須先解決的問題。
Google 通常通過代碼佈局和噪音比例來判斷:哪些區塊是導航,哪些是正文,並對一些高頻模板代碼做忽略處理。
這裡有個值得琢磨的取捨:一方面要對整頁降噪,讓正文位置清晰可辨;另一方面,正文區反而可以適度「加噪」,增加被判定為重複的難度。做模板時把這兩件事分開考慮,效果會更好。