DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
百度怎麼判斷兩個頁面重複?簽名比對的技術邏輯
編輯:SEO優化集錦     

搜索引擎每天都要處理海量頁面,其中大量內容高度重複。如果全部收錄,用戶搜索體驗會被劣化;所以判重是必須做的一環——重複內容只保留少數高質量結果呈現給用戶。

最直接的做法是逐字比對兩個頁面的正文與結構,準確但時間複雜度太高,在這個量級下根本跑不動。所以工程上的解法是:先為頁面生成一個或多個「簽名」,再比對簽名是否相同或相近。速度快得多,也更適合海量場景。

整體判重流程

A. 獲取待比對的多個網頁;

B. 分別提取網頁正文;

C. 從正文中抽取一個或多個句子,計算正文句子簽名;

D. 依據正文句子簽名對網頁聚類;

E. 對每一類下的網頁計算附加簽名;

F. 根據附加簽名判斷同類網頁是否重複。

也就是說,判重並非只看一個維度,而是正文句子簽名加上多組附加簽名共同參與,既準且快。

網頁基本架構圖

正文提取

A. 對網頁進行分塊;

B. 過濾分塊,保留包含正文的內容塊;

C. 從內容塊中提取正文。

正文分句與簽名

A. 分句。依據分號、句號、感嘆號等結句標點切分,也可以結合頁面的視覺信息輔助判斷。

B. 過濾與歸一化。先去掉數字、版權聲明等對判重無決定作用的信息;再做全角半角、繁簡等格式統一,讓句子表現在同一標準下。

C. 選取最長的一個或多個句子。實務中,正文裡最長的那段往往最具辨識度,因此可選它,或選最長的連續若干句作為代表。

D. 做 hash 簽名運算。simhash 是常見方案:兩個簽名不同的比特位越少,重複可能性越高。

判定重複的幾個具體條件

1. 兩個網頁的真實標題簽名相同;

2. 兩個網頁的正文內容簽名相同;

3. 兩個網頁正文簽名的不同位數小於6;

4. 網頁位置簽名相同,且URL文件名簽名相同;

5. 評論塊簽名、資源簽名、標簽標題簽名、摘要簽名、URL文件名簽名中,有三項相同。

整站級別的判重

通過兩兩比對可以得到「真重複URL集合」。一般規則是:如果該集合中的頁面數佔整個站點頁面總量的30%以上,則整站被視為真重複,否則算假重複。

這條規則解釋了很多現象——為什麼個別幾篇稿件相似沒事,而批量采集會迅速拖垮整站評價。判重從來不是逐篇算的,它會累積到站點級別。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved