搜索引擎每天都要處理海量頁面,其中大量內容高度重複。如果全部收錄,用戶搜索體驗會被劣化;所以判重是必須做的一環——重複內容只保留少數高質量結果呈現給用戶。

最直接的做法是逐字比對兩個頁面的正文與結構,準確但時間複雜度太高,在這個量級下根本跑不動。所以工程上的解法是:先為頁面生成一個或多個「簽名」,再比對簽名是否相同或相近。速度快得多,也更適合海量場景。
A. 獲取待比對的多個網頁;
B. 分別提取網頁正文;
C. 從正文中抽取一個或多個句子,計算正文句子簽名;
D. 依據正文句子簽名對網頁聚類;
E. 對每一類下的網頁計算附加簽名;
F. 根據附加簽名判斷同類網頁是否重複。
也就是說,判重並非只看一個維度,而是正文句子簽名加上多組附加簽名共同參與,既準且快。

網頁基本架構圖
A. 對網頁進行分塊;
B. 過濾分塊,保留包含正文的內容塊;
C. 從內容塊中提取正文。
A. 分句。依據分號、句號、感嘆號等結句標點切分,也可以結合頁面的視覺信息輔助判斷。
B. 過濾與歸一化。先去掉數字、版權聲明等對判重無決定作用的信息;再做全角半角、繁簡等格式統一,讓句子表現在同一標準下。
C. 選取最長的一個或多個句子。實務中,正文裡最長的那段往往最具辨識度,因此可選它,或選最長的連續若干句作為代表。
D. 做 hash 簽名運算。simhash 是常見方案:兩個簽名不同的比特位越少,重複可能性越高。
1. 兩個網頁的真實標題簽名相同;
2. 兩個網頁的正文內容簽名相同;
3. 兩個網頁正文簽名的不同位數小於6;
4. 網頁位置簽名相同,且URL文件名簽名相同;
5. 評論塊簽名、資源簽名、標簽標題簽名、摘要簽名、URL文件名簽名中,有三項相同。
通過兩兩比對可以得到「真重複URL集合」。一般規則是:如果該集合中的頁面數佔整個站點頁面總量的30%以上,則整站被視為真重複,否則算假重複。
這條規則解釋了很多現象——為什麼個別幾篇稿件相似沒事,而批量采集會迅速拖垮整站評價。判重從來不是逐篇算的,它會累積到站點級別。