Shingle 算法常用來判斷文章或網頁是否相似。它的概念像屋瓦彼此覆蓋,先把文字切成多個重疊片段,再比較兩份內容共同片段的比例。
例如兩個相近標題,若以兩個字為一個 Shingle,可得到一組片段。共同片段越多,相似度越高;再用交集除以並集,就能得到 Jaccard 相似度。


若相似度低於門檻,通常可視為不重複;若高於門檻,則可能被視為相似頁。對聚合頁來說,這代表頁面之間不能只是換湯不換藥。

實務上,可以把每個聚合項目視為唯一元素,限制頁面之間重複項目的數量。例如每頁十個項目,若兩頁重複過多,就不再生成新頁面。

這種方法雖然偏人工,卻能有效降低聚合頁重複風險,讓每個頁面都有獨立價值。