TF-IDF 是資訊檢索與資料探勘中常用的加權技術,SEOer 們其實時常在使用它,只是很多人不知道——最直觀的對應概念,就是我們常說的「關鍵詞密度」。
TF 是詞頻,IDF 是逆文本頻率指數,兩者相乘即為 TF-IDF。
詞頻好理解:某個詞在頁面中出現的次數除以頁面總詞數。一篇文章共 200 個詞,「網站優化」出現 4 次,那麼 TF = 4/200 = 0.02。
IDF 則看這個詞在多少頁面出現過。設出現頁數為 N、文件總數為 M,則 IDF = lg(M/N)。若「網站優化」出現在 2000 個頁面,總文件數為 1 億,那麼 IDF = lg(100000000/2000) = 4.69897,最終 TF-IDF = 0.02 × 4.69897 ≈ 0.094。
這只是單頁面的相關度判斷。實務中我們真正需要的是識別度高的詞。搜尋引擎索引上萬億頁面,幾乎每頁都有「的、是、中、地、得」這類詞,它們被稱為噪音詞或停用詞,會被過濾掉,加分權重實質為零:TF-IDF = log(1萬億/1萬億) = log1 = 0。
搜尋引擎檢索時會先分詞,再逐詞計算權重。以「SEO網站優化的技巧」為例,假設:
SEO 的頁面檢索數為 2000 萬,網站優化為 1000 萬,技巧為 5000 萬;索引總數設為 100 億。
某頁面總詞數 400,其中 SEO 出現 8 次、網站優化 10 次、技巧 20 次。則:
TF(SEO) = 8/400 = 0.02
TF(網站優化) = 10/400 = 0.025
TF(技巧) = 20/400 = 0.05
TF(的) = 0(停用詞)
對應的 IDF:
IDF(SEO) = log(100億/2000萬) ≈ 2.69897
IDF(網站優化) = log(100億/1000萬) = 3
IDF(技巧) = log(100億/5000萬) ≈ 1.69897
各自貢獻的權重:
TF-IDF(SEO) ≈ 0.02 × 2.69897 = 0.0540
TF-IDF(網站優化) = 0.025 × 3 = 0.075
TF-IDF(技巧) ≈ 0.05 × 1.69897 = 0.0849
技巧出現頻次最高,但因為識別度不如 SEO 與網站優化,對頁面主題的貢獻並沒有想像中大。一個詞的預測能力越強、識別度越高,權重就越大;反之則越小。看到「網站優化」,你大概已經知道這頁在講什麼;單看「技巧」,你還說不清主題。
當然,TF-IDF 只是搜尋引擎演算法中的一個維度。實務上還要配合標簽優化,例如 H 標簽,而主關鍵詞周邊的詞也會帶來額外加分——這裡的「周邊」指同一個標簽範圍內的共現詞,例如「SEO網站優化的技巧」這類標題中緊鄰的描述性文字。