這是一篇關於搜尋引擎排序基礎——TF-IDF 框架的科普。網上相關內容不少,但很多流於泛泛而談甚至斷章取義;本文的目標是結合搜尋引擎理論與大量實際觀察,講清楚它到底在算什麼。內容偏硬,但花時間讀懂絕對值得。
寫這篇主要是為了替後續《SEO 實踐》系列鋪好理論地基,就不佔用正篇篇幅了。以下先參考張俊林《這就是搜索引擎》對 TF-IDF 的概述,原文較長,這裡只提取我認為的關鍵點,更完整的內容建議直接讀原書。(註:「TF-IDF」與「TF*IDF」只是寫法習慣差異,書中用的是後者,兩者並無實質區別。)
當用戶在搜尋引擎輸入一個詞,系統會拿它去和索引庫裡的文檔做匹配計算,取出相關度最高的一批文檔參與後續排序。這裡「最相關」的量化指標稱為「權值」,而對絕大多數搜尋引擎來說,權值計算中 TF*IDF 都是重要組成部分,主要考慮兩個因子:詞頻 TF 與逆文檔頻率 IDF。
TF 代表詞頻,也就是某個詞在一篇文檔中出現的次數。一般來說,出現次數越多,說明文檔與該詞越相關,就該給更高的權重。
具體算法可以有多種。最直接的方式是直接用次數:文檔中某詞出現 5 次,TF 值就是 5。
一種常見變體是取對數:W = 1 + log(TF)。比如某詞出現 4 次,權值算作 3,公式裡那個「+1」是為了平滑處理——若 TF 為 1,取 log 後變成 0,等於把「出現過一次」當成「從未出現」,加 1 就能避開這個畸零。之所以要取 log,是因為不想讓出現 10 次的權值直接變成出現 1 次的十倍,用對數壓縮這種過大落差。
還有一種重要變體會把文檔長度納入考量:長文檔裡所有詞的 TF 普遍偏高,若不校正就會不公平。這裡不展開。
IDF 是文檔集合層級的全局因子,只與整個集合有關,與單篇文檔無關。它衡量的不是文檔本身特徵,而是特徵詞之間的相對重要性。
公式為 IDF = log(N/n),其中 N 是集合中文檔總數,n 是包含該特徵詞的文檔數量(即文檔頻率)。可見包含某詞的文檔越多,它的 IDF 越小,代表這個詞區分文檔的能力越差。
兩者相乘:Weight = TF * IDF。這個值越大,文檔與該詞的相關度越高。
百度自然也用了 TF-IDF 框架,但對單個索引詞的排名來說,它並非決定性因素——百度的排序本質是概率檢索模型。
根據我此前做過的簡單統計,百度至少採用了上述的 log 平滑算法。除此之外還有個關鍵機制:當某個詞出現次數超過一定閾值後,TF 值不會繼續線性上升,反而會以 log 形式讓排名下滑。
因為這個機制存在,同一頁面上每個詞的 TF-IDF 值都有各自的上限——這對 SEO 是個非常重要的觀念。
雖然粗略,但可以這樣近似:把文章中某關鍵詞出現的次數當作 TF,再到 Google 搜該詞,把結果總數當作 DF,兩者相除就得到最簡單的 TF-IDF 值。這種算法沒有實際參考意義,但親手算一次之後,你對這個概念的理解會具體得多。
舉個例子:「噴碼機價格」會被百度切成「噴碼機」和「價格」兩詞。(順帶一提,是否分詞也應該由數據決定而非直覺。有些人習慣從百度快照的關鍵詞高亮來判斷分詞,這其實沒有事實基礎,價值不大。)
到 Google 分別搜這兩個詞:「噴碼機」約 2,060 萬個結果,「價格」約 18.5 億個,後者的 DF 高出百倍。(之所以用 Google,是因為百度顯示的結果數上限為 1 億。)
在這種差距下,即使兩個詞在同一篇文檔中出現次數相同,「價格」也會因為 IDF 因子的拖累,權值遠低於「噴碼機」。因此一般情況下,只有「噴碼機」本身權值高的頁面,才有機會在「噴碼機價格」上拿到好排名,跟「價格」的權值關係很小。
換句話說,至少對百度而言,想單獨做「噴碼機價格」這類詞,最好拿「噴碼機」排名本來就不錯的著陸頁去承接,否則難度會高很多。
以我的水平還談不上評判 SEO 該不該深究搜尋引擎原理,而且主觀上我認為在原理裡鑽太深意義有限。但前面這些,我認為只算必須掌握的基礎——如果連搜尋引擎最經典的基礎算法都不願花時間了解,又談什麼跟它打交道呢?
原文地址:https://semwatch.org/2012/03/tf-idf/