一般來說,一個詞語能否成為文章的關鍵詞,取決於它反映文章中心思想的能力大小。而關鍵詞與文章的相關性,正是用來衡量某個詞語對指定文章主題的表達程度。關鍵詞的抽取,會受到詞語出現位置、出現頻率以及語義特徵的綜合影響。那麼,搜索引擎究竟是如何判斷關鍵詞與文章相關性的呢?下面從算法角度談談我的理解,權作拋磚引玉。
網頁淨化,主要是去掉廣告、導航欄等模板噪聲,以及 JavaScript、CSS 等無意義內容。具體算法我們無從得知,但我估計,搜索引擎會先將網頁劃分成不同的塊,通過衡量各塊的重要程度,找出承載主題內容的塊並提取出來。至於如何判定塊的重要程度,那是另一個課題。
我認為,搜索引擎可能先用某種算法做詞語粗分,得出 N 個概率最大的切分結果;再用角色標注方法識別未登錄詞並計算其概率,把它們加入切分詞圖後當作普通詞處理,最終通過動態規劃優選出 N 個最大概率的切分結果並記錄下來。
對分詞結果再作分析,去掉語氣詞、形容詞等非實義詞,以及一些單字詞——因為單字表達的信息往往不夠完整,同樣應當濾除。這一過程通常通過建立停用詞列表來實現。剩下的,才是值得進一步分析的有意義詞彙。
完成分詞與淨化後,就要對全文關鍵詞做權重分析了。我的理解是,搜索引擎會把文本表示成 N 維特征向量,每一維由關鍵詞及其權重組成。一般認為,關鍵詞權重主要由三部分決定:詞頻、位置與詞義。詞頻和位置可通過確定算法計算,詞義權重也有固定算法支撐,最終得出分析結果。
基於以上步驟,我再談談對搜索引擎具體判斷方式的一些個人見解:
其一,基於關鍵詞位置。關鍵詞出現的位置對判斷其權重至關重要。域名被視為最穩定的因素,含 DVD 的域名在用戶搜索 DVD 時就有先天優勢;標題則是最寶貴的資源,因為它直接呈現給用戶,是最簡潔的摘要,適當突出標題中的關鍵詞,非常有利於排名。
其二,基於關鍵詞出現頻率。詞頻高低影響很大,但詞頻高並不代表適合當關鍵詞。比如一篇文章大量出現「美國」,位置也關鍵,但這個詞廣泛見於各類文獻,因此不應被賦予過高權重。對於那些詞頻高卻不適合做關鍵詞的詞,權重反而應適當降低。
其三,文檔中重要關鍵詞之間的距離,同樣是衡量相關性的重要維度。
我認為,搜索引擎經過上述一系列處理後,會給關鍵詞與文章一個綜合評分。當用戶搜索某詞時,評分高的文章排名靠前的機會就更大(此處暫不考慮外鏈影響)。以上僅為個人淺見,未必準確,願與大家共同探討。
感謝 siyi8473 的投稿