DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
從「怎麼選醫生」說起:搜尋引擎排序演算法的直觀原理
編輯:SEO優化集錦     

我們提交一個查詢,搜尋引擎會列出大量結果。這些結果依什麼排序?這個看似簡單的問題,恰恰是資訊檢索領域研究的核心難題之一。

為了把道理講清楚,我們先聊一個比搜尋引擎更古老的話題:求醫。

假設我牙疼,手上有三個選擇:

A醫生,既治眼病,又治胃病;
B醫生,既治牙病,又治胃病,還治眼病;
C醫生,專治牙病。

A醫生可以直接排除。B和C之間,直覺上更應該選C,因為他更專注,與我的病情更匹配。

現在加一個條件:B醫生經驗豐富,從業二十年,醫術高明;C醫生只有五年經驗。這下判斷就沒那麼容易了——是優先選更專注的C,還是優先選更高明的B?這確實成了需要仔細權衡的問題。

兩個維度,如何合成一個排序

起碼我們得到了一個結論:選醫生要考慮兩件事——專長與病情的適配程度,以及醫生本身的醫術水準。

大家會覺得這是廢話,而且很自然就會聯想到:搜尋引擎排序不也是這樣嗎?既要看網頁內容與查詢的匹配程度,又要看網頁自身的質量。

但真正的難點在於:這兩種因素怎麼合成一個排序標準,而不是留下兩個互相矛盾的標準?如果把兩者表示成數值,最終依據是相加、相乘,還是決策樹?如果是相加,是簡單相加,還是帶權重相加?

憑直覺和經驗,用試錯的方式也能拼出一個方案。但更好的辦法是找到明確依據,最好能與數學這樣堅實的學科掛鉤。古人靠經驗也能造高樓,可要蓋出數百米高的摩天大樓,若沒有建築力學、材料力學作支撐,幾乎不可能。同理,憑經驗拼出的演算法處理上萬個網頁或許夠用;但要在上億頁面規模上檢索,就需要更牢固的理論地基。

用條件概率把問題寫下來

回到求醫:病人會優先選擇診斷準、療效好的醫生。對搜尋引擎來說,排序依據則是網頁滿足用戶需求的概率大小。

用 q 表示用戶給出的特定查詢,d 表示某個滿足了用戶需求的網頁,那麼排序依據可以寫成一個條件概率:

P(d|q)

這個簡單的式子,把排序演算法與概率論連接了起來,就像大海中的船裝上了指南針。利用貝葉斯公式,它可以展開為:

由此可見,排序標準由三部分構成:查詢本身的屬性 P(q)、網頁本身的屬性 P(d)、兩者的匹配關係 P(q|d)。對於同一次查詢,所有網頁對應的 P(q)都相同,因此排序時可以直接忽略,於是:

三個項分別對應什麼

先看匹配項 P(q|d)。搜尋引擎為了響應速度,需要事先對所有待檢索網頁做預處理。預處理階段只知道網頁、不知道查詢,所以要反過來算:這個網頁能滿足哪些需求,其中有多大比例是用來滿足該需求的。這就對應上文說的「醫生專不專注」。比如一個網頁專講牙病,另一個既講牙病又講胃病,那麼對於「牙疼」這個查詢,前者的 P(q|d)自然更高。

再看網頁自身的屬性 P(d),它衡量的是一個網頁滿足用戶需求的概率,與具體查詢無關。如果要向一個陌生人推薦網頁(我們不知道他要什麼),P(d)就相當於這個特定網頁被推薦的概率。

在傳統資訊檢索模型中,這項長期不被重視——向量空間模型、BM25模型都試圖只依據查詢與文檔的匹配程度來計算排序權重。但實際上,這個與查詢無關的量至關重要。用網頁被訪問的頻次去估計它滿足用戶需求的概率,就能看出差異有多懸殊:有的網頁每天只被訪問一兩次,有的每天被訪問成千上萬次。能提供如此巨大區分的信號,竟長期被忽略,直到Google提出PageRank並讓它參與排序。PageRank可以視為對 P(d)的一次不錯的估計,而這個因素的加入,直接把搜尋引擎的效果抬升到了一個新台階。

回到最初的問題

這個公式同時回答了我們前面的困惑:匹配程度與網頁質量該如何結合?如果匹配程度用 P(q|d)表示,網頁自身質量用 P(d)表示,那麼正確的做法是按它們的乘積排序——這不是經驗之談,而是公式給出的結論。

當然,現代商業搜尋引擎要考慮的排序因素遠多於此,可能高達成百上千個,如何把它們有效融合,是一個更複雜也更困難的工程問題。但理解這個最基礎的概率框架,是理解後續一切改進的起點。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved