我此前對中文搜索引擎了解不多,真是孤陋寡聞。看到這篇文章,直覺告訴我:如果這兩項專利相似甚至有抄襲嫌疑,那將牽扯到兩家公司的核心利益;而對我這樣的搜索引擎優化人員來說,也能從中窺見百度算法的一些內幕。於是我馬上翻看了李彥宏的專利申請,又重新讀了一遍Google的PR專利申請。
我的理解是,這兩項專利說的根本是兩回事:要解決的問題不同,實施方法也不同,雖然研究對象都是鏈接。
超鏈分析要解決的是文件與搜索關鍵詞的相關性。李彥宏提出的方法是:除了文件本身對關鍵詞的引用外,還要考慮反向鏈接中的關鍵詞。
具體來說,一個文件被索引進數據庫時,會連同指向它的超鏈接、以及每個超鏈接所用的錨文字(鏈接文字)一併記錄;而搜索詞也會建立一個數據庫,每個詞連同含該詞的超鏈接、以及這些超鏈接所指向的文件一同記錄在案。當某個關鍵詞被搜索時,含有以該關鍵詞為鏈接文字的反向鏈接數目最多的文件或網頁,將被作為最相關結果排在前面。
這只是基本思路,當然還有其他變量,比如當搜索字符串包含多個詞時,每個詞都是搜索矢量的一個維度。我比較感興趣的是,這篇專利申請裡已經提到了詞幹技術,還談到了不同文字文件之間的相關性。
而Google的PR專利,顯然專注於超鏈分析之後仍未能解決的問題。在Google的專利申請中明確提到:即使考慮了指向文件的鏈接及鏈接錨文字,搜索引擎還有一個重要問題待解——來自不同文件的鏈接權重各異。你不能指望白宮網站的一個鏈接,和非洲某小鎮學生個人網站的一個鏈接投票值相同。而Google PageRank正是衡量網頁重要性的一種方法:指向某網頁的鏈接越多、且這些鏈接本身的權重越高,那麼被指向網頁的重要性及PageRank就越高。
Google的專利申請裡還給出了計算這一重要性指標的具體方法,取名為網頁級別。網頁級別的計算需要經過多輪迭代替代,才能得到近似最終結果的PR值。
Google PR與搜索詞無關,或者說與文件相關性無關,它只描述某一文件的重要性或地位。
就目前各家搜索引擎的表現來看,可以斷定這兩項技術都已被應用到排名算法中,雖然名字未必一樣。尤其明顯的是,儘管Google一直以PR為旗號、很少介紹其他技術,但近一兩年來,它對鏈接分析、錨文字分析、詞幹技術的重視越來越多。
這裡的分析完全針對兩篇專利申請所透露的技術問題,至於誰先誰後、誰受誰啟發,本文無意評說。