本文作者馬特·卡茲(Matt Cutts)是 Google 品質管理部門的軟體工程師,主要工作是為優質網站評定等級,並負責開發阻止虛假或垃圾網站出現在搜尋結果上的技術。
圖書資訊領域最常被問到的問題之一是:「Google 究竟如何選擇哪些結果應該排在搜尋列表最上方?」以下由品質工程師馬特·卡茲提供快速入門知識,說明 Google 如何在網路上爬行、建立索引,以及如何評定搜尋結果等級。
在你瀏覽包含 Google 搜尋結果的網頁之前,其實已發生很多事情。首先是針對網路上數以十億計的網頁進行爬行與索引,這項工作由 Googlebot 負責,它會與全球網路伺服器連線以收集檔案。爬行並非真的在網上漫遊,而是造訪伺服器取得特定網頁,接著掃描該頁、建立超連結,並為每個網頁編號。爬行能收集大量檔案,但這些檔案還不能直接用於搜尋。
若沒有索引,當你想查詢如「civil war」(南北戰爭)這類內容時,Google 伺服器每次都得重新閱讀每一份檔案。因此第二個步驟是建立索引,把爬行取得的資料「轉換」處理,好讓系統不必逐檔掃描每個單字,就能顯示包含特定單字的檔案。舉例來說,假設單字「civil」出現在編號 3、8、22、56、68、92 的檔案,而「war」出現在編號 2、8、15、22、68、77 的檔案。
索引建立後,便開始對檔案進行等級評定並確認相關性。當使用者輸入「civil war」,Google 要做兩件事:一是找出包含提問的網頁;二是依相關性排定匹配網頁的位置。Google 已開發出一套有趣的技術來加速第一步:它不是把所有索引存在單一電腦上,而是分散到數百台電腦處理。由於任務分散,查詢答案就更迅速。
可以這樣形象理解:一本 30 頁厚的索引,一個人逐頁查找每次至少花幾秒;但若把每一頁分給不同的人同時查找,30 個人分頭進行,速度自然快得多。Google 正是把資料分散到各台電腦,以便更快找到檔案。
回到「civil war」的例子:包含「civil」的檔案是 3、8、22、56、68、92,包含「war」的是 2、8、15、22、68、77,兩者交集——也就是同時包含兩個單字的檔案——是 8、22、68。包含單一單字的檔案清單被稱為「檔案標識列表」,而找出同時包含兩個單字檔案的過程,則稱為「檔案標識列表的交集」。
有了包含提問的網頁後,就要依相關性評定。Google 使用多種技術,其中最著名的是 PageRank 演算法。PageRank 評定兩件事:從網站連到某網頁的連結有多少、以及提供連結的網站排名。使用 PageRank,來自 CNN 與紐約時報的連結,其價值往往是許多較不出名網站的兩倍。
除了 PageRank,Google 還用了許多其他技術。例如一份檔案若把「civil」與「war」放得很近,相關性就比只提到「war」的「Revolutionary War」(獨立戰爭)檔案高得多;標題出現「civil war」的網頁,也比標題為「19th Century American Clothing」(19 世紀美國服裝)的網頁重要;同樣,「civil war」在網頁出現數次,也比只出現一次更相關。
Google 的目標,是找出知名度與相關性兼具的網頁。若兩個網頁匹配提問的資訊量相當,通常會選擇更有名網站的連結;但若其他方面顯示某網頁更相關,也會選擇連結較少或排名較低的網頁。例如,一篇全篇都在談「南北戰爭」的內容,會比只是略微提到的網頁更有用,即使它來自較不出名的網站。有了檔案清單與分值後,Google 便挑選分數最高、最匹配的檔案。
最後,Google 會從每份檔案中擷取幾句話作為摘要,連同排序後的網址一起呈現在搜尋結果上。值得一提的是,執行一次搜尋需要龐大的運算資源——每次搜尋往往需要 500 台以上電腦協同運作,而完成的時間卻不到半秒。