許多人以為 Google 索引了網路上的每一個頁面。不過,Google 或許是我們所拥有的最好的搜尋引擎,但它所索引的資源,遠比我們想像的要少得多。根據 Google 首頁提供的數字,當時它索引了約 30 億個頁面,而據估計,網路上實際存在的頁面高達上百億。於是我們不禁要問:那些被 Google 省略的頁面,究竟是哪些?
這是一個難以回答的問題。若想真正知道 Google 到底遺漏了什麼,我們必須具備比 Google 更強大的索引能力。作為理解「Google 索引了什麼、又遺漏了什麼」的起點,我們選了一個詞「googlology」來追蹤。這個詞最早由 Webmaster World 在 2002 年 10 月提出,後來被 Microdoc News 的前身站點 Google Village 使用;到 2003 年 5 月,透過 Google 查詢,該詞共出現在約 655 個頁面。接著我們開始在網路上到處搜尋所有含「googlology」的頁面,結果發現,實際出現的頁面數目,比 Google 列出的還要多。
Google 從它自稱的 655 個頁面中,列出了 624 個索引。我們抓取了這些連結的內容,放入自己的文字資料庫。研究人員啟動桌面爬蟲,讓它在網路上工作了兩個星期,獵取所有含「googlology」的頁面。我們以多達 22 萬個連結的部落格新聞標題為起點,爬蟲從那裡出發,跟著一個又一個連結,直到遍尋網路為止。
兩個禮拜後,我們找到了 2,199 個含「googlology」的頁面——也就是說,Google 只索引了其中約 29%。另外 1,544 個含該詞的頁面,並不存在於 Google 的資料庫中。我們不禁要問:那些沒被索引的頁面,都來自哪種類型的站點?
我們用一個映射工具分析資料,把所有含「googlology」的 2,199 個頁面標繪在圖上,並依下列七類歸類:部落格頁面、教育類頁面、主流媒體站點頁面、新聞與資訊目錄頁面、垃圾站點、Google 已建立資料庫的其他頁面,以及 Google 未建立資料庫的其他頁面。
結果顯示:大約有一半含該詞的部落格頁面被 Google 索引;教育類站點頁面約有 37% 被索引;主流媒體站點類約 29%;新聞、資訊與目錄類約 45%;而像 Geocities 這類垃圾站點,僅約 8% 被索引。
那些被遺漏的頁面,多半是較早用到該詞的頁面,例如 2002 年 12 月以前——那裡我們發現多達 153 個引用 Webmaster World 的教育類頁面沒有被索引;同樣,也有許多二到三月的部落格頁面(引用 Google Village)與不少 Microdoc News 頁面未被收錄。此外,CNet、ZDNet,以及 BBC、Siemens 等媒體站點中含該詞的頁面,也未列在 Google 中。
若把對「googlology」的分析結果推廣到其他詞,我們可以得到幾點試驗性的結論:
Google 並不索引網路上的每一個頁面;它傾向於拋下(或不索引)三到六個月以前、或更早的頁面;它傾向於涵蓋部落格、教育類與新聞資訊類站點最近三個月內建立頁面的約 98%;一般會索引主流媒體站點近三個月頁面的約 80%;通常會忽略某些資訊量很少的站點頁面。
值得注意的是,Google 拋棄較老頁面的方式看似具有選擇性——同一時期的頁面,有的被索引、有的被拋下。例如在給定的三個月內,第一次出現「googlology」的頁面被長期保留,而同期的其他頁面卻被逐站拋下。因此,我們能在 Webmaster World 找到該詞首次被使用的頁面,卻無法找到接下來十、十一、十二月中的所有相關頁面。
雖然這並非嚴謹的研究,但歸根究柢,我們想 Google 就像一束巨大的搜尋光芒,很像從地球上看見的太陽光亮——它的光指向它所作用到的地方,而那些未被照亮之處,便悄然隱沒於視野之外。