互聯網發展初期,網站數量不多,查找資料相對容易。隨著網絡的爆炸式增長,普通用戶想找到所需信息如同大海撈針,於是專門滿足大眾檢索需求的搜索網站應運而生。
現代意義上搜索引擎的祖先,是 1990 年由蒙特利爾麥吉爾大學的幾名學生發明的 Archie。它是最早自動索引互聯網匿名 FTP 文件的程序,用戶輸入精確文件名,它就告訴你去哪個 FTP 地址下載。隨後,美國內華達州系統計算服務於 1993 年開發了 Gopher 搜索工具 Veronica,Jughead 則是後來的又一 Gopher 工具。
真正現代意義上的搜索引擎出現於 1994 年 7 月,Michael Mauldin 將蜘蛛程序接入索引程序,創建了 Lycos。同年 4 月,斯坦福博士生 David Filo 與楊致遠共同創辦了 Yahoo,讓搜索引擎的概念深入人心。此後,互聯網上有名有姓的搜索引擎已達數百家,Google 數據庫中的網頁更是高達數十億。
隨著規模膨脹,搜索引擎之間開始出現分工協作,誕生了專業的搜索技術與數據庫服務商。如國外的 Inktomi 並不直接面向用戶,而是向 Overture、LookSmart、MSN 等提供全文檢索服務;國內的百度也屬於這一類,早期搜狐、新浪用的正是它的技術。
Yahoo:1994 年由楊致遠與 David Filo 創辦,早期是可搜索的目錄,收錄網站並附簡介,搜索效率明顯提升,後陸續接入並收購多家搜索技術。
WebCrawler:1994 年由華盛頓大學學生 Brian Pinkerton 開發,是互聯網上第一個支持全文檢索的搜索引擎,此前用戶只能靠 URL 與摘要搜索。
Google:前身是斯坦福的 BackRub 項目,1997 年註冊 google.com,1998 年被視為生日。憑藉 PageRank、動態摘要、網頁快照等創新,它再一次改變了搜索引擎的定義,並自 2000 年開始提供中文搜索。
MSN:微軟早期借助雅虎旗下 Inktomi 提供搜索,2004 年 11 月推出 MSN 搜索測試版,2005 年 2 月正式上線,憑藉技術與資金優勢對格局產生重要影響。
百度:2000 年 1 月,超鏈分析專利發明人李彥宏與徐勇在北京中關村創立百度,2001 年正式發布搜索引擎並專注中文搜索,特色包括百度快照、相關搜索、錯別字提示等。
中國搜索:前身為慧聰搜索,2003 年推出第三代智能中文搜索引擎並獨立運作,其行業搜索颇具特色。
搜狗:2004 年由搜狐推出,是自主研發的第三代互動式中文搜索引擎,能分析用戶查詢意圖並給出多主題提示。
SOSO:在人機交互過程中引導用戶更快定位關注內容,並主動給出未曾意識到的主題提示。