本文先引用幾句話:
「確解用戶之意,切返用戶之需。」
「搜索引擎不是人人都能做的領域,進入門檻比較高。」
「只是優秀還不夠,最好的方式是將一件事情做到極致。」
「做搜索引擎需要專注。」
「用戶無法描述他要找什麼,除非讓他看到想找的東西。」
「所謂楔形,其實就是個倒三角:尖端代表搜索技術,中部是基於技術的產品應用平台,最上端是對用戶人群文化的認識理解,以及現代公司競爭最關鍵也最捉摸不定的品牌。」
「楔形」蘊含的另一層意義是:楔子要打到牆裡,尖端是否銳利固然重要,但它的破壞力有多強、能在牆面擠出多大空間,中端與後端的沉穩厚重才是關鍵。
搜索引擎的技術與理念都需要時間和經驗的積累,更需要長期不斷完善,絕不能指望一蹴而就。要達到一個相對成熟領先的搜索引擎,從起步到領先的周期一般需要四年,著急不得。因為搜索引擎太複雜,而且「用戶無法描述他要找什麼,除非讓他看到想找的東西」,一切都需要摸索、嘗試,問題要一個一個解決,需求要一點點挖掘。
搜索引擎是一個需要長期改進升級才能持續提升體驗的產品,它要滿足用戶不斷增長且變化的需求,也要適應不斷變化的網絡環境。千萬別把搜索當成項目來做——做完撂在一邊讓用戶自己用,那肯定沒戲。搜索領域講究體驗,新的引擎一旦在用戶體驗上整體領先一年以上並持續兩年,前期領先者的優勢就會蕩然無存,因為用戶轉移成本較低,而口碑是最好的傳播方式。一個不能持續創新技術與理念的搜索引擎,對它自己而言就等於死亡。只要能在用戶體驗上保持一年領先並持續兩年,不需要炒作,一切自然會紛至沓來。
做垂直搜索,麻雀雖小五臟俱全,理念文化、產品管理、應用、技術都離不開楔形理論。垂直搜索技術主要分兩個層次:
模板級:針對網頁設定或自動生成模板來抽取數據,採集也具有針對性,適合規模較小、信息源少且穩定的需求。優點是快速實施、成本低、靈活性強;缺點是後期維護成本高、信息源和信息量小。
網頁庫級:在信息源數量、數據容量、檢索容量、穩定性可靠性上都達到網頁庫搜索引擎的水準,最大區別是不依賴具體網頁,可針對任意正常網頁進行信息采集與抽取。它與模板級並非對立,而是相互補充,因為技術只是手段,目的是切返用戶之需。本文談論的主要是網頁庫級別的垂直搜索技術。
搜索引擎對技術要求較高,如今相關人才增多、技術也更成熟,但競爭也更激烈。垂直搜索大致需要以下技術:信息采集技術、網頁信息抽取技術、信息處理技術(去重、聚類、比較、分析、語料分析等)、語義相關性分析、分詞與索引。
信息采集技術:垂直搜索的 spider 應比網頁庫 spider 更專業、可定製、可定向,只采集與垂直領域相關、適合進一步處理的網頁,並對頁面有選擇地調整更新頻率。更新策略可綜合評估信息源穩定性、抓取成本、對用戶體驗的改善程度,並依據網站/網頁的更新系數、重要系數、點擊系數、穩定系數來確定抓取頻率——類似於大庫、周庫、日庫、小時庫的分級:系數低的每月更新一次,稍高的一周一次,中等的幾天到一天一次,高的幾小時到幾分鐘一次。
基於視覺的網頁塊分析技術:模擬 IE 瀏覽器的顯示方式解析網頁,依人類視覺原理把結果分塊,再按需對這些塊進行定向采集、簡介抽取、正文抽取等處理。
結構化信息抽取技術:把網頁中的非結構化數據按需求抽取成結構化數據。方式有二:簡單的模板方式,以及不依賴網頁結構的抽取方式,兩者可互取長處。垂直搜索與通用搜索最大的區別,就在於對網頁信息結構化抽取後再做深度處理,提供專業的搜索服務。