為全文檢索引擎 Lucene 設計一個通用的 XML 介面,一直是許多開發者的心願——因為這能讓全文檢索功能更輕易地嵌入各種 Web 應用。本文分享一套名為 WebLucene 的實作思路:以 XML 作為資料輸入與結果輸出的標準介面,讓資料源與呈現層彼此解耦。
整個架構可以概括為:MySQL、MSSQL、Oracle 等資料庫,或 Word、PDF、HTML 等文件,先統一匯出成 XML;XML 匯入 Lucene 建立索引後,查詢結果再以 XML 輸出,最後透過 XSLT 轉成 HTML 交給 ASP、JSP、PHP 等前端呈現。XML 在這裡扮演的是「平台無關的中間格式」,讓來源與展現各自獨立、自由搭配。
大型搜尋引擎雖強,但拿來做站內檢索其實有幾個痛點:其一,數量有限——搜尋引擎不會深度爬完整個站,像 Google 偏好靜態、新更新的頁面,甚至會逐步淘汰缺乏入口的內容;其二,更新慢——受爬取週期影響,新內容往往要等一陣子才進得了索引;其三,內容不精確——它得靠頁面抽取技術過濾導覽、頁首頁尾,反不如直接從後台資料庫取數來得乾淨;其四,無法控制輸出——很難做到依時間、價格、點擊量或類別等自訂排序與過濾。
WebLucene 提供了一個名為 IndexRunner 的命令列工具。只要資料能匯出成「表 → 記錄 → 欄位」這樣的三層 XML 結構,就能被匯入。例如從資料庫導出的 news_dump.xml,每個 Record 含 Title、Author、Content、PubTime 等欄位。透過參數可指定:以哪個檔案為來源(-i)、索引建在哪個目錄(-o)、哪些欄位要進行分詞的全文索引(-t,如 Title,Content)、哪些欄位只建不分詞的精確索引(-n,如 Author)。
它也支援 RSS 這類現成 XML 資料源,可用 -l 指定以第幾層節點作為欄位對應。此外還有 -a(增量索引,在既有索引上擴充)與 -m(mergeFactor,控制多少筆記錄後寫入一次索引)兩個選項:mergeFactor 是針對批次匯入的效能參數——寫入越頻繁,記憶體越省但速度越慢,因此大量匯入時應適度調大寫入間隔,讓索引盡量在記憶體中操作。
這裡有個好比喻:連鎖速食要確保各地薯條品質一致,最省成本的方式是「機器+標準化原料」,而非倚賴廚師手藝;馬鈴薯必須符合工業標準,結構簡單的薯條機才能穩定產出。對軟體開發者而言,企業之間交換的資料就像那些馬鈴薯——以嚴謹的 XML 標準設計介面,雖不如 CSV 高效,卻能大幅降低下游加工成本。
正因如此,處理 HTML 的瀏覽器動輒十幾 MB(還得為海量不規範的 HTML 做容錯),而語法嚴格、規則簡單的 XML 解析器往往只有幾百 KB。體積越小、適應性越廣,這在記憶體有限的手機等裝置上尤其可貴。此外,XML 搭配 Java 簡直是國際化的絕配:不論日文、繁體中文還是德文,經 Java 解析後都統一成 Unicode,能放進同一個索引庫一起搜尋。
一個原則是:讓資料庫負責精確比對,把模糊比對交給獨立系統。傳統做法裡 '%like%' 這類查詢可能吃掉資料庫九成以上的 CPU,而資料庫內建的全文檢索又未必適合 Web 應用;更麻煩的是,條件簡單卻命中大量結果時,資料庫並不知道要優先回傳使用者最關心的前 100 筆——而實務上,前 100 筆往往已能滿足九成五以上的需求。
在資料同步上,全文檢索其實不必像資料庫那樣講究即時性。採「低更新、高快取」模式設計即可:定期用腳本把資料庫導出成 XML 再進索引,針對更新與刪除則以定期重建索引解決。在結果排序上,由於 Lucene 預設僅依關鍵詞匹配度排序,若想按欄位值排序就會退化成又一次全表掃描;一個折衷妙招是「在建立索引時,讓進入 Lucene 的順序本身就對應某種規則(如時間)」,查詢時再依索引記錄的 ID 排序即可。
整套方案的核心,其實就是「SAX 式的資料匯入 + DOM 式的結果輸出」這組 Lucene 的 XML 介面。只要資料能映射成表/記錄/欄位的層次結構就能被索引,結果定義則可參考 Google 的 XML 介面設計。少了 Servlet 介面,DOMSearcher 這類提供 XML 輸出的元件也能輕鬆整合進各種系統,讓全文檢索真正無縫融入既有應用。