資訊檢索領域裡有一個很有意思的研究方向——跨語言資訊檢索(Cross-Language Information Retrieval)。過去十餘年,隨著網際網路的爆炸式成長,這個課題從冷門走向熱門,被學術界反覆討論。把它落實到搜尋引擎上,價值很直白:使用者不必懂外文,也能找到外語頁面、多語版本內容,甚至與語言無關的圖片、影音等资源。檢索結果的廣度被撐開,需求自然更容易被滿足。
事實上,部分成果早已走出實驗室。Yahoo 與 Google 在六年前就相繼開放了多語言檢索服務,走在整個行業前面。而當搜尋引擎的國際化業務全面鋪開時,跨語言技術正是最能派上用場的一塊拼圖。
舉個例子。你想查「中菲黃岩島對峙」,作為普通讀者,你關心的可能是事件來龍去脈與最新進展;作為時事愛好者,你可能想看網友的愛國言論。這些需求,現有中文搜尋都能應付。
但如果你想知道「外國媒體怎麼報導、外國民眾怎麼議論」,中文搜尋引擎立刻束手無策。原因並不難理解:中文搜尋引擎以中文為地基搭建,收錄的多是中文資料,考量的多是中文語料特性與中文使用者的習慣。一旦要跨語言,難題隨之而來——先不說我們手上有沒有足夠的外文索引,就算有,語言結構的巨大差異加上各國截然不同的網路使用習慣,也讓「精準命中相關外文內容」變成一件極不容易的事。
這道牆並非無法翻越。早在上世紀六十年代,現代資訊檢索奠基人、康乃爾大學的 Salton 教授發表《Automatic processing of foreign language documents》,首次為這個方向開了一扇門。只是那個年代沒有網路,研究只能停在小型實驗階段,連「跨語言資訊檢索」這個名稱都還沒正式出現。
轉機出現在九十年代。美國國家標準技術研究所與國防部前沿研發活動中心聯合舉辦了資訊檢索領域最重要的會議 TREC(The Text REtrieval Conference)。1996 年瑞士的 SIGIR-96 上,第一次出現以跨語言檢索為主題的研討;2000 年,歐盟成立「跨語言評估論壇」(Cross Language Evaluation Forum),每年定期舉辦研討並推動技術評比。自此,這個題目成了資訊檢索的顯學,投入者絡繹不絕。
要理解難點在哪,得先回顧經典的資訊檢索流程:
第一步,對使用者輸入的 query 做特徵抽取,轉成特徵向量;第二步,對已抓取的文檔同樣做特徵抽取,並給每個特徵權重以表示重要程度;第三步,計算 query 特徵與文檔特徵的相似度,判斷相關與否。最常用的相似度算法是餘弦(cosine),也有從語義主題切入的作法。有了相似度,就能排序文檔,把最相關的排在最前面作為檢索結果。使用者往往還會給出回饋(例如點擊行為),這些訊號能衡量檢索效果,反過來優化模型。

把這條流程放進跨語言場景,問題就浮現了:當 query 與文檔的語言不同,兩者的特徵空間根本不在同一個維度上。中文的特徵集合是「某個中文詞是否出現」,英文的特徵集合是「某個英文詞是否出現」,兩邊交集極小,原本好用的相似度計算瞬間失效。
最直覺的思路就是翻譯。透過翻譯,把一種語言的詞彙映射到另一種語言,讓 query 與文檔落回同一個特徵空間,再套用單語檢索模型完成檢索與排序,跨語言檢索於是成立。
具體有兩條路:
Query 翻譯——把查詢詞翻譯成文檔語言,再用翻譯後的 query 去檢索。同一個詞可以保留多個候選譯法,藉此擴大召回,本質上也是一種查詢擴展。
文檔翻譯——把文檔翻譯成 query 語言,再用原本的 query 檢索。文檔翻譯通常在離線完成,一篇源語言文檔經機器翻譯轉成目標語言文檔。

兩條路都能抵達目的地,但取捨明顯:文檔翻譯的譯文品質通常更好,代價是龐大的離線處理時間與儲存空間,實用性打了折扣。因此無論學術界還是工業界,主流選擇都是 Query 翻譯。