破洛洛文章簡介:框計算中的需求分析概述。
框計算的目標,是用戶提供基於搜索框的一站式搜索服務。舉例來說,當用戶在搜索框輸入"非誠勿擾",系統便能判斷出該query包含尋求電視節目視頻、電影視頻、查找影評、參與討論及查看相關新聞等多重需求,然後把這些不同需求分配給最優的內容資源或應用去處理,最終精准高效地把結果呈現給用戶。圖1展示了"框"對query"非誠勿擾"的滿足情況。由此不難看出,框計算的第一步,就是識別一個query具有哪些需求——這正是需求分析要完成的任務。

圖1 "非誠勿擾"的框計算結果
需求分析是框計算的入口,因為只有分析出query的需求,才能更好地展現相應結果去滿足用戶。因此,對query的需求分析得越準確、覆蓋的query越多,用戶的滿意度就越大。需求分析是框計算中最重要、也是難度最大的環節之一。
識別query的需求,最容易想到的方法是查詞表。比如把所有電影、電視劇名事先收集進詞表,只要用戶輸入表中的詞,就能判斷該query是否有尋找視頻的需求。這種方法的好處是快,缺點卻非常明顯:首先,它只能把query劃分為兩個維度——要麼有視頻需求,要麼沒有。但很多視頻名字具有多重含義,在視頻之外還有更強的含義,若直接出視頻需求,反而會極大傷害用戶。比如有個廣告片叫"百度一下",或許六成以上用戶並不熟悉,若他們輸入"百度一下",系統直接給出同名視頻,這六成人只會感到困惑。其次,這種方法滿足不了大多數用戶的需求:用戶尋找視頻時的表述方式多種多樣,如"士兵突擊全集""士兵突擊 高清""士兵突擊全集在線觀看",三個query都有強烈的找視頻需求,查表卻無法識別。再次,它無法覆蓋電影、電視劇之外的視頻需求——有視頻需求的往往不止影視,很多流行或時效性的東西也有強烈視頻需求,如"西單女孩""釣魚島撞船"等。最後,這種方法缺乏預測性,識別出的query數量有限:詞表內的詞能識別,表外詞條卻無能為力,因此若詞表規模為N,最多也只能識別出N個query有視頻需求。
由上述分析可總結出,一個好的需求分析方法至少要滿足:1)具備很高的準確率與召回率,即能在識別出九成以上query需求的同時,保證識別出的需求95%以上正確無誤;2)具有良好的預測能力,能準確預測未知query的需求;3)具備識別需求與解析字段的功能,即在識別需求的同時,還能高效地從中解析出所需信息。
下面是幾個典型例子,讀者能從中對需求分析的任務有大體了解。
圖2中,需求分析要解析出query具有匯率轉換需求,並解析出數額56.7、源貨幣為美元、目標貨幣為人民幣。

圖2 直接展現匯率結果
圖3中,需求分析需識別出query具有查找火車時刻表的需求,並解析出起點站為北京、終點站為上海,進而直接為用戶呈現從北京到上海的火車時刻表,極大方便了用戶獲取信息。

圖3 直接展現火車車次相關信息
圖4、圖5分別展示了需求分析如何通過識別query具有查找生僻字、單位換算的需求,並直接給出答案的過程。這一過程對用戶不可見,對系統卻意味著一系列複雜的識別、解析與展現。

圖4 滿足生僻字查詢需求

圖5 滿足單位換算需求
圖6則顯示,需求分析識別出用戶query具有尋求招聘職位信息的需求,並解析出公司名、職位兩個字段,隨後系統直接從相關數據源檢索出所需職位展示給用戶。

圖6 滿足用戶搜索招聘職位需求
從上述分析與示例可知,query需求分析的目標,是識別query的意圖或感興趣的領域,並從中抽取所需字段。要完成這項任務極具挑戰:首先,用戶query表述方式的多样性帶來不少困難,比如"查天氣"這一需求,用戶就有上百種不同表達。其次,相近query可能具有截然不同的需求,如"從北京到上海車距"與"從北京到上海車票",前者偏自駕需求,後者偏火車時刻查詢需求;同為明星,王菲、張學友有強烈的視頻、圖片需求,而李開復、張亞勤等科技明星,最強烈的卻是查找百科信息。最後,用戶query常用自然語言表述,有時還含縮略與拼寫錯誤,如"5新加坡元=?美元""5人名幣等於多少美元"。這些客觀問題都加大了需求分析的難度。
為更好地滿足用戶形形色色的需求,強大的需求分析必不可少。百度框計算的需求分析,是通過對query的語義分析,結合用戶行為分析與海量計算技術實現的,經多重評估已達到很好的效果。舉例來說,通過分析一天幾百億次的用戶檢索query,用機器學習的方法,我們便能自動從中學習出用戶各種慣用或冷僻的表述方式,再結合語義分析、信息抽取等技術,就能準確高效地實時識別query需求並解析所需信息,為廣大網民提供最便捷的搜索服務與體驗。