上個月寫過一篇產品推薦的文章《我所了解的產品推薦》,內容很泛,多為工作心得。這週讀了幾篇相關論文,收穫頗多,分享點乾貨。
以下內容整理自《個性化推薦系統的研究進展》,該文發表於 2009 年 1 月《自然科學進展》專題評述,作者為劉建國、周濤、汪秉宏。我略去了具體算法與大量公式,重點看原理、思路與比較。
網路技術迅速發展,大量資訊同時呈現在面前,而傳統搜尋演算法只能給所有用戶一樣的排序結果,無法針對不同用戶的興趣提供服務。資訊爆炸反而降低了資訊利用率,這被稱為「資訊超載」。個性化推薦(包括個性化搜尋)被認為是目前解決這個問題最有效的工具之一。
推薦問題從根本上說,是代替用戶評估他從未看過的產品——書、電影、CD、網頁,甚至餐廳、音樂、繪畫。推薦系統透過建立用戶與資訊產品之間的二元關係,利用已有的選擇過程或相似性關係挖掘每個用戶潛在感興趣的對象。
一個完整的推薦系統由三部分組成:收集用戶資訊的行為記錄模組、分析用戶喜好的模型分析模組、推薦演算法模組。其中推薦演算法是最核心的部分,依演算法不同可分為協同過濾、基於內容、基於用戶—產品二部圖網路結構、混合推薦,以及其他方法。
第一代被提出並廣泛應用的推薦系統,如 Amazon 的書籍推薦、Jester 的笑話推薦。
核心思想:利用用戶歷史資訊計算用戶之間的相似性 → 用與目標用戶相似度較高的用戶對其他產品的評價,預測目標用戶對特定產品的喜好程度 → 依喜好程度進行推薦。計算相似度時大多基於用戶對共同喜好產品的打分,最常用 Pearson 相關性與夾角餘弦。
演算法可分兩類:基於記憶(memory-based)根據系統中所有被打過分的產品資訊進行預測,注重相對偏好而非評分絕對值;基於模型(model-based)收集打分資料進行學習、推斷用戶行為模型,再對產品預測打分。
優點:能發現用戶潛在興趣、推薦新資訊;能推薦難以進行內容分析的產品。
缺點:由於依賴評分,對新用戶推薦或向用戶推薦新產品時精度不高;隨著用戶量增加,計算量線性增長,影響系統效能。
它是協同過濾技術的延續與發展。
核心思想:分別為用戶和產品建立配置檔案 → 比較兩者相似度 → 推薦與配置檔案最相似的產品。例如電影推薦中,系統先分析用戶看過且評分較高電影的共性(演員、導演、風格等),再推薦內容相似度高的其他電影。其根本在於資訊獲取與資訊過濾,因為文本處理研究較成熟,現有多數系統都靠分析產品文本資訊;資訊獲取最常用的方法是 TF-IDF。
優點:能處理新用戶、新產品的冷啟動問題;不受打分稀疏性約束;能推薦新出現與非熱門產品、發現隱藏資訊;能列出推薦內容的特徵,解釋「為什麼推薦」,使用戶體驗更好。
缺點:受資訊獲取技術約束,自動提取圖形、影片、音訊等多媒體內容特徵仍有困難;若兩個不同產品恰好用相同特徵詞表示,就無法區分;若只推薦與配置檔案高度相關的產品,結果會與用戶過去購買的極為相似,無法保證多樣性。
僅把用戶和產品的內容特徵看成抽象節點,演算法用到的所有資訊都藏在用戶與產品的選擇關係中。
核心思想:建立用戶—產品二部圖關聯網路。對於任意目標用戶 i,假設 i 選擇過所有產品,每種產品都具有向 i 推薦其他產品的能力,把 i 沒選擇過的產品按他喜歡的程度排序,把排名靠前的推薦給他。
在相同的用戶喜好程度下,推薦冷門產品比推薦熱門產品意義更大;在相同的精確度下,推薦的產品數量越少越好。提高精確度的方法包括去除重複性、引入耦合閾值(只考慮相似性大於或等於給定閾值的用戶及與這些用戶連接的產品)。
優點:開闢了推薦演算法研究的新方向。
缺點:同樣面臨新用戶新產品問題——剛進入系統時沒有任何選擇或被選資訊,無法建立關聯網路;另外受用戶選擇關係建立時間的影響,若把所有關聯都納入,無法區分長期興趣與短期興趣,過多考慮長期興趣會讓系統滿足不了短期需求,大幅降低推薦準確度。
把上述方法有機結合,實務中最常見的是協同過濾與基於內容的混合。
獨立系統相互結合:獨立運行協同過濾、基於內容、基於網路結構的演算法,再將兩種或多種結果結合,利用預測打分的線性組合進行推薦;或者只推薦某一時刻在某一評價指標下表現更好的演算法的結果。
在協同過濾中加入基於內容的演算法:用用戶配置檔案進行傳統協同過濾計算,用戶相似度由基於內容的配置檔案算出,而非共同打分產品的資訊。這樣可以克服稀疏性問題;此外不僅產品被配置檔案相似的用戶打了分才能推薦,若產品與用戶配置檔案很相似也會被直接推薦。
關聯規則分析:關注用戶行為的關聯模式。比如買香菸的人大多會買打火機,因此可在兩者間建立關聯,藉此推薦其他產品。
基於社會網路分析的推薦:利用用戶購買行為建立其對產品的偏好相似性,據此推薦產品並預測銷售情況,從而加強用戶黏性。