推薦系統已廣泛應用於各類網站——電商中的商品推薦、博客裡的文章推薦,以及幫助人們尋找音樂和影片的應用。但如何從無到有地為網站配備一個推薦系統?針對這個問題,我曾在搜索引擎中遍尋多時,始終沒找到滿意的答案。其間我也加入了國內推薦系統高手雲集的郵件列表(不乏當當、卓越亞馬遜、豆瓣等領先產品的技術高手),浸淫多日卻仍無法在腦海中形成一個以內容推薦為最終目的的產品框架或路線圖。這種狀態一直持續到我讀完《集體智慧編程(Programming Collective Intelligence)》才得以改觀。下面把此書的部分讀書筆記整理出來,希望能給同樣感興趣的朋友梳理出一個可操作、適合內容型網站的推薦系統框架。
我們知道,了解內容網站推薦信息最沒技術含量的方法,莫過於問朋友;而且其中總有一些人品味更高,透過觀察他們是否也和我們一樣喜歡同樣的東西,能逐漸摸清情況。但隨著選擇越來越多,靠詢問一小群人來確定所需,會越來越不切實際——因為他們未必了解所有選項。這正是人們發展出「協同過濾(collaborative filtering)」技術的原因。目前領先的推薦系統(Netfilx、豆瓣、Amazon等)基本都是用它實現的。協同過濾又分為:基於用戶、基於項目、基於模型的協同過濾。
那麼到底什麼是協同過濾?它需要產品設計者做哪些事才能實現?(為簡化問題,這裡著重介紹基於用戶的協同過濾。)一個基於用戶的協同過濾算法,通常做法是對一大群人進行搜索,找出與我們品位相近的一小群人,再考察他們偏愛的其他內容,組合成一個經過排名的推薦列表。因此,產品設計者需要讓網站依次完成以下幾件事:
搜集偏好意味著尋找一種表達不同人及其偏好的方法。例如豆瓣要求用戶對每部電影用1到5顆星評分,以體現對某部影片的喜愛程度。若你在設計購物網站,不妨用1代表有人購買過某商品、0代表未曾購買;對新聞投票網站,則可分別用-1、0、1表達「不喜歡」「沒投票」「喜歡」。無論偏好如何表達,你要做的是建立一種方法,讓用戶參與表達,並把表達內容對應到數字,形成相應的數據集合。
有了偏好數據集後,需要一種方法來確定人們品味的相似程度。為此,可將每個人與所有其他人對比,計算他們的相似度評價值。可達到此目的的方法有多種:歐幾裡德距離、皮爾遜相關度、余弦相似性、調整余弦相似性、Jaccard系數、曼哈頓距離算法等。請記住,各種方法各有所長,要依具體場景選取一種或幾種綜合使用。
歐幾裡德距離(Euclidean Distance Score):以人們一致評價的物品為坐標軸,將參與評價的人繪製到圖上,考察彼此間的距離遠近。x軸、y軸分別代表電影Dupree和Snake,第一象限裡則是每個人對這兩部的評分。

不難發現,Toby對Snakes和Dupree評分為4.5和1.0,LaSalle則是4.0和2.0。按歐幾裡德距離的結論,偏好越相似的人,在偏好空間的距離就越短。至於如何計算兩者距離,用初中所學的幾何知識即可:算兩點每個坐標的差值,求平方後相加,最後對總和取平方根。值得一提的是,此方法對多於兩項的評分同樣適用。因此,你可以設計一個函數計算兩用戶間的相似度,前提是兩者有一定重合的評分項。

皮爾遜相關度(Pearson Correlation Score):其原理是透過判斷兩組數據與某一直線的擬合程度來衡量相似度。當數據不是很規範(如影評者評價總相對於平均水平偏離很大)時,它往往能給出更好的結果。
下圖是Mick LaSalle與Gene Seymour分別對5部電影的評分(x軸、y軸對應的是兩個人),虛線被稱為最佳擬合線(best-fit line),繪製原則是盡可能靠近圖上所有坐標點。若兩位評論者對所有影片評分都相同,這條直線將成為對角線,並與所有坐標點相交。

下圖展示了一個更高相關系數的例子,意味著Lisa Rose與Jack Matthews在這幾部電影上有更高相似度(各點更靠近最佳擬合曲線)。

皮爾遜方法能修正「誇大分值(grade inflation)」的情況:上圖中,雖然Jack總傾向於給出比Lisa更高的分數,但最終直線擬合度仍較高,因為兩者偏好相對近似。也就是說,若某人總傾向於給出比另一人更高的分數,且分差始終保持一致,兩者依然可能存在很好的相關性。而歐幾裡德距離法,會因一人評價始終更「嚴格」(分數相對較低)而得出兩者不相近的結論,即使他們品味相似。這一行為是否是你要的結果,取決於具體場景。
皮爾遜相關度算法首先找出兩位評論者都曾評價過的物品,計算兩者評分的總和與平方和,並求得評分的乘積之和,最後據此算出相關系數:

(公式能看懂,但我尚未能從數學上理解其推導過程,慚愧。)
理解上一步後,這步就簡單了:根據指定人員對每人打分,找出最接近的匹配結果,即所謂該人的最近鄰。回到前面的例子,目的是尋找與自己品味相似的影評者,那麼只需以自己為基准,計算每個人和你的相似度,排序輸出前幾項即可。假設你是Toby,這一步之後你會得到一個最近鄰列表——比如你可能會知道Lisa、Mick和Claudia是與你品味最相近的三個人。
找到趣味相投的影評者固然不錯,但最終目的是一份影片推薦列表。簡單做法是從與自己最相近的人所喜歡的影片中,挑一部自己還沒看過的——但這樣有些隨意或粗糙:因為該人未評價的影片,也許正是我們所喜歡的;又或者會推薦給你某人特別熱衷、但其他所有評論者都不看好的影片。
為解決上述問題,我們需要一個加權評價值來為影片打分:

圖中Critic列是與Toby做相似度對比的人名,Similarity列是他們與Toby的相似度系數;Night、Lady、Luck都是電影名,所在列是這些人對電影的評分;S.x打頭的幾列是相似度系數與評分相乘的結果。如此一來,相比不相近的人,與我們相近的人將對整體評價擁有更多貢獻。
有人会問,為什麼不直接採用Total這行,而要Total/Sim.Sum?這是因為,受更多人評論的影片會對結果產生更大影響,因此必須除以Sim.Sum(所有對該電影有過評論的評論者相似度之和)。就像Night的Total為12.89、有5人評分,而Lady為8.38、4人評分。假設Night有相同Total分數卻多一倍的人評分,其最終的Total/Sim.Sum也未必一定比Lady更好。
至此,我們已得到一個經過排名的影片列表,你可以決定要不要觀看其中某一部,或者乾脆什麼也別看。其實,有時候「什麼都不推薦」也是一種推薦。
最後,我用lovelycharts畫了這張流程圖(用的時候才發現它不支持中文)。如果你也想設計一個推薦系統,現在應該大致清楚要做哪幾件事了吧。
