DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
電商數據挖掘入門:關聯規則與"啤酒尿布"是怎麼來的
編輯:SEO優化集錦     

什麼叫關聯

關聯說穿了並不複雜:幾件事物或幾個行為經常一起出現,它們之間就存在關聯。零售業裡最經典的教材,莫過於"買尿布的人順手帶一箱啤酒"。

文/通策信息首席運營官 譚磊

用更學術的說法,關聯描述的是一個事件與其他事件之間的依賴關係。查英文文獻時會遇到兩個容易混淆的詞:relevance(相關性)與 association(關聯性)。前者多用於內容與文檔層面,比如搜索引擎判斷文檔之間的相關程度;後者多用於現實事物,比如電商網站裡商品之間的關聯度,而由它引出的分析方法就叫關聯規則(association rules)。

如果若干屬性之間存在關聯,那麼其中一項的取值就可以由其他項推斷出來。關聯規則通常寫成 A→B 的形式:A 被稱為前提或左部(LHS),B 被稱為結果或右部(RHS)。"買尿布的人也會買啤酒"就可以寫成:買尿布 → 買啤酒。

兩個關鍵指標:支持度與置信度

支持度(Support)指的是整個數據集中同時包含這幾個特定項的概率。假設 1000 筆交易中,有 50 筆同時出現了啤酒和尿布,那麼這條關聯的支持度就是 5%。

置信度(Confidence)則衡量規則的可靠程度:在已經出現 A 的前提下,B 同時發生的概率,計算方式是"A 與 B 同時出現的概率 ÷ A 出現的概率"。

從更寬的角度看,數據關聯是資料庫中一類重要的可發現知識。當兩個或多個變量的取值之間呈現某種規律性,就稱之為關聯。關聯可以分為簡單關聯、時序關聯、因果關聯等類型。關聯分析的目的,是把資料庫中隱藏的關聯網絡找出來。由於我們往往並不知道數據背後的關聯函數,即便知道也未必確定,所以挖掘出來的規則總是帶著一個置信度。

關聯規則挖掘要做的,是從海量數據中找出項目集之間有意思的聯繫。它是數據挖掘領域的重要課題,近些年一直被業界反覆研究。最典型的應用場景是購物籃分析:通過交易數據發現不同商品之間的關係,摸清顧客的購買習慣,進而指導貨架佈局、庫存安排,甚至按購買模式給用戶分群。

挖掘的兩個階段

關聯規則的發現過程可以拆成兩步:

第一步,迭代找出所有頻繁項目集(Frequent Itemsets),要求其支持度不低於用戶設定的下限。

第二步,從這些頻繁項目集中構造出置信度不低於設定下限的規則。

其中第一步是整個算法的核心,也是計算量最大的部分。

支持度與置信度這兩個閾值,是描述關聯規則最關鍵的概念:一組項目出現的頻率叫支持度,反映規則在數據庫中的普遍程度;置信度衡量規則的可信程度。同時滿足最小支持度(min-support)與最小置信度(min-confidence)的規則,才被稱為強關聯規則。

第一階段:找出高頻項目集

這一階段要從原始資料中篩出所有高頻項目組(Large Itemsets)。"高頻"的意思是,某個項目組出現的頻率相對全部記錄而言要達到一定水平。以包含 A、B 兩項的 2-itemset 為例,先算出 {A,B} 的支持度,如果它大於等於設定的最小支持度門檻,那麼 {A,B} 就是一個高頻項目組。滿足最小支持度的 k 項集被稱為高頻 k-項目集(Frequent k-itemset),常寫作 Large k 或 Frequent k。算法接著嘗試由 Large k 生成長度為 k+1 的候選集 Large k+1,如此反覆,直到再也找不到更長的高頻項目集為止。

第二階段:生成關聯規則

第二階段要從高頻項目組出發產生規則。在最小可信度的門檻下,若某條規則的可信度達到要求,它就成了一條關聯規則。比如由高頻項目集 {A,B} 生成的規則,只要可信度不小於最小可信度,{A,B} 就被視為關聯規則。

回到"啤酒+尿布"

把關聯規則挖掘用在交易資料庫上,首先要設定兩個門檻。這裡假設最小支持度 min-support = 5%,最小可信度 min-confidence = 65%,挖掘出的規則必須同時滿足兩者。用公式表示:

Support(尿布,啤酒)≥ 5% 且 Confidence(尿布,啤酒)≥ 65%

前一個條件的含義是:在所有交易記錄中,至少 5% 的交易同時出現了尿布和啤酒。後一個條件的含義是:在所有買了尿布的交易中,至少 65% 同時買了啤酒。

由此得出實用結論:當某位消費者購買尿布時,系統就可以向他推薦啤酒。這條推薦策略並非拍腦袋決定,而是有歷史交易數據支撐——"多數買尿布的人會同時買啤酒"這一消費習慣,被數據本身證實了。

還有一點值得注意:關聯規則挖掘通常更適合處理指標取離散值的記錄。如果原始數據庫中的指標是連續值,就需要在挖掘之前先做數據離散化,也就是把某個區間內的取值歸檔到同一個類別中,再進行後續計算。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved