DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁腳本 >  >> WEB網站前端 >> 關於網頁技巧
A/B 測試與多變量測試:四個常見誤區
編輯:關於網頁技巧     

網頁測試能帶來很多好處,但這裡要說的幾個誤區會把你直接帶偏。SO,別犯這樣的錯誤。

先分清三種測試

單變量測試就是只測一個變量的多個取值,也就是我們平時說的 A/B test。注意,A/B 測試並不只限於 a、b 兩個版本——a/b/c/d/e/f/g 同樣是 A/B 測試。

多變量測試則同時存在多個變量。比如變量是 logo 的大小、顏色、布局:大小有 3 個取值,顏色有 3 個,布局有 2 個,需要測試的版本就有 3×3×2 = 18 個。這就是所謂的全因子實驗設計。不過傳統製造業一般不會這麼做,成本太高,於是有了正交實驗設計,可以在較短時間內找到顯著更優的方案——但它並不適用於互聯網場景。

顛覆性設計測試指的是全新的(Radical redesigns),多用於新產品,totally different,測的是整体的 look-and-feel。

那什麼時候用 A/B,什麼時候用多變量?

A/B test 的適用條件:

  1. 新手入門;
  2. 只有一個變量要測;
  3. 要測的是「全新設計」(一個個改實在太慢了);
  4. 流量太低——多變量測試會導致統計上不顯著。

多變量測試的適用條件:

  1. 流量充足,且有多個變量;
  2. 正在追趕行業領頭羊;
  3. 無法直接測試「全新設計」。

四個常見誤區

1. 分析程序本身不靠譜

開始測試之前,先確認分析工具的配置是正確的。這樣不僅能保證測試前的判斷可靠,測試過程與測試後的數據也才有效。補充一句:關鍵是測試前後採集數據的方法要統一。即使存在系統性誤差,只要前後一致,對比結論就不會把你帶進溝裡。

2. 沒有用戶細分

平均值會掩蓋真正的問題。假設你測出網站平均跳出率是 59%,按用戶類型細分之後可能會發現:新用戶是 74%,回訪用戶只有 38%。那麼真正該優化的目標,是降低新用戶的跳出率。

同樣的情況也存在於國內用戶與海外用戶、郵件訂閱者與非訂閱者之間。可悲的是,並不是所有分析工具都支持用戶細分。

補充:有效的用戶細分必須與業務緊密結合,通常需要先建模,用合理的變量去切分,這樣的細分才有指導意義。

3. 用錯了度量指標

指標選錯,後面所有結論都是白做工。要選真正能反映業務目標的那個指標,而不是最容易拿到的那個。

4. 測試時間太短

補一點統計知識:均值檢驗、卡方檢驗等等。不要過早宣判某個版本獲勝——樣本量不足的時候,短期領先往往只是噪聲。

以上內容多整理自 https://www.getelastic.com/5-common-ab-multivariate-testing-mistakes/

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved