網頁測試能帶來很多好處,但這裡要說的幾個誤區會把你直接帶偏。SO,別犯這樣的錯誤。
單變量測試就是只測一個變量的多個取值,也就是我們平時說的 A/B test。注意,A/B 測試並不只限於 a、b 兩個版本——a/b/c/d/e/f/g 同樣是 A/B 測試。

多變量測試則同時存在多個變量。比如變量是 logo 的大小、顏色、布局:大小有 3 個取值,顏色有 3 個,布局有 2 個,需要測試的版本就有 3×3×2 = 18 個。這就是所謂的全因子實驗設計。不過傳統製造業一般不會這麼做,成本太高,於是有了正交實驗設計,可以在較短時間內找到顯著更優的方案——但它並不適用於互聯網場景。
顛覆性設計測試指的是全新的(Radical redesigns),多用於新產品,totally different,測的是整体的 look-and-feel。
那什麼時候用 A/B,什麼時候用多變量?
A/B test 的適用條件:
多變量測試的適用條件:
1. 分析程序本身不靠譜
開始測試之前,先確認分析工具的配置是正確的。這樣不僅能保證測試前的判斷可靠,測試過程與測試後的數據也才有效。補充一句:關鍵是測試前後採集數據的方法要統一。即使存在系統性誤差,只要前後一致,對比結論就不會把你帶進溝裡。
2. 沒有用戶細分
平均值會掩蓋真正的問題。假設你測出網站平均跳出率是 59%,按用戶類型細分之後可能會發現:新用戶是 74%,回訪用戶只有 38%。那麼真正該優化的目標,是降低新用戶的跳出率。
同樣的情況也存在於國內用戶與海外用戶、郵件訂閱者與非訂閱者之間。可悲的是,並不是所有分析工具都支持用戶細分。
補充:有效的用戶細分必須與業務緊密結合,通常需要先建模,用合理的變量去切分,這樣的細分才有指導意義。
3. 用錯了度量指標
指標選錯,後面所有結論都是白做工。要選真正能反映業務目標的那個指標,而不是最容易拿到的那個。
4. 測試時間太短
補一點統計知識:均值檢驗、卡方檢驗等等。不要過早宣判某個版本獲勝——樣本量不足的時候,短期領先往往只是噪聲。
以上內容多整理自 https://www.getelastic.com/5-common-ab-multivariate-testing-mistakes/