我很喜歡《流言終結者》這個節目,因為它面對的挑戰是真實的。節目用一種令人愉快而科學的方法,去測試人們普遍認同的說法。我最喜歡的部分,除了爆炸,就是自己所信仰的東西被證明並不真實——這讓人保持開放心態、專注於現實。我也喜歡它的另一面:揭露那些尚未成立的流言。這正是本文的視角。
寫作的動機,是幫助用戶體驗研究人員以開放的心態看待在線可用性測試。已有研究人員使用這種方法多年,效果不錯;有人剛剛接觸,想了解它的優勢與局限;也有人形成了某些觀點,因為種種原因認為它不管用。希望透過拆解這些流言,我們能依真實的功過來評估這個工具。
最常見的說法是參與者不會認真——他們心不在焉,只想盡快做完拿獎勵,甚至虛報測試品質。這確實存在,但大體上只佔所有案例的 5%–10%。好消息是,這些數據有成熟的技術可以清除。
辨識並移除「投機者」並不難,他們的行為是可預測的。「扁平化作答」指某些人的答案全是 1 或 5;「速度檢測」用來確認他們是否認真讀了每一題;一致性檢驗可透過重複語意的題目分析回答的一致性;移除不切實際的任務時間也很容易,能過濾掉那些中途離開去過週末的參與者。此外,篩選問題可以事先排除欺騙性較高的應募者。
歸根結底,在線可用性測試的數據能與傳統實驗室測試一樣可靠,唯一的差別是分析前需要先做清理。

當有人告訴我,在線可用性測試只適用於收集任務成功率、完成時間、滿意度這類基本指標時,我一直感到驚訝。似乎因為樣本量大,人們就認為只能得到定量數據,而無法取得體驗的定性資料。這離事實頗遠。
在線可用性測試的好處之一,正是能同時收集大量定量與定性數據。例如用戶在某個任務上有困難,他們可以留下註解說明為什麼困難、原本希望發生什麼。這些詳細評論可以在體驗的任何環節收集,甚至能在用戶表現出特定行為時(比如中途放棄交易、偏離導航路徑)觸發提示。
詳細評論不僅易於收集,也易於分析。目前已有許多工具能從中快速提取關鍵模式,關鍵詞群組就是一種能迅速描摹評論要點的方式。
不少人認為在線可用性測試只適用於產品完成之後,屬於總結性評估,無法指導設計,或者說在設計階段太慢太貴。這並不符合實際。
在線可用性測試能在幾小時內建置完成,也能很快收集數據——我們曾經在一天之內完成建立、發布與分析。它足以回答設計階段的問題,例如導航方式、標籤命名、外觀與風格的參數選擇。有些設計決策無法靠小樣本得出真實答案,有時候我們需要從成千上萬的用戶那裡快速收集數據,來確認重大方案。
有研究人員認為它只能用於網站評估,不能用在軟件、語音應答系統、手機、家電乃至烤箱上。雖然大量案例確實聚焦網站,但這並非必要限制。
多年來我們用在線可用性測試評估的對象並不限於網站界面。方法在理論上是相同的:向參與者提問、給予任務、收集他們對真實體驗的反饋。唯一的差別是無法追蹤行為,但仍能收集大量體驗數據:他們能否順利完成任務、花了多長時間、感受如何、遇到什麼困難。放棄部分行為數據,並不影響其餘研究的價值。
有人說想做很多在線可用性測試,但經常性使用太貴。過去確實昂貴,幸運的是近年出現了各種工具,讓它不再需要大量經費。有許多自助服務商允許你自行建立並執行研究,只需為其技術付費,供應商一覽可參考 www.measuringux.com。
如果預算確實緊張,也有打折甚至基本免費的方案。借助一些線上問卷工具(如 SurveyGizmo、SurveyMonkey)加上少量 HTML 與 JavaScript,你可以逐步搭建幾乎零成本的在線用戶研究;當沒有預算時,放棄部分數據與功能是必要的代價。關於如何建立低成本的可用性測試,www.measuringux.com 有更詳細的說明。
我可能說服不了你相信這些流言不真實。但無論如何,我支持你把在線可用性測試納有用戶體驗設計與研究的一部分。這樣做,你會親自發現它的優點與局限。畢竟每一種用戶研究方法都有自己的優缺點,在線可用性測試也不例外。
編輯注:如果對這個課題感興趣,Bill 最近撰寫了《超越可用性實驗室:指導更大規模的在線用戶體驗研究》。翻譯:upa 編輯小組-墨雁。


