問卷法是定量分析的常用手段之一,在我們的用戶研究中,常用來調查使用者對產品的體驗或徵詢意見,為產品優化提供量化依據。它既可用於基礎用戶研究,也可用於產品用戶研究;既可用於橫向研究,也可用於縱向研究。不同的研究目的,對應不同的問卷審核方式。為了讓問卷取得的數據能客觀反映現實,我們整理了以下幾個品質控制點。
說明
基礎用戶研究:按性別、年齡、職業、收入、教育、地區等維度對用戶分類,可以得到某個行業中人群的基本特徵與觀點,但這種分類方式並不能幫助發現能支撐產品改進的數據。
產品用戶研究:通常從行為差異切入分析,而差異行為背後往往是動機在起作用,動機又取決於目標,所以最終通常會落到用戶目標上。先按「目標」劃分用戶群,再去了解同一目標用戶的人口統計資料——這與基礎用戶研究恰好相反,也正因此兩者互補。
引用自《產品用戶研究和基礎用戶研究》,Angela 發表於 User Research
確定研究目的是任何研究中最重要的環節。編製問卷之前,必須明確這份問卷要達到的目標(即需求方希望調查的內容,簡稱需求點)、調查的目標人群與投放渠道。
控制需求點:題項過多會影響答題品質。依前人研究結果與實際經驗,態度題不宜超過 20 題,總題項最好不超過 30 題。
資料搜集方法:可采用桌面研究(客服回饋、日誌分析、銷售與市場資料)、頭腦風暴、電話訪談等方式釐清核心目標,並為編製問卷累積素材。
編製之前必須明確目標群體,並盡量用客觀指標區分。例如:新用戶/流失用戶/連續用戶;不同資金管道的用戶;不同活躍程度的用戶。
投放時需要考慮樣本代表性、回收週期與數量。一般投放週期為一週,可採定向投放(如郵件)與非定向投放(如站內系統)。定向投放的回收率不應低於 5%(完成人數 ÷ 參與調查總人數)。
測謊題 1 至 2 題,用於判斷是否認真作答;設置反向題;盡量不用單一題目去評定一個結論。
選擇題與開放題;單選與多選;等距量表。
設計者與執行者對概念理解不一致;同一題目出現兩個以上概念;使用專有名詞、行話或俗語;選項漏掉综合性選項;出現帶傾向性的暗示問題;使用不確定的措辭;問到受訪者未曾經歷的事導致結果虛假;使用可作多種解釋、意義含糊的詞;用否定句陳述導致誤讀;問題缺乏限定前提;選項未涵蓋所有程度。
建立初步的心理融洽,引起作答意願與動機,需要說明:調查者身份、研究目的與價值、受訪者協作的重要性;並寫清作答要求。
問卷正式上線前,還需要審核與測試。
針對問卷內容,使題項與需求點之間的對應關係達到最佳。
評定內容:題目與研究主題密切相關;表述清楚無歧義;避免傾向性問題;確保受訪者有能力回答;盡量不提帶社會壓力的問題;問題具體;對不易理解的題目加簡短說明;詢問切身經驗優於普遍性提問;用多種方式減輕社會壓力。
計分方法:由 4 至 5 名專家獨立評定,半數以上通過的題目才能採用;未通過的進行修改。
針對用語與形式,找 4 至 5 人參與測試,可以問:你對整份問卷感覺如何?當你看到「⋯⋯」時心裡在想什麼?這個問題如果這樣問,你會怎麼回答?這樣問你回答起來會有困難嗎?
正式的預測,約 200 人,受測者不參與設計,初步分析結果以儘早發現問題。
結構化問卷:做信度分析,例如科隆巴哈 α 低於 0.5 的題項進行修改;做效度分析,確認問卷是否測到想測的內容,如結構效度、效標效度等。
非結構化問卷:針對開放題回答進行分析,檢查是否遺漏重要選項。
針對我們的產品,回收的最小有效樣本不應少於 300,分析才有意義。