|
“需要幾名參試者”，相信凡是做過可用性測試的人來說都會遇到這個問題。由于出發(fā)點不同，團隊中的不同人員，例如產(chǎn)品經(jīng)理，項目經(jīng)理，可用性工程師，技術開發(fā)人員等在這個問題上會有不同的看法。面對這樣的討論，不少從業(yè)者感覺自己是對的，要說服對方時卻又沒有把握、缺乏底氣。這篇文章的目的就在于嘗試幫助理清可用性測試的幾個基本問題，以便“幾個用戶”類似問題的解決，更加靈活地運用可用性測試方法。
可用性測試的屬性 ——
可用性測試是要發(fā)現(xiàn)問題
可用性測試，故名思議是評估（測試）設計方案或者產(chǎn)品的可用性水平。目前最常用的評估可用性水平的指標有：用戶在沒有幫助的情況下完成任務的比例，完成任務所用的時間，用戶尋求幫助的次數(shù)等等。這些指標對于描述可用性水平有益處，但卻不是重點�？捎眯詼y試的更重要的成果是從可用性工程學的角度來支持這些數(shù)據(jù)，也就是發(fā)現(xiàn)并指出產(chǎn)品或者設計方案中存在的可用性問題――當然也包含優(yōu)點。可以說在大多的項目中，特別是在迭代反復的產(chǎn)品開發(fā)流程中，可用性測試的根本目的是發(fā)現(xiàn)問題并解決它，從而提高產(chǎn)品的可用性水平。從Nielson的這張“經(jīng)典”的用戶與發(fā)現(xiàn)可用性問題數(shù)量關系的圖表中，你可以得到這樣的體會：“5名用戶的測試可以發(fā)現(xiàn)85%的可用性問題”――請暫時忽略這里的具體數(shù)據(jù)，而關注并且記住這句話的主干：“測試發(fā)現(xiàn)問題”。
可用性測試是定性研究
絕大多數(shù)的可用性測試都是定性研究而不是定量研究。熟悉統(tǒng)計學的人都清楚，定量研究需要相當大的樣本量才能達到一定的信度和效度。根據(jù)Nielson最近的一篇文章，要做定量的可用性測試研究，每個用戶類型至少需要有20名用戶 。這對于一般的測試項目來說成本太大以致無法承受。雖然有部分定量的可用性研究，但就我們目前所從事的大多可用性測試來說都是定性研究。也就是說絕大多數(shù)情況下，我們得到的只是描述性的結(jié)論，而那些嘗試將測試結(jié)果推論到整個用戶群體的想法都是不切實際的，徒勞的， 錯誤的。
可用性測試不是萬能的
可用性測試是找可用性問題的方法，所以可用性測試非常適合于發(fā)現(xiàn)設計方案、產(chǎn)品中存在哪些可用性問題，并幫助解決它。這個優(yōu)點，特別對于迭代式的產(chǎn)品開發(fā)流程來說，非常有效，經(jīng)過測試－改進－再測試的幾個周期，可以顯著地提高產(chǎn)品的可用性水平。
但是，如果你的項目經(jīng)理希望通過這個測試來了解這個產(chǎn)品有多好，上市后有多少人會喜歡或者喜歡那個特殊設計點，或者有將來有多少比例的用戶能順利完成某個操作？不，請明確告訴他，這不是可用性測試能做的。記住，可用性測試是定性研究，定性研究的樣本量得出來的結(jié)論不具備推論的效度。可用性測試中確實會有一些比例數(shù)據(jù)，但這個比例只能作為參考。
究竟幾個人合適？ ——
我的時間少，資源有限，三個人可以嗎？
面臨時間短，資源有限，用戶難找等問題，是可用性從業(yè)者普遍面臨的問題。手頭的資源僅夠測試三個人，還值得去做嗎？遇到這樣問題的時候，我們往往會遲疑。回想前面提到的，可用性測試是要發(fā)現(xiàn)問題，解決問題。測試三個人能實現(xiàn)這個目的嗎？當然可以！問題已經(jīng)有答案了。是的，由于可用性測試是定性研究，而且就發(fā)現(xiàn)問題這個角度來說，三個人的測試和六個、八個的測試僅僅是發(fā)現(xiàn)問題數(shù)量上的差異。我們不僅贊成，而且非常鼓勵這樣規(guī)模小，周期短的測試。
客戶要求做十五個測試，有必要嗎？
國內(nèi)外諸多經(jīng)驗，包括筆者兩年多的工作經(jīng)驗中也體會到，在測試完5個用戶之后，發(fā)現(xiàn)重要的可用性問題的幾率，也就說測試的效率已經(jīng)比較低。繼續(xù)做更多的測試，最多情況是看更多的用戶在同樣的位置出現(xiàn)同樣的錯誤。由于繼續(xù)做測試的產(chǎn)出與投入的比例比較低，我們并不推薦這樣做。
有的人希望多測試幾個人，希望了解有多少比例的用戶會遇到特定的情況。對于這種需求，我們只能不勝其煩地解釋：可用性測試作為定性研究，不能得出這樣的推論。另外還有個很重要的問題需要考慮：發(fā)現(xiàn)四個人出現(xiàn)同樣的問題后，真的有必要知道多少比例的人會出現(xiàn)這個問題？問題已經(jīng)在那，你需要做的是想辦法解決這個問題，而不是統(tǒng)計有多少人犯了這個錯！
另外可能有人說，我們希望找到盡可能多的，甚至所有的可用性問題。首先，從投入和產(chǎn)出的比例來說，這是非常昂貴而不聰明的做法；另外很遺憾的說，你不可能在一輪的測試中發(fā)現(xiàn)所有的問題。問題存在一定的情境當中，而不是孤立、憑空地存在，有的問題會“埋藏”在另一些問題的下面。例如說，任務3必須要在用戶完成任務1之后才能做，但用戶未能順利完成任務1，此時要么在主持人指導下完成任務1而進入任務3，或者直接跳過任務3。而這兩種方式都會影響任務3的真實情況，而錯過它存在的問題。所以，要發(fā)現(xiàn)任務3存在的問題，就必須先解決任務1中存在的問題。
推薦的做法 ——
盡早開展測試，不要擔心測試的人數(shù)太少而放棄寶貴的機會。記住，你要做的是發(fā)現(xiàn)最重要的可用性問題并且解決它，測試三個人可以發(fā)現(xiàn)可用性問題嗎？可以，那就去做吧，你會有意想不到的收獲。
客戶／領導要求做大數(shù)量的測試？如果明確測試的目的是要發(fā)現(xiàn)產(chǎn)品中存在的問題，而不是要進行定量分析，那么你應該說服他們采取少人多輪的方式來進行，這樣的做法最經(jīng)濟而且效果最好。
參考書目：
１《When to test and when to hold off》 by Ellen Tauber, Julie Stanford and Laura Klein
出處：UPA中國
責任編輯：藍色
|
