用戶體驗度量：收集、分析與呈現 (紀念版)

Thomas S. (Tom) Tullis 

是富達投資公司（Fidelity Investments）
用戶體驗研究部門（User Experience Research）的高級副總裁，
同時也是本特利大學信息設計學院人因工程方向的兼職教授。
他1993 年加入富達用戶體驗，對該公司用戶體驗部門的發展起了重要作用，
該部門的設備包括一個技術發展水平（state-of-the-art）可用性研究實驗室。
在加入富達投資公司之前，Tom 曾在佳能信息系統（Canon Information Systems）、
麥道（ McDonnell Douglas）、優利系統公司（Unisys Corporation）
和貝爾實驗室（Bell Laboratories）任職。
他和富達的可用性研究團隊曾被多家出版物專題介紹過，
包括《新聞周刊》（Newsweek）、Business 2.0、Money、
《波士頓環球報》（The Boston Globe）、《華爾街日報》
（The Wall Street Journal）和《紐約時報》（The New York Times）。

Tuillis 

在萊斯大學獲得學士學位、在新墨西哥州立大學獲得實驗心理學碩士學位以及在萊斯大學獲得工程心理學博士學位。
他有35 年以上的人機界面研究方面的經驗，在諸多技術期刊上發表了50 多篇文章，
他曾在國內和國際會議上做特邀報告。同時，Tom 擁有8 項美國專利。
合作完成（與Bill Albert 和Donna Tedesco 合著）的Beyond the Usability Lab: 
Conducting Large-Scale Online User Experience Studies 在2010 年由Elsevier/Morgan Kauffman 出版。
Tullis 是2011 年用戶體驗行業協會（User Experience Professional Association，UXPA）終身成就獎的獲得者，
2013 年被SIGCHI（ACM 人機交互特別興趣組）遴選為人機交互學會會士（CHI Academy）。
可通過@TomTullis 關注Tom。William (Bill) Albert 目前是本特利大學設計和可用性研究中心的執行總監（Executive Director），
也是本特利大學信息設計學院人因工程方向的兼職教授。
在加入本特利大學之前，他是富達投資公司用戶體驗部的總監，
Lycos 公司的高級用戶界面研究員，也曾是Nissan Cambridge Basic Research的博士後研究人員。
Albert 曾在30 多個國內和國際會議上發表和報告過他的研究。
2010 年，合作完成（與Tom Tullis 和Donna Tedesco 合著）
的Beyond the Usability Lab: Conducting Large-Scale Online User Experience Studies， 
並由Elsevier/Morgan Kauffman 出版。他是Journal of Usability Studies 的共同主編（co-Editor in Chief）。
因為他在人因學和空間認知（spatial cognition）領域內的研究，
Albert 獲得了加州大學聖塔芭芭拉分校和日本政府所授予的獎項。
他從華盛頓大學獲得學士和碩士學位（地理信息系統），
在波士頓大學（地理―空間認知）獲得博士學位。
他在Nissan Cambridge Basic Research 完成了博士後研究。
可通過@UXMetrics 關注Bill。
 

第1章引言/ 1
1．1什麼是用戶體驗/ 4
1．2什麼是用戶體驗度量/ 6
1．3用戶體驗度量的價值/ 8
1．4適用於每個人的度量方法/ 9
1．5用戶體驗度量的新技術/ 10
1．6十個關於用戶體驗度量的常見誤解/ 11
誤解1 ：度量需要花太多的時間而難以收集/ 11
誤解2 ：用戶體驗度量要花費太多的錢/ 12
誤解3 ：當集中在細小的改進上時，用戶體驗度量是沒有用的/ 12
誤解4 ：用戶體驗度量對我們理解原因沒有幫助/ 12
誤解5 ：用戶體驗數據的噪聲太多/ 13
誤解6 ：只能相信自己的直覺/ 13
誤解7 ：度量不適用於新產品/ 13
誤解8 ：沒有度量適用於我們正在處理的問題/ 14
誤解9 ：度量不被管理層所理解或讚賞/ 14
誤解10 ：用小樣本很難收集到可靠的數據/ 14
第2章背景知識/ 16
2．1自變量和因變量/ 16
2．2數據類型/ 17
2．2．1稱名數據/ 17
2．2． 2順序數據/ 18
2．2．3等距數據/ 18
2．2 4比率數據/ 19
2．3描述性統計/ 20
2．3．1集中趨勢的測量/ 20
2．3．2變異性的測量/ 22
2．3．3置信區間/ 23
2．3．4通過誤差線來呈現置信區間/ 25
2．4比較平均數/ 27
2．4．1獨立樣本/ 27
2．4．2配對樣本/ 29
2．4．3比較兩個以上的樣本/ 30
2．5變量之間的關係/ 32
2．6非參數檢驗/ 33
2．7用圖形化的方式呈現數據/ 35
2．7．1柱形圖或條形圖/ 36
2．7．2折線圖/ 38
2．7．3散點圖/ 40
2．7 ．4餅圖或圓環圖/ 41
2．7．5堆積條形圖/ 43
2．8總結/ 44
第3章規劃/ 45
3．1研究目標/ 45
3．1．1形成式可用性/ 46
3．1．2總結式可用性/ 46
3．2用戶目標/ 47
3．2．1績效/ 47
3．2．2滿意度/ 48
3．3選擇正確的度量：10種可用性研究/ 48
3． 3．1完成一個業務/ 50
3．3．2比較產品/ 50
3．3．3評估同一種產品的使用效率/ 51
3．3．4評估導航和/或信息架構/ 51
3．3．5提高知曉度/ 52
3．3．6問題發現/ 53
3．3．7使應急產品的可用性最大化/ 53
3．3 ．8創造整體的正向用戶體驗/ 54
3．3．9評估微小改動的影響/ 55
3．3．10比較替代性的設計方案/ 55
3．4評估方法/ 56
3．4．1傳統（引導式）的可用性測試/ 56
3．4．2在線（非引導式）可用性測試/ 57
3．4．3在線調查/ 60
3．5其他研究細節/ 61
3．5．1預算和時間表/ 61
3．5．2參與者/ 62
3．5．3數據收集/ 64
3．5．4數據整理/ 64
3．6總結/ 65
第4章績效度量/ 67
4．1任務成功/ 69
4． 1．1二分式成功/ 70
4．1．2成功等級/ 75
4．1．3任務成功測量中存在的問題/ 78
4．2任務時間/ 79
4．2．1測量任務時間的重要性/ 80
4．2．2如何收集和測量任務時間/ 80
4．2．3分析和呈現任務時間數據/ 83
4．2．4使用時間數據時需要考慮的問題/ 87
4．3錯誤/ 89
4．3．1何時測量錯誤/ 89
4．3．2什麼構成了錯誤/ 90
4．3．3收集和測量錯誤/ 90
4．3．4分析和呈現錯誤/ 91
4．3．5使用錯誤度量時需要考慮的問題/ 93
4．4效率/ 93
4．4．1收集和測量效率/ 94
4．4 ．2分析和呈現效率數據/ 95
4．4．3結合任務成功和任務時間的效率/ 98
4．5易學性/ 100
4．5．1收集和測量易學性數據/ 101
4．5．2分析和報告易學性數據/ 102
4．5．3測量易學性時需要考慮的問題/ 104
4．6總結/ 104
第5章基於問題的度量/ 106
5．1什麼是可用性問題/ 107
5．2如何發現可用性問題/ 108
5．2．1面對面研究/ 110
5．2．2自動化研究/ / 110
5．3嚴重性評估/ 110
5．3．1基於用戶體驗的嚴重性評估/ 111
5．3． 2綜合多種因素的嚴重性評估/ 112
5．3．3嚴重性等級評估系統的應用/ 113
5．3．4嚴重性等級評估系統的忠告/ 114
5．4分析和報告“可用性問題相關的度量” / 115
5．4．1獨特問題的頻次/ 115
5．4．2每個參與者遇到的問題數量/ 117
5．4．3參與者人次/ 118
5．4．4問題歸類/ 119
5．4．5按任務區分問題/ 119
5．5可用性問題發現中的一致性/ 120
5 ．6可用性問題發現中的偏差/ 123
5．7參與者數量/ 125
5．7．1五個參與者足夠/ 125
5．7．2五個參與者不夠/ 127
5．7．3我們的建議/ 129
5．8總結/ 129
第6章自我報告度量/ 131
6．1自我報告數據的重要性/ 132
6．2評分量表/ 132
6．2．1 Likert量表/ 133
6．2．2語義差異量表/ 134
6．2．3什麼時候收集自我報告數據/ 134
6．2．4如何收集自我報告數據/ 135
6．2．5自我報告數據收集中的偏差/ 135
6．2．6評分量表的一般指導原則/ 136
6．2．7分析評分量表數據/ 137
6．3任務後評分/ 141
6．3．1易用性/ 141
6．3．2情景後問卷（ASQ） / 141
6．3．3期望測量/ 142
6．3．4任務後自我報告度量的比較/ 143
6．4測試後評分/ 147
6．4．1合併單個任務的評分/ 147
6．4．2系統可用性量表/ 148
6．4．3計算機系統可用性問卷/ 150
6．4．4用戶界面滿意度問卷/ 152
6．4．5有效性、滿意度和易用性的問卷/ 153
6．4．6產品反應卡/ 154
6．4．7測試後自我報告度量的比較/ 155
6．4．8淨推薦值/ 157
6．5用SUS比較設計/ 158
6．6在線服務/ 159
6．6．1網站分析和測量問卷/ 159
6．6．2美國客戶滿意度指數/ 161
6．6．3 OpinionLab / 164
6．6．4在線網站調查的問題/ 166
6．7其他類型的自我報告度量/ 166
6．7．1評估特定的屬性/ 166
6．7．2具體元素的評估/ 169
6．7．3開放式問題/ 171
6．7．4知曉度和理解/ 172
6．7．5知曉度和有用性差距/ 173
6．8總結/ 174
第7章行為和生理度量/ 176
7．1自發言語表情的觀察與編碼/ 176
7．2眼動追踪/ 178
7．2．1如何進行眼動追踪/ 178
7．2 ．2眼動數據的可視化/ 180
7．2．3興趣區/ 183
7．2．4常用眼動度量指標/ 186
7．2．5眼動分析技巧/ 188
7．2．6瞳孔反應/ 189
7．3情感度量/ 190
7．3．1 Affffectiva公司和Q傳感器/ 191
7．3．2藍色泡沫實驗室和Emovision / 193
7．3．3 Seren公司和Emotlv / 195
7．4緊張和其他生理指標/ 197
7．4．1心率變異性/ 197
7．4．2心率變異性和皮膚電研究/ 198
7．4．3其他測量手段/ 199
7．5總結/ 201
第8章合併和比較度量/ 203
8．1單一可用性分數/ 203
8．1．1根據預定目標合併度量/ 204
8．1．2根據百分比合併度量/ 205
8．1．3根據z分數合併數據/ 211
8．1．4使用單一可用性度量（SUM） / 213
8．2可用性記分卡/ 215
8．3與目標和專家績效比較/ 219
8．3．1與目標比較/ 219
8．3．2與專家績效比較/ 222
8．4總結/ 223
第9章專題/ 225
9．1實時動態網站數據/ 225
9．1．1基本的網站分析/ 226
9．1．2點擊率/ 229
9．1．3棄用率/ 230
9．1．4 A/B研究/ 231
9．2卡片分類數據/ 234
9．2．1開放式卡片分類數據的分析/ 235
9．2．2封閉式卡片分類數據的分析/ 241
9．2．3樹測試/ 244
9．3可及性數據/ 246
9．4投資回報率數據/ 249
9．5總結/ 254
第10章案例研究/ 255
10．1淨推薦與良好用戶體驗的價值/ 255
10．1．1方法/ 256
10 ．1．2結果/ 257
10．1．3在界面設計中對投入進行優先級設置/ 258
10．1．4討論/ 260
10．1．5總結/ 261
參考文獻/ 262
作者簡介/ 262
10．2度量指紋採集的反饋效果/ 263
10．2．1方法/ 263
10．2．2討論/ 271
10．2．3總結/ 273
致謝/ 273
參考文獻/ 273
作者簡介/ 274
10．3 Web體驗管理系統的再設計/ 274
10．3．1測試迭代/ 275
10．3．2數據收集/ 276
10．3．3工作流程/ 277
10．3．4結果/ 281
10．3．5結論/ 283
參考文獻/ 283
作者簡介/ 283
10．4使用度量來改善大學招生簡章網站/ 284
10．4．1樣例1 ：可用性測試後決定行動/ 285
10．4．2樣例2 ：網站追踪數據/ 288
10．4．3樣例3 ：人物角色迭代的定位測量/ 290
10．4．4總結/ 291
致謝/ 292
參考文獻/ 292
作者簡介/ 292
10．5利用生物測量技術測量可用性/ 293
10 ．5．1背景/ 293
10．5．2方法/ 294
10．5．3生物測量學的發現/ 295
10．5．4定性結果/ 297
10．5．5總結及給從業人員的建議/ 298
致謝/ 299
參考文獻/ / 299
作者簡介/ 300
第11章通向成功的10個關鍵點/ 301
11．1讓數據活起來/ 301
11． 2主動去度量/ 303
11．3度量比想的便宜/ 304
11．4早計劃/ 305
11．5給產品確定基線/ 306
11．6挖掘數據/ 307
11．7講商業語言/ 308
11．8呈現置信程度/ 308
11．9不要誤用度量/ 309
11．10簡化報告/ 310
參考文獻/ 312