JJYY

1. 感性vs理性
2. 把A/B测试摆放在正确的位置上（译文）
3. 定量研究的风险（译文）

作者：Jakob Nielsen
译者：UCD翻译小组 , JJYY
原文：http://www.useit.com/alertbox/20040301.html

来自Jakob Nielsen的文章，十分深入的指出了定量研究中存在的各种风险。由于十分专业而且有点长，我把文章的精华在下面摘要出来，大家可以快速阅读，了解便可。如果有兴趣则可继续阅读后面的全文。

用户研究有两种类型：定量研究（注重统计分析）和定性研究（注重了解和洞察力）。

定量研究有着自己的优势，但定性研究能以最少的金钱交付最好的结果。统计分析常常会出错、存在偏见或过度狭隘。数字崇拜者常因专注于统计分析而把可用性研究引入歧途。强调洞察力和定性分析更为重要。

定量研究主要的好处十分明显：它把复杂的情况变成一个单一的便于理解和讨论的数字。如这个例子：在使用网站时，残疾用户比普通用户要困难206%，成年人用户比主流用户要困难122%

在接下来列举的这方面，定量研究存在着与生俱来的风险：

1. 随机结果

研究人员常用统计分析来决定哪些数字“具有统计显著性”。根据惯例，小于5%的界限常被认为更可能是随机结果，但这也暗示着如果研究者完全依赖定量分析的 话，1/20的“显著结果”也许只是随机的现象。同样，也有可能存在真正有价值的事实被忽略的现象（也许因为样本容量或实验原因而没有表现出统计显著 性）。

2. 魔术般变出许多相互关联来

记住：1/20的分析是“显著重要的”，即便根本就没有真正有价值的现象，所以只要测量了足够多的变量，你不可避免会发现其中一些看起来是相互关联的。例如测量7个标尺的研究会在变量之间产生21种可能的联系。因而根据平均值，这里面有1个关联会被统计认为“显著重要”，即便这里面根本就没有真正的联系。

3. 忽略了协变因素

即便一个关联看起来表现出真正重要的现象时，也有可能产生误导——如果真正的关联是并不是在你当前测量的两个变量之中，而是和第三个变量有关。如这个存在误导的例子：研究显示智力随着出生的顺序而递减（换句话就是第二胎孩子比第一胎要笨，第三胎比第二胎笨。。。）

另一个例子如更长的链接文字和用户的访问成功有积极正面的联系，但在这个表象之下隐含的关联是：粗心的设计师往往简单用”更多“、”请点击“ 等文字，而没有去思考用户是不是能够理解。资深设计师可能会使用更容易理解和自然的链接文字，即便可能会长一些。

4. 过于简单的分析

为了获得好的统计结果，研究人员必须严密控制实验的条件。如使用简化的页面和内容去代替真实的、拥有复杂情境的网站。狭隘的研究常忽略掉考虑宏观整体的可用性，这些条件的严密控制可能会使得结果不足以推广到现实世界中的问题。如这个例子：可以非常容易搞一个研究来说明面包屑设计是无用的。

5. 扭曲了的测量尺度

通过在错误的时间帮助用户，或者使用错误的任务，我们可以很容易误导一个可用性研究。实际上只要有针对性的设计实验，我们可以证明任何我们想要的结果。

（我插一句：常常在项目中，研究中，甚至生活中，我们会去证明自己想要证明的，发现自己想要发现的，看到自己希望看到的。这是无数错误的开始）

此外还有很多引起扭曲的因素如新奇效果。

6. 出版偏见

编辑总是遵循“人咬狗”的原则去突出新的、有趣的故事，不论科学期刊还是流行杂志都一样。这可能造成十分新奇、与众不同的研究结果得以曝光，即便它存在着严重偏见或者不实。 例如网站响应时间是否重要的故事。

总结

从上我们可以看到定量研究有着与生俱来的风险，如果你在没有洞察力的前提下去依赖数字，你将被绊倒在数字所引导的错误道路上。相比起来，定性研究会更加稳固，也不太会因为一些方法上的弱点缺陷而完全失败，即使研究不见得在每个细节都完美，你仍然可以通过定性分析去了解用户和观察他们的行为来获得许多好结果。

专家会比初学者能从定性研究中获得更多更好的结果。但在定量研究中，只有最好的专家才能得到有效的结果，并且只有当他们十分小心的时候。

如果你感兴趣，可以接下去看全文。

全文 ———————————–

统计分析常常会出错、存在偏见或过于狭隘。数字崇拜者常因专注于统计分析而把可用性研究引入歧途。强调洞察力和定性研究更为重要。

用户研究有两种类型：定量研究（统计学）和定性研究（洞察力）。定量研究有着奇特有趣的优势，但定性研究能以最少的金钱交付最好的结果。并且定量研究常常太过狭隘并会产生误导。

定量研究的主要好处十分明显：把复杂的情况变成单一、便于理解和讨论的数字。我自己有所体会，例如在对人们使用网站的报告中：残疾用户比普通用户要困难206%，成年人用户比主流用户要困难122%。

当然，上面的数字结果忽略了需要厚厚一叠纸来解释的细节：为什么对于这些人群来说网站难于使用？我们应该要怎么做？

在上面的例子中，数字的确告诉了我们一些事情：

它告诉我们相比成年人用户，残疾用户所处的情况要糟糕得多。知道这个数值能帮助公司更好决定如何分配宝贵的资源。

它还告诉我们这不是一个小问题。如果一部分用户使用网站只比其他人难了5%，绝大部分人会说“无所谓，就这样吧”，但206%对我们许多人来说难以接受。

数字也可以帮助比较不同设计的优劣和进行长期跟踪。如果十年后，成年人使用网站的难度只比年轻用户高50%，那就可以说我们取得了实质改进。

提防数字崇拜

当阅读其他人的研究报告时，我常发现他们的定性研究结果要比定量研究结果更为可靠和有价值。认为统计研究比基于洞察力的观察研究更有价值是一个危险的倾向。实际上，绝大多数统计研究比定性研究的可靠性更低。设计研究和医学不一样，在传统学科中最为接近它的是人种学。

UI和可用性是与情境高度相关的，它的有效性依赖于对人类行为的深刻了解。典型的情况是设计师需要对设计指导规范（Design Guidelines）进行组合和取舍，这就要求去了解这些设计准则后的基本原则及原理。针对一个特定功