本篇内容
  • 探索视觉设计原型
  • 选择设计测试方法
  • 可用性测试

从你的自我认知中摆脱出来——并搞清楚用户是怎么想的

本章讨论的技术将有助于你收集与特定设计或设计元素相关的用户信息。我们将专注于通常被用于设计阶段前期的探索技术,并通过测试来验证设计决策,在项目的许多点上都可以用到它。首先,我们先来谈谈如何和你的用户一起来探索设计理念。

我们一般将概念(concept)这个词汇用于描述抽象想法,例如幸福、协作和效率。在UX设计领域,对于项目团队或潜在用户,概念一词经常指代一个或多个抽象概念的设计元素。在这个意义上,概念设计元素可以基于视觉(例如,用一台机器的照片表示效率这个概念),或者它也可以基于文本(例如,通过一些短句来表达公司注重效率,使用如及时或敏捷这样的词汇)。概念也可以是对线框图视觉设计原型、粗略原型(用于表达网站的大体设计)的探索。

概念探索通常发生在己定义好你的用户群之后的设计过程早期,并在开展页面/屏幕的详细设计之前。研究可以为设计师提供灵感,并可减少新产品推向市场时的风险,因为你能够了解到潜在用户可能的各种反应,然后有针对性地制定计划。

概念探索的主要目的是了解你的用户群在面对一系列设计元素时,产生的反应和想法。

概念探索可能由一对一讨论或小组活动(其中可能也包含一些个体活动)组成,旨在收集和讨论各种各样的观点。后者可以设置成焦点小组形成,将其中一部分时间用于概念测试活动,然后进行小组讨论。

概念探索的潜在陷阱

亨利-福特曾经说过,“如果我问用户他们想要什么,他们会要求一匹更快的马。”虽然通过潜在用户你可以得到一些好想法,但是从设计师的角度看,你不能指望依靠他们。毕竟,大多数难忘的设计通常会与之前的设计有很大的不同,并且研究的参与者可能对大程度的改变不容易适应。

参与者的反应与他们的当前理解有关。你要收集的是他们的反应,而不是对他们将来想不想要的预测。此外还要注意很多设计之外的因素对未来行为的影响(例如,正面口碑)。

避免参与者进行直接选择(例如,“哪个概念更好,A还是B?”),而是听他们如何用自己的话描述概念。将结果当成设计过程的输入,并且对设计师不具有强制性。

展示出来的态度和兴趣帮助团队决定设计网站信息的方向——这是体现概念测试价值的很好例子。

1.探索视觉设计原型

在项目的一些时间点上,你可能已经有了可以表达网页潜在设计的原型。 如果你决定和参与者一起进行探索式设计,请最好准备两个或更多的版本供参与者比较和对比。如果只有一种版本,你更可能得到的是一些的反馈:人们不想被认为对原型过于挑剔,因为他们怕伤害设计师的感情。然而,如果有两种或两种以上的原型,他们挑剔起来就会相对舒服,因为他们会侧重于对比设计而不是直接进行批评。

你可以单独给每个参与者一份设计(可以通过显示器也可以通过纸面)并且提问一组问题。
例如,你可以让参与者观看所有的设计,每种设计限时一分钟,然后让他们在列表中至少选择三个能够充分描述设计的词语。 他们可以在一个包含20个单词(如乏味、时髦、保守、吵闹、安全等,以随机顺序出现)的表中来圈出他们的选择。
也可收集针对开放性问题的回答。例如,你可以给参与者留下5行空白,让他们写下对设计的总体印象。
你可能收集到的一些信息如下所示。

  • 参与者通常会触发的品牌联想:”Aon公司是劳斯莱斯的部件制造商:很不错,但是你买不起。”
  • 设计要和生活形态匹配:“我不认为我会让我的儿子去浏览这个网站。他只有8岁, 并且这些图片看起来过于成人化。”
  • 实物模型在解释新概念时的有效性:”我明白了——这个网站就像是婚宴的登记,但是不同的是,你是为慈善捐款而不是为餐具进行登记。”
  • 参与者定义你所使用的一些关键术语的方式:”当我在这个网站上看到解决方案这个词时,它让我觉得我将会找到跟踪货物所需的所有产品和服务。“
  • 关于特定工具将被如何使用以及引入它们会带来哪些影响的问题和关注(以下部分介绍了几个参与者关注点的例子)。

设计者可以通过这些反应来判断其是否符合自己的期望,或是否需要尝试其他方法。
请记住,参与者(和项目的利益相关方,就此而言)经常从不同设计中采搬不同的元素:”我喜欢概念A的这部分,我喜欢概念B的这部分。”这是一种自然反应,但是不应该过于逐字照搬。你不希望不自然地合并两个不同的设计方向。如果视觉设计师觉得可以很好地融合多种流行元素,那么就去做吧。并且留给他/她多上一点“巧克力花生酱色”还是“巧克力泡菜色”的空间或决定权。
总而言之,对于概念测试中应该包含哪些活动以及可测试的元素类型,没有直接硬性的规定。相反,关键是让项目团队对从测试中得到信息种类,以及将如何在不扼杀创意的情况下帮助设计决策有一个正确的期待。

2.选择设计测试方法

-旦你完成概念探索并且提出了方向,就可以考虑和用户一起来测试你的设计决策。
你选择的测试方法会影响到你需要的技能种类、需要的接触用户的方式、开展研究所需的场地和软件。如果你有时间或预算充足,最好准备两种或更多的方法,每种方法都有其优缺点,并且组合两种方法有助于建立全景图像。为了通过正确的数据完成需要解决的问题,以下是一些你需要做的决定。

2.1 定性研究与定量研究

研究方法通常被称作为定性或是定量。定量研究专注于数值型数据,并可基于你的目标用户群提供高可信、可复现的结果。它依赖于所包含的用户(称之为样本)数量足够大,以至于根据它得到的结果在一定的误差范围内可以作为整体用户反应的推论。总而言之,这是一个非常科学的方法,非常规范地对设计进行测试和分析。关键点是评估当前设计,一般会针对本网站的其他迭代版本、针对竞争对手或针对一组绩效标准。

进行定量研究意味着要需要更多的参与者,以弥补个体间的差异,如打字速度、类似网站的熟悉程度等。问卷调查是一个可以覆盖大量受众的信息收集方法,可收集到定量数据——如果你提出恰当的问题。如果定量数据对你很重要,可能你希望使用自动化调查工具,这会在本节后面介绍。

相反,定性研究不专注于信度水平和可重复性,而是专注于用户行为的背景和解释
它依赖于设计师对友现的解释、直觉和常识。定性方法允许开放性测试,这有助于开拓思路和获得独特见解。和用户的讨论和用户绩效一样重要。重点是改善当前设计,获得对呈现事物的见解和响应,以产生新的想法。

2.2 现场研究和远程研究

本书中所涉及的研究方法都可以在现场实施,但是有一些也可以在舒适的家中或者办公室中成功开展。这就是所谓的远程研究,并且因为使用一些可用的工具、设备和技术,它变得越来越有效。这里有一些因素可以衡量是进行现场研究还是远程研究。

  • 场景的情况。通过远程进行研究,而不是让用户来你所在的位置或者(甚至更好)你去用户所在的地方,你会失去一些关于环境的整体情况,即使你让他们安装多个摄像头来观察他们的空间,你也会发现,现场工作的情况很难通过远程方式复制(例如,可以通过观察他们如何填写办公桌上的特定表格来获得洞见)。
  • 需求的情况。在下面所述的情况使用远程研究有其优势。如果你正在测试一个网站,这个网站已经可以使用了,通过立即招募那些主动来浏览网站的用户可以获得重要的背景信息。使用像Ethni。这样的工具拦截刚刚浏览过网站的用户,并且询问他们是否愿意参加研究。对于有资格的人(基于某个可能产生效果的筛选过程)会被指定一位主持人,主持人会要求他们参加访谈或可用性测试。这就是所谓的时间相关研究,这样有很大的好处,因为它包含了执行真实任务的真实用户,这可提供关于他/她们需求背景的有价值信息。而现场研究往往缺乏这种有价值的即时要素。
  • 接触途径。有一个领域认为远程研究是最合适的方法。安排一次现场研究通常需要花费很多时间,对参与者和实施者都是如此。因为远程研究省去了旅行时间、调度混乱和其他可能错过约定时间等方面的问题,是一个获取大量参与者的低成本方式。如果你的目标用户是在其他国家,或者他们有很满的工作日程,远程研究可以使你较好地获取和达到较高的参与率。
  • 成本。远程研究的费用通常被认为比现场研究的低。并不总是这样,因为远程研究的工具和设备也要花钱,并且你仍然需要安排制定出研究计划、测试设计、招聘、酬谢和分析的费用。但是当日程很满的时候,远程研究省去了旅行的花费和时间。
1
2
时间感知研究
在书籍(Remote Research)中,Nate Bolt和Tony Tulathimutte描述了远程研究方法的最大好处之一是,可以拦截正在网站或应用中执行任务的用户。作者称其为“时间感知研究/time-aware research”。你可以尽可能地尝试,现场研究会导入一些非自然因素。毕竟,你要么要求别人离开他们的典型环境(家庭、工作、火车)并且在一个陌生的环境中重现他们的需求,或者你去他们的领域,经常是他们正在处理一些其他事情的时候并要求他们想象测试的任务场景。即时拦截用户会让他们更容易描述是何种需求让其采访问网站。

2.3 远程研究的注意事项

如果你决定进行远程研究,在你的计划里应包含下列步骤

  • 认真选择工具。你选择的工具应该能够有效地帮助你达成整体研究目标。无论你选择哪种工具,要确保在真正采用之前进行一次测试运行。
  • 要考虑你的用户可能拥有哪些软件和硬件。如果你想远程观看用户完成任务,需要确保他们的电脑和软件允许共享屏幕(注意,这可能会提示安全风险,不要假定他们具备安装屏幕共享软件/插件的知识、能力和权限)。如果这会带给你的用户群挑战或挫折,你必须改变你的方法(例如,使用无需特殊软件就可完成的调查或者用现场研究方法代替)。
  • 在活动开始之前测试你的装置。远程工具可能有很多组成部件,尤其是你想使用某个工具拍摄用户并且和其他人一起进行研究时。加上用于记录的软件和设备,其中一些部件很容易忘掉,这会破坏你的研究。
  • 准备好IT故障的排除能力。即使是最好的计划也可能出现意外。如果你正在进行一项主持式测试,你可能发现自己正在随着用户手机上的一个有趣的情况跳踢踏舞。有人帮你找到缺少的插座或“连接上Internet” 会很有帮助。

2.4 有人主持的方法和自动化方法

在这里涉及到的大多数方法都是主持式的,实施者(也被称为主持人)与用户直接对话并在研究中引导他们。通常,对于定性方法,这给了主持人评估参与者反应态度和情绪的机会,调整问题以挖掘感兴趣领域。主持人参与式的方法可能很耗时并且在使用范围上有一定限制,因为实施者的时间有限,能够进行的活动数量受到一定的限制。

Kyle saucy在他的文章中有一个关于自动化工具优缺点的很棒的整体概述,“无监督、远程式可用性测:善或恶”,网址为:http://www.uxmatters.com/mt/archives/2010/01/unmoderated-remote-usability-testing-good-or-evil.php。

用于采集研究的有效自动化工具的数量在近些年来呈爆炸式增长,这些工具方便参与者在网上完成研究实验,并使用工具捕捉用户的反应和行为供后期分析使用。研究人员事先安装好自动测试装置,一段时间以后(或在用户的回应达到目标数量时)对结果进行分析。一般说来,这些方法会获得更多的样本数据,这些数据会显示用户针对特定问题和任务的成功率和行为。要找出哪一个工具最适合你,询问下面这些基本问题,并根据你的回答评价工具。

  • 你最想发现什么?如果你想通过网站分析工具来寻求行为的视觉呈现,你可以在你的运行网站上使用ClickTale这样的工具。如果你想建立网站信息架构,optimalsort可帮你创建一次远程卡片分类测试。如果你想对一个信息架构进行交互测试,可以使用Treejack来模拟浏览一组分类和子分类。如果你想模拟在线任务或需要上传类似于素描、线框图和屏幕截图这样的图像,可以采用类似于Usabilla、Loop11和UserTesting.com这样的工具来帮你设置可视化任务。
  • 你需要捕获什么形式的数据?UserFly捕捉光标运动。ClickTale显示网页上经常被点击地方的热区图。UserTesting.com可以记录用户的反馈。确定哪些信息是必要的,并根据这些信息选择最适合你的工具。当有疑问时,考虑什么可以最好地回答那些紧迫问题,并考虑什么类型的数据对团队成员和将要阅读结果的出资方高层最有效。
  • 你想怎样招募用户?一些工具具有拦访用户的能力,还有一些工具通过一些工具使用费提供一个潜在用户数据库。作为一个低成本选项,你可以希望自己招募用户。
  • 参与者将如何参与你的测试?如果你想自动筛选参与者,并且有多个测试版本,你需要建立自己的网上筛选器,以引导相应的参与者。有些工具可以帮助你筛选用户,并且在多数情况下,你需要给自动化工具配备一个问卷调查工具,如Wufoo或Survey Monkey。
  • 谁负责分析?有一些工具提供报告功能包。还有一些工具提供基本分析,可为你节省繁杂的分析工作。无论哪种方式,你需要有人来验证结果是否和你试图得到的答案一致。

相比主持或研究,自动化研究在计划阶段需要投入更多的努力,因为你要在如何提问上更加小心。尤其是你如果专注于定量数据并且希望得到比较大的回答相同问题的样本量时。你可能希望在评价工具时进行一个示例测试,以确保可以通过选择的工具向目标用户提出合适的问题。
-旦开始获取信息,就很容易通过自动化方法看到数据模式,并且,增加额外的参与者所需要的花费也比主持式方法少得多。但是,为了更好地理解结果含义,在你的测试中必须包含定性问题。

自动化测试通常在简单、线性的任务中表现良好,在任务中你可以提问具体的问题,并且可以很容易地理解用户在任务中成功还是失败(或在有分析工具的情况下,你可以见到标志性问题,例如陡坡现象)。此测试方法可与其他方法良好配合,比如访谈,可提供更多关于动机的信息。并且,仅靠方法本身,就可以帮助团队迅速理解问题域,所以在筹备阶段到详细研究阶段考虑它们都会很有帮助。

3.可用性测试

正如上一节所提到的,你可以和用户一起测试你设计中的很多元素。但是,如果你的目标是搞清并改进用户成功完成产品关键操作的能力,例如,在你的购物车中增加一个产品然后结账,你需要把重点放在可用性测试上。
可用性测试是UX设计测试方法中最常用的方法之一。在那些非UX设计师的群体中也是最有名的。所以你的商业利益相关方或项目团队可能已经对此很熟悉了。这一概念本身是简单的:为你的网站建立一系列的任务,然后让用户执行它们,并记录用户在哪些地方出问题,在哪些地方成功。

可用性测试的概念是:让一群具有代表性的用户对产品进行典型操作,同时观察员和开发人员在一旁观察,聆听,做记录。

该产品可能是一个网站,软件,或者其他任何产品,它可能尚未成型。测试可以是早期的纸上原型测试,也可以是后期成品的测试。

可用性测试vs用户验收测试

你的团队中的一些人可能存在一些误解,认为可用性测试只在开发快完成或部署之前时进行,此时站点或应用已经有一个可操作版本了,比如beta版。这种印象可能来自于通常在此时间点进行的用户验收测试。名字的相似也可能导致两个概念产生混淆。
对于正式通过QA(质检)过程的应用程序,UAT(用户验收测试)是下一个阶段的测试,并且很少让真实用户参与。UAT的主要目的是提供最后的检查以查看应用是否满足利益相关方提出的功能需求;它也可以捕捉参与者报告的错误或bug
尽管UAT可发现可用性问题,但是在项目中不应该仅依赖于UAT方法来捕捉错误。因为它在流程的后期进行,基于UAT的反馈来进行改变会导致花费巨大。在流程的早期、离开发越早的时候发现主要问题越好。可用性测试的目的是在流程的早期提供接近真实的表现信息。

下面的部分讨论了可用性测试中涉及的常见步骤。

  • 规划研究
  • 分析并进行结果呈现
  • 实施
  • 撰写讨论大纲
  • 招聘和后勤准备
  • 提出建议

开始之前先考虑项目目标。这将会帮你在整个项目过程中保持重点,并且在你选好了方法并规划好了测试后的早期阶段会特别的有用。
可用性测试是定性还是定量方法呢?这是UX设计领域中持续最长时间的讨论之一。哪种方法都有可能,设计领域中持续最长时间的讨论之一。哪种方法都有可能,并且都可产生有用的结果。认为更偏向定量方法的支持者认为:

  • 定量研究可以制定度量基准,可以在后面的迭代中进行对比测试,展示出对自标的逐步接近(例如,可以节约20%的结账时间或捕捉一个网站中80%的可用性问题)。这使得其成为比较两个网站或评价某个特定网站的好方法。
  • 提供了可被统计检验的结论,这对于说服相信数据决策的利益相关方很重要。
  • 定量分析降低了因具体UX设计师的偏见影响结果的可能。
  • 在反映整个用户群的结果上具有较高的置信度。
  • 它提供了一个清晰的、可验证结果的数量化方法(例如,有多少用户遇到了同样问题)。

定性可用性测试的支持者认为:

  • 定性研究让设计师形成体验和同理心,专注于为用户提出创造性解决方案。
  • 它高度依赖于设计师的直觉来提出合理建议,这也是它非常依赖于团队的很大原因。
  • 特别是对于可用性测试,定性方法比定量方法的成本低,这是因为它需要较少的用户,并且定性分析不需要正式的科学设计和分析(例如统计学)知识。
  • 很容易对定量研究的结果进行错误的分析,也就是数据也可能说谎(可能是非故意)。所以,定量方法,如果应用不正确,会比定性方法带来更多的风险。
  • 尽管结果未进行数量验证,但它们可以由设计师来确认,设计师通过自己的推理对哪些问题会影响使用做出判断,然后建立起用户的情境故事。

对于没有受过正规科学方法培训的人来说,定性可用性测试方法较为容易,并且为设计提供了丰富的数据。由于这些原因,在本章剩下的部分中,我们将重点探讨定性测试。

多少用户“足够”?

在UX设计师群体中问“多少用户足够?”就像在一次政治讨论中谈起了宗教话题,会形成热烈的争议。
这也是一个无法回避的问题,因为你需要有一个框架来开始你的研究计划。它和你使用的方法紧密相关:定量或定性。
这里给出一个简短答案,下面这些指南在UX领域已获得广泛关识,自Jakob nielsen提供。
对于定量式可用性测试,要计划更多的参与者。每一轮研究需要20名参与者。
对于定性式可用性测试,每一轮研究5到8名的用户通常足够。

理想情况下,进行更多轮的研究是为了拔出可能被隐藏在其他问题下或因新设计而被无意引进来的问题。

3.1 制定研究计划

当设计可用性测试时,为了确定重点和范围,你必须尽旱回答几个问题。并可形成文档以便项目团队和主要利益相关方进行讨论,此文档通常被称为用户研究计划。在计划中列出你所选择的方法。

为什么要进行测试?

基于整体项目的一个或多个目标,详细列出测试目标。了解设计目标的例子以及它们因具体项目目标所产生的差异。

测试谁?

一旦你创建了自己的用户模型,你可将其作为选择哪些用户来参与的依据。 如果你还没有自己的用户模型,与项目团队和涉及的利益相关方开会,对用户群进行优先排序。此信息将作用于你的用户筛选程序(在“招聘和后勤支援”中进行讨论)。在这个时间点上,你也需要确定代表的用户群以及每组用户的数量。

测试什么?

测试什么这个问题包含两个相关问题:你用什么方法来描述网站或程序?你计划测试哪些任务?如果你想重新设计某个已经存在的应用,你可以首先在当前版本上运行整个测试,去发现需要解决的主要可用性问题。如果是针对新设计,你可以使用草图或者纸面原型(例如,打印好的一组线框图)来表现网页这样的新界面元素。这种对UI的低保真度表达可以让你的项目团队快速产生想法并进行讨论,并和参与者一起快速迭代。
当你的新设计中包含高交互性的元素时,在全面动手开发之前,最好先创建一个可快速建立的可模拟真实导航流程的原型。
包含的页面必须紧密联系你所选择的任务。如果你计划使用原型让用户进行测试,你需要设计任务的主要页、中间页和备选路径。你不需要对每个地方都详细设计,你只是需要规划一下当用户访问到该处时的反应即可。有时候可以简单到只是一个说明某路径还不可用的页面,并要求用户返回前一个页面重新尝试。
讨论指南(随后将会探讨)中将包含的任务的定义,但是因为依据你所包含的任务类型,其范围会变化很大,所以在计划中包含一个大纲列表会很有帮助。

如果列表太长并且你不知道如何排序, 这里有一些顺序可供你考虑。

  • 设计中打破惯例的地方。你叫它”促销袋“而不是”购物车“吗?了解一下你的用户是否清楚其含义可能是一个好主意。
  • 充满政治色彩的设计决策的地方。你可能强烈感觉某个设计方向是正确的, 但是你知道在利益相关方或项目团队的其他成员那里存在很多分歧。现实就是如此。
  • 那些可用性问题会造成严重后果的地方。例如销售额下降,更坏的情况是失去生命(比如,涉及药剂量的健康医疗领域)。

接下来,你需要决定当用户尝试执行每个任务时需要收集的信息。

你收集什么样的信息?

我们聚焦于定性可用性测试,它倾向于小规模测试。在多数情况下,你希望了解用户可能会遇到的问题,他们经历的沮丧程度,以及某个特定问题的严重程度。例如,你可能遇到一个偶发性问题(所有的用户都没有经历过)造成了无法挽回的损失,这应该成为你的报告中被高度关注的问题。
通过你测试的用户或通过多轮测试获得见解,同时在测试中也考虑收集一些定量数据。再次强调,如果你是通过少量用户进行定性测试,不要过于看重这些数字(如果你只是测试5个用户,计算出一个平均值代表不了太多),但附带的测量可以帮你理解用户遇到问题的严重性程度。
成功:用户完成任务的程度。如果你正在分析多个用户,你也可以称其为”成功率“能够成功完成任务的用户数。这听起来很简单,但这意味着需要定义什么叫成功。

对于不是很正式的测试来说,你可以在用户到达最终状态时称任务为成功(例如,一个编辑成功的确认了一篇文章)。你可以通过注明主持人可干预的程度来更正式的定义成功。

  • 1级提示:主持人回答参与者的问题,但是不提供任何额外细节。例如:参与者问.“我认为应该是这个按钮,我应该点击它吗?”主持人回答说:“试试吧。”只有1级提示不代表任务失败,但是要注意将其记录下来,因为参与者可能在这个点上遇到一些不确定(如果正好是第一个任务,也有可能是因为他对可用性测试不熟悉)。
    如果用户不需要任何提示,或者只需要一两个1级提示,你可以认为这一步是成功的,除非你觉得用户在这上面花费的时间远远超过了用户应有的耐心。
  • 2级提示:测试主持人发现参与者正在挣扎,因此在回答问题的同时也给出提示。这个级别不包括直接给出答案,但是这样的回答可能影响用户决策。例如:主持人可能会说“在这个页面上你认为还有其他与任务有关的东西吗?“在这里可能会有一个限制,即当给出多少个2级提示时认为任务失败(例如,在第二次提示时)或“有困难的完成” 。
  • 3级提示:参与者已经放弃或是正挣扎于某个地方,在平常生活中如果遇到这种任务,他可能已经放弃了。在这种情况下,主持人给出部分任务的直接答案——例如,说如果赞成这个故事就点击”提交按钮”。如果参与者需要3级提示,那么这个任务通常被认为是失败了。
  • 用户满意度:的确,他成功的完成了任务,但是他的感受如何呢?在每个任务的后面包含一些后续问题会很有帮助(在时间允许的情况下),这样你就可以了解执行任务之后你的用户是快乐还是沮丧。如果你面对的用户不善于交谈,那么这可能是你能够接触他们灵魂的主要窗口。

下表展示了一些可供包含的任务后问题示例。

问题 非常反对 反对 既不同意也不反对 同意 非常同意
完成这个任务的时间比我预期的长 1 2 3 4 5
这个任务很容易完成 1 2 3 4 5
当我试图完成任务时,会感到沮丧 1 2 3 4 5

用户满意度问题

用户的表述:这不是一个度量,但是参与者的表述是需要收集的关键数据。在报告中添加用户引述是一个好的方法,它是可以在结果中引入人的因素,这样会使利益相关方不仅仅限于分析数据,还可以获得可导致深刻见解的直觉。在测试过程中你可以对疑问或意见进行标记 , 我们将把那些经过标记的问题在报告中分离出来(见 “产生见解” )。

3.2 招聘和后勤工作

现在你拥有了研究大纲,并且你知道每组需要多少参与者,是时候安排一些测试了。

建立一个列表

在创建研究计划时,你列出你期望包含的用户类型。然后生成一份潜在参与者列表。寻求提供姓名、邮件地址或电话号码的来源,比如:

  • 相关公司网站的注册用户。
  • 客户联系信息。
  • 与研究主题有关的站点或群组。有很多地方可以发布研究信息,例如Craigslist (译者注:类似于中国的58同城),或是瞄准聚焦公司行业的讨论组。
  • 给熟人发送带有测试主题链撞的电子邮件。你应该让那些有兴趣的人转发邀请,因为只邀请你认识的人成为测试主体会干扰结果。这种口口相传的方式对于找到潜在参与者是种好方法,但是你要记住,仍然要对这些候选人进行筛选(如果团队中的你或其他人非常熟悉某人,应该倾向于忽略掉该人)。
  • 通过一个简短问卷的形式来预选参与者,无论是在相关网站或本公司网站的广告上都这么做。
  • 在可能被潜在参与者发现的公共场所张贴广告或进行资格预审的调查问卷。对于与物理位置有较强关联性的网站,你也可以选择在现场来进行绝大部分的筛选和调度工作。
  • 第三方招聘公司可以帮你进行筛选和调度工作。这种选择很昂贵,但是如果你正在寻找很难聘请到的特殊类型的参与者或是要招聘很多人时,通过将这部分工作外包,你可以节省很多时间。有些公司也专注于某特定领域(如医疗)并且可以指导你如何获得高的用户参与率。

准备好在这里发挥创意。利用你的同理心技巧来像用户那样思考——你可以在哪里找到他们并且说明东西会促使他们参加测试呢?

选择酬劳

什么会激励用户群的成员来参加你的研究呢?可能是钱,也可能不是,但是参与者想要 些体现他们时间价值的东西。
当你的研究对象是面向内部用户的网站时,你需要向管理人员展示其价值,利用公司时间参与研究需要得到他们的认可。在这种情况下,你必须重点说明一个更好的系统会如何关乎ta的小组利益?

如果你的研究对象是潜在外部用户时,在决定如何补偿时,你要了解下面一些因素。

  • 受众的一般性和特殊性如何?对于一个广泛使用的电子商务网站,它的受众可能很常见,你可以以赠送优惠券或礼品卡的形式提供较低补偿。对于律师使用的应用,你的补偿应该具有高价值,而且最好使用现金以外的东西作为补偿(例如,一种优质服务的使用权)。在那些情况下,优惠券实际上可能像是一种侮辱——那些一小时收费250美元的人不太可能会因为少量的金钱来参与活动。如果面对的是尊贵客户,将他们作为特殊受众考虑,并给他们较好的酬劳。
    主题本身会产生多少吸引力呢? 些参与者会参加是因为他们想知道你正测试的领域会发生些什么。如果是他们感兴趣的领域,你可能不需要提供多少额外的酬劳,奖励是有机会接触别人没有见过的东西。但现实是:你可能热衷于你的主题,
    但是你的用户会吗?人们参加研究会否仅仅是为了想对研究做出点贡献呢?一些群体崇尚利他主义,这可能扭转给参与者提供现金的惯例。如果你测试的东西有益于社区(无论在线或是线下),并且参与的体验会胜过报酬,你可能会获得很多参与者,很多快乐的参与者。在这种情况下,你可以用公开声明来表明你的谢意,并且让他们知道,站点完成时,其中哪些部分来自于他们的贡献。
    参与者是否方便?如果要求参与者前往你所在的地点,你需要准备更多的酬劳。如果他们在舒适的家中或者办公室里参加远程测试,需要的酬劳较少。当然,计算酬劳时,也应该考虑时间因素,人们会希望2个小时的补偿远远高于30分钟的。

可能的补偿形式

你的具体情况可能有所不同,但你可以考虑如下形式的酬劳。

  • 与普通用户进行半小时的远程测试,$30。
  • 与普通用户进行一小时的现场测试,$80~$120。
  • 与你确定愿意得到金钱酬劳的特殊用户进行一小时的测试,$180~$250。
  • 为期三个月的免费服务;该公司生产的产品(通常还不是每个人都可以获得);类似六个月的专属会员这样的服务,提供给对现金不太感冒的特殊用户群体,如律师、医生和销售经理。

此处再次体现了创建和聚焦于人物角色的作用。什么将会促动你的用户群?

筛选

在安排用户之前,通过问卷对潜在参与者进行筛选。确保了他们是你认为的有代表性的用户。通过问题来达成以下几点。

  • 确保参与者是你当前正测试功能的用户或潜在用户。
  • 将他归进一个或多个用户群。
  • 帮助你在某用户群中获得合适配比的参与者。
  • 排除有过参与经验的可能扭曲结果的参与者。
  • 在参与者到达之前, 汇集你需要知道的关键细节(可选)。

你的筛选问卷应该包含一个介绍脚本,应聘人员可以通过电话阅读它,根据指示来判断何时录用参与者(如果他们合格)或终止电话(如果他们不合格)。

规划场地和设备

在这里,你需要知道是远程研究还是现场研究以及分配给每个参与者的时间。下面是一些你需要做的其他决定。测试的地点:带观察室的租用地点,公司的会议室或者是潜在用户可能在的地方。

要有一个安静的环境,摆好将要测试的计算机设备,并且剩下的空间还可以让两到三个人感到舒适。 如果你进行远程测试,你还需要一个具备很棒声音设备和可靠互联网的安静房间。

除了主持人之外,你还需要什么样的员工:如,在测试过程中有一个记录员记录信息会帮你节省时间并提高效率。现场研究还可能需要一个招待员(迎接进来的参与者,在人们等待的时候分发调查问卷,并且护送参与者进入或走出实验室),并且在测试过程中还应该有提供IT技术支持的人。
怎样录制测试:有多种方法可以使用,像Techsmith的Morae和Camtasia studio 这样的软件可以很容易地进行屏幕录制。

3.3 编写讨论指南

最后,你需要整理测试所需材料。你已在测试计划中列出了一般性任务,现在需要确定最终的任务描述和指示。在这里至少需要准备两份文档,一份给测试主持人、一份给参与者(复制出足够份数以保证每次测试的使用)。
如果你的任务中需要大量的数据输入以及账户登录,需要提前设定好信息并且为参与者提供提前定义好的数据。例如,如果涉及登录,你可能会需要让所有参与者使用同一组登录信息。确保任务指南中清晰地包含这样的信息以方便参与者填写。

如果你的任务中需要大量的数据输入以及账户登录,要提前设定好信息并且为参与者提供提前定义好的数据。例如,如果涉及登录,你可能会需要让所有参与者使用同一组登录信息。确保任务指南中清晰地包含这样的信息以方便参与者填写。
下面这个例子,展示了如何使讨论指南中的内容编辑任务更加具体化。开始时计划中任务是这样描述的“找到待编辑的文章。”

1
2
3
4
5
6
7
8
9
10
介绍
你的经理要求你承担一个新角色,编辑并批准那些投稿提交到公司网站上的文章。一旦文章获得批准,它将会被发布到网站的新闻板块中。
你和另外三个编辑负责确认这些投稿,以确保其符合公司要求。这里给你提供了编辑工具的登录信息。

用户名: grobertson
密码: come2gether
请用声音读出每个任务,并且使用编辑工具完成它。

任务
登录工具并打开需编辑的文章。

如上所见,我们修改任务让其具有清晰的结束状态,一篇打开的文章。随着你希望规划一次成功的测试并不断深入细节,这种调整很常见。你也可以计划在每次任务完成后进行用户满意度问卷调查。一般来说,最好是一张纸上只有一个任务,这样用户不会提前看到其他任务。

总之,你的测试材料应该包含以下内容。

  • 录像知情同意书。
  • 给主持人的讨论指南和介绍脚本。
  • 给参与者的讨论指南和详细任务、用户满意度问题。
  • 记录表格。形式各不相同,可以是测试软件所带的记录工具,可以是输入用户响应的电子表格,可以是可选择关键信息(如可能响应类型)的打印好的模版。在测试之前花费一点额外时间来设置格式,以确保你最后得到的结果具有一致性,并可帮助你在回看记录时节省很多时间。
  • 一份问卷(可选)。有时候参与者来的比较早并且还需要等候,这是收集额外信息的好机会。如果你以前设计过调查问卷,为什么不在这里重用一下呢?
  • 酬劳方式,通常在测试完成后给出(装好信封的钱,或是大家广为接受的礼品卡例如Visa礼品卡等)。如果你选择某种服务方式这样的酬劳,不是在测试后当面递交,则一定要确保参与者不会在晚于第二天收到。

3.4 实施

主持人的工作是向参与者介绍测试过程、回答基本问题并且在让参与者尽量表现自然的情况下,尽可能获得洞见。

确保在测试过程中采用出声思维的方式,就类似于他们在自言自语(如果他们已经开始默默的进行,你要轻轻地提示他们采用出声思维的方式)。
采用“出声思维”方法,可从用户行为中获取最多洞见。如果在他们执行任务时你可以听到他们的想法,那么你就可以知道他们解决问题的思路,和“出声思维”相比,如果是在解决完问题后再让参与者回忆过程,那么你可能收集不到那么精确的信息。

出声思维(think aloud)法是最早出现的言语报告法,即让被试利用外部言语进行思考,使自己的思维过程外显化并得以在一定程度上被直接观察。出声思维法由心理学家邓克尔1945年提出。

并且也要注意,不要太快地告诉参与者“正确”答案。进行可用性测试最困难的一点是,看着你精心挑选的参与者在某个问题上挣扎,并且你不能提示他们,让他们自己与问题战斗。

毕竟,你进入这个领域,可能是因为你是一个具有同理心的人。你想去帮助他们。所以当你看到别人越来越沮丧,可能会感到有点是对别人施虐,从而当他们向你寻求帮助时,你会回应,”如果你自己试试这个,会怎么样呢?“

无论如何,当参与者正在进行测试并向你询问时,在回答他们之前要先hold住几次呼吸的时间。参与者最可能在测试开始时问你问题,尤其是他们对工作时你坐在旁边感到有些尴尬时。一旦他们意识到你在观察他们而不是为了与他们交谈,相对于你的存在,他们会更关注任务。

如果用户的努力已经远超出你预计他们自己在现实场景中会付出的努力,并且你也已经了解,为什么他会走到错误路径上时,是时候进行下一步了,尤其是你还有很多任务需要完成,并且你不想让他带着沮丧的心情一直到测试的结尾。
在第6篇中我们提到了在用户访谈中避免引导性问题的重要性。 在这里同样适用。如果你感觉自己过于青睐设计,并且严厉的批评可能引起你的反弹,就要考虑训练另一个人做主持人,而你做记录。

3.5 分析和展示结果

这时你已经完成了所有的测试并且需要辛苦地读完堆积如山的数据。但是也有一些发现你觉得很重要,并且你的团队很想知道它是怎样发生的。
你可能想安排一个面向团队的关于你的重要发现的口头总结,你可能需要做一个重要的临时口头概述。它可以帮助你用语言表达注意到的一些趋势,并且帮助你为以后的报告搭建基础。一定要表明这些只是初始印象,你需要时间进行更细致的分析。在你对问题的起因有一个全面了解之前,你不需要立即提出建议。
一旦你有时间来分析数据,要注意以下几点。

  • 可供分析数据的时间。人很容易陷入细节并试图包罗万象。要聚焦于测试和目标,并梳理出重要发现。如果你有10小时的测试录像,并且有5天的时间来写完整的报告,你可能不想花费时间来观看每个测试录像。依据笔记记录重新看录像主要是为了确定你记得的关键引述已经被正确的记录。
  • 结果将如何使用。这是一个重要的但经常被低估的细节。你可以创造一个长达20页的漂亮报告, 但是可能只有其中的一页会真正发挥作用概要。
    如果你的利益相关方希望看到详细内容,报告就会成为交流结果的主要形式。如果你认为需要两种的细节水平,一个面向利益相关方,另一个面向项目团队,可同时考虑为报告创建一个用于展示的版本,这个展示版要以更明显、易消化、分优先级的方式着重介绍关键发现。对更加详细内容感兴趣的人可查阅全面报告。

排序事宜

在测试结束时,你可能会有一个很长的问题列表需要解读和排序。这里提供一些可帮助你判断错误严重程度的特征项。

  • 后果。碰到该问题时会导致的负面结果。例如,如果一个参与者因为可用性问题丢失了数据,这应该得到一个高评级。比方说,她花10分钟去填写一份复杂表格,然而意外选择的一个链接把她带到另一个页面。当她点击浏览器后退按钮后,她的数据是否消失了?
  • 可恢复性。在用户遇到问题后可以从中恢复的程度——例如,他能否很容易通过其他路径返回。发生频率。因为数据不是来自大数量用户,所以这不适宜单独作为严重程度的标志。但是,如果五人犯同样的错误,并且导致他们选择了一条不那么好的路径,这很好地表明了你应该将其标为高优先级。
  • 合理原因。如果一个问题不经常发生,但它是由你用户群中的某位用户碰到的,并且她是因为一个合理原因出现的此问题,问题的出现有其明确原由,当你提建议时应该考虑此问题。

产生洞见

除了那些你收集到的问题外,你还有丰言的用户陈述,这可给项目团队带来有价值的见解。如第6篇所述,亲近图是收集这些语句及进行协同式模式识别的很好方法。

下面是一些可用于分类用户语句的方式:

  • 目标
  • 价值陈述
  • 心智模型
  • 愉悦
  • 理念和功能要求
  • 挫折
  • 期望
  • 因应措施

见解和建议中一定也要包含正面发现。可用性测试报告经常被认为过于消极,这是因为相对于运行顺利的部分,研究人员总是优先考虑需要修改的部分。花时间讨论好的东西将会使大家对整个报告留下深刻印象。它也可以促使设计团队愿意跟进结果, 并且非常乐于让设计变得更好。

产生建议

可能在你开始分析之前,你在脑海中已经有了关于如何修改测试中所发现问题的好想法。在获得问题和见解的过程中将其勾画出来,这样就不会丢失。要小心,不要过早地认定某一个想法,多考虑一些可解决更多问题的其他潜在方法。

一个好的建议应该有以下几个特点。

  • 如果可以的话, 最好解决一个以上的问题。你可能希望将一组问题聚集到一个大的建议下,这取决于你对问题描述的详细程度和具体程度。
  • 可操作和简单, 避免不成熟的详细设计。
  • 措辞直接但不高人一等。接受批评是一件困难的事情, 尤其对于那些直接参与设计的人。不要对问题轻描淡写, 但是一定要记住, 你的话应该有建设性并且礼貌。

请记住,建议需要向针对系统一样的针对最终用户。当你完成报告,绕一圈回来,问问自己是否达到了原始目标,并且如何最好地为那些使用它们的人(利益相关方、设计师、开发人员)提供结果。

温习:

  • 概念探索的介绍以及探索视觉设计原型,提出方向
  • 测试你的设计决策
  • 定性研究与定量研究/现场研究和远程研究
  • 可用性测试与用户验收测试,测试用户数量
  • 制定研究计划的步骤
  • 收集信息
  • 招聘和后勤工作
  • 分析和展示结果

(完)