用户体验测评工具“ uxtester™ ”新版正式发布
发布时间:2024-01-03 2024

用户体验测评工具“uxtester™”新版正式发布,作为伊飒尔公司诚意献礼,“uxtester™”是基于伊飒尔公司多年的项目经验和深厚的理论水平,契合大数据和人工智能的步伐,所开发的植于云业务场景和 Saas 平台的用户体验测评工具。

 

 

该产品包括可用性测试启发式评估项目档案三个模块,基于 SaaS 平台开发,是用户体验工具集 uxoffice® 的部件之一,也是伊飒尔用户体验数字平台 ISAR uxdigital® 的重要构成部分。该软件的理论建构主要依据 ISO 9241 的相关用户体验原则。

 

 

用户体验体系分为:用户研究、用户界面设计、测评和指标三个部分。产品和服务的测评是用户验证的必要环节,但长期以来依赖人工手动操作,耗费大量时间和精力,所产出的众多测试报告,也无法进行系统的类比和分析。uxtester™ 能使可用性测试的执行、数据分析及管理规范化和智能化,通过对该工具的试用、评估和测算,可有效降低 50% 以上的人员成本。

 

 

模块一:可用性测试模块

 

可用性测试模块的使用者是主持人、记录员、远程观察者,以及部门负责人。其信息架构设计遵循可用性测试流程原则,分为四个部分。

 

 

 

 

1.   测试准备

 

这个阶段包括熟悉产品、场景和任务设计、参试者招募和测试排期、实验环境准备等。

 

 

1.1 项目管理甘特图

 

标明项目各阶段的任务、进度和阶段输出物、里程碑等。

 

 

 

项目管理甘特图

 

1.2 场景和任务设计

 

可进行测试场景和任务内容的编辑。场景提供用户进入测试的心理暗示,任务被分派在场景里执行。也就是说,测试任务被组合成若干个场景单元。比如,场景一:周末全家准备开车去承德避暑山庄游玩。任务一是设置导航路线。

 

 

 

 场景和任务设计

 

 

软件提供场景和任务设计模板,可从模板库调用进行编辑和储存,并为后续同类项目提供参考。

 

 

1.3 参试者招募

 

参试者招募是可用性测试相对比较繁琐的环节,占用的时间也较多。因此,新版软件将用户招募流程简洁化、便捷化。uxtester™ 提供参试者招募的遴选问卷,项目人员可直接从模板库调用,并进行问卷的编辑、发放和回收。经过电话甄别和确认的用户可直接生成参试者卡片,纳入测试排期日程表。

 

 

 

参试者招募

 

 

 

参试者卡片

 

 

软件的亮点之一是双向打通参试者招募和用户数据库之间的通道。一方面可从用户数据库直接找到合适的参试者人选;另一方面,从其他渠道招募的参试用户可以直接沉淀入用户数据库。软件内置有用户数据库,并提供用户特征定义的标准维度,便于用户数据的储存以及之后的机器学习。而且基于用户数据库的问卷设计和分发系统可供用户体验工具集所有软件使用。

 

 

1.4 测试排期

 

测试排期可视化。参试者纳入测试排期日程表。便于主持人、记录员以及远程观察者了解项目测试的具体进程。项目排期表提供编辑功能,方便处理一些不确定因素所造成的参试者人员的变动。

 

 

 

测试排期

 

 

1.5 测试环境准备

 

根据可用性测试方式不同,测试环境有实验室环境、移动实验室环境和远程测试等多种。根据不同测试形式需准备不同测试环境,uxtester™ 可以和外部录音录像设备关联,实时录制多角度的测试视频,便于测后进行测试回顾。

 

 

2. 测试执行

 

标准的可用性测试一般会有 5-7 用户参加,时间两个小时左右,最长不会超过三个小时。我们定义为,真实的用户在虚拟环境里执行真实的任务。

 

2.1 预测试

 

预测试是为测试而进行的测试,是正式测试的预演。通过预测试,可以判断参试者对于任务的理解程度,也可以获得实际的测试时间。供项目团队修订测试材料,完善和改进测试方案。

 

 

2.2 错误标记功能

 

uxtester™ 新增了错误标记功能。测试人员在使用过程中可以实时标注用户操作过程中的错误。uxtester™ 可同时收录并显示三路视频的测试画面,分别是测试产品屏幕、用户的面部表情和用户的肢体动作。三路被整合在一个界面,分为一个主视频和两个副视频,可以自由切换。主持人和记录员均可在软件中标注用户的错误等级及违反的相应的可用性原则,并以弹出框的形式供主持人和记录员快速勾选,自动保存。

 

 

 

错误标记功能页面

 

 

2.3 远程观看

 

在测试过程中,客户可通过 uxtester™ 远程进行观察和记录。并且可以与主持人和记录员连线沟通。

 

 

 

远程观看

 

 

2.4 测后问卷

 

测后问卷分为满意度问卷、SUS 问卷和 NPS 问卷三部分。

 

2.4.1 满意度问卷

 

用户满意度问卷从任务结果达成的满意度、使用过程的满意度,以及美学愉悦的满意度三个层面来探知用户在产品测试之后的主观感受。

 

 

 

满意度问卷

 

 

2.4.2 SUS 和 NPS 问卷

 

SUS(System Usability Scale)系统可用性量表,一般用于在可用性测试后对产品进行主观性评估,包含“可用性”和“易学性”两方面的评价题目。可获得产品在用户侧的整体可用性评分和等级。

 

 

 

SUS 问卷

 

 

NPS(Net Promoter Score)净推荐值,用于测量用户对产品的推荐欲望,是对产品用户体验和用户满意度整体的测量,分值范围为 0-10 分,其中打分 9-10 的用户被称为推荐者(Promoter);打分 7-8 之间的用户被称为被动者(Passive);打分 6 分以下的被称为贬损者(Detractor)。可以获取用户对该产品的推荐值。

 

 

 

NPS 问卷

 

 

3.  用户小结

 

用户小结是每个参试者在完成所有的测试任务后的资料汇集,是测试结果的描述式呈现。用户小结包括参试者信息、测试任务的完成情况、用户出现问题的视频标记、问题分类和违反了哪些可用性原则、问卷结果统计,以及访谈的文字记录等。同时可以对测试视频进行标记、剪辑、生成用户操作的“ Highlight 视频集锦”,这些都可以通过 uxtester™ 进行记录、调用和查看。

 

 

 

用户小结

 

 

用户小结支持测试视频回放功能,方便主持人在测试之后及时通过回放补充和完善相关的资料文档。减少了等待环节,大大提高了测试效率。

 

 

4.   分析和报告

 

uxtester™ 可自动归纳测试小结中的模块,自动生成可用性测试报告的描述部分。报告可进行模板化定制,根据测试对象的差异,从模板库选择相应的报告模板(比如金融 APP)进行编辑和使用。根据 ISO 9241 的标准原则,从有效性、效率性和满意度测试维度,把报告分为下面几个部分:

 

一、任务完成的有效性和效率性分析。

二、可用性问题列表,包括问题严重性等级、问题类型、违反哪些可用性原则,以及完善和改进的建议等。并对可用性问题的分布情况进行可视化呈现。

三、用户满意度得分

四、SUS 得分

五、NPS 得分

六、附录。包括项目概述、用户信息、用户测试小结、Highlight 视频集锦等内容。

 

 

遵循数据可视化原则,报告以图表形式呈现,方便阅读理解。同时,观看 “Highlight 视频集锦”,可清楚了解用户在任务完成过程中出现的问题,以及使用过程中的困惑。测试报告导出支持 Word 版本和 PPT 版本。

 

 

 

 

 

 

分析报告

 

 

模块二:启发式评估模块

 

相对于“可用性测试“的用户评估,“启发式评估”,也称为专家评估。评估人员也就是用户体验专家,按照评估任务设计对产品来进行操作和使用,从而找出可用性问题,并提出完善和改进的建议,让产品的用户体验更加流畅。

 

启发式评估模块的使用者包含研究人员和评估专家两个角色。其信息架构设计遵循启发式评估测试流程原则,分为四个部分:评估准备、评估执行、评估小结以及分析和报告

 

 

 

 

1.  评估准备

 

这个阶段包括项目排期、评估文档编辑、评估专家信息展示等内容。

 

1.1 项目管理甘特图

 

和可用性测试板块类似,该模块可规划项目排期,标明项目各阶段的任务、进度和阶段输出物、里程碑等。

 

 

 

 

1.2 评估文档编辑

 

进行产品评估时,专家会按照评估要求进行产品操作并记录评估情况,还需要编辑评估文档,包括评估标准和评估任务设计。

 

评估标准是专家查找问题和归类的依据,一般包含评估维度、问题严重等级和问题类型三个方面。在评估维度方面,会多采用一些通用原则,比如 Nielson 的十大可用性原则等,但涉及到具体的使用情境,也会使用相关联的原则。因此,该工具软件提供修改和新增的功能,能够满足产品评估的差异性需求。

 

 

 

 

评估任务是专家进行评估的具体内容。因为专家具备的专业知识更多,因此无需像用户可用性测试一样给出沉浸式的场景描述,只需要给出需要评估的功能模块和清楚的任务介绍即可。进行任务设计时,可同时编辑专家记录的具体内容,如问题描述、问题类型、违反原则、问题严重等级、改进建议、问题路径等多个类别。

 

 

 

1.3 评估专家信息

 

uxtester™ 可以添加参与评估的各个专家及其相关信息,并向专家发送参试邀请。如有需要,可以对专家进行排期。

 

 

 

 

1.4 评估环境

 

根据评估方式不同,软件提供不同的实现形式。可以像可用性测试的实验室环境一样,和外部的录音录像设备关联,实时录制多角度操作画面;也可以通过外联设备将测试设备的画面投至软件的窗口中,实现操作画面的实时记录和保存,方便测后进行回溯。

 

 

2.  评估执行

 

启发式评估一般会邀请 3-5 个专家进行评估,评估人员根据通用的可用性原则和丰富的个人经验,发现产品的可用性问题。和其他测评方法相比,具有快速、高效和低投入的优势。

 

 

2.1 评估流程

 

结合专家评估的特点, uxtester™ 在测试执行流程上进行了新的功能设计,比如软件分功能模块呈现评估任务,开始评估时,可以选择某一模块进入评估,完成后便可以进行存档。满足了评估过程中,随时暂停与开始的用户需求。

 

 

 

 

2.2 错误标记功能

 

和可用性测试一样,启发式评估亦具备“错误标记功能”。评估过程中可以随时标注产品的问题,并对之进行描述判断、问题分类、问题等级、违反原则等归类。专家在每个模块评估结束后都可以进入其结果页面,进行查看、修改、完善等编辑工作。

 

 

 

2.3 评估结果查看

 

专家完成一个模块的评估后,项目人员可以从自己的端口进入该模块的回放及结果呈现页,查看评估结果,便于和专家及时沟通和交流。

 

 

3.  评估小结

 

3.1 专家小结

 

专家小结是每个专家在完成所有评估任务后的结果合集。包括参试专家的信息以及该专家记录的所有问题结论,可以直接在工具软件中查看。

 

 

 

 

专家评估的过程会被实时记录,评估结束后可以在小结页面通过评估回放,查看专家评估的过程以及所标记的问题点,方便研究人员和专家及时沟通,完善相关问题描述,提升评估效率。

 

 

3.2 问题归纳

 

整个评估结束后,所有专家的评估结果会汇集到问题归纳页面,研究人员可以对所有评估问题进行合并、修改、删除等操作,最终生成完整的问题列表。

 

 

 

 

4.  分析和报告

 

uxtester™ 可自动归纳所有专家列出的评估问题,呈现完整的问题列表。问题的分布情况主要从问题严重等级、问题类型和违反原则三个方面进行描述。遵循数据可视化原则,分布情况以图表形式呈现,方便阅读理解。测试报告导出支持 Word 版本。        

 

 

 

 

模块三:项目档案模块

 

项目档案模块是 uxtester™ 的亮点之一。所执行的项目资料可以在此储存、上传和归档。“结项资料”是上传和储存各项数据资料的位置,包含项目执行文档、汇报文档和商务文档三部分。所有项目资料上传完成后,便可进行项目结项。

 

 

 

 

项目结束后,会进入项目档案进行归档,后续可直接从此处查看相关项目资料。项目逐渐积累后,可快速对项目进行检索。

 

 

 

 

后续版本里,该功能将不断进行拓展,功能如下:

 

1. 不同项目测试结果的智能化对比

 

针对不同产品或者不同版本的产品进行测试后,可对两次测试的结果进行对比,以观察用户在不同产品上操作的效能、效率、满意度等各方面结果的差异。对于不同版本的产品测试,可直观地获取产品迭代升级后的数据变化。也可以对比不同品牌产品的用户体验水平。

 

2. 对接公司文档库

 

包括 uxtester™ 在内的整个 uxoffice® 用户体验工具集,后续都会逐步实现项目归档和公司文档库的共享,将各类测试项目资料集合至公司文档库中。

 

3. 项目资料的智能化学习

 

大数据和人工智能技术的发展,提供了对项目资料进行智能化解读的可行性。AI 可以对档案库中积累的资料进行分类、标签,提供用户体验垂直领域的机器学习。

 

4. 提供用户体验指标的数据来源

 

uxtester™ 测试数据,可以构建更符合产品特性的测评维度。同时项目档案模块也将和 ISAR uxdigital® 的另一个产品用户体验指标看板 uxindex hub™ 打通,将本工具软件测试结果,作为支撑用户体验指标的数据来源。

 

 

目前,uxtester™ 已实现和“用户数据库”的联通,满足用户招募的需求。后续会逐步实现和公司“文档库”的连通,不断提升用户体验项目效率。

 

 

在用户体验数字化的道路上,伊飒尔体验云自 2019 年以来,紧跟数据化、智能化的技术路线,推出了一系列的 SaaS 产品,不断提升项目执行的效率,降低成本,为大家提供更专业、更有价值的用户体验服务。

 

 

日志法工具 uxnote 将于 2024 年 3 月发布,关注“用户体验大学堂”公众号,第一时间掌握工具最新动态。

 

 

工具咨询可联系:朱亚丽 18237135053,yali_zhu@isaruid.com

留言提交成功