一种测试效果评价方法及系统的制作方法
【技术领域】
[0001] 本发明涉及产品评价技术领域，特别涉及一种测试效果评价方法及系统。
【背景技术】
[0002] 随着科技的发展，智能手机等电子产品已成为人们日常生活中不可或缺的工具。 并且，随着智能手机等在音频、视频性能表现上的不断改善，其已经越来越成为重要的娱乐 设备。人们可以通过智能手机享受高品质音乐，通过智能手机观看高清图片、视频等。随着 市场竞争的加剧，越来越多的厂商把产品的用户体验作为开发新产品的头等重要目标。
[0003] 对于产品的音频、视频等的用户体验需要由人员进行评价，而这种评价往往主观 性极强，对于评价对象效果的确认，难以做到恰到好处的客观评价。
【发明内容】
[0004] 本发明的目的在于提供一种测试效果评价方法及系统，使得主观评价更加客观。
[0005] 为解决上述技术问题，本发明的实施方式提供了一种测试效果评价方法，包含以 下步骤:获取Μ个评价者关于目标对象和对比对象对于N个评价样本的评分值;其中，所述M、 Ν均为大于2的自然数;分别对所述Μ个评价者对目标对象和对比对象的评分值进行差值分 析;对差值分析的结果进行统计，得出评价结论。
[0006] 本发明的实施方式还提供了一种测试效果评价系统，包含:获取模块、差值计算模 块以及评价模块;所述获取模块用于获取Μ个评价者关于目标对象和对比对象对于Ν个评价 样本的评分值;其中，所述Μ、Ν均为大于2的自然数;所述差值计算模块用于分别对所述Μ个 评价者对目标对象和对比对象的评分值进行差值分析;所述评价模块用于对差值分析的结 果进行统计，得出评价结论。
[0007] 本发明实施方式相对于现有技术而言，获取2个以上评价者关于目标对象和对比 对象对于2个以上评价样本的评分值，分别对各评价者对目标对象和对比对象的评分值进 行差值分析，并对差值分析的结果进行统计，得出评价结论。从而，可以根据评分值判断评 价者或者评价样本对目标对象和对比对象的评价贡献，进而可以根据评价者或者评价样本 的评价贡献改善评价效果，提高主观评价的客观性。
[0008] 优选地，在所述获取Μ个评价者关于目标对象和对比对象对于Ν个评价样本的评分 值的步骤之前，还包含以下步骤:预先创建评价者和评价样本数据库;在所述获取Μ个评价 者关于目标对象和对比对象对于Ν个评价样本的评分值的步骤中，从所述评价者和评价样 本数据库选取Μ个评价者和Ν个评价样本;在所述分别对所述Μ个评价者对目标对象和对比 对象的评分值进行差值分析的步骤之后，还包含以下步骤:更新所述评价者和评价样本数 据库。从而，可以提高评价者和评价样本的客观评价能力。
[0009] 优选地，在所述更新所述评价者和评价样本数据库的步骤中，包含以下子步骤:对 每一个评价者进行方差分析;其中，所述评价者的评分方差为每一个评价者关于目标对象 和对比对象对于所述Ν个评价样本的评分方差;根据Μ个评价者的评分方差更换所述Μ个评 价者中评分方差满足第一预设条件的评价者。从而，可以提高评价者整体的客观评价能力。
[0010] 优选地，在所述更新所述评价者和评价样本数据库的步骤中，包含以下子步骤:对 每一个评价样本进行方差分析;其中，所述评价样本的评分方差为每一个评价样本关于目 标对象和对比对象对于所述Μ个评价者的评分方差;根据N个评价样本的评分方差更换所述 Ν个评价样本中评分方差值满足第二预设条件的评价样本。从而，可以提高评价样本整体的 客观评价作用。
[0011] 优选地，所述第一预设条件为所述评价者的评分方差小于一预设值或者所述评价 者的评分方差最小;所述第二预设条件为所述评价样本的评分方差小于一预设值或者所述 评价样本的评分方差最小。从而使得评价者和评价样本具有较佳的客观评价能力。
【附图说明】
[0012] 图1是根据本发明第一实施方式测试效果评价方法的流程图；
[0013] 图2是根据本发明第二实施方式测试效果评价系统的结构框图。
【具体实施方式】
[0014] 为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实 施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中， 为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基 于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方 案。
[0015] 本发明的第一实施方式涉及一种测试效果评价方法。具体流程如图1所示，测试效 果评价方法包含以下步骤：
[0016] 步骤101:预先创建评价者和评价样本数据库。
[0017] 评价者例如可以从目标客户群体中随机地选取，评价样本可以从各种可以获取的 资源中随机地选取，当然，评价样本数据库需要长期和动态维护更新。选取的评价者和评价 样本即构成了评价者与评价样本的数据库。本实施方式对于评价者和评价样本数据库的创 建方法不作具体限制。
[0018] 步骤102:从评价者和评价样本数据库选取Μ个评价者和Ν个评价样本。其中，Μ、Ν均 为大于2的自然数。即，随机地从评价者库中挑选一定数量的评价者，并从评价样本数据库 中挑选一定数量的评价样本。其中，评价者的人数优选大于或者等于5,评价样本优选大于 或者等于10。
[0019] 本实施方式以智能手机扬声器音频效果主观评价为例进行详细说明。从评价者库 中随机选取6位评价者。评价样本从评价样本数据库中选取。其中，评价样本可以为用户广 泛使用的互联网上下载率较多的曲目20首，可以包含铃声、歌曲、轻音乐等，使样本的形式 尽量多样化。
[0020] 步骤103:获取Μ个评价者关于目标对象和对比对象对于Ν个评价样本的评分值。 [0021 ]目标对象是希望进行效果判断的样机，对比对象是目标效果或者竞争对手同类产 品。通过对比识别差异，从而为产品改善提供方向。将同样的曲目复制到两样机中，并将音 量调节到最大，进行外放播放。音量最大时最能体现手机的音质差异。
[0022] 依次播放两样机的曲目1，播放完由评价者进行评分。所有曲目播放时长均可以为 20秒，以此类推，记录6位评价者对于所有曲目的主观判断得分，其中，评分从优到劣以10-0 分评价，取整。6位评价者关于20首曲目的评分值记录如表(一)所示。
[0023]
[0024] 步骤104:分别对Μ个评价者对目标对象和对比对象的评分值进行差值分析。
[0025] 对于6位评价者对目标机（目标对象）和对比机(对比对象）的差值分析结果如表 (二)所示。
[0026] 表（二）
[00271
[0028]
[0029] 正值代表目标机效果优于对比机，负值代表目标机效果劣于对比机。
[0030] 步骤105:对差值分析的结果进行统计，得出评价结论。
[0031] 通过对表(二）中的差值分析结果进行统计，统计得出正值52次，负值8次，因此结 论可判断为目标机优于对比机。
[0032] 步骤106:更新评价者和评价样本数据库。
[0033] 具体而言，更新评价者和评价样本数据库具体包含以下子步骤1060至子步骤 1063：
[0034] 子步骤1060:对每一个评价者进行方差分析。其中，评价者的评分方差为每一个评 价者关于目标对象和对比对象对于N个评价样本的评分方差。本实施方式中，每位评价者的 评分方差即为关于目标机和对比机对于20首曲目的评分方差。
[0035] 依次计算出6位评价者的评分方差，每一位评价者的评分方差的计算方法如下：
[0036] 假定评价者1对曲目1的两样机的评分差值为xl，对曲目2的评分差值为x2,对曲目 3的评分差值为x3…，以此类推。
[0037] 首先计算出该评价者对于全部评价样本（曲目）的评分差值的平均值，这里计算20 个数据，即n = 20(评价者1的曲目1，曲目2,…）
[0038]
[0039] 然后再按照公式计算方差并计算出所有评价者的方差，总共得到6个数据，见表 (二)最末行：
[0040]
[0041] 子步骤1061:根据Μ个评价者的评分方差更换Μ个评价者中评分方差满足第一预设 条件的评价者。较佳地，第一预设条件为评价者的评分方差小于一预设值或者评价者的评 分方差最小。方差越小，对比越无效，表明评价者对差异化贡献最小。
[0042] 类似地，还可以对评价样本进行方差分析，根据Ν个评价样本的评分方差更新评价 样本库。具体地，包含子步骤1062至子步骤1063:
[0043]子步骤1062:对每一个评价样本进行方差分析。其中，评价样本的评分方差为每一 个评价样本关于目标对象和对比对象对于Μ个评价者的评分方差。使用与上述同样的方式 计算方差，假定曲目1对评价者1在两样机的评分差值为yl，对评价者2的评分差值为y2,对 评价者3的评分差值为y3…，以此类推。同样计算出平均值和方差。不同的是每首曲目方差 计算采集样本数是6个，总共有20个数据，见表(二)最末列:横向方差体现的是同一曲目不 同评价者差值的离散程度，可以理解为曲目在两样机上的差异性，方差越小代表差异化越 小，即评价样本对于评价的贡献越小。
[0044] 子步骤1063:根据N个评价样本的评分方差更换N个评价样本中评分方差值满足第 二预设条件的评价样本。较佳地，第二预设条件为评价样本的评分方差小于一预设值或者 评价样本的评分方差最小。因此，可以按照方差最小的淘汰原则。曲目10,曲目11，曲目20方 差都是〇. 14，建议淘汰和更换，这类曲目对差异化贡献最小。
[0045] 本实施方式再