通过一个具体示例对测试效果评价方法的应用进行说明。评价任 务：目标机和对比机的显示效果评价。从评价者库中挑选5位评价者，从评价样本库中挑选 10张图片或者视频作为评价样本。在目标机和对比机上进行显示效果对比，由5位评价者依 次对10个评价样本的显示效果进行评分。评分记录如表(三)所示。
[0046] 表（三）
[0047]
[0048] 分别对5个评价者对目标机和对比机的评分值进行差值分析，差值分析结果如表 (四）所示。通过差值分析，很容易得出目标机由于对比机。
[0049] 表(四） 「00501
[0051 ]然后再分别计算5位评价者的评分方差，如表(四）中最末行，以及10个评价样本的 评分方差，如表(四）最末列。从中可以得出，评判者3方差最小，需要淘汰，图片1和图片10的 方差最小，需要淘汰。因此，本实施方式通过数据驱动，对测试系统提出持续优化的方式，做 到更客观合理的判断结果。
[0052]本实施方式相对于现有技术而言，获取Μ个评价者关于目标对象和对比对象对于N 个评价样本的评分值，并分别对Μ个评价者对目标对象和对比对象的评分值进行差值分析， 根据差值分析的结果确定评价结论，并淘汰对于效果差异化贡献最小的评价者和评价样 本，从而使得主观评价更具客观性。
[0053]此外，值得说明的是，本实施方式的测试效果评价方法不仅限于上述音频或显示 效果的评价，还可以用于其他主观性较强的评价，比如，气味、口味、触感等，本发明不应以 上述举例为限。此外，本实施方式的方法除了进行测试效果评价之外，还可以用于对评价者 和评价样本进行评价，通过方差分析评价者和评价样本，可以淘汰对评价结果贡献度最小 的评价者或评价样本。
[0054] 上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者 对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围 内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法 和流程的核心设计都在该专利的保护范围内。
[0055] 本发明的第二实施方式涉及一种测试效果评价系统，如图2所示，包含:创建模块、 获取模块、差值计算模块、评价模块和更新模块。
[0056] 创建模块用于预先创建评价者和评价样本数据库，获取模块用于从评价者和评价 样本数据库选取Μ个评价者和Ν个评价样本，并获取Μ个评价者关于目标对象和对比对象对 于Ν个评价样本的评分值。Μ、Ν均为大于2的自然数，较佳地，Μ大于或者等于5，Ν大于或者等 于10〇
[0057] 差值计算模块用于分别对Μ个评价者对目标对象和对比对象的评分值进行差值分 析。评价模块用于对差值分析的结果进行统计，得出评价结论。
[0058] 更新模块用于根据差值分析的结果更新评价者和评价样本数据库。具体地，更新 模块包含:评价者分析模块和评价者淘汰模块。评价者分析模块用于对每一个评价者进行 方差分析。评价者的评分方差为每一个评价者关于目标对象和对比对象对于所述Ν个评价 样本的评分方差。评价者淘汰模块用于根据Μ个评价者的评分方差更换Μ个评价者中评分方 差满足第一预设条件的评价者。
[0059] 更新模块还包含:评价者分析模块和评价者淘汰模块。评价样本分析模块和评价 样本淘汰模块。评价样本分析模块用于对每一个评价样本进行方差分析。评价样本的评分 方差为每一个评价样本关于目标对象和对比对象对于Μ个评价者的评分方差。第一预设条 件为评价者的评分方差小于一预设值或者评价者的评分方差最小。评价样本淘汰模块用于 根据Ν个评价样本的评分方差更换Ν个评价样本中评分方差值满足第二预设条件的评价样 本;第二预设条件为评价样本的评分方差小于一预设值或者评价样本的评分方差最小。
[0060] 需要说明的是，本实施方式中可以采用打分器采集评价者的评分值，并通过处理 器对采集到的评分值进行差值分析，进而快速得出评价结果。同时，处理器还可以对评价者 和评价样本分别进行方差分析，计算出各评价者和评价样本对于评价结果的贡献度，并根 据贡献度的大小按照预设的淘汰原则淘汰掉不满足预设条件的评价者和评价样本，从而使 得主观性较强的评价更具客观性。
[0061 ]不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与 第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有 效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在 第一实施方式中。
[0062] 值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一 个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单 元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所 提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单 J L· 〇
[0063] 本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例， 而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
【主权项】
1. 一种测试效果评价方法，其特征在于，包含以下步骤： 获取Μ个评价者关于目标对象和对比对象对于N个评价样本的评分值;其中，所述M、N均 为大于2的自然数； 分别对所述Μ个评价者对目标对象和对比对象的评分值进行差值分析； 对差值分析的结果进行统计，得出评价结论。2. 根据权利要求1所述的测试效果评价方法，其特征在于，在所述获取Μ个评价者关于 目标对象和对比对象对于Ν个评价样本的评分值的步骤之前，还包含以下步骤： 预先创建评价者和评价样本数据库； 在所述获取Μ个评价者关于目标对象和对比对象对于Ν个评价样本的评分值的步骤中， 从所述评价者和评价样本数据库选取Μ个评价者和Ν个评价样本； 在所述分别对所述Μ个评价者对目标对象和对比对象的评分值进行差值分析的步骤之 后，还包含以下步骤： 更新所述评价者和评价样本数据库。3. 根据权利要求2所述的测试效果评价方法，其特征在于，在所述更新所述评价者和评 价样本数据库的步骤中，包含以下子步骤： 对每一个评价者进行方差分析;其中，所述评价者的评分方差为每一个评价者关于目 标对象和对比对象对于所述Ν个评价样本的评分方差； 根据Μ个评价者的评分方差更换所述Μ个评价者中评分方差满足第一预设条件的评价 者。4. 根据权利要求2或3所述的测试效果评价方法，其特征在于，在所述更新所述评价者 和评价样本数据库的步骤中，包含以下子步骤： 对每一个评价样本进行方差分析;其中，所述评价样本的评分方差为每一个评价样本 关于目标对象和对比对象对于所述Μ个评价者的评分方差； 根据Ν个评价样本的评分方差更换所述Ν个评价样本中评分方差值满足第二预设条件 的评价样本。5. 根据权利要求4所述的测试效果评价方法，其特征在于，所述第一预设条件为所述评 价者的评分方差小于一预设值或者所述评价者的评分方差最小； 所述第二预设条件为所述评价样本的评分方差小于一预设值或者所述评价样本的评 分方差最小。6. 根据权利要求1所述的测试效果评价方法，其特征在于，所述Μ大于或者等于5;所述Ν 大于或者等于10。7. -种测试效果评价系统，其特征在于，包含:获取模块、差值计算模块以及评价模块； 所述获取模块用于获取Μ个评价者关于目标对象和对比对象对于Ν个评价样本的评分 值;其中，所述Μ、Ν均为大于2的自然数； 所述差值计算模块用于分别对所述Μ个评价者对目标对象和对比对象的评分值进行差 值分析； 所述评价模块用于对差值分析的结果进行统计，得出评价结论。8. 根据权利要求7所述的测试效果评价系统，其特征在于，还包含创建模块和更新模 块； 所述创建模块用于预先创建评价者和评价样本数据库； 所述更新模块用于根据所述差值分析的结果更新所述评价者和评价样本数据库。9. 根据权利要求8所述的测试效果评价系统，其特征在于，所述更新模块包含:评价者 分析模块和评价者淘汰模块； 所述评价者分析模块用于对每一个评价者进行方差分析;其中，评价者的评分方差为 每一个评价者关于目标对象和对比对象对于所述N个评价样本的评分方差； 所述评价者淘汰模块用于根据Μ个评价者的评分方差更换所述Μ个评价者中评分方差 满足第一预设条件的评价者。10. 根据权利要求9所述的测试效果评价系统，其特征在于，所述更新模块还包含:评价 样本分析模块和评价样本淘汰模块； 所述评价样本分析模块用于对每一个评价样本进行方差分析;其中，评价样本的评分 方差为每一个评价样本关于目标对象和对比对象对于所述Μ个评价者的评分方差;所述第 一预设条件为所述评价者的评分方差小于一预设值或者所述评价者的评分方差最小； 所述评价样本淘汰模块用于根据Ν个评价样本的评分方差更换所述Ν个评价样本中评 分方差值满足第二预设条件的评价样本;所述第二预设条件为所述评价样本的评分方差小 于一预设值或者所述评价样本的评分方差最小。
【专利摘要】本发明涉及产品评价技术领域，公开了一种测试效果评价方法及系统。本发明中，通过获取至少2个评价者关于目标对象和对比对象对于至少2个评价样本的评分值；并分别对评价者对目标对象和对比对象的评分值进行差值分析；对差值分析的结果进行统计，得出评价结论。本发明相对于现有技术而言，可以根据评分值判断评价者或者评价样本对目标对象和对比对象的评价贡献，进而可以根据评价者或者评价样本的评价贡献改善评价效果，使得主观评价更加客观。
【IPC分类】G06F17/30
【公开号】CN105653721
【申请号】
【发明人】张云飞
【申请人】上海与德通讯技术有限公司
【公开日】2016年6月8日
【申请日】2016年1月10日