本公开涉及人工智能,具体为自然语言处理和深度学习等。
背景技术:
1、随着语音技术的快速发展,其逐渐应用至智能家居、车载、智能客服等领域,产品形态越来越多,交互功能更加复杂。目前,应用于语音交互场景的自动化评测技术发展仍较为缓慢,对语音交互功能的评测方式和维度相对单一。以家居智能音箱为例,设备麦克风处于常开状态,用户与音箱的一次完整交互涉及唤醒、声纹、识别等多个算法处理模块,整条链路涵盖从设备端到云端、再从云端回到设备端的全过程,链路复杂、影响因素众多,缺少有效的自动化评测技术。
2、目前,常见的自动化测试方法是将单句唤醒或单句识别音频输入独立的算法模块进行评测。这种方法输入数据受限、覆盖范围小,只适用于近场的点按识别场景,对于端到端整轨的连续语音请求,缺少有效的评测方案。
技术实现思路
1、本公开实施例提出了一种用于语音交互的评测方法、装置、设备、存储介质以及程序产品。
2、第一方面,本公开实施例提出了一种用于语音交互的评测方法,包括:构建待评测语音交互功能的评测指标;基于待评测语音交互功能的评测指标对待评测语音交互功能的整轨语音请求进行指标评测,得到整轨语音请求的指标值;对整轨语音请求的指标值添加属性标签;按照属性标签对整轨语音请求的指标值进行聚合,得到待评测语音交互功能的指标统计结果;基于指标统计结果,生成待评测语音交互功能的评测报告。
3、第二方面,本公开实施例提出了一种用于语音交互的评测装置,包括:构建模块,被配置成构建待评测语音交互功能的评测指标;评测模块,被配置成基于待评测语音交互功能的评测指标对待评测语音交互功能的整轨语音请求进行指标评测,得到整轨语音请求的指标值;添加模块,被配置成对整轨语音请求的指标值添加属性标签;聚合模块,被配置成按照属性标签对整轨语音请求的指标值进行聚合,得到待评测语音交互功能的指标统计结果;生成模块,被配置成基于指标统计结果,生成待评测语音交互功能的评测报告。
4、第三方面,本公开实施例提出了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如第一方面描述的方法。
5、第四方面,本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行如第一方面描述的方法。
6、第五方面,本公开实施例提出了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现如第一方面描述的方法。
7、本公开实施例提供的用于语音交互的评测方法,能够真实地评测端到端整轨的连续语音请求的语音交互效果,可以适用于各类智能语音交互产品端到端声学效果测试,语音识别效果自动评测。
8、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
1.一种用于语音交互的评测方法,包括:
2.根据权利要求1所述的方法,其中,所述构建待评测语音交互功能的评测指标,包括:
3.根据权利要求2所述的方法,其中,所述确定所述多个待评测语音算法的评测指标和所述待评测语音交互功能的评测指标,包括:
4.根据权利要求1所述的方法,其中,所述基于所述待评测语音交互功能的评测指标对所述待评测语音交互功能的整轨语音请求进行指标评测,得到所述整轨语音请求的指标值,包括:
5.根据权利要求4所述的方法,其中,所述对所述整轨语音请求进行分类,得到正例请求结果和负例请求结果,包括:
6.根据权利要求4所述的方法,其中,所述基于所述待评测语音交互功能的评测指标对所述正例请求结果和所述负例请求结果进行指标评测,得到所述正例请求结果的指标值和所述负例请求结果的指标值,包括:
7.根据权利要求1所述的方法,其中,所述按照属性标签对所述整轨语音请求的指标值进行聚合,得到所述待评测语音交互功能的指标统计结果,包括:
8.一种用于语音交互的评测装置,包括:
9.根据权利要求8所述的装置,其中,所述构建模块包括:
10.根据权利要求9所述的装置,其中,所述确定子模块进一步被配置成:
11.根据权利要求8所述的装置,其中,所述评测模块包括:
12.根据权利要求11所述的装置,其中,所述分类子模块进一步被配置成:
13.根据权利要求11所述的装置,其中,所述评测子模块进一步被配置成:
14.根据权利要求8所述的装置,其中,所述聚合模块进一步被配置成:
15.一种电子设备,包括:
16.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。
17.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。