用于语音识别测试的电子辅助设备的制作方法

本发明涉及一种用于语音识别测试的电子辅助设备。

背景技术：

通过人工来测试和记录语音识别软件的表现仍是当下常用的一种语音识别测试方式。在现有技术中，在这种人工测试中，需要测试人员通过麦克风向被测软件输入具体的语音指令，然后查看或聆听被测软件的响应并对响应进行评价，并且将评价记录在纸件或电子的记录表中。

这种人工记录的方式不仅耗费精力，出错率高，而且后续的结果统计也极为不便。

从管理层面上而言，管理者希望能随时掌握各个测试项目的进度和当前测试结果并且能便利地向测试人员分配测试任务且能了解各个测试人员的任务完成情况。

因此，期待提供一种使测试人员便利地执行语音识别测试并准确地记录测试结果而且还能使管理者便利地管理和安排语音测试工作的技术方案。

技术实现要素：

本发明的目的通过提供一种用于语音识别测试的电子辅助设备来实现，电子辅助设备包括处理器以及与处理器通信连接的计算机可读式存储装置和显示器，存储装置中存储有计算机程序，当所述计算机程序被处理器执行时，能够在显示器中生成图形用户界面，图形用户界面包括用于示出一条待测试的语料的文字的语料区(310)以及测试结果输入区，并且，电子辅助设备配置成能响应于用户对测试结果输入区的操作而记录用户针对被测设备对该条语料的响应所作出的评价。

在此需要说明的是，在本文中，术语“被测设备”可以理解成是具有语音识别功能的软件或者软件与硬件的结合。

根据本发明的一可选实施例，电子辅助设备(100)配置成使语料区和测试结果输入区被显示在图形用户界面的同一画面中。

根据本发明的一可选实施例，图形用户界面还包括语料切换区，电子辅助设备配置成能响应于用户对语料切换区的操作而切换语料区中所示出的语料。

根据本发明的一可选实施例，图形用户界面还包括用于将图形用户界面切换成沉浸模式的图标，在沉浸模式下，图形用户界面通过取消部分信息和/或图标的显示而被简化。

根据本发明的一可选实施例，电子辅助设备还配置成能使用户通过在测试结果输入区选择点击代表被测设备响应合格的图标和代表被测设备响应不合格的图标中的一个来输入他对被测设备的本次响应的评价。

根据本发明的一可选实施例，电子辅助设备还配置成能将语料的文本转换成音频并进而播放转换得到的音频，以替代用户在语音识别测试过程中对语料的朗读。

根据本发明的一可选实施例，电子辅助设备还配置成能使用户通过从至少一个领域选择相应数量的语料来生成待执行的语音识别测试任务。

根据本发明的一可选实施例，电子辅助设备还配置成能向用户显示各测试任务的当前进度。

根据本发明的一可选实施例，电子辅助设备还配置成能对用户针对各语料所分别记录的评价进行统计并将统计结果提供给用户。

根据本发明的一可选实施例，电子辅助设备还配置成使用户管理用于语音识别测试的多个领域的语料。

通过本发明，实现了：

-能使测试人员在语音识别测试过程中便利地逐条查看语料文字；

-能使测试人员能对应于各条语料地记录对被测设备的响应的评价，从而有效确保记录的正确性；

-能使管理者便利地管理和安排部门的语音测试工作；

-能使管理者随时掌握各个测试项目的进度和当前测试结果；和

-能使管理者便利地向测试人员分配测试任务并了解各个测试人员的任务完成情况。

从说明书、附图和权利要求书中，本发明主题的其他优点和有利实施例是显而易见的。

附图说明

本发明的更多特征及优点可以通过下述参考附图的具体实施例的详细说明来进一步阐述。所述附图为：

图1示出根据本发明的一示例性实施例的用于语音识别测试的电子辅助设备的示意性结构框图；

图2示出由电子辅助设备生成的一个示例性图形用户界面；

图3示出由电子辅助设备生成的另一个示例性图形用户界面；

图4示出由电子辅助设备生成的再一个示例性图形用户界面；

图5示出图4的图形用户界面的沉浸模式；

图6示出由电子辅助设备生成的更一个示例性图形用户界面；

图7示出由电子辅助设备生成的又一个示例性图形用户界面；

图8示出用于电子辅助设备的一个示例性测试集表；并且

图9示出由电子辅助设备生成的更更一个示例性图形用户界面。

具体实施方式

为了使本发明所要解决的技术问题、技术方案以及有益的技术效果更加清楚明白，以下将结合附图以及多个示例性实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，而不是用于限定本发明的保护范围。在附图中，相同或类似的附图标记指代相同或等价的部件。

图1示出根据本发明的一示例性实施例的用于语音识别测试的电子辅助设备100的示意性结构框图。如图1所示，电子辅助设备100包括处理器110以及与处理器110通信连接的计算机可读式存储装置120、显示器130和扬声器140。存储装置120中存储有计算机程序，当计算机程序被处理器110执行时，能够实施用于辅助相关人员对被测设备的语音识别测试的方法。

特别地，当计算机程序被处理器110执行时，能够在显示器130上生成图2-7和图9所示的多个可切换的图形用户界面100-600，其中，每个图形用户界面能为用户的语音识别测试工作提供至少一个方面的帮助。

根据本发明的一示例性实施例，电子辅助设备100配置成使用户管理各个领域(domain)的语料，其中，所述管理包括：增加语料，删减语料，修改语料。

特别地，电子辅助设备100配置成使用户通过编辑测试集来管理语料，其中，每个测试集作为一个包含多条语料的集合可以对应于一个领域。所述领域可以例如包括天气、百科、交规、交通。编辑测试集包括：新增测试集、更新测试集、下载测试集。

示例性地，电子辅助设备100配置通过提供如图2所示的图形用户界面100来使用户编辑测试集。具体地，在图形用户界面100中对应于各测试集地展示各测试集的以下参数：

-序号，其代表测试集的编号；

-did，其代表测试集的领域的id；

-domain，其代表测试集所属的领域；

-数量，其代表测试集所包含的语料的条数；

-测试次数，其代表测试集中的所有语料被测试的总次数；

-测试条数，其代表测试集里有多少条语料被测试；

-e2e，其代表被测设备的语音执行结果的准确率；

-asr，其代表被测设备的语音解析结果的准确率；

-更新时间，其代表测试集最后一次被更新的时间。

此外，在图形用户界面100中还具有对应于各测试集的更新按钮110和下载按钮120。相应地，电子辅助设备100配置成：当检测到更新按钮110被点击时，使得已导入的相应的测试集被更新；当检测到下载按钮120被点击时，重新下载相应的测试集以覆盖当前测试集。在更新后，至少参数“测试次数”和“测试条数”的数据不变；在下载后，参数“数量”、“测试次数”、“测试条数”、“e2e”和“asr”的数据被重置。

在图形用户界面100中还具有添加按钮130。相应地，电子辅助设备100配置成：当检测到添加按钮130被点击时，可以使用户新增测试集。

在图形用户界面100中还具有下载模板按钮140。相应地，电子辅助设备100配置成：当检测到下载模板按钮140被点击时，可以使用户下载测试集模板。

根据本发明的一示例性实施例，电子辅助设备100配置成使用户生成待执行的测试任务。特别地，电子辅助设备100配置成通过使用户设置以下参数来生成测试任务：

-测试人员的姓名；

-测试任务的名称；

-测试任务的备注事项(如果有的话)；

-测试所使用的自然语言模型；

-语料。

示例性地，电子辅助设备100配置成通过向用户提供如图3所示的图形用户界面200来使用户生成测试任务。通过该界面200，管理人员可以通过为各测试人员创建相应的测试任务来向测试人员分配工作。

示例性地，为测试任务设置语料可以执行为：基于测试目的地选择至少一个语料领域并进而从所述至少一个语料领域中的每个选出期待数量的语料。为此，图形用户界面200包括用于选择语料领域的区域210和用于为选出的各语料领域输入要选出的语料数量的区域220。区域210进而包括添加按钮211，借助于点击添加按钮211可以为要生成的测试任务新增语料领域。

在一示例中，图形用户界面200还包括信息指示区230，信息指示区230可以示出所选择的语料领域中的语料总数(“max”下所示出)以及所选择的各领域的语料数量相对于所选择的语料总数量的占比(“占比”下所示出)。

根据本发明的一示例性实施例，电子辅助设备100配置成能辅助测试人员执行语音识别测试任务，例如通过向测试人员提供如图4所示的图形用户界面300来辅助测试人员执行语音识别测试任务。

在一示例中，电子辅助设备100配置成：借助于图形用户界面300中的语料区310向测试人员展示一条待测试的语料的文字(中文或外文)并响应于测试人员在图形用户界面300中测试结果输入区320中的操作而记录该条语料的测试结果，也即记录测试人员针对被测设备对该条语料的响应所作出的评价。通过在同一图形用户界面300中提供语料区310和测试结果输入区320，可以使测试人员对应于各条语料地记录其测试结果，从而有效确保测试结果记录的正确性。

根据一示例性实施例，电子辅助设备100配置成能使测试人员分别记录被测试的设备对语料的e2e反馈和asr反馈是否合格，其中，e2e反馈合格可以指的是被测设备对用户的表达作出正确的响应，而asr反馈合格可以指的是被测设备对用户的表达通过语音识别模型所解析出的文字与用户的表达完全一致。为此，测试结果输入区320可包括代表e2e反馈合格的按钮321、代表e2e反馈不合格的按钮322、代表asr反馈合格的按钮323和代表asr反馈不合格的按钮324。特别地，当按钮321被点击时，按钮323也自动被选中

根据一示例性实施例，图形用户界面300还可包括备注区330。借助于备注区330，测试人员可以输入在测试中想要记录的任何内容，比如此条语料不正确，此条语料测试有问题等，以供后续查看和追溯。

根据一示例性实施例，电子辅助设备100还配置成能响应于用户对图形用户界面300中的语料切换区340的操作而切换语料区310中所展示的语料。具体而言，语料切换区340可包括用于切换成上一条语料的按钮341和用于切换为下一条语料的按钮342。

根据一示例性实施例，图形用户界面300还可包括进度条350，用于显示当前测试任务的进度。特别地，借助于勾选或不勾选设置区360中的图标364，可以显示或隐藏进度条350。

根据一示例性实施例，设置区360还可包括用于设置字体大小的图标361、用于设置字体颜色的图标362、用于设置背景色的图标363以及用于切换成将在下文予以解释的沉浸模式的图标365。

根据一示例性实施例，图形用户界面300还可包括信息区370，所述信息区360用于至少示出以下信息：序号，其代表当前测试任务的序号；sid，其代表当前语料的唯一标记id；pass率，其代表当前语料的历史合格率；e2e率，其代表相应领域截至到目前的e2e合格率；asr率，其代表相应领域截至到目前的asr合格率。

根据一示例性实施例，电子辅助设备100还配置成能将文本转换成音频并进而借助于扬声器140播放转换得到的音频，从而可以替代测试人员在语音识别测试过程中对语料的朗读。例如，可以借助于tts技术来将文本转换成音频。相应地，图形用户界面300还可包括播放音频按钮380，当播放音频按钮380被点击时由语料生成的音频被播放。

进一步而言，当切换成沉浸模式时，图形用户界面300通过取消部分信息和/或图标的显示而被简化。在图5所示的示例中，只有进度条350、语料区310、测试结果输入区320、备注区330和语料切换区370被示出。

根据本发明的一示例性实施例，电子辅助设备100配置成能向用户提供各测试任务的测试数据，所述测试数据包括：各测试任务的进度及测试结果统计。示例性地，电子辅助设备100借助于图6示出的图形用户界面400向用户展示测试数据。

在一示例中，图形用户界面400逐测试任务地展示各测试任务的测试数据，例如包括：测试时间、测试任务编号(“编号”)、测试项目名称、测试人、语音识别模型、测试领域以及该领域在测试平台中的语料总数、测试任务已进行的测试时长、测试任务所计划测试的语料数量(“计划数量”)、测试任务的当前进度(“计划完成度”)、测试任务所计划测试的语料数量相对于语料总数的占比(“计划占比”)、测试任务中已测试的语料数量(“实际数量”)及其相对于语料总数的占比(“实际占比”)、以及该测试任务截止到目前为止的e2e合格率和asr合格率。

通过查看测试数据，借助于方便相关人员查看各测试任务的进度与测试结果，也方便对测试人员的测试情况和质量进行监督。

根据本发明的一示例性实施例，电子辅助设备100配置成能使用户查看测试集的测试结果，这例如借助于图7所示的图形用户界面500来实现。附加地，电子辅助设备100配置成能使用户获取不带测试结果的测试集原表和带有测试结果的测试集表以及仅含有e2e不合格和asr不合格的语料的测试集表。为此，示例性地，图形用户界面500包括用于下载测试集原表的下载原表按钮510、用于下载带有测试结果的测试集表的导出测试表按钮520和用于下载由测试不合格的语料构成的测试集表的导出fail表按钮530。

图8示出了根据本发明的一示例性实施例的带有测试结果的测试集表。特别地，标准化的测试表为csv格式。借助于测试集表，可以进行语料的上传和下载。

根据本发明的一示例性实施例，电子辅助设备100配置能对能对用户针对各语料所分别记录的评价进行统计并将统计结果提供给用户。

根据一示例性实施例，电子辅助设备100配置成能基于用户对每条语料的e2e反馈评价和asr反馈评价统计各语言模型下各个领域的e2e表现和asr表现并例如以e2e/asr合格率—时间图表的形式呈现给用户，如图9的图形用户界面600中的图表610和620所示。曲线610示出了被测设备针对天气领域在不同的时间的测试中所表现出的e2e合格率，曲线620示出了被测设备针对天气领域在不同的时间的测试中所表现出asr合格率。

尽管一些实施例已经被说明，但是这些实施例仅仅是以示例的方式予以呈现，而没有旨在限定本发明的范围。所附的权利要求和它们的等价形式旨在覆盖落在本发明范围和精神内的所有改型、替代和改变。