语音交互系统智商水平的评测方法、装置以及计算机设备与流程

本发明涉及评测技术领域，特别是涉及语音交互系统智商水平的评测方法、装置、计算机设备和存储介质。

背景技术

随着移动互联网技术与智能硬件设备的发展，人类已经不再满足于键盘输入和手写输入等人机交互方式，语音交互系统技术在电子信息、互联网、医疗、教育、办公等各个领域均得到了广泛应用，覆盖了智能语音输入系统、智能语音助手、智能音箱、车载语音系统、智能语音辅助医疗系统、智能口语评测系统、智能会议系统等产品。

基于语音交互系统，能够让智能设备具有和人类一样的听识能力，同时将人类语言所表述的自然语义自动转换为计算机能理解和操作的结构化语义，并完成人机交互功能。对于语音交互系统的性能评测，行业内普遍的做法是，根据语音交互系统的识别结果与标准语音识别结果的匹配度评测。

在实现本发明的过程中，发明人发现现有技术中存在如下问题，传统的性能评测方法，需预先构建测试问题库以及标准语音识别结果的数据库，由于数据库中样本的有限性，给定的标准语音识别结果无法考虑语言表达习惯、问题答案多样性、主观随意性等实际情况，导致语音交互系统智商水平(或称作理解能力、智能化程度等)的测评结果的可靠性不高。

技术实现要素：

基于此，有必要针对现有方式对语音交互系统智商水平的测评结果的可靠性不高的问题，提供一种语音交互系统智商水平的评测方法、装置、计算机设备和存储介质。

本发明实施例第一方面提供一种语音交互系统智商水平的评测方法，包括：

获取测试问题，所述测试问题为语音问题；

获取所述语音交互系统成功响应所述测试问题的指令周期数；其中，一个指令周期为所述语音交互系统与外界的一个对话回合；

通过所述指令周期数确定所述语音交互系统智商水平的评测结果。

在其中一个实施例中，所述通过所述指令周期数确定所述语音交互系统智商水平的评测结果，包括：

通过所述指令周期数确定所述测试问题对应的指令周期成本；

通过所述指令周期成本确定所述语音交互系统智商水平的评测结果。

在其中一个实施例中，所述获取测试问题，包括：获取预设的多个测试问题；

所述通过所述指令周期成本确定所述语音交互系统智商水平的评测结果，包括：

根据所述多个测试问题各自对应的指令周期成本，确定所述语音交互系统智商水平的评测结果得分。

在其中一个实施例中，，还包括：所述根据所述多个测试问题各自对应的指令周期成本，确定所述语音交互系统智商水平的评测结果得分，包括：

获取所述多个测试问题各自对应的权重；

根据所述多个测试问题各自对应的指令周期成本和权重，确定所述语音交互系统智商水平的评测结果得分。

在其中一个实施例中，所述获取所述多个测试问题各自对应的权重，包括：

获取所述多个测试问题各自对应的类型；

获取各类型对应的权重，作为相应测试问题对应的权重。

在其中一个实施例中，所述通过所述指令周期数确定所述测试问题对应的指令周期成本，包括：

获取预设的周期数限值；

通过所述指令周期数和所述周期数限值，确定所述测试问题对应的指令周期成本。

在其中一个实施例中，所述通过所述指令周期数和所述周期数限值，确定所述测试问题对应的指令周期成本，包括：

若所述指令周期数为n1，确定所述测试问题对应的指令周期成本为成本得分s1；

若所述指令周期数为n2，确定所述测试问题对应的指令周期成本为成本得分s2；

若所述指令周期数为n3，确定所述测试问题对应的指令周期成本为成本得分s3；

或者，

若所述指令周期数为n1，确定所述测试问题对应的指令周期成本为成本级别l1；

若所述指令周期数为n2，确定所述测试问题对应的指令周期成本为成本级别l2；

若所述指令周期数为n3，确定所述测试问题对应的指令周期成本为成本级别l3；

其中，0<n1<n2<m≤n3，n1为预先设定的周期数，m表示周期数限值；s3<s2<s1，l1、l2、l3对应的级别依次递减。

在其中一个实施例中，当所述指令周期数在n1和m之间时，随着所述指令周期数的递增，成本得分s2的取值递减。

在其中一个实施例中，所述成本得分s2的取值递减包括：线性递减、指数衰减、对数衰减中至少一种。

本发明实施例第二方面提供一种语音交互系统智商水平的评测装置，包括：

问题获取模块，用于获取测试问题，所述测试问题为语音问题；

周期计数模块，用于获取所述语音交互系统成功响应所述测试问题的指令周期数；其中，一个指令周期为所述语音交互系统与外界的一个对话回合；

以及，

结果确定模块，用于通过所述指令周期数确定所述语音交互系统智商水平的评测结果。

本发明实施例第三方面提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述语音交互系统智商水平的评测方法。

本发明实施例第四方面提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述语音交互系统智商水平的评测方法。

实施本发明提供的实施例，基于预设的测试问题，获得语音交互系统成功响应所述测试问题的对话回合数量，该数据可反映指令周期成本，然后基于对话回合数量确定语音交互系统智商水平的评测结果；由于评估核心参照为语音交互系统成功响应所述测试问题的对话回合数量，因此能够兼容多种语言表达习惯、问题答案多样性、主观随意性等实际情况，有利于提高评测结果的可靠性。

附图说明

图1为一个实施例中语音交互系统智商水平的评测方法的应用环境图；

图2为一实施例的语音交互系统智商水平的评测方法的示意性流程图；

图3为另一实施例的语音交互系统智商水平的评测方法的示意性流程图；

图4为一实施例的语音交互系统智商水平的评测装置的示意性结构图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请提供的语音交互系统智商水平的评测方法，可以应用于如图1所示的应用环境中。其中，智能终端102为设有语音交互系统的终端，例如，智能音箱、无人驾驶、智能语音助手等具有语音交互功能的终端。评测终端104用于对智能终端102的性能进行评测，在一实施例中，评测终端104能够输出语音信息，并根据智能终端102对该语音信息的响应情况，对智能终端102的语音交互系统的智商水平进行评测。在其他实施例中，输出语音信息的步骤，也可以由其他第三方终端或者用户执行。

在一个实施例中，如图2所示，提供了一种语音交互系统智商水平的评测方法，以该方法应用于图1中的评测终端为例进行说明，包括以下步骤：

s110，获取测试问题，所述测试问题为语音问题。

其中，测试问题指的是需要向语音交互系统发出的语音信息，例如，“给xxx打电话”、“查询今天的天气”等。

s120，获取所述语音交互系统成功响应所述测试问题的指令周期数；其中，一个指令周期为所述语音交互系统与外界的一个对话回合。

在发明实施例中，对于如下情景：

用户：给xxx打电话。(用户指令)

系统：好的，是否现在给联系人xxx打电话？(系统执行)

用户：是的。(用户指令)

系统：正在呼叫。(系统执行)

指令周期可以理解为：以上人机交互过程即包含2个指令周期，即人机对话回合的概念。

在上述情景中，测试问题为：“给xxx打电话”。语音交互系统成功响应该测试问题的指令周期数为2。

在另一情景中：

用户：给xxx打电话。(用户指令)

系统：对不起，没有听清楚。(系统执行)

用户：给xxx打电话。(用户指令)

系统：好的，是否现在给联系人xxx打电话？(系统执行)

用户：是的。(用户指令)

系统：正在呼叫。(系统执行)

在上述情景中，对于相同的测试问题(“给xxx打电话”)，语音交互系统成功响应该测试问题的指令周期数为3。

基于上述示例，语音交互系统成功响应测试问题的指令周期数，指的是语音交互系统从收到测试问题的语音到执行测试问题对应的指令的回话回合。

s130，通过所述指令周期数确定所述语音交互系统智商水平的评测结果。

本发明实施例中，当语音交互系统的智商水平较低时，其成功响应相同测试问题的指令周期数极大可能会更多，当语音交互系统的智商水平较高时，其成功响应相同测试问题的指令周期数极大可能会更少。

通过上述实施例的方法，基于预设的测试问题，得到语音交互系统成功响应所述测试问题的指令周期数，该数据可反映指令周期成本，然后基于指令周期数确定语音交互系统智商水平的评测结果；由于评估核心参照为语音交互系统成功响应所述测试问题的指令周期数，因此能够兼容多种语言表达习惯、问题答案多样性、主观随意性等实际情况，有利于提高评测结果的可靠性。

并且，通过语音交互系统成功响应测试问题花费的指令周期数的多少进行评测，能综合评测语音交互系统的语音识别能力、语义理解能力以及语义处理能力，评测维度全面，从另一层面，提高评测结果的可靠性。

此外，无需预先构建标准语言识别结果数据库，还降低了评测的过程复杂度。

在一实施例中，上述步骤s130包括：通过所述指令周期数确定所述测试问题对应的指令周期成本，然后通过所述指令周期成本确定所述语音交互系统智商水平的评测结果。

语音交互系统成功响应相同测试问题的指令周期数更多，所需的时间更多，语音交互系统的任务执行量也更多，因此相应的指令周期成本更高。因此，通过指令周期数，能够反映出指令周期成本的高低，进而通过指令周期成本的高低更直观的确定语音交互系统智商水平的评测结果。

在一实施例中，参与评测的测试问题可以是多个，将多个测试问题预先保存在相应的数据库中。在对语音交互系统进行评测的时候，可以从该数据库中以此获取各个测试问题来对语音交互系进行评测，也可以是从中按照一定的规则选取部分测试问题来对语音交互系进行评测，一定的规则也包含是随机的选取。

在其他实施例中，还可以时完全随机的，无需预设的测试问题并存储，用户、评测终端或者第三方终端随机发出测试问题的语音信息，此后基于各个测试问题对应的评测信息，综合评测语音交互系统的性能。

进一步地，可根据多个测试问题各自对应的指令周期成本，确定所述语音交互系统智商水平的评测结果。例如：获取所述多个测试问题各自对应的权重；根据所述多个测试问题各自对应的指令周期成本和权重，确定所述语音交互系统智商水平的评测结果。其中，类型可以根据问题理解复杂度划分，或者根据成功响应该问题所需的最少指令周期数划分，或者根据问题对应的语音类型或者口音进行划分(例如，英文类型和中文类型，普通话类型、粤语类型或者其他方言类型等)。为不同类型的测试问题，设置相应的权重，由此可得到语音交互系统对不同类型语音的响应情况，基于此全面评测语音交互系统的智商水平。

通过多个测试问题对语音交互系统进行评测，可进一步提高评测结果的可靠性。

在一实施例中，通过所述指令周期数确定所述测试问题对应的指令周期成本的具体方式可包括：获取预设的周期数限值；通过所述指令周期数和所述周期数限值，确定所述测试问题对应的指令周期成本。例如：

若所述指令周期数为n1，确定所述测试问题对应的指令周期成本为成本得分s1；若所述指令周期数为n2，确定所述测试问题对应的指令周期成本为成本得分s2；若所述指令周期数为n3，确定所述测试问题对应的指令周期成本为成本得分s3。

其中，0<n1<n2<m≤n3，n1为预先设定的周期数，m表示周期数限值；s3<s2<s1。本发明实施例中，指令周期成本为成本得分越高，表明语音交互系统成功响应测试问题的成本越低。其中，预先设定的周期数根据成功响应一个测试问题所消耗的最少指令周期数确定，n1可以是1，也可以是其他整数，视实际情况确定。

对应的，可根据测试问题对应的指令周期成本的成本得分，确定语音交互系统智商水平的评测结果。

在其他实施例中，确定所述测试问题对应的指令周期成本也可以是成本得分以外的其他方式，例如等级的方式，具体例如：

若所述指令周期数为n1，确定所述测试问题对应的指令周期成本为成本级别l1；若所述指令周期数为n2，确定所述测试问题对应的指令周期成本为成本级别l2；若所述指令周期数为n3，确定所述测试问题对应的指令周期成本为成本级别l3；其中，l1、l2、l3对应的级别依次递减。本发明实施例中，指令周期成本的成本级别越高，表明语音交互系统成功响应所述测试问题的成本越低。其中，级别高低，可以是基于级别数值大小确定，例如级别1低于级别2，或者是级别1大于级别2，可根据实际情况确定。

对应的，可根据测试问题对应的指令周期成本的成本级别，确定语音交互系统智商水平的评测结果。

在上述实施例的基础上，结合图3，下面以该方法应用于图1中的评测终端为例，进一步对语音交互系统智商水平的评测方法进行举例说明。其中，参与评测的测试问题有多个，对应地语音交互系统智商水平的评测方法包括如下步骤：

步骤s301，设置多个测试问题，保存在问题数据库中。

步骤s302，对设置的多个测试问题划分类型，并对各类型对应的测试问题设置对应的权重，保存该对应关系。

步骤s303，从问题数据库中获取测试问题，发出该测试问题对应的语音。

测试问题对应的语音既可以是评测终端发出，也可以是测试用户发出，或者是第三方设备发出，例如通过用户手机播放录制的语音的方式。

步骤s304，获取所述语音交互系统成功响应该测试问题的指令周期数。

针对不同的语音交互系统，由于智商水平的差异，会造成语音交互系统在识别、理解和处理语音指令时无法准确完成任务。这种情况下语音交互系统就会给出错误的答案、执行错误的操作或无法执行操作等情况。这时需要用户重新下达语音命令，如降低语速、改变语音指令表达方式等，使语音交互系统更好地识别和理解用户的语音。将使解决一个测试问题所需的指令周期数增加，加大了指令周期成本。因此，在语音交互系统成功响应一个语音指令时，所耗费的指令周期数越多，则反映出该语音交互系统的智商水平较低。

步骤s305，通过所述指令周期数确定该测试问题对应的指令周期成本。

例如：假设语音交互系统成功响应该测试问题所需的最少指令周期数为1，且以m个指令周期为周期数限值。那么，若语音交互系统在m个指令周期内无法提供正确答案或无法合理响应，则该任务的成本评分为0；若语音交互系统在第一个指令周期内提供了正确答案或合理响应，则该任务的成本评分为满分s0；若语音交互系统在第n(1<n<m)个指令周期内提供了正确答案或合理响应，则该任务的成本评分为sn(0<sn<s)。其中，s0和sn之间为递减关系，包括但不限于线性递减、指数衰减、对数衰减或其他类型衰减关系，可以根据测试对象的需求和问题集的特点进行选择。

步骤s306，问题数据库中是否还有其他测试问题未参与评测，若是，返回步骤s303，获取下一个测试问题进行评测；若否，执行下一步。

步骤s307，获取参与评测的各个测试问题对应的权重，根据多个测试问题各自对应的指令周期成本和权重，确定所述语音交互系统智商水平的评测结果得分。

即，最终语音交互系统智商水平的评测结果得分，是通过各类问题对应的成本得分及其权重的综合运算得到。综合运算包括但不限于累加、累乘等运算。

上述实施例的方法，通过引入指令周期成本的概念，利用语音交互系统的成功执行一项任务(即成功响应一个测试问题)所消耗的指令周期成本，作为来衡量其智商水平的指标，并且对其其智商水平进行量化处理。由于指令周期成本计算易于操作、便于数字化等特点，能够准确区分各语音交互系统的智商水平。同时，能够避免标准答案匹配评测方法带来的局限性问题，使评测结果更加合理客观，可靠性更高。

可以理解的，上述实施例的语音交互系统智商水平的评测方法，其应用对象包括但不限于智能音箱、无人驾驶、智能语音助手等具有智能化的语音交互功能的终端。

应该理解的是，对于前述的各方法实施例，虽然流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，方法实施例的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

基于与上述实施例中的语音交互系统智商水平的评测方法相同的思想，本文还提供语音交互系统智商水平的评测装置。

在一个实施例中，如图4所示，本实施例的语音交互系统智商水平的评测装置包括：问题获取模块410、周期计数模块420以及结果确定模块430，各模块详述如下：

上述问题获取模块410，用于获取测试问题，所述测试问题为语音问题。

上述周期计数模块420，用于获取所述语音交互系统成功响应所述测试问题的指令周期数；其中，一个指令周期为所述语音交互系统与外界的一个对话回合。

上述结果确定模块430，用于通过所述指令周期数确定所述语音交互系统智商水平的评测结果。

在一实施例中，上述结果确定模块430包括：

成本核算子模块，用于通过所述指令周期数确定所述测试问题对应的指令周期成本。结果确定子模块，用于通过所述指令周期成本确定所述语音交互系统智商水平的评测结果。

在一实施例中，上述问题获取模块410：应用获取预设的多个测试问题。对应地，上述结果确定模块430，用于根据所述多个测试问题各自对应的指令周期成本，确定所述语音交互系统智商水平的评测结果得分。

在一实施例中，上述结果确定子模块，包括：

权重获取单元，用于获取所述多个测试问题各自对应的权重。以及，结果计算单元，应用根据所述多个测试问题各自对应的指令周期成本和权重，确定所述语音交互系统智商水平的评测结果得分。

在一实施例中，上述权重获取单元，用于获取所述多个测试问题各自对应的类型；获取各类型对应的权重，作为相应测试问题对应的权重。

在一实施例中，上述成本核算子模块包括：

限值获取单元，用于获取预设的周期数限值；以及，

成本计算单元，用于通过所述指令周期数和所述周期数限值，确定所述测试问题对应的指令周期成本。

在一实施例中，上述成本计算单元包括：

第一成本计算单元，用于若所述指令周期数为n1，确定所述测试问题对应的指令周期成本为成本得分s1；第二成本计算单元，用于若所述指令周期数为n2，确定所述测试问题对应的指令周期成本为成本得分s2；第三成本计算单元，用于若所述指令周期数为n3，确定所述测试问题对应的指令周期成本为成本得分s3。

其中，0<n1<n2<m≤n3，n1为预先设定的周期数，m表示周期数限值；s3<s2<s1。

在另一实施例中，第一成本计算单元，用于若所述指令周期数为n1，确定所述测试问题对应的指令周期成本为成本级别l1；第二成本计算单元，用于若所述指令周期数为n2，确定所述测试问题对应的指令周期成本为成本级别l2；第三成本计算单元，用于若所述指令周期数为n3，确定所述测试问题对应的指令周期成本为成本级别l3；

其中，0<n1<n2<m≤n3，n1为预先设定的周期数，m表示周期数限值；l1、l2、l3对应的级别依次递减。

关于语音交互系统智商水平的评测装置的具体限定可以参见上文中对于语音交互系统智商水平的评测方法的限定，在此不再赘述。上述语音交互系统智商水平的评测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

此外，上述示例的语音交互系统智商水平的评测装置的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述语音交互系统智商水平的评测装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现一种语音交互系统智商水平的评测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时能够实现上述任一实施例的语音交互系统智商水平的评测方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在被处理器执行时，能够实现上述任一实施例的语音交互系统智商水平的评测方法的步骤。

基于此，在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例的语音交互系统智商水平的评测方法的步骤。

其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

本文实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或(模块)单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

在本文中提及的“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。