对话系统可靠性校验方法、模型生成方法及装置与流程

本申请涉及计算机应用技术领域，尤其涉及一种对话系统可靠性校验方法、模型生成方法及装置。

背景技术：

随着人工智能技术的快速发展，各种智能对话系统不断普及，如服务交互机器人等。在实际应用中，如何判断对话系统是否真正回答了用户的问题，满足了用户需求，以进一步提高对话系统的可靠性，是一个亟待解决的问题。

相关技术中，通常通过人工方式对用户与对话系统的对话数据进行校验，以确定人机对话的可靠性。但是，由于对话系统产生的对话数据十分庞大，采用人工方式进行校验，不仅无法保证真实性，而且效率低下，提高了人工成本。

技术实现要素：

本申请提出的对话系统可靠性校验方法、模型生成方法及装置，用于解决相关技术中，采用人工方式对对话系统的对话数据的可靠性进行校验的方式，由于对话系统产生的对话数据十分庞大，不仅无法保证真实性，而且效率低下，提高了人工成本的问题。

本申请一方面实施例提出的对话系统可靠性校验方法，包括：获取待校验的第一问答对，其中所述第一问答对中包括第一问句和第一答句；根据所述第一问答对与语料集中各第二问答对间的相似度，从所述语料集中获取至少一个参考问答对，每个第二问答对中包括第二问句和第二答句；根据所述第一问答对对应的第一向量、及每个参考问答对应的每个第二向量，确定所述第一问答对对应的第一特征向量；利用预先生成的校验模型，对所述第一特征向量进行编码解码处理，生成所述第一问答对中第一问句与第一答句间的匹配度。

可选地，在第一方面实施例一种可能的实现形式中，所述根据所述第一问答对与语料集中各第二问答对间的相似度，从所述语料集中获取至少一个参考问答对，包括：

根据所述第一问答对与各第二问答对间的相似度，从所述语料集中获取与所述第一问答对相似度最高的一个第二问答对；

或者，

根据所述第一问答对与各第二问答对间的相似度，从所述语料集中获取与所述第一问答对相似度最高的第二问答对、及与所述第一问答对的相似度大于阈值的前m个第二问答对中的第n个第二问答对，m为正整数，n为大于1的正整数。

可选地，在第一方面实施例另一种可能的实现形式中，所述根据所述第一问答对与语料集中各第二问答对间的相似度，从所述语料集中获取至少一个参考问答对，包括：

根据所述第一问句与每个第二问句间的相似度，获取各疑似参考问答对，根据所述第一答句与每个疑似参考问答对中的第二答句间的相似度，确定至少一个参考问答对；

或者，

根据所述第一答句与每个第二答句间的相似度，获取各疑似参考问答对，根据所述第一问句与每个疑似参考问答对中的第二问句间的相似度，确定至少一个参考问答对。

可选地，在第一方面实施例再一种可能的实现形式中，所述确定所述第一问答对对应的第一特征向量之后，还包括：

根据所述第一问答对与所述至少一个参考问答对间的相似度、每个参考问答对中第二问句与第二答句间的匹配度、所述第一问答对的意图、每个参考问答对的意图、所述第一问答对的所属的领域、和/或，每个参考问答对所属的领域，对所述第一特征向量进行扩展，生成第二特征向量；

所述对所述第一特征向量进行编码解码处理，包括：

对所述第二特征向量进行编码解码处理。

可选地，在第一方面实施例又一种可能的实现形式中，所述语料集中包括第二问句和第二答句匹配度大于或等于阈值的第一问答对集、及第二问句和第二答句匹配度小于阈值的第二问答对集；

所述对所述第二特征向量进行编码解码处理之前，还包括：

根据每个参考问答对所属的问答对集，对所述第二特征向量进行更新。

可选地，在第一方面实施例又一种可能的实现形式中，所述确定所述第一问答对对应的第一特征向量之前，还包括：

采用第一预设的方法，确定所述第一问句及每个参考问答对中每个第二问句分别对应的向量；

采用第二预设的方法，确定所述第一答句及每个参考问答对中每个第二答句分别对应的向量。

可选地，在第一方面实施例另一种可能的实现形式中，所述确定所述第一问答对对应的第一特征向量之前，还包括：

确定所述第一问答对及每个参考问答对分别对应的发起方及响应方；

根据所述第一问答对对应的发起方及响应方，确定所述第一问句及所述第一答句分别对应的向量；

根据每个参考问答对对应的发起方及响应方，确定每个参考问答对中第二问句及第二答句分别对应的向量。

本申请另一方面实施例提出的对话系统可靠性校验模型生成方法，包括：从语料集中抽取训练问答对，所述语料集内的每个第二问答对中包括第二问句和第二答句，训练问答对中目标第二问句与目标第二答句间具有第一匹配度；根据所述训练问答对与所述语料集中其它各第二问答对间的相似度，获取至少一个参考问答对；根据所述训练问答对对应的第三向量、及每个参考问答对对应的每个第四向量，确定所述训练问答对对应的第三特征向量；利用预设的模型，对所述第三特征向量进行编码解码处理，确定所述训练问答对对应的第二匹配度；根据所述第一匹配度与所述第二匹配度间的差值，对所述预设的模型参数进行调整，以生成校验模型。

可选地，在第二方面实施例一种可能的实现形式中，所述根据所述训练问答对与所述语料集中其它各第二问答对间的相似度，从所述语料集中获取至少一个参考问答对，包括：

根据所述训练问答对与其它各第二问答对间的相似度，从所述语料集中获取与所述训练问答对相似度最高的一个第二问答对；

或者，

根据所述训练问答对与其他各第二问答对间的相似度，从所述语料集中获取与所述训练问答对相似度最高的第二问答对、及与所述训练问答对的相似度大于阈值的前l个第二问答对中的第k个第二问答对，l为正整数，k为大于1的正整数。

可选地，在第二方面实施例另一种可能的实现形式中，所述根据所述训练问答对与其它各第二问答对间的相似度，从所述语料集中获取至少一个参考问答对，包括：

根据所述目标第二问句与其它每个第二问答对中第二问句间的相似度，获取各疑似参考问答对，根据所述目标第一答句与每个疑似参考问答对中的第二答句间的相似度，确定至少一个参考问答对；

或者，

根据所述目标第二答句与其他每个第二问答对中第二答句间的相似度，获取各疑似参考问答对，根据所述第二目标问句与每个疑似参考问答对中的第二问句间的相似度，确定至少一个参考问答对。

可选地，在第二方面实施例再一种可能的实现形式中，所述确定所述训练问答对对应的第三特征向量之后，还包括：

根据所述训练问答对与所述至少一个参考问答对间的相似度、每个参考问答对中第二问句与第二答句间的匹配度、所述训练问答对的意图、每个参考问答对的意图、所述训练问答对的所属的领域、和/或，每个参考问答对所属的领域，对所述第三特征向量进行扩展，生成第四特征向量；

所述利用预设的模型，对所述第三特征向量进行编码解码处理，包括：

利用预设的模型，对所述第四特征向量进行编码解码处理。

可选地，在第二方面实施例又一种可能的实现形式中，所述语料集中包括第二问句和第二答句匹配度大于或等于阈值的第一问答对集、及第二问句和第二答句匹配度小于阈值的第二问答对集；

所述对所述第四特征向量进行编码解码处理之前，还包括：

根据每个参考问答对所属的问答对集，对所述第四特征向量进行更新。

可选地，在第二方面实施例又一种可能的实现形式中，所述确定所述训练问答对对应的第三特征向量之前，还包括：

采用第一预设的方法，确定所述目标第二问句及每个参考问答对中每个第二问句分别对应的向量；

采用第二预设的方法，确定所述目标答句及每个参考问答对中每个第二答句分别对应的向量。

可选地，在第二方面实施例另一种可能的实现形式中，所述确定所述训练问答对对应的第三特征向量之前，还包括：

确定所述训练问答对及每个参考问答对分别对应的发起方及响应方；

根据所述训练问答对对应的发起方及响应方，确定所述目标第二问句及所述目标第二答句分别对应的向量；

根据每个参考问答对对应的发起方及响应方，确定每个参考问答对中第二问句及第二答句分别对应的向量。本申请再一方面实施例提出的对话系统可靠性校验装置，包括：第一获取模块，用于获取待校验的第一问答对，其中所述第一问答对中包括第一问句和第一答句；第二获取模块，用于根据所述第一问答对与语料集中各第二问答对间的相似度，从所述语料集中获取至少一个参考问答对，每个第二问答对中包括第二问句和第二答句；第一确定模块，用于根据所述第一问答对对应的第一向量、及每个参考问答对应的每个第二向量，确定所述第一问答对对应的第一特征向量；第一生成模块，用于利用预先生成的校验模型，对所述第一特征向量进行编码解码处理，生成所述第一问答对中第一问句与第一答句间的匹配度。

可选地，在第三方面实施例一种可能的实现形式中，所述第二获取模块，具体用于：

根据所述第一问答对与各第二问答对间的相似度，从所述语料集中获取与所述第一问答对相似度最高的一个第二问答对；

或者，

根据所述第一问答对与各第二问答对间的相似度，从所述语料集中获取与所述第一问答对相似度最高的第二问答对、及与所述第一问答对的相似度大于阈值的前m个第二问答对中的第n个第二问答对，m为正整数，n为大于1的正整数。

可选地，在第三方面实施例另一种可能的实现形式中，所述第二获取模块，还用于：

根据所述第一问句与每个第二问句间的相似度，获取各疑似参考问答对，根据所述第一答句与每个疑似参考问答对中的第二答句间的相似度，确定至少一个参考问答对；

或者，

根据所述第一答句与每个第二答句间的相似度，获取各疑似参考问答对，根据所述第一问句与每个疑似参考问答对中每个第二问句间的相似度，确定至少一个参考问答对。

可选地，在第三方面实施例再一种可能的实现形式中，所述装置，还包括：

第二生成模块，用于根据所述第一问答对与所述至少一个参考问答对间的相似度、每个参考问答对中第二问句与第二答句间的匹配度、所述第一问答对的意图、每个参考问答对的意图、所述第一问答对的所属的领域、和/或，每个参考问答对所属的领域，对所述第一特征向量进行扩展，生成第二特征向量；

所述第一生成模块，具体用于：

对所述第二特征向量进行编码解码处理。

可选地，在第三方面实施例又一种可能的实现形式中，所述语料集中包括第二问句和第二答句匹配度大于或等于阈值的第一问答对集、及第二问句和第二答句匹配度小于阈值的第二问答对集；所述装置，还包括：

更新模块，用于根据每个参考问答对所属的问答对集，对所述第二特征向量进行更新。

可选地，在第三方面实施例又一种可能的实现形式中，所述装置，还包括：

第二确定模块，用于采用第一预设的方法，确定所述第一问句及每个参考问答对中每个第二问句分别对应的向量；

第三确定模块，用于采用第二预设的方法，确定所述第一答句及每个参考问答对中每个第二答句分别对应的向量。

可选地，在第三方面实施例另一种可能的实现形式中，所述装置，还包括：

第四确定模块，用于确定所述第一问答对及每个参考问答对分别对应的发起方及响应方；

第五确定模块，用于根据所述第一问答对对应的发起方及响应方，确定所述第一问句及所述第一答句分别对应的向量；

第六确定模块，用于根据每个参考问答对对应的发起方及响应方，确定每个参考问答对中第二问句及第二答句分别对应的向量。

可选地，在第三方面实施例再一种可能的实现形式中，所述装置，还包括：

抽取模块，用于从所述语料集中抽取第一训练问答对，所述第一训练问答对中第二问句与第二答句间具有第一匹配度；

第三获取模块，用于根据所述第一训练问答对与所述语料集中其它各第二问答对间的相似度，获取至少一个第二训练问答对；

第七确定模块，用于根据所述第一训练问答对对应的第三向量、及每个第二训练问答对对应的每个第四向量，确定所述第一训练问答对对应的第三特征向量；

调整模块，用于将所述第三特征向量输入至预设的模型中，对所述预设的模型参数进行调整，以使生成的校验模型输出的第二匹配度与所述第一匹配度间的差在预设范围内。

本申请又一方面实施例提出的对话系统可靠性校验模型生成装置，包括：抽取模块，用于从所述语料集中抽取训练问答对，所述语料集内的每个第二问答对中包括第二问句和第二答句，所述训练问答对中目标第二问句与目标第二答句间具有第一匹配度；获取模块，用于根据所述第一训练问答对与所述语料集中其它各第二问答对间的相似度，获取至少一个参考问答对；第一确定模块，用于根据所述训练问答对对应的第三向量、及每个参考问答对对应的每个第四向量，确定所述训练问答对对应的第三特征向量；第二确定模块，用于利用预设的模型，对所述第三特征向量进行编码解码处理，确定所述训练问答对对应的第二匹配度；调整模块，用于根据所述第一匹配度与所述第二匹配度间的差值，对所述预设的模型参数进行调整，以生成校验模型。

可选地，在第四方面实施例一种可能的实现形式中，所述获取模块，具体用于：

根据所述训练问答对与其它各第二问答对间的相似度，从所述语料集中获取与所述训练问答对相似度最高的一个第二问答对；

或者，

根据所述训练问答对与其他各第二问答对间的相似度，从所述语料集中获取与所述训练问答对相似度最高的第二问答对、及与所述训练问答对的相似度大于阈值的前l个第二问答对中的第k个第二问答对，l为正整数，k为大于1的正整数。

可选地，在第四方面实施例另一种可能的实现形式中，所述述获取模块，还用于：

根据所述目标第二问句与其它每个第二问答对中第二问句间的相似度，获取各疑似参考问答对，根据所述目标第一答句与每个疑似参考问答对中的第二答句间的相似度，确定至少一个参考问答对；

或者，

根据所述目标第二答句与其他每个第二问答对中第二答句间的相似度，获取各疑似参考问答对，根据所述第二目标问句与每个疑似参考问答对中的第二问句间的相似度，确定至少一个参考问答对。

可选地，在第四方面实施例再一种可能的实现形式中，所述装置还包括：

扩展模块，用于根据所述训练问答对与所述至少一个参考问答对间的相似度、每个参考问答对中第二问句与第二答句间的匹配度、所述训练问答对的意图、每个参考问答对的意图、所述训练问答对的所属的领域、和/或，每个参考问答对所属的领域，对所述第三特征向量进行扩展，生成第四特征向量；

所述第二确定模块，具体用于：

利用预设的模型，对所述第四特征向量进行编码解码处理。

可选地，在第四方面实施例又一种可能的实现形式中，所述语料集中包括第二问句和第二答句匹配度大于或等于阈值的第一问答对集、及第二问句和第二答句匹配度小于阈值的第二问答对集；所述装置，还包括：

更新模块，用于根据每个参考问答对所属的问答对集，对所述第四特征向量进行更新。

可选地，在第四方面实施例又一种可能的实现形式中，所述装置，还包括：

第三确定模块，用于采用第一预设的方法，确定所述目标第二问句及每个参考问答对中每个第二问句分别对应的向量；

第四确定模块，用于采用第二预设的方法，确定所述目标答句及每个参考问答对中每个第二答句分别对应的向量。

可选地，在第四方面实施例另一种可能的实现形式中，所述装置，还包括：

第五确定模块，用于确定所述训练问答对及每个参考问答对分别对应的发起方及响应方；

第六确定模块，用于根据所述训练问答对对应的发起方及响应方，确定所述目标第二问句及所述目标第二答句分别对应的向量；

第七确定模块，用于根据每个参考问答对对应的发起方及响应方，确定每个参考问答对中第二问句及第二答句分别对应的向量。

本申请再一方面实施例提出的电子设备，其包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如前所述的对话系统可靠性校验方法或对话系统可靠性校验模型生成方法。

本申请再一方面实施例提出的计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如前所述的对话系统可靠性校验方法或对话系统可靠性校验模型生成方法。

本申请又一方面实施例提出的计算机程序，该程序被处理器执行时，以实现本申请实施例所述的对话系统可靠性校验方法。

本申请实施例提供的对话系统可靠性校验方法、模型生成方法、装置、电子设备、计算机可读存储介质及计算机程序，可以获取待校验的第一问答对，并根据第一问答对与语料集中各第二问答对间的相似度，从语料集中获取至少一个参考问答对，之后根据第一问答对对应的第一向量、及每个参考问答对应的每个第二向量，确定第一问答对对应的第一特征向量，进而利用预先生成的校验模型，对第一特征向量进行编码解码处理，生成第一问答对中第一问句与第一答句间的匹配度。由此，通过将语料集中与第一问答对相似的、且已具有匹配度的参考问答对作为参考，并利用预先生成的校验模型确定第一问答对中第一问句与第一答句间的匹配度，从而实现了自动校验对话系统可靠性，不仅提高了对话系统可靠性校验的真实性，而且提高了校验效率，节约了人工成本。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例所提供的一种对话系统可靠性校验方法的流程示意图；

图2为本申请实施例所提供的另一种对话系统可靠性校验方法的流程示意图；

图3为本申请实施例所提供的一种对话系统可靠性校验模型生成方法的流程示意图；

图4为本申请实施例所提供的另一种对话系统可靠性校验模型生成方法的流程示意图；

图5为本申请实施例提供的一种对话系统可靠性校验装置的结构示意图；

图6为本申请实施例提供的另一种对话系统可靠性校验装置的结构示意图；

图7为本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的要素。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

本申请实施例针对相关技术中，采用人工方式对对话系统的对话数据的可靠性进行校验的方式，由于对话系统产生的对话数据十分庞大，不仅无法保证真实性，而且效率低下，提高了人工成本的问题，提出一种对话系统可靠性校验方法。

本申请实施例提供的对话系统可靠性校验方法，可以获取待校验的第一问答对，并根据第一问答对与语料集中各第二问答对间的相似度，从语料集中获取至少一个参考问答对，之后根据第一问答对对应的第一向量、及每个参考问答对应的每个第二向量，确定第一问答对对应的第一特征向量，进而利用预先生成的校验模型，对第一特征向量进行编码解码处理，生成第一问答对中第一问句与第一答句间的匹配度。由此，通过将语料集中与第一问答对相似的、且已具有匹配度的参考问答对作为参考，并利用预先生成的校验模型确定第一问答对中第一问句与第一答句间的匹配度，从而实现了自动校验对话系统可靠性，不仅提高了对话系统可靠性校验的真实性，而且提高了校验效率，节约了人工成本。

下面参考附图对本申请提供的对话系统可靠性校验方法、装置、电子设备、存储介质及计算机程序进行详细描述。

图1为本申请实施例所提供的一种对话系统可靠性校验方法的流程示意图。

如图1所示，该对话系统可靠性校验方法，包括以下步骤：

步骤101，获取待校验的第一问答对，其中第一问答对中包括第一问句和第一答句。

其中，待校验的第一问答对，是指当前需要校验其包括的第一问句与第一答句间的匹配度的问答对。

需要说明的是，本申请实施例的对话系统可靠性校验方法，可以由本申请实施例的对话系统可靠性校验装置执行。本申请实施例的对话系统可靠性校验装置可以配置在任意电子设备中。

优选的，本申请实施例的对话系统可靠性校验装置可以配置在对话系统的服务器中，以实时获取对话系统上报的、其在工作过程中产生的对话数据，即待校验的第一问答对。

步骤102，根据第一问答对与语料集中各第二问答对间的相似度，从语料集中获取至少一个参考问答对，每个第二问答对中包括第二问句和第二答句。

需要说明的是，语料集中可以包括大量第二问答对，且第二问答对中包括的第二问句与第二答句间的匹配度是已知的。作为一种可能的实现方式，第二问答对包括的第二问句和第二答句可以是高度匹配的正样本。

其中，第一问答对与语料集中各第二问答对间的相似度，可以是第一问答对对应的向量与各第二问答对对应的向量间的余弦相似度。

作为一种可能的实现方式，可以通过预设的文本向量化方法，确定第一问答对包括的第一问句对应的向量，以及第一答句对应的向量，进而根据第一问句对应的向量与第一答句对应的向量，确定出第一问答对对应的第一向量。比如，可以将第一问句对应的向量与第一答句对应的向量的均值，确定为第一问答对对应的第一向量；或者，将第一问句对应的向量与第一答句对应的向量进行拼接，以作为第一问答对对应的第一向量，等等，本申请实施例对此不做限定。

相应的，可以通过相同的方式确定出各第二问答对分别对应的第二向量。之后，可以计算第一向量与各第二问答对分别对应的第二向量间的余弦相似度，并将第一向量分别与各第二向量间的余弦相似度，确定为第一问答对与各第二问答对间的相似度，进而根据第一问答对与各第二问答对间的相似度大小，从语料集中获取一个或多个参考问答对。比如，可以将与第一问答对间的相似度最大的一个或多个第二问答对，确定为参考问答对。

进一步的，在从语料集中获取参考问答对时，还可以预设参考问答对需要满足的阈值，进而根据第一问答对与各第二问答对间的相似度与阈值的关系，确定出参考问答对。即在本申请实施例一种可能的实现形式中，上述步骤102，还可以包括：

根据第一问答对与各第二问答对间的相似度，从语料集中获取与第一问答对相似度最高的一个第二问答对；

或者，

根据第一问答对与各第二问答对间的相似度，从语料集中获取与第一问答对相似度最高的第二问答对、及与第一问答对的相似度大于阈值的前m个第二问答对中的第n个第二问答对，m为正整数，n为大于1的正整数。

作为一种可能的实现方式，参考问答对的数量可以为1个，此时，则可根据第一问答对与各第二问答对间的相似度，将语料集中与第一问答对相似度最高的一个第二问答对，确定为参考问答对。

作为一种可能的实现方式，参考问答对的数量也可以为多个，此时，可以首先将语料集中与第一问答对的相似度最高的第二问答对，确定为第一参考问答对；之后可以根据参考问答对需要满足的阈值，确定出与第一问答对间的相似度大于阈值前m个第二问答对，进而从语料集中获取与第一问答对的相似度处于前m个第二问答对中间水平的参考问答对，即m个第二问答对中的第n个第二问答对，作为参考问答对。

可选的，n的取值可以有多个，从而可以从语料集中获取多个参考问答对。比如，与第一问答对间的相似度大于阈值的第二参考问答对共有10个，即m的取值为10，n的取值可以为4、5、6，从而可以从语料库中获取4个参考问答对，其中包括与第一问答对的相似度最高的第二问答对。

需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，可以根据实际需要确定阈值的具体取值，以及n的具体取值，本申请实施例对此不做限定。

进一步的，在从语料集中获取参考问答对时，可以分别计算第一问句与各第二问句间的相似度，以及第一答句与各第二答句间的相似度，进而根据两者的相似度，确定出参考问答对。即在本申请实施例一种可能的实现形式中，上述步骤102，可以包括：

根据第一问句与每个第二问句间的相似度，获取各疑似参考问答对，根据第一答句与每个疑似参考问答对中的第二答句间的相似度，确定至少一个参考问答对；

或者，

根据第一答句与每个第二答句间的相似度，获取各疑似参考问答对，根据第一问句与每个疑似参考问答对中的第二问句间的相似度，确定至少一个参考问答对。

作为一种可能的实现方式，可以通过第一问答对与第二问答对间的相似度，确定参考问答对，也可以通过第一问句与各第二问句间的相似度，以及第一答句与各第二答句间的相似度确定参考问答对。

可选的，可以利用文本向量化方法，确定出第一问答对中包括的第一问句与第一答句分别对应的向量，以及每个第二问答对中包括的第二问句与第二答句分别对应的向量，并计算出第一问句对应的向量与各第二问句对应的向量间的余弦相似度，作为第一问句与各第二问句间的相似度，进而首先根据第一问句与每个第二问句间的相似度，确定出与第一问句间的相似度最高的多个第二问句(如与第一问句间的相似度大于阈值的多个第二问句)，并将确定出的多个第二问句对应的第二问答对，确定为疑似参考问答对。

然后，计算第一答句对应的向量分别与各疑似参考问答对包括的第二答句间的相似度，确定出与第一答句间的相似度最高的一个或多个第二答句(如与第一答句间的相似度大于阈值的一个或多个第二答句)，进而将确定出的一个或多个第二答句对应的疑似参考问答对，确定为参考问答对。

可选的，还可以首先计算出第一答句对应的向量与各第二答句对应的向量间的余弦相似度，作为第一答句与各第二答句间的相似度，进而根据第一答句与每个第二答句间的相似度，确定出与第一答句间的相似度最高的多个第二答句(如与第一答句间的相似度大于阈值的多个第二答句)，并将确定出的多个第二答句对应的第二问答对，确定为疑似参考问答对。

然后，计算第一问句对应的向量分别与各疑似参考问答对包括的第二问句间的相似度，确定出与第一问句间的相似度最高的一个或多个第二问句(如与第一问句间的相似度大于阈值的一个或多个第二问句)，进而将确定出的一个或多个第二问句对应的疑似参考问答对，确定为参考问答对。

步骤103，根据第一问答对对应的第一向量、及每个参考问答对应的每个第二向量，确定第一问答对对应的第一特征向量。

其中，第一问答对对应的第一向量，可以是根据第一问答对包括的第一问句对应的向量与第一答句对应的向量确定的，比如，可以是第一问句对应的向量与第一答句对应的向量的均值，也可以是将第一问句对应的向量与第一答句对应的向量进行拼接，得到的向量，等等，本申请实施例对此不做限定。

相应的，参考问答对对应的第二向量，可以是根据参考问答对包括的第二问句对应的向量与第二答句对应的向量确定的，比如，可以是第二问句对应的向量与第二答句对应的向量的均值，也可以是将第二问句对应的向量与第二答句对应的向量进行拼接，得到的向量，等等。需要说明的是，确定参考问答对对应的第二向量的方式与确定第一问答对对应的第一向量的方式相同。

作为一种可能的实现方式，第一问答对对应的第一特征向量，可以是将第一问答对对应的第一向量与各参考问答对对应的第二向量进行拼接，构成的向量。

举例来说，第一问答对对应的第一向量为a，从语料集中获取的参考向量有2个，参考问答对1对应的第二向量为b1，参考问答对2对应的第二向量为b2，则第一问答对对应的第一特征向量为t＝[a,b1,b2]。

进一步的，在确定第一问答对对应的第一向量及第二问答对对应的第二向量时，计算第一问句与第二问句对应的向量所采用的文本向量化方法，与计算第一答句与第二答句对应的向量所采用的的文本向量化方法，可以是不同的。即在本申请实施例一种可能的实现形式中，上述步骤103之前，还可以包括：

采用第一预设的方法，确定第一问句及每个参考问答对中每个第二问句分别对应的向量；

采用第二预设的方法，确定第一答句及每个参考问答对中每个第二答句分别对应的向量。

其中，第一预设的方法与第二预设的方法，是指两种不同的文本向量化方法。比如，词频-逆文本频率(termfrequency–inversedocumentfrequency，tf-idf)算法、潜在语义检索(latentsemanticindexing，lsi)算法、线性判别分析(lineardiscriminantanalysis，lda)算法、doc2bow、doc2vec等算法。

需要说明的是，在对话系统中，问句与答句的来源通常不同，从而导致问句与答句的长度、复杂度、口语化程度等特性存在一定的差别，因此，在确定第一问答对对应的第一向量，以及各参考问答对对应的第二向量时，可以根据答句与问句自身的特性，采用不同的文本向量化方法，分别确定第一问句、各第二问句对应的向量，以及第一答句、各第二答句对应的向量，以是的第一向量与第二向量可以更加准确的表达第一问答对与参考问答对的语义信息。

举例来说，若对话系统为智能交互机器人，则第一问答对包括的第一问句与各参考问答对包括的第二问句通常是由用户发出的，而第一问答对包括的第一答句与各参考问答对包括的第二答句通常是由机器人发出的，而用户发出的问句通常较长、复杂度较高、口语化程度高；机器人发出的答句通常较简洁、口语化程度低，从而可以根据问句与答句各自的特点，选取不同的文本向量化方法，确定问句与答句分别对应的向量。

作为一种可能的实现方式，第一预设的方法可以是doc2vec算法，第二预设的方法可以是tf-idf算法。由于doc2vec算法的准确度较高，适用于较复杂语句结构的文本向量化，而问答对中的问句通常是由用户发起的，并且语句结果较复杂，因此可以采用准确度较高的doc2vec算法，确定第一问句及各第二问句对应的向量，以保证第一问句及各第二问句语义表示的准确性；由于tf-idf算法的算法复杂度较低，更加适用于短句的文本向量化，而问答对中的答句通常是由对话系统发起的，并且语句结构较简单，因此可以采用tf-idf算法，确定第一答句及各第二答句对应的向量，既可以保证第一答句及各第二答句语义表示的准确性，又可以降低算法复杂度。

进一步的，由于在某些场景中，对话系统也可以向用户提问，以根据用户的回答确定自身的下一步操作，即问答对中的问句可能是对话系统发起的，而问答对中的答句可能是用户发起的，从而可以根据问答对的发起方和响应方，确定问句与答句分别对应的文本向量化方法。即在本申请实施例一种可能的实现形式中，上述步骤103之前，还可以包括：

确定第一问答对及每个参考问答对分别对应的发起方及响应方；

根据第一问答对对应的发起方及响应方，确定第一问句及所述第一答句分别对应的向量；

根据每个参考问答对对应的发起方及响应方，确定每个参考问答对中第二问句及第二答句分别对应的向量。

其中，问答对对应的发起方，是指该问答对对应的发出问句的一方；问答对的响应方，是指该问答对对应的发出答句的一方。比如，若第一问答对包括的第一问句是由对话系统发出的，第一答句是由用户发出的，则第一问答对对应的发起方为对话系统，响应方为用户；若第一问答对包括的第一问句是由用户发出的，第一答句是由对话系统发出的，则第一问答对对应的发起方为用户，响应方为对话系统。

作为一种可能的实现方式，可以对对话系统发出的语句采用一种文本向量化方法，而对用户发出的语句采用另一种文本向量化方法，从而可以根据第一问答对及各参考问答对分别对应的发起方和响应方，确定第一问答对包括的第一问句与第一答句分别对应的文本向量化方法，以及各参考问答对包括的第二问句与第二答句分别对应的文本向量化方法，进而根据确定的第一问句与第一答句分别对应的文本向量化方法，确定第一问句及第一答句分别对应的向量；以及根据确定的各参考问答对包括的第二问句与第二答句分别对应的文本向量化方法，确定每个参考问答对中第二问句及第二答句分别对应的向量。

举例来说，预先设定由对话系统发出的语句对应的文本向量化方法为tf-idf算法，由用户发出的语句对应的文本向量化方法为doc2vec算法，若确定第一问答对对应的发起方为对话系统，响应方为用户，则可以确定第一问答对中第一问句对应的文本向量化算法为tf-idf算法，第一答句对应的文本向量化算法为doc2vec算法，从而可以根据tf-idf算法确定出第一问句对应的向量，根据doc2vec算法确定出第一答句对应的向量；若确定一个参考问答对对应的发起方为用户，响应方为对话系统，则可以确定该参考问答对中的第二问句对应的文本向量化算法为doc2vec算法，第二答句对应的文本向量化算法为tf-idf算法，从而可以根据doc2vec算法确定出第二问句对应的向量，根据tf-idf算法确定出第二答句对应的向量。

步骤104，利用预先生成的校验模型，对第一特征向量进行编码解码处理，生成第一问答对中第一问句与第一答句间的匹配度。

在本申请实施例中，确定出待校验的第一问答对对应的第一特征向量之后，即可将第一特征向量输入预先生成的校验模型，以利用预先生成的校验模型，对第一特征向量进行编码解码处理，并根据编码解码处理结果生成第一问答对中第一问句与第一答句间的匹配度并输出。

可以理解的是，第一问答对对应的第一特征向量中，包括第一问答对对应的第一向量，以及各参考问答对对应的第二向量，而第一问答对与各参考问答对间具有较高的相似度，并且各参考问答对中第二问句与第二答句的匹配度是已知的，从而预先生成的校验模型可以通过对第一特征向量的分析，获得第一问答对中第一问句与第一答句间的匹配度，与各参考问答对中第二问句与第二答句间的匹配度间的联系，从而生成第一问答对中第一问句与第一答句间的匹配度。

需要说明的是，预先生成的校验模型，可以是通过训练生成的。在对校验模型进行训练时，训练数据中训练问答度包括的特征向量及训练问答对中包括的问句与答句间的匹配度，从而通过将大量训练数据输入训练模型，使得最终生成的校验模型可以识别出问答对对应的特征向量与其包括的问句与答句间的匹配度之间的联系，从而可以根据待校验的第一问答对对应的第一特征向量，生成第一问答对中第一问句与第一答句的匹配度。

本申请实施例提供的对话系统可靠性校验方法，可以获取待校验的第一问答对，并根据第一问答对与语料集中各第二问答对间的相似度，从语料集中获取至少一个参考问答对，之后根据第一问答对对应的第一向量、及每个参考问答对应的每个第二向量，确定第一问答对对应的第一特征向量，进而利用预先生成的校验模型，对第一特征向量进行编码解码处理，生成第一问答对中第一问句与第一答句间的匹配度。由此，通过将语料集中与第一问答对相似的、且已具有匹配度的参考问答对作为参考，并利用预先生成的校验模型确定第一问答对中第一问句与第一答句间的匹配度，从而实现了自动校验对话系统可靠性，不仅提高了对话系统可靠性校验的真实性，而且提高了校验效率，节约了人工成本。

在本申请实施例一种可能的实现形式中，还可以根据第一问答对的意图、所属的领域、参考问答对对应的意图、所属的领域、第二问句与第二答句间的匹配度等对第一问答对对应的第一特征向量进行扩展，以进一步提高对话系统可靠性校验的准确性。

下面结合图2，对本申请实施例提供的对话系统可靠性校验方法进行进一步说明。

图2为本申请实施例所提供的另一种对话系统可靠性校验方法的流程示意图。

如图2所示，该对话系统可靠性校验方法，包括以下步骤：

步骤201，获取待校验的第一问答对，其中第一问答对中包括第一问句和第一答句。

步骤202，根据第一问答对与语料集中各第二问答对间的相似度，从语料集中获取至少一个参考问答对，每个第二问答对中包括第二问句和第二答句。

步骤203，根据第一问答对对应的第一向量、及每个参考问答对应的每个第二向量，确定第一问答对对应的第一特征向量。

上述步骤201-203的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。

步骤204，根据第一问答对与至少一个参考问答对间的相似度、每个参考问答对中第二问句与第二答句间的匹配度、第一问答对的意图、每个参考问答对的意图、第一问答对的所属的领域、和/或，每个参考问答对所属的领域，对第一特征向量进行扩展，生成第二特征向量。

其中，第一问答对的意图及所属的领域，可以是对第一问答对进行语义分析获得的；每个参考问答对的意图及所属的领域，可以是预先存储在语料集中并直接从语料集中获取的。

在本申请实施例中，为进一步提高校验的准确性，还可以进一步获取第一问答对的意图及所属的领域，以及每个参考问答对的意图及所属的领域，并确定其对应的向量，进而根据第一问答对与每个参考问答对对应的相似度、每个参考问答对中第二问句与第二答句间的匹配度、第一问答对的意图对应的向量、每个参考问答对的意图对应的向量、第一问答对的所属的领域对应的向量、每个参考问答对所属的领域对应的向量，对第一问答对对应的第一特征向量进行扩展，以生成第一问答对对应的第二特征向量。

比如，可以将第一问答对对应的第一特征向量与第一问答对与每个参考问答对对应的相似度、每个参考问答对中第二问句与第二答句间的匹配度、第一问答对的意图对应的向量、每个参考问答对的意图对应的向量、第一问答对的所属的领域对应的向量、每个参考问答对所属的领域对应的向量进行拼接，生成第二特征向量。

步骤205，利用预先生成的校验模型，对第二特征向量进行编码解码处理，生成第一问答对中第一问句与第一答句间的匹配度。

在本申请实施例中，在对第一问答对对应的第一特征向量进行扩展，生成第一问答对对应的第二特征向量之后，则可以利用预先生成的校验模型，对第二特征向量进行编码解码处理，生成并输出第一问答对中第一问句与第一答句间的匹配度，以使得生成的第一问句与第一答句间的匹配度更加准确，进一步提高对话系统可靠性校验的准确性。

进一步的，语料集中可以包括第二问句和第二答句匹配度大于或等于阈值的第一问答对集、及第二问句和第二答句匹配度小于阈值的第二问答对集，此时还需要根据每个参考问答对所属的问答集，对第二特征向量进行更新。即在本申请实施例一种可能的实现形式中，上述步骤205之前，还可以包括：

根据每个参考问答对所属的问答对集，对所述第二特征向量进行更新。

需要说明的是，语料集中可以包括第二问句和第二答句匹配度大于或等于阈值的第一问答对集(即第二问句与第二答句的匹配度较高的正样本集)，与第二问句与第二答句匹配度小于阈值的第二问答对集(即第二问句与第二答句的匹配度较低的负样本集)，从而为了在第一问答对对应的第二特征向量中对正样本与负样本进行区分，可以预设正样本对应的各参数在第二特征向量中对应的维度，以及负样本对应的各参数在第二特征向量中所处的维度，进而根据各参考问答对所述的问答集，确定各参考问答对对应的各参数在第二特征向量中所处的维度，进而对第二特征向量进行更新。

举例来说，假设第一问答集中的参考问答对在第二特征向量中所处的维度为中间的多个维度，第二问答集中的参考问答对在第二特征向量中所处的维度为结尾的多个维度。第一问答对对应的第二特征向量为t2＝[a1,b3,b4]，其中，a1为第一问答对对应的第一向量及意图、所属的领域等参数对应的向量共同组成的向量，b3为参考问答对1对应的第二向量及意图、所属的领域、第二问句与第二答句间的匹配度等参数对应的向量共同组成的向量，b4为参考问答对2对应的第二向量及意图、所属的领域、第二问句与第二答句间的匹配度等参数对应的向量共同组成的向量，其中，参考问答对1属于第二问答集，参考问答对2属于第一问答集，则更新后的第二特征向量为t3＝[a1,b4,b3]。

本申请实施例提供的对话系统可靠性校验方法，可以通过根据第一问答对与至少一个参考问答对间的相似度、每个参考问答对中第二问句与第二答句间的匹配度、第一问答对的意图、每个参考问答对的意图、第一问答对的所属的领域、和/或，每个参考问答对所属的领域，对第一特征向量进行扩展，生成第二特征向量，进而利用预先生成的校验模型，对第二特征向量进行编码解码处理，生成第一问答对中第一问句与第一答句间的匹配度。由此，通过将语料集中与第一问答对相似的、且已具有匹配度的参考问答对作为参考，并利用预先生成的校验模型确定第一问答对中第一问句与第一答句间的匹配度，从而不仅实现了自动校验对话系统可靠性，提高了校验效率，节约了人工成本，而且进一步提高了对话系统可靠性校验的准确性。

为实现上述实施例，本申请还提出一种对话系统可靠性校验模型生成方法。

图3为本申请实施例所提供的一种对话系统可靠性校验模型生成方法的流程示意图。

如图3所示，该对话系统可靠性校验模型生成方法，包括以下步骤：

步骤301，从语料集中抽取训练问答对，语料集内的每个第二问答对中包括第二问句和第二答句，训练问答对中目标第二问句与目标第二答句间具有第一匹配度。

在本申请实施例中，可以利用语料集中已知第二问句与第二答句间的匹配度的问答对，作为训练问答对，训练校验模型并对校验模型的参数进行优化，使得最终的校验结果更加准确。即可以从语料集中抽取目标第二问句与目标第二答句间具有第一匹配度的训练问答对。

步骤302，根据训练问答对与语料集中其它各第二问答对间的相似度，获取至少一个参考问答对。

在本申请实施例中，从语料集中获取到训练问答对之后，可以根据训练问答对与其他各第二问答对间的相似度，获取至少一个参考问答对。

进一步的，在从语料集中获取参考问答对时，还可以预设参考问答对需要满足的阈值，进而根据训练问答对与各第二问答对间的相似度与阈值的关系，确定出参考问答对。即在本申请实施例一种可能的实现形式中，上述步骤102，还可以包括：

根据所述训练问答对与其它各第二问答对间的相似度，从所述语料集中获取与所述训练问答对相似度最高的一个第二问答对；

或者，

根据所述训练问答对与其他各第二问答对间的相似度，从所述语料集中获取与所述训练问答对相似度最高的第二问答对、及与所述训练问答对的相似度大于阈值的前l个第二问答对中的第k个第二问答对，l为正整数，k为大于1的正整数。

进一步的，在从语料集中获取参考问答对时，可以分别计算目标第二问句与各第二问句间的相似度，以及目标第二答句与各第二答句间的相似度，进而根据两者的相似度，确定出参考问答对。即在本申请实施例一种可能的实现形式中，上述步骤102，可以包括：

根据所述目标第二问句与其它每个第二问答对中第二问句间的相似度，获取各疑似参考问答对，根据所述目标第一答句与每个疑似参考问答对中的第二答句间的相似度，确定至少一个参考问答对；

或者，

根据所述目标第二答句与其他每个第二问答对中第二答句间的相似度，获取各疑似参考问答对，根据所述第二目标问句与每个疑似参考问答对中的第二问句间的相似度，确定至少一个参考问答对。

需要说明的是，从语料集中获取至少一个参考问答对的方式，与根据待校验的第一问答对与语料集中各第二问答对间的相似度，抽取至少一个参考问答对的方式相同，此处不再赘述。

步骤303，根据训练问答对对应的第三向量、及每个参考问答对对应的每个第四向量，确定训练问答对对应的第三特征向量。

在本申请实施例中，从语料集中获取到训练问答对及至少一个参考问答对之后，即可根据预设的文本向量化方法，确定训练问答对对应的第三向量，以及每个参考问答对对应的每个第四向量，进而将训练问答对对应的第三向量及每个参考问答对对应的每个第四向量进行拼接，生成训练问答对对应的第三特征向量。

进一步的，在确定训练问答对对应的第三向量及参考问答对对应的第四向量时，计算目标第二问句与第二问句对应的向量所采用的文本向量化方法，与计算目标第二答句与第二答句对应的向量所采用的的文本向量化方法，可以是不同的。即在本申请实施例一种可能的实现形式中，上述步骤303之前，还可以包括：

采用第一预设的方法，确定所述目标第二问句及每个参考问答对中每个第二问句分别对应的向量；

采用第二预设的方法，确定所述目标答句及每个参考问答对中每个第二答句分别对应的向量。

进一步的，由于在某些场景中，对话系统也可以向用户提问，以根据用户的回答确定自身的下一步操作，即问答对中的问句可能是对话系统发起的，而问答对中的答句可能是用户发起的，从而可以根据问答对的发起方和响应方，确定问句与答句分别对应的文本向量化方法。即在本申请实施例一种可能的实现形式中，上述步骤303之前，还可以包括：

确定所述训练问答对及每个参考问答对分别对应的发起方及响应方；

根据所述训练问答对对应的发起方及响应方，确定所述目标第二问句及所述目标第二答句分别对应的向量；

需要说明的是，确定训练问答对对应的第三向量的方式与确定第一问答对对应的第一向量的方式相同；确定训练过程中每个参考问答对对应的每个第四向量的方式，与确定预测过程中每个参考问答对对应的每个第二向量的方式相同；确定训练问答对对应的第三特征向量的方式与确定第一问答对对应的第一特征向量的方式相同，此处不再赘述。

步骤304，利用预设的模型，对第三特征向量进行编码解码处理，确定训练问答对对应的第二匹配度。

在本申请实施例中，确定出训练问答对对应的第三特征向量之后，即可将第三特征向量输入预设的模型，以利用预设的模型，对第三特征向量进行编码解码处理，并根据编码解码处理结果生成训练问答对中目标第二问句与目标第二答句间的第二匹配度并输出。

步骤305，根据第一匹配度与第二匹配度间的差值，对预设的模型参数进行调整，以生成校验模型。

,在本申请实施例中，确定出训练问答对对应的第三特征向量之后，即可以将第三特征向量输入预设的模型中，以使预设的模型生成并输出训练问答对中目标第二问句与目标第二答句间的第二匹配度，并根据第二匹配度与第一匹配度间的差值，对预设的模型参数进行调整，从而生成校验模型。

具体的，若预设的模型输出的第二匹配度与第一匹配度间的差在预设的范围内，则无需对预设的模型参数进行调整；若预设的模型输出的第二匹配度与第一匹配度间的差不在预设的范围内，则需要对预设的模型参数进行调整，直至第二匹配度与第一匹配度间的差值在预设的范围内。

本申请实施例提供的对话系统可靠性校验模型生成方法，可以从语料集中抽取训练问答对，训练问答对中的目标第二问句与目标第二答句间具有第一匹配度，并根据训练问答对与语料集中其它各第二问答对间的相似度，获取至少一个参考问答对，之后根据训练问答对对应的第三向量、及每个参考问答对对应的每个第四向量，确定训练问答对对应的第三特征向量，进而利用预设的模型，对第三特征向量进行编码解码处理，确定训练问答对对应的第二匹配度，以及根据第一匹配度与第二匹配度间的差值，对预设的模型参数进行调整，以生成校验模型。由此，通过对预设的模型参数进行调整，生成校验模型，从而实现了自动校验对话系统可靠性，不仅提高了对话系统可靠性校验的真实性，而且提高了校验效率，节约了人工成本。

在本申请实施例一种可能的实现形式中，还可以根据将训练问答对的意图、所属的领域、参考问答对对应的意图、所属的领域、第二问句与第二答句间的匹配度等同时作为训练数据进行训练，以进一步提高生成的校验模型的准确性。

图4为本申请实施例所提供的另一种对话系统可靠性校验模型生成方法的流程示意图。

如图4所示，该对话系统可靠性校验模型生成方法，包括以下步骤：

步骤401，从语料集中抽取训练问答对，语料集内的每个第二问答对中包括第二问句和第二答句，训练问答对中目标第二问句与目标第二答句间具有第一匹配度。

步骤402，根据训练问答对与语料集中其它各第二问答对间的相似度，获取至少一个参考问答对。

步骤403，根据训练问答对对应的第三向量、及每个参考问答对对应的每个第四向量，确定训练问答对对应的第三特征向量。

上述步骤401-403的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。

步骤404，根据训练问答对与至少一个参考问答对间的相似度、每个参考问答对中第二问句与第二答句间的匹配度、训练问答对的意图、每个参考问答对的意图、训练问答对的所属的领域、和/或，每个参考问答对所属的领域，对第三特征向量进行扩展，生成第四特征向量。

其中，训练问答对的意图及所属的领域，及每个参考问答对的意图及所属的领域，可以是预先存储在语料集中并直接从语料集中获取的。

在本申请实施例中，为进一步提高生成的校验模型的预测准确性，还可以进一步获取训练问答对的意图及所属的领域，以及每个参考问答对的意图及所属的领域，并确定其对应的向量，进而根据训练问答对与每个参考问答对对应的相似度、每个参考问答对中第二问句与第二答句间的匹配度、训练问答对的意图对应的向量、每个参考问答对的意图对应的向量、训练问答对的所属的领域对应的向量、每个参考问答对所属的领域对应的向量，对训练问答对对应的第三特征向量进行扩展，以生成训练问答对对应的第四特征向量，并将第四特征向量作为训练数据，以提高训练生成的校验模型的可靠性和准确性。

比如，可以将训练问答对对应的第三特征向量与训练问答对与每个参考问答对对应的相似度、每个参考问答对中第二问句与第二答句间的匹配度、训练问答对的意图对应的向量、每个参考问答对的意图对应的向量、训练问答对的所属的领域对应的向量、每个参考问答对所属的领域对应的向量进行拼接，生成第四特征向量。

步骤405，利用预设的模型，对第四特征向量进行编码解码处理，确定训练问答对对应的第二匹配度。

本申请实施例中，在对训练问答对对应的第三特征向量进行扩展，生成训练问答对对应的第四特征向量之后，则可以利用预设的模型，对第四特征向量进行编码解码处理，生成并输出训练问答对中目标第二问句与目标第二答句间的匹配度，以使得生成的目标第二问句与目标第二答句间的匹配度更加准确，进一步提高对话系统可靠性校验模型的准确性。

进一步的，语料集中可以包括第二问句和第二答句匹配度大于或等于阈值的第一问答对集、及第二问句和第二答句匹配度小于阈值的第二问答对集，此时还需要根据每个参考问答对所属的问答集，对第四特征向量进行更新。即在本申请实施例一种可能的实现形式中，上述步骤405之前，还可以包括：

根据每个参考问答对所属的问答对集，对所述第四特征向量进行更新。

需要说明的是，对训练问答句对应的第四特征向量进行更新的方式，与对第一问答对对应的第二特征向量进行更新的方式相同，具体过程可以参照上述实施例的详细描述，此处不再赘述。

步骤406，根据第一匹配度与第二匹配度间的差值，对预设的模型参数进行调整，以生成校验模型。

上述步骤406的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。

本申请实施例提供的对话系统可靠性校验模型生成方法，可以根据训练问答对与至少一个参考问答对间的相似度、每个参考问答对中第二问句与第二答句间的匹配度、训练问答对的意图、每个参考问答对的意图、训练问答对的所属的领域、和/或，每个参考问答对所属的领域，对第三特征向量进行扩展，生成第四特征向量，进而利用预设的模型，对第四特征向量进行编码解码处理，确定训练问答对对应的第二匹配度，以及根据第一匹配度与第二匹配度间的差值，对预设的模型参数进行调整，以生成校验模型。由此，通过扩展训练数据的内容，进一步提高了校验模型的准确性，从而不仅实现了自动校验对话系统可靠性，不提高了校验效率，节约了人工成本，而且进一步提高了对话系统可靠性校验的准确性。

为了实现上述实施例，本申请还提出一种对话系统可靠性校验装置。

图5为本申请实施例提供的一种对话系统可靠性校验装置的结构示意图。

如图5所示，该对话系统可靠性校验装置50，包括：

第一获取模块51，用于获取待校验的第一问答对，其中所述问答对中包括第一问句和第一答句；

第二获取模块52，用于根据所述第一问答对与语料集中各第二问答对间的相似度，从所述语料集中获取至少一个参考问答对，每个第二问答对中包括第二问句和第二答句；

第一确定模块53，用于根据所述第一问答对对应的第一向量、及每个参考问答对应的每个第二向量，确定所述第一问答对对应的第一特征向量；

第一生成模块54，用于利用预先生成的校验模型，对所述第一特征向量进行编码解码处理，生成所述第一问答对中第一问句与第一答句间的匹配度。

在实际使用时，本申请实施例提供的对话系统可靠性校验装置，可以被配置在任意电子设备中，以执行前述对话系统可靠性校验方法。

本申请实施例提供的对话系统可靠性校验装置，可以获取待校验的第一问答对，并根据第一问答对与语料集中各第二问答对间的相似度，从语料集中获取至少一个参考问答对，之后根据第一问答对对应的第一向量、及每个参考问答对应的每个第二向量，确定第一问答对对应的第一特征向量，进而利用预先生成的校验模型，对第一特征向量进行编码解码处理，生成第一问答对中第一问句与第一答句间的匹配度。由此，通过将语料集中与第一问答对相似的、且已具有匹配度的参考问答对作为参考，并利用预先生成的校验模型确定第一问答对中第一问句与第一答句间的匹配度，从而实现了自动校验对话系统可靠性，不仅提高了对话系统可靠性校验的真实性，而且提高了校验效率，节约了人工成本。

在本申请一种可能的实现形式中，上述第二获取模块52，具体用于：

根据所述第一问答对与各第二问答对间的相似度，从所述语料集中获取与所述第一问答对相似度最高的一个第二问答对；

或者，

根据所述第一问答对与各第二问答对间的相似度，从所述语料集中获取与所述第一问答对相似度最高的第二问答对、及与所述第一问答对的相似度大于阈值的前m个第二问答对中的第n个第二问答对，m为正整数，n为大于1的正整数。

进一步的，在本申请另一种可能的实现形式中，上述第二获取模块52，还用于：

根据所述第一问句与每个第二问句间的相似度，获取各疑似参考问答对，根据所述第一答句与每个疑似参考问答对中的第二答句间的相似度，确定至少一个参考问答对；

或者，

根据所述第一答句与每个第二答句间的相似度，获取各疑似参考问答对，根据所述第一问句与每个疑似参考问答对中的第二问句间的相似度，确定至少一个参考问答对。

在本申请一种可能的实现形式中，上述话系统可靠性校验装置50，还包括：

第二生成模块，用于根据所述第一问答对与所述至少一个参考问答对间的相似度、每个参考问答对中第二问句与第二答句间的匹配度、所述第一问答对的意图、每个参考问答对的意图、所述第一问答对的所属的领域、和/或，每个参考问答对所属的领域，对所述第一特征向量进行扩展，生成第二特征向量；

相应的，上述第一生成模块54，具体用于：

对所述第二特征向量进行编码解码处理。

进一步的，在本申请另一种可能的实现形式中，上述语料集中包括第二问句和第二答句匹配度大于或等于阈值的第一问答对集、及第二问句和第二答句匹配度小于阈值的第二问答对集；相应的，上述话系统可靠性校验装置50，还包括：

更新模块，用于根据每个参考问答对所属的问答对集，对所述第二特征向量进行更新。

进一步的，在本申请再一种可能的实现形式中，上述话系统可靠性校验装置50，还包括：

第二确定模块，用于采用第一预设的方法，确定所述第一问句及每个参考问答对中每个第二问句分别对应的向量；

第三确定模块，用于采用第二预设的方法，确定所述第一答句及每个参考问答对中每个第二答句分别对应的向量。

进一步的，在本申请又一种可能的实现形式中，上述话系统可靠性校验装置50，还包括：

第四确定模块，用于确定所述第一问答对及每个参考问答对分别对应的发起方及响应方；

第五确定模块，用于根据所述第一问答对对应的发起方及响应方，确定所述第一问句及所述第一答句分别对应的向量；

第六确定模块，用于根据每个参考问答对对应的发起方及响应方，确定每个参考问答对中第二问句及第二答句分别对应的向量。

进一步的，在本申请又一种可能的实现形式中，上述话系统可靠性校验装置50，还包括：

抽取模块，用于从所述语料集中抽取第一训练问答对，所述第一训练问答对中第二问句与第二答句间具有第一匹配度；

第三获取模块，用于根据所述第一训练问答对与所述语料集中其它各第二问答对间的相似度，获取至少一个第二训练问答对；

第七确定模块，用于根据所述第一训练问答对对应的第三向量、及每个第二训练问答对对应的每个第四向量，确定所述第一训练问答对对应的第三特征向量；

调整模块，用于将所述第三特征向量输入至预设的模型中，对所述预设的模型参数进行调整，以使生成的校验模型输出的第二匹配度与所述第一匹配度间的差在预设范围内。

需要说明的是，前述对图1、图2所示的对话系统可靠性校验方法实施例的解释说明也适用于该实施例的对话系统可靠性校验装置50，此处不再赘述。

本申请实施例提供的对话系统可靠性校验装置，可以通过根据第一问答对与至少一个参考问答对间的相似度、每个参考问答对中第二问句与第二答句间的匹配度、第一问答对的意图、每个参考问答对的意图、第一问答对的所属的领域、和/或，每个参考问答对所属的领域，对第一特征向量进行扩展，生成第二特征向量，进而利用预先生成的校验模型，对第二特征向量进行编码解码处理，生成第一问答对中第一问句与第一答句间的匹配度。由此，通过将语料集中与第一问答对相似的、且已具有匹配度的参考问答对作为参考，并利用预先生成的校验模型确定第一问答对中第一问句与第一答句间的匹配度，从而不仅实现了自动校验对话系统可靠性，提高了校验效率，节约了人工成本，而且进一步提高了对话系统可靠性校验的准确性。

为了实现上述实施例，本申请还提出一种对话系统可靠性校验模型生成装置。

图6为本申请实施例提供的一种对话系统可靠性校验模型生成装置的结构示意图。

如图6所示，该对话系统可靠性校验模型生成装置60，包括：

抽取模块61，用于从所述语料集中抽取训练问答对，所述语料集内的每个第二问答对中包括第二问句和第二答句，所述训练问答对中目标第二问句与目标第二答句间具有第一匹配度；

获取模块62，用于根据所述第一训练问答对与所述语料集中其它各第二问答对间的相似度，获取至少一个参考问答对；

第一确定模块63，用于根据所述训练问答对对应的第三向量、及每个参考问答对对应的每个第四向量，确定所述训练问答对对应的第三特征向量；

第二确定模块64，用于利用预设的模型，对所述第三特征向量进行编码解码处理，确定所述训练问答对对应的第二匹配度；

调整模块65，用于根据所述第一匹配度与所述第二匹配度间的差值，对所述预设的模型参数进行调整，以生成校验模型。

在实际使用时，本申请实施例提供的对话系统可靠性校验模型生成装置，可以被配置在任意电子设备中，以执行前述对话系统可靠性校验模型生成方法。

本申请实施例提供的对话系统可靠性校验模型生成装置，可以从语料集中抽取训练问答对，训练问答对中的目标第二问句与目标第二答句间具有第一匹配度，并根据训练问答对与语料集中其它各第二问答对间的相似度，获取至少一个参考问答对，之后根据训练问答对对应的第三向量、及每个参考问答对对应的每个第四向量，确定训练问答对对应的第三特征向量，进而利用预设的模型，对第三特征向量进行编码解码处理，确定训练问答对对应的第二匹配度，以及根据第一匹配度与第二匹配度间的差值，对预设的模型参数进行调整，以生成校验模型。由此，通过对预设的模型参数进行调整，生成校验模型，从而实现了自动校验对话系统可靠性，不仅提高了对话系统可靠性校验的真实性，而且提高了校验效率，节约了人工成本。

在本申请一种可能的实现形式中，上述获取模块62，具体用于：

根据所述训练问答对与其它各第二问答对间的相似度，从所述语料集中获取与所述训练问答对相似度最高的一个第二问答对；

或者，

根据所述训练问答对与其他各第二问答对间的相似度，从所述语料集中获取与所述训练问答对相似度最高的第二问答对、及与所述训练问答对的相似度大于阈值的前l个第二问答对中的第k个第二问答对，l为正整数，k为大于1的正整数。

进一步的，在本申请另一种可能的实现形式中，上述获取模块62，还用于：

根据所述目标第二问句与其它每个第二问答对中第二问句间的相似度，获取各疑似参考问答对，根据所述目标第一答句与每个疑似参考问答对中的第二答句间的相似度，确定至少一个参考问答对；

或者，

根据所述目标第二答句与其他每个第二问答对中第二答句间的相似度，获取各疑似参考问答对，根据所述第二目标问句与每个疑似参考问答对中的第二问句间的相似度，确定至少一个参考问答对。

在本申请一种可能的实现形式中，上述对话系统可靠性校验装置60，还包括：

扩展模块，用于根据所述训练问答对与所述至少一个参考问答对间的相似度、每个参考问答对中第二问句与第二答句间的匹配度、所述训练问答对的意图、每个参考问答对的意图、所述训练问答对的所属的领域、和/或，每个参考问答对所属的领域，对所述第三特征向量进行扩展，生成第四特征向量；

相应的，所述第二确定模块64，具体用于：

利用预设的模型，对所述第四特征向量进行编码解码处理。

进一步的，在本申请另一种可能的实现形式中，上述语料集中包括第二问句和第二答句匹配度大于或等于阈值的第一问答对集、及第二问句和第二答句匹配度小于阈值的第二问答对集；

相应的，上述对话系统可靠性校验装置60，还包括：

更新模块，用于根据每个参考问答对所属的问答对集，对所述第四特征向量进行更新。

进一步的，在本申请再一种可能的实现形式中，上述对话系统可靠性校验装置60，还包括：

第三确定模块，用于采用第一预设的方法，确定所述目标第二问句及每个参考问答对中每个第二问句分别对应的向量；

第四确定模块，用于采用第二预设的方法，确定所述目标答句及每个参考问答对中每个第二答句分别对应的向量。

进一步的，在本申请又一种可能的实现形式中，上述对话系统可靠性校验装置60，还包括：

第五确定模块，用于确定所述训练问答对及每个参考问答对分别对应的发起方及响应方；

第六确定模块，用于根据所述训练问答对对应的发起方及响应方，确定所述目标第二问句及所述目标第二答句分别对应的向量；

第七确定模块，用于根据每个参考问答对对应的发起方及响应方，确定每个参考问答对中第二问句及第二答句分别对应的向量。

需要说明的是，前述对图1、图2所示的对话系统可靠性校验方法实施例的解释说明，以及前述对图3、图4所示的对话系统可靠性校验模型生成方法实施例的解释说明，也适用于该实施例的对话系统可靠性校验模型生成装置60，此处不再赘述。

本申请实施例提供的对话系统可靠性校验模型生成装置，可以根据训练问答对与至少一个参考问答对间的相似度、每个参考问答对中第二问句与第二答句间的匹配度、训练问答对的意图、每个参考问答对的意图、训练问答对的所属的领域、和/或，每个参考问答对所属的领域，对第三特征向量进行扩展，生成第四特征向量，进而利用预设的模型，对第四特征向量进行编码解码处理，确定训练问答对对应的第二匹配度，以及根据第一匹配度与第二匹配度间的差值，对预设的模型参数进行调整，以生成校验模型。由此，通过扩展训练数据的内容，进一步提高了校验模型的准确性，从而不仅实现了自动校验对话系统可靠性，不提高了校验效率，节约了人工成本，而且进一步提高了对话系统可靠性校验的准确性。

为了实现上述实施例，本申请还提出一种电子设备。

图7为本发明一个实施例的电子设备的结构示意图。

如图7所示，上述电子设备200包括：

存储器210及处理器220，连接不同组件(包括存储器210和处理器220)的总线230，存储器210存储有计算机程序，当处理器220执行所述程序时实现本申请实施例所述的对话系统可靠性校验方法或对话系统可靠性校验模型生成方法。

总线230表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。

电子设备200典型地包括多种电子设备可读介质。这些介质可以是任何能够被电子设备200访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器210还可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)240和/或高速缓存存储器250。电子设备200可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统260可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线230相连。存储器210可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块270的程序/实用工具280，可以存储在例如存储器210中，这样的程序模块270包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块270通常执行本申请所描述的实施例中的功能和/或方法。

电子设备200也可以与一个或多个外部设备290(例如键盘、指向设备、显示器291等)通信，还可与一个或者多个使得用户能与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口292进行。并且，电子设备200还可以通过网络适配器293与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器293通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

处理器220通过运行存储在存储器210中的程序，从而执行各种功能应用以及数据处理。

需要说明的是，本实施例的电子设备的实施过程和技术原理参见前述对本申请实施例的对话系统可靠性校验方法或对话系统可靠性校验模型生成方法的解释说明，此处不再赘述。

本申请实施例提供的电子设备，可以执行如前所述的对话系统可靠性校验方法或对话系统可靠性校验模型生成方法，获取待校验的第一问答对，并根据第一问答对与语料集中各第二问答对间的相似度，从语料集中获取至少一个参考问答对，之后根据第一问答对对应的第一向量、及每个参考问答对应的每个第二向量，确定第一问答对对应的第一特征向量，进而利用预先生成的校验模型，对第一特征向量进行编码解码处理，生成第一问答对中第一问句与第一答句间的匹配度。由此，通过将语料集中与第一问答对相似的、且已具有匹配度的参考问答对作为参考，并利用预先生成的校验模型确定第一问答对中第一问句与第一答句间的匹配度，从而实现了自动校验对话系统可靠性，不仅提高了对话系统可靠性校验的真实性，而且提高了校验效率，节约了人工成本。

为了实现上述实施例，本申请还提出一种计算机可读存储介质。

其中，该计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，以实现本申请实施例所述的对话系统可靠性校验方法或对话系统可靠性校验模型生成方法。

为了实现上述实施例，本申请再一方面实施例提供一种计算机程序，该程序被处理器执行时，以实现本申请实施例所述的对话系统可靠性校验方法或对话系统可靠性校验模型生成方法。

一种可选实现形式中，本实施例可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户电子设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。