加地，根据领域任务型对话系统输出的询问信息W及依据任务数据库 提交的答复信息，生成对领域任务型对话系统的测试数据至少可W包括:将依据任务数据 库提交的答复信息及所答复的询问信息中已完成任务信息的数量除W任务数据库中包括 的任务信息的数量，得到对话完成率，其中，已完成任务信息为基于每一组键值对已提交答 复倍息的任务?胃息。
[0140] 在本实现方式中，对应于上述的领域任务型对话系统输出的询问信息的结构Μ和 任务数据库Τ，将依据任务数据库提交的答复信息及所答复的询问信息中已完成任务信息 的数量除W任务数据库中包括的任务信息的数量，得到对话完成率可W包括：
[0141]
[0142] 其中，dfr为对话完成率;m为矩阵Τ的行数;df表示依据任务数据库Τ提交的答复信 息及所答复的询问信息中已完成任务信息的数量，当任务信息的每一组键值对均已提交答 复信息时，任务信息为已完成任务信息。该对话完成率，可W非常有效的衡量对话系统最基 本的信息交互功能是否良好。
[0143] 备选地或附加地，根据领域任务型对话系统输出的询问信息W及依据任务数据库 提交的答复信息，生成对领域任务型对话系统的测试数据至少可W包括：响应于询问信息 的键值对与当前任务信息中的键值对相同，确定关键词准确，将任务数据库中配置用于生 成答复信息的关键词准确的数量除W任务数据库中关键词配置用于生成答复信息的数量， 得到关键词准确率。
[0144] 在本实现方式中，对应于上述的领域任务型对话系统输出的询问信息的结构Μ和 任务数据库Τ，将任务数据库中配置用于生成答复信息的关键词准确的数量除W任务数据 库中关键词配置用于生成答复信息的数量，得到关键词准确率可W包括但不限于：
[0145]
[0146] 其中，ks。表示关键词S的准确率;as表示W矩阵形式表示的任务数据库Τ中关键词 S配置用于准确生成答复信息的数量，在每次生成答复信息时，将结构化信息Μ中的Result, information与T的当前任务信息进行对比，若对比结果相同，则关键词S准确；ts表示在任 务数据库T中关键词S配置用于生成答复信息的总次数。该关键词的准确率，在很大程度上 可W衡量对话系统是否能够准确完成某项具体的任务。
[0147] 备选地或附加地，根据领域任务型对话系统输出的询问信息W及依据任务数据库 提交的答复信息，生成对领域任务型对话系统的测试数据至少可W包括:遍历任务数据库 中的关键词，将关键词准确率进行累加，得到对话系统准确率。
[0148] 在本实现方式中，对应于上述的领域任务型对话系统输出的询问信息的结构M、任 务数据库T和关键词S的准确率ks。，遍历任务数据库中的关键词，将关键词准确率进行累 加，得到对话系统准确率可W包括但不限于：
[0149]
[0150] 其中，dar表示对话系统准确率;ksrs表示关键词S的准确率；Σ表示遍历所有的关 键词S，将ksrs进行累加。该对话系统准确率，可W衡量对话系统能否准确完成任务数据库 中的所有任务。
[0151] 继续参见图3,图3是根据本实施例的测试领域任务型对话系统的方法的应用场景 的一个示意图。
[0152] 在图3的应用场景中，领域任务型对话系统310首先根据预先定义的任务信息W及 结构化信息M，发出询问信息，之后由运行测试领域任务型对话系统的方法的测试系统320， 根据获取的询问信息、选取的预设用户类型（包括系统引导类型321、核对查询类型322、随 机查询类型323或其他可扩展模式324)之一和选取的表达模板325,由任务数据库326中单 条任务信息中的键值对生成答复信息；之后，测试系统将答复信息发送给领域任务型对话 系统310,完成一次对话;之后，领域任务型对话系统310和测试系统320重复上述处理过程 W调用单条任务信息中的每一个键值对提交答复信息327,直至已调用任务数据库中的每 一条任务信息提交答复信息；最后依据领域任务型对话系统310输出的所有询问信息和测 试系统320依据预设用户类型、表达模板325W及任务数据库326生成的所有答复信息，生成 对领域任务型对话系统的测试数据。应当说明的是，在上述测试中选取预设用户类型W及 表达模板时，可W按照随机规则或按照一定预设的规则(例如依次选取规则)分别选取预设 用户类型W及表达模板，本申请对此不做限定。
[0153] 本申请的上述实施例提供的测试领域任务型对话系统的方法，基于任务数据库中 的多条任务信息，可W模拟用户答复的多样性;在进一步的实施例中，通过对预设用户类型 W及预设的键值对的表达模板的选择，进一步提升了模拟用户答复的多样性，从而向开发 人员推送的测试结果较为全面，富于针对性。另外，由于本申请中的上述实施例可W自动生 成大量的模拟对话，便于开发人眼对对话的追踪调试，并且本申请中的上述实施例在面对 不同领域的任务型对话系统时，可W仅修改任务数据库和预设的键值对的表达模板，而不 用修改测试领域任务型对话系统的方法的单个步骤，提高了测试领域任务型对话系统的方 法的通用性。
[0154] 进一步参考图4,作为对上述各图所示方法的实现，本申请提供了一种测试领域任 务型对话系统的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置 具体可W应用于各种电子设备中。
[0155] 如图4所示，本实施例所述的测试领域任务型对话系统的装置400包括但不限于： 询问信息获取模块410,任务信息获取模块420,答复信息提交模块430和测试数据生成模块 440。其中，询问信息获取模块410,配置用于获取领域任务型对话系统输出的询问信息;任 务信息获取模块420,配置用于在预先构建的任务数据库中获取单条任务信息，其中，任务 数据库包括但不限于多条任务信息，每一条任务信息包括但不限于多组键值对，每组键值 对包括但不限于关键词及关联关键词的实例;答复信息提交模块430,配置用于向领域任务 型对话系统提交由单条任务信息中的键值对生成的答复信息;测试数据生成模块440,配置 用于根据领域任务型对话系统输出的询问信息W及依据任务数据库提交的答复信息，生成 对领域任务型对话系统的测试数据。
[0156] 在本实施例的一些可选实现方式中，答复信息提交模块进一步配置用于：向领域 任务型对话系统提交符合预设用户类型的由单条任务信息中的键值对生成的答复信息，其 中，预设用户类型至少包括但不限于W下一项或多项:系统引导类型、核对查询类型和随机 查询类型。
[0157] 在本实施例的一些可选实现方式中，答复信息提交模块至少包括但不限于W下一 项或多项:系统引导提交模块431，核对查询提交模块432和随机查询提交模块433。
[0158] 在上述实现方式中，系统引导提交模块431，配置用于若预设用户类型包括但不限 于系统引导类型，向领域任务型对话系统提交基于从单条任务信息中获取的关键词与询问 信息的关键词相同的键值对生成的答复信息；
[0159] 在上述实现方式中，核对查询提交模块432,配置用于若预设用户类型包括但不限 于核对查询类型，核对询问信息的关键词是否符合上一次提交的答复信息的关键词，若符 合，则向领域任务型对话系统提交基于从单条任务信息中获取的关键词与询问信息的关键 词相同的键值对生成的答复信息，若不符合，则向领域任务型对话系统提交基于上一次答 复信息的键值对生成的答复信息；
[0160] 在上述实现方式中，随机查询提交模块433,配置用于若预设用户类型包括但不限 于随机查询类型，向领域任务型对话系统提交基于从单条任务信息中随机获取的键值对生 成的答复信息。
[0161] 在本实施例的一些可选实现方式中，答复信息提交模块进一步配置用于：向领域 任务型对话系统提交符合预设用户类型的由单条任务信息中的键值对套用预设的键值对 的表达模板之一生成的答复信息。
[0162] 在本实施例的一些可选实现方式中，测试数据生成模块至少包括但不限于W下一 项或多项：平均对话长度生成模块441，对话完成率生成模块442,关键词准确率生成模块 443和对话系统准确率生成模块444。
[0163] 在上述实现方式中，平均对话长度生成模块441，配置用于将领域任务型对话系统 输出的询问信息的数量及依据任务数据库提交的答复信息的数量相加后除W任务数据库 中包括但不限于的任务信息的数量，得到平均对话长度；
[0164] 在上述实现方式中，对话完成率生成模块442,配置用于将依据任务数据库提交的 答复信息及所答复的询问信息中已完成任务信息的数量除W任务数据库中包括但不限于 的任务信息的数量，得到对话完成率，其中，已完成任务信息为基于每一组键值对已提交答 复倍息的任务?胃息；
[0165] 在上述实现方式中，关键词准确率生成模块443,配置用于响应于生成答复信息的 关键词与当前任务信息中的关键词相同，确定关键词准确，将任务数据库中配置用于生成 答复信息的关键词准确的数量除W任务数据库中关键词配置用于生成答复信息的数量，得 到关键词准确率；
[0166] 在上述实现方式中，对话系统准确率生成模块444,配置用于遍历任务数据库中的 关键词，将关键词准确率进行累加，得到对话系统准确率。
[0167] 在本实施例的一些可选实现方式中，询问信息获取模块获取的领域任务型对话系 统输出的询问信息的结构如下：
[016 引
[0169] 其中，Μ表示领域任务型对话系统输出的询问信息的结构，Ask_key_slot表示当前 领域任务型对话系统的询问信息的关键词，η表示询问信息的关键词的数量，sj(l < j <n) 表示询问信息中第j个关键词，Result_info;rmation表示当前领域任务型对话系统基于预 设的检索库检索到的关键词的实例，用一个2列的矩阵表示，矩阵的第一列表示关键词，第 二列表示关键词的实例值；
[0170] 询问信息获取模块获取的领域任务型对话系统输出的询问信息所基于的任务信 息的定义如下：
[0171] (one dialogue 1:ask)D=[si ·.. Sn]
[0172] 其中，（one dialogue化sk)D表示询问信息所基于的任务信息，η表示询问信息所 基于的任务信息的关键词的数量，sj(l < j < η)表示询问信息所