基于的任务信息中第j个关 键词；
[0173] 任务信息获取模块获取单条任务信息所调用的任务数据库的定义如下：
[0174]
[0175] 其中，T为W矩阵的形式表示的任务数据库，矩阵的每一行定义一条任务信息，矩 阵中的元素是任务数据库中任务信息的关键词，即Su(l含i含m，l含j含η)表示任务数据库 中第i个任务信息的第j个关键词。
[0176] 在本实施例的一些可选实现方式中，平均对话长度生成模块中的将领域任务型对 话系统输出的询问信息的数量及依据任务数据库提交的答复信息的数量相加后除W任务 数据库中包括但不限于的任务信息的数量，得到平均对话长度包括但不限于：
[0177]
[0178] 其中，al为平均对话长度；qsds为领域任务型对话系统输出的询问信息的数量； qevai为依据任务数据库提交的答复信息的数量;m为W矩阵的形式表示的任务数据库T的行 数；
[0179] 对话完成率生成模块中的将依据任务数据库提交的答复信息及所答复的询问信 息中已完成任务信息的数量除W任务数据库中包括但不限于的任务信息的数量，得到对话 完成率包括但不限于：
[0180]
[0181] 其中，壯r为对话完成率;m为矩阵T的行数;df表示依据任务数据库T提交的答复信 息及所答复的询问信息中已完成任务信息的数量，当任务信息的每一组键值对均已提交答 复?目息时，任务?目息为已完成任务?目息；
[0182] 关键词准确率生成模块中的将任务数据库中配置用于生成答复信息的关键词准 确的数量除W任务数据库中关键词配置用于生成答复信息的数量，得到关键词准确率包括 但不限于：
[0183]
[0184] 其中，ks。表示关键词S的准确率;as表示W矩阵形式表示的任务数据库Τ中关键词 S配置用于准确生成答复信息的数量，在每次生成答复信息时，将结构化信息Μ中的Result, ;[]1的1'1]1曰1:;[0]1与1'的当前任务信息进行对比将结构化信息1中的1?631111:_;[]^〇1'1]1曰1:;[0]1与1'的 当前任务信息进行对比，若对比结果相同，则关键词S准确;ts表示在任务数据库T中关键词 S配置用于生成答复信息的总次数；
[0185] 对话系统准确率生成模块中的遍历任务数据库中的关键词，将关键词准确率进行 累加，得到对话系统准确率包括但不限于：
[0186]
[0187]其中，dar表示对话系统准确率;ksrs表示关键词s的准确率；Σ表示遍历所有的关 键词S，将ksrs进行累加。
[0188] 应当理解，装置400中记载的诸模块与参考图2描述的方法中的各个步骤相对应。 由此，上文针对测试领域任务型对话系统的方法描述的操作和特征同样适用于装置400及 其中包含的模块，在此不再寶述。装置400中的相应模块可W与终端设备和/或服务器中的 模块相互配合W实现本申请实施例的方案。
[0189] 下面参考图5,其示出了适于用来实现本申请实施例的终端设备或服务器的计算 机系统500的结构示意图。
[0190] 如图5所示，计算机系统500包括中央处理单元(CPU)501，其可W根据存储在只读 存储器(R0M)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而 执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。 CPU 50UR0M 502W及RAM 503通过总线504彼此相连。输入/输出（I/O)接口505也连接至总 线 504。
[0191 ] W下部件连接至I/O接口 505:包括键盘、鼠标等的输入部分506;包括诸如阴极射 线管(CRT)、液晶显示器化CD)等W及扬声器等的输出部分507;包括硬盘等的存储部分508; W及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因 特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口 505。可拆卸介质511，诸如 磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，W便于从其上读出 的计算机程序根据需要被安装入存储部分508。
[0192] 特别地，根据本公开的实施例，上文参考流程图描述的过程可W被实现为计算机 软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读 介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在运 样的实施例中，该计算机程序可W通过通信部分509从网络上被下载和安装，和/或从可拆 卸介质511被安装。
[0193] 附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程 序产品的可能实现的体系架构、功能和操作。在运点上，流程图或框图中的每个方框可W代 表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个 用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所 标注的功能也可不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际 上可W基本并行地执行，它们有时也可W按相反的顺序执行，运依所设及的功能而定。也要 注意的是，框图和/或流程图中的每个方框、W及框图和/或流程图中的方框的组合，可W用 执行规定的功能或操作的专用的基于硬件的系统来实现，或者可W用专用硬件与计算机指 令的组合来实现。
[0194] 描述于本申请实施例中所设及到的模块可W通过软件的方式实现，也可W通过硬 件的方式来实现。所描述的模块也可W设置在处理器中，例如，可W描述为：一种处理器包 括询问信息获取模块，任务信息获取模块，答复信息提交模块和测试数据生成模块。其中， 运些模块的名称在某种情况下并不构成对该模块本身的限定，例如，询问信息获取模块还 可W被描述为"获取领域任务型对话系统输出的询问信息的模块"。
[0195] 作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算 机存储介质可w是上述实施例中所述装置中所包含的非易失性计算机存储介质;也可w是 单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存 储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备:获取 领域任务型对话系统输出的询问信息；在预先构建的任务数据库中获取单条任务信息，其 中，任务数据库包括但不限于多条任务信息，每一条任务信息包括但不限于多组键值对，每 组键值对包括但不限于关键词及关联关键词的实例；向领域任务型对话系统提交由单条任 务信息中的键值对生成的答复信息;根据领域任务型对话系统输出的询问信息W及依据任 务数据库提交的答复信息，生成对领域任务型对话系统的测试数据。
[0196] W上描述仅为本申请的较佳实施例W及对所运用技术原理的说明。本领域技术人 员应当理解，本申请中所设及的发明范围，并不限于上述技术特征的特定组合而成的技术 方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行 任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功 能的技术特征进行互相替换而形成的技术方案。
【主权项】
1. 一种测试领域任务型对话系统的方法，其特征在于，所述方法包括： 获取领域任务型对话系统输出的询问信息； 在预先构建的任务数据库中获取单条任务信息，其中，所述任务数据库包括多条任务 信息，每一条任务信息包括多组键值对，每组键值对包括关键词及关联所述关键词的实例； 向所述领域任务型对话系统提交由所述单条任务信息中的键值对生成的答复信息； 根据领域任务型对话系统输出的询问信息以及依据所述任务数据库提交的答复信息， 生成对所述领域任务型对话系统的测试数据。2. 根据权利要求1所述的方法，其特征在于，所述向所述领域任务型对话系统提交由所 述单条任务信息中的键值对生成的答复信息包括： 向所述领域任务型对话系统提交符合预设用户类型的由所述单条任务信息中的键值 对生成的答复信息，其中，所述预设用户类型至少包括以下一项或多项：系统引导类型、核 对查询类型和随机查询类型。3. 根据权利要求2所述的方法，其特征在于，所述向所述领域任务型对话系统提交符合 预设用户类型的由所述单条任务信息中的键值对生成的答复信息至少包括以下一项或多 项： 若所述预设用户类型包括系统引导类型，向所述领域任务型对话系统提交基于从所述 单条任务信息中获取的关键词与所述询问信息的关键词相同的键值对生成的答复信息； 若所述预设用户类型包括核对查询类型，核对所述询问信息的关键词是否符合上一次 提交的答复信息的关键词，若符合，则向所述领域任务型对话系统提交基于从所述单条任 务信息中获取的关键词与所述询问信息的关键词相同的键值对生成的答复信息，若不符 合，则向所述领域任务型对话系统提交基于上一次答复信息的键值对生成的答复信息； 若所述预设用户类型包括随机查询类型，向所述领域任务型对话系统提交基于从所述 单条任务信息中随机获取的键值对生成的答复信息。4. 根据权利要求3所述的方法，其特征在于，所述向所述领域任务型对话系统提交符合 预设用户类型的由所述单条任务信息中的键值对生成的答复信息包括： 向所述领域任务型对话系统提交符合所述预设用户类型的由所述单条任务信息中的 键值对套用预设的键值对的表达模板之一生成的答复信息。5. 根据权利要求1-4之一所述的方法，其特征在于，所述根据领域任务型对话系统输出 的询问信息以及依据所述任务数据库提交的答复信息，生成对所述领域任务型对话系统的 测试数据至少包括以下一项或多项： 将领域任务型对话系统输出的询问信息的数量及依据所述任务数据库提交的答复信 息的数量相加后除以所述任务数据库中包括的任务信息的数量，得到平均对话长度； 将依据所述任务数据库提交的答复信息及所答复的询问信息中已完成任务信息的数 量除以所述任务数据库中包括的任务信息的数量，得到对话完成率，其中，所述已完成任务 信息为基于每一组键值对已提交答复信息的任务信息； 响应于所述询问信息的键值对与当前任务信息中的键值对相同，确定关键词准确，将 所述任务数据库中用于生成答复信息的关键词准确的数量除以所述任务数据库中关键词 用于生成答复信息的数量，得到关键词准确率； 遍历所述任务数据库中的关键词，将所述关键词准确率进行累加，得到对话系统准确 率。6. 根