一种人工智能应答系统测试方法及系统的制作方法
【技术领域】
[0001] 本发明涉及人工智能相关技术领域，特别是一种人工智能应答系统测试方法及系 统。
【背景技术】
[0002] 在人工智能领域，目前涌现出了很多优秀的产品，这些产品都是基于自然语言处 理的自动人工智能应答系统，对于此类系统目前有一些开源的自动化测试框架，为了解决 基于自然语言处理的自动人工智能应答系统的自动化测试问题，引入了 selenium框架 +python的自动化解决方案，可以实现在web端对于系统提问输入和回答输出判断的自动 化测试，由于大部分自动应答系统对于唯一的输入有唯一的答案，因此可以直接用结果匹 配的方式判断测试执行的结果。
[0003] 现有的自动化技术有基于selenium框架来实现web的自动化测试，在web页面 的输入框输入问题，并抓取输入框的返回结果，将问题和结果保存到文件中，再进行结果判 断，再执行下一条问题。
[0004] 由于智能应答系统的问题和答案的数据非常大，因此将测试脚本和测试数据分 离，测试数据以一定的结构保存在表格中便于读取和控制保存形式以行为单位进行分割， 一行数据是一个会话。不同列数据代表不同的会话信息，每一行包含如下的内容：
[0005] 表1现有技术的问题和答案保存方法
[0006]
[0007] 然而，对于高频问题，有可能出现多个答案，即出现话术轮播场景。然而现有的自 动化测试流程和测试数据保存方式无法满足话术轮播场景下的结果判断。
【发明内容】
[0008] 基于此，有必要针对现有技术的自动化测试流程和测试数据保存方式无法满足话 术轮播场景下的结果判断的技术问题，提供一种人工智能应答系统测试方法及系统。
[0009] -种人工智能应答系统测试方法，包括：
[0010] 测试数据获取步骤，包括：获取包括至少一个问题以及与每个问题关联的多个轮 播答案；
[0011] 测试用例获取步骤，包括：获取测试用例，选择与所述测试用例关联的问题作为测 试问题并输出；
[0012] 比较步骤，包括：获取人工智能应答系统对所述测试问题的话术作为测试话术，如 果所述测试话术与其中一个所述测试问题关联的轮播答案匹配，则判断该测试用例测试通 过。
[0013] -种人工智能应答系统测试系统，包括：
[0014] 测试数据获取模块，用于：获取包括至少一个问题以及与每个问题关联的多个轮 播答案；
[0015] 测试用例获取模块，用于：获取测试用例，选择与所述测试用例关联的问题作为测 试问题并输出；
[0016] 比较模块，用于：获取人工智能应答系统对所述测试问题的话术作为测试话术，如 果所述测试话术与其中一个所述测试问题关联的轮播答案匹配，则判断该测试用例测试通 过。
[0017] 本发明通过获取一个问题及与该问题相关的多个轮播答案，并在测试人工智能应 答系统时，将测试话术与多个轮播答案进行匹配，以实现对话术轮播场景下进行测试。
【附图说明】
[0018] 图1为本发明一种人工智能应答系统测试方法的工作流程图；
[0019] 图2为本发明最佳实施例的工作流程图；
[0020] 图3为本发明一种人工智能应答系统测试系统的模块结构图。
【具体实施方式】
[0021] 下面结合附图和具体实施例对本发明做进一步详细的说明。
[0022] 如图1所示为本发明一种人工智能应答系统测试方法的工作流程图，包括：
[0023] 步骤S101，包括：获取包括至少一个问题以及与每个问题关联的多个轮播答案；
[0024] 步骤S102,包括：获取测试用例，选择与所述测试用例关联的问题作为测试问题 并输出；
[0025] 步骤S103,包括：获取人工智能应答系统对所述测试问题的话术作为测试话术， 如果所述测试话术与其中一个所述测试问题关联的轮播答案匹配，则判断该测试用例测试 通过。
[0026] 步骤SlOl中获取到的每个问题，均关联对应的轮播答案。由于轮播答案为多个， 因此，在步骤S103中，当人工智能应答系统给出不同的话术时，本发明的测试方法也能很 好地适应。在话术轮播场景中，人工智能应答系统针对同一问题可能会给出不同的答案，因 此同一个测试用例，现有技术也很可能会出现第一次测试通过而第二次测试失败的情况， 而本发明由于将多个轮播答案与同一问题关联，因此能很好地克服现有技术所出现的问 题，使得测试结果在话术轮播场景下稳定统一。
[0027] 通过本发明解决了自动化测试中一个问题对应多个答案的结果判断问题，此方案 可以适用于所有类似的场景，可以大幅度提升基于人工智能的自动应答系统的自动化测试 用例覆盖率，降低测试成本。
[0028] 在其中一个实施例中，所述问题还与用于表示所关联的轮播答案数量的轮播答案 条数进彳T关联保存。
[0029] 轮播答案条数可以在步骤SlOl时通过分析获取的问题以及与每个问题关联的多 个轮播答案计算得到，也可以由用户在提供问题及轮播答案时一同提供。
[0030] 在其中一个实施例中，所述步骤S103,具体包括：获取人工智能应答系统对所述 测试问题的话术作为测试话术，获取所述测试问题关联的轮播答案条数作为测试轮播答案 条数，将所述测试答案与所述测试问题关联的轮播答案进行比较匹配，如果所述测试话术 与其中一个轮播答案匹配，则判断该测试用例测试通过并结束所述比较匹配，否则所述测 试话术与另一个轮播答案进行比较匹配，如果所述测试话术与轮播答案比较匹配的次数超 过所述测试轮播答案条数，则判断该测试用例测试失败。
[0031] 由于将问题与轮播答案条数关联保存，因此可以知道一个问题具有多少的轮播答 案，从而将测试话术与所有的轮播答案进行比较匹配，使得测试更为准确。
[0032] 在其中一个实施例中，所述问题、以及关联的轮播答案和轮播答案条数采用二维 表保存，所述二维表的每一行保存一个问题、以及相关联的轮播答案和轮播答案条数。
[0033] 在其中一个实施例中：
[0034] 所述步骤S101，具体包括：获取测试账号，获取包括至少一个问题以及与每个问 题关联的多个轮播答案，所述问题以及所述轮播答案与所述测试账号关联；
[0035] 所述步骤S102,具体包括：通过测试账号登录人工智能应答系统，获取测试用例， 选择与所述测试用例关联的问题作为测试问题并输出。
[0036] 作为本发明的最佳实施例，问题、轮播答案、轮播答案条数的保存方式如下表2所 示：
[0037] 表2本发明最佳实施例的问题和答案保存方式
[0038]
[0040] 通过增加轮播答案条数和多个轮播答案的方式来解决轮播话术数据组织形式的 问题，η = 1时可以兼容以前的方案，η>1时支持答案话术轮播。其中，场景结束标识用于表 示为一个测试用例的结束。
[0041] 如图2所示为本发明最佳实施例的工作流程图，包括：
[0042] 步骤S201，读取测试用例；
[0043] 步骤S202,打开浏览器；
[0044] 步骤S203,输入待测试的人工智能应答系统的URL地址；
[0045] 步骤S204,从表2所示的二维表中获取测试账号，通过测试账号登录人工智能应 答系统；
[0046] 步骤S205,从表2所示的二维表中获取问题，并输入人工智