人机对话流程测试方法及系统与流程

本发明涉及呼叫中心，特别涉及一种人机对话流程测试方法及系统。

背景技术：

1、现有技术中人机对话流程的测试存在两个主要的缺陷，首先，通常采用实时场景对话的方式完成人机对话流程的验证和优化，其测试过程不透明，不能实时查看每轮对话中语音机器人的变量赋值、理解判断等信息；其次，在理解测试方面现有技术不支持测试用例留存，每次优化语音机器人后需要重新编写测试用例来检验优化结果。

技术实现思路

1、基于此，为解决现有技术中的技术问题，特提出了一种人机对话流程测试方法，包括：

2、通过机器人管理装置创建语音机器人，创建后对语音机器人进行配置，完成语音机器人的搭建；机器人管理装置将搭建完成的语音机器人信息发送至与其相连接的测试装置，由测试装置对语音机器人进行人机对话流程的测试；

3、通过测试装置测试语音机器人的人机对话流程并生成对应的测试结果，测试装置将测试结果及数据发送至与其相连接的记录装置；所述测试装置包括流程测试器、理解测试器；通过流程测试器检查对话流程图的语法是否存在错误，检测语音机器人在人机对话流程中的流程执行、节点跳转、变量赋值；通过理解测试器检测语音机器人在人机对话流程中是否准确理解客户的意图；

4、测试装置将测试结果反馈发送至对话机器人管理装置，对话机器人管理装置根据测试结果优化对话机器人的配置，从而形成测试闭环；

5、记录装置记录测试结果及数据，在测试结果中保存每次测试完成后计算得到的对话机器人对客户对话应答内容进行意图理解的理解正确数、理解正确率。

6、在一种实施例中，流程测试器包括对话流程图校验器，通过对话流程图校验器校验对话流程图的配置及语法；在对话流程图校验中，通过校验对话流程图中是否包含配置错误或语法错误以确保对话流程不会中断；对话流程图校验器在校验后得到对话流程图中错误或警告的名称、位置、描述、修复建议；

7、其中，对话流程图的错误是指在对话流程图的配置过程中出现了无法继续向下进行的问题，警告是指不影响对话流程执行但会影响执行结果的问题；

8、错误或警告的位置是指用于显示错误或警告发生的位置，位置包括节点、配置项、接口；错误或警告的描述是指对错误或警告的详细说明；关于错误或警告的建议是指修复错误或警告的建议。

9、在一种实施例中，流程测试器包括对话测试器，通过对话测试器模拟人机通话并在模拟人机通话的过程中检测语音机器人的流程执行、节点跳转、变量赋值；对话测试的内容包括测试流程选择、测试起点、节点跳转情况、意图反馈、逻辑执行、初始参数、事实变量值、对话回演；

10、测试流程选择表示通过对话测试器选择执行哪个流程用于测试，可选择主流程或下属的子流程；

11、测试起点表示通过对话测试器选择从当前流程下的哪个节点开始测试；

12、节点跳转情况表示对话测试器通过文本模拟客户的对话应答，语音机器人根据客户的对话应答内容执行流程中的节点跳转，观测到客户对话应答后语音机器人进入了哪个节点，做完节点中的动作之后当前节点结束；

13、意图反馈表示对话测试器查看语音机器人在当前节点识别客户对话应答内容后输出的客户意图；客户意图包括肯定、否定、不确定；

14、逻辑执行表示对话测试器查看语音机器人做出意图判断之后做出的下一步动作；逻辑执行包括跳出分支、触发常见问题回答、触发异常处理；

15、初始参数为对话测试器模拟通话时上传的语音机器人输入参数；

16、事实变量值为对话测试器观测的语音机器人在节点跳转前后参数值的变化信息；

17、对话回演表示通过对话测试器观测语音机器人在当前节点中意图判断的情况，通过对话回演观测语音机器人对每个意图的判断结果，直至找到节点中和识别结果相同的客户意图并执行下一步操作。

18、在一种实施例中，理解测试器包括快速理解测试器，快速理解测试器通过输入测试文本快速测试语音机器人对客户对话应答内容的理解；快速理解测试器在语音机器人创建并配置完成或者优化后临时测试语音机器人的意图理解表现，并在快速测试结束后计算语音机器人关于意图理解的理解正确数、理解正确率。

19、在一种实施例中，理解测试器包括测试集测试器，测试集测试器通过测试集测试语音机器人在人机对话流程中的意图理解情况；

20、在测试集测试中，测试集测试器在测试之前上传可复用的测试集，测试集包括一个或多个测试用例；

21、每当语音机器人完成优化后，测试集测试器引用上传的测试集测试语音机器人在人机对话流程中的理解能力；测试集测试器针对每个测试用例展示和对比意图识别的预期结果和实际结果，并计算意图理解的理解正确数、理解正确率；

22、在测试集测试器完成测试集测试后，将测试集的测试结果及对应的测试数据发送至测试记录装置保存。

23、此外，为解决现有技术中的技术问题，特提出了一种人机对话流程测试系统，包括机器人管理装置、测试装置、记录装置；所述机器人管理装置与所述测试装置相互连接；所述测试装置与所述记录装置相互连接；

24、其中，所述机器人管理装置用于创建语音机器人，创建后对语音机器人进行配置，完成语音机器人的搭建；机器人管理装置将搭建完成的语音机器人信息发送至测试装置，由测试装置对语音机器人进行人机对话流程的测试；

25、其中，测试装置用于测试语音机器人的人机对话流程并生成对应的测试结果，将测试结果及数据发送至记录装置；所述测试装置包括流程测试器、理解测试器；流程测试器用于检查对话流程图的语法是否存在错误，检测语音机器人在人机对话流程中的流程执行、节点跳转、变量赋值；理解测试器用于检测语音机器人在人机对话流程中是否准确理解客户的意图；

26、测试装置将测试结果反馈发送至对话机器人管理装置，对话机器人管理装置根据测试结果优化对话机器人的配置，从而形成测试闭环；

27、其中，记录装置用于记录测试结果及数据，在测试结果中保存每次测试完成后计算得到的对话机器人对客户对话应答内容进行意图理解的理解正确数、理解正确率。

28、在一种实施例中，流程测试器包括对话流程图校验器；

29、对话流程图校验器用于校验对话流程图的配置及语法；在对话流程图校验中，通过校验对话流程图中是否包含配置错误或语法错误以确保对话流程不会中断；对话流程图校验器在校验后得到对话流程图中错误或警告的名称、位置、描述、修复建议；

30、其中，对话流程图的错误是指在对话流程图的配置过程中出现了无法继续向下进行的问题，警告是指不影响对话流程执行但会影响执行结果的问题；

31、错误或警告的位置是指用于显示错误或警告发生的位置，位置包括节点、配置项、接口；错误或警告的描述是指对错误或警告的详细说明；关于错误或警告的建议是指修复错误或警告的建议。

32、在一种实施例中，流程测试器包括对话测试器；

33、对话测试器用于模拟人机通话并在模拟人机通话的过程中检测语音机器人的流程执行、节点跳转、变量赋值；对话测试的内容包括测试流程选择、测试起点、节点跳转情况、意图反馈、逻辑执行、初始参数、事实变量值、对话回演；

34、测试流程选择表示通过对话测试器选择执行哪个流程用于测试，可选择主流程或下属的子流程；

35、测试起点表示通过对话测试器选择从当前流程下的哪个节点开始测试；

36、节点跳转情况表示对话测试器通过文本模拟客户的对话应答，语音机器人根据客户的对话应答内容执行流程中的节点跳转，观测到客户对话应答后语音机器人进入了哪个节点，做完节点中的动作之后当前节点结束；

37、意图反馈表示对话测试器查看语音机器人在当前节点识别客户对话应答内容后输出的客户意图；客户意图包括肯定、否定、不确定；

38、逻辑执行表示对话测试器查看语音机器人做出意图判断之后做出的下一步动作；逻辑执行包括跳出分支、触发常见问题回答、触发异常处理；

39、初始参数为对话测试器模拟通话时上传的语音机器人输入参数；

40、事实变量值为对话测试器观测的语音机器人在节点跳转前后参数值的变化信息；

41、对话回演表示通过对话测试器观测语音机器人在当前节点中意图判断的情况，通过对话回演观测语音机器人对每个意图的判断结果，直至找到节点中和识别结果相同的客户意图并执行下一步操作。

42、在一种实施例中，所述理解测试器包括快速理解测试器；

43、快速理解测试器通过输入测试文本快速测试语音机器人对客户对话应答内容的理解；快速理解测试器在语音机器人创建并配置完成或者优化后临时测试语音机器人的意图理解表现，并在快速测试结束后计算语音机器人关于意图理解的理解正确数、理解正确率。

44、在一种实施例中，所述理解测试器包括测试集测试器；

45、测试集测试器用于通过测试集测试语音机器人在人机对话流程中的意图理解情况；在测试集测试中，测试集测试器在测试之前上传可复用的测试集，测试集包括一个或多个测试用例；每当语音机器人完成优化后，测试集测试器引用上传的测试集测试语音机器人在人机对话流程中的理解能力；测试集测试器针对每个测试用例展示和对比意图识别的预期结果和实际结果，并计算意图理解的理解正确数、理解正确率；

46、在测试集测试器完成测试集测试后，将测试集的测试结果及对应的测试数据发送至测试记录装置保存。

47、实施本发明实施例，将具有如下有益效果：

48、通过本发明，使得语音机器人的测试过程变得清晰可见，并且复用性高，能够及时发现并定位机器人在搭建、意图理解过程中出现的问题，从而极大地提升了语音机器人的测试效率。