自动化外呼测试方法、装置、计算机设备及存储介质与流程

本发明涉及自动化测试领域，尤其涉及一种自动化外呼测试方法、装置、计算机设备及存储介质。

背景技术：

1、目前的银行系统中，会使用自动外呼系统来进行业务的推广操作，但是外呼系统因为是通过人工智能识别然后从既定的语音库中挑选语句反馈给客户，因此存在效率低的问题，为此需要通过高效率的测试来测试出自动外呼系统的缺陷，以使得开发人员可以更好的改进。现有的智能外呼系统测试技术方案是测试人员为要测试的对话流的节点编写脚本，配置话术和话术预期匹配的意图，然后进行单元测试，这种测试没有足够的测试集，且测试不够全面，缺乏生产环节对流程的自动化测试和针对性分析，并且因为语音包含的意图众多，所以其分支众多，当前的测试方式效率低下，使用时间过长，大大拖延了开发改进的进度。

技术实现思路

1、第一方面，本申请提供了一种自动化外呼测试方法，包括：

2、通过对话流测试，获取外呼系统的测试数据，所述测试数据包括对话流中的多个对话节点以及对应的对话语句；

3、计算所述对话节点的数量，以确定针对每个对话节点的对话语句进行意图识别任务的数量；

4、根据测试设备的处理器配置，将所有所述意图识别任务分为多个并行任务组，并通过生成相应数量的线程，以并行执行各个所述意图识别任务，从而得到各个对话节点的意图识别结果；

5、根据所述意图识别结果，得到测试结果。

6、进一步的，所述根据测试设备的处理器配置，将所有所述意图识别任务分为多个并行任务组，通过生成相应数量的线程，包括：

7、获取测试设备配置的处理器的核心数，根据所述核心数计算得到所述任务组数，并生成与所述任务组数相同的线程。

8、进一步的，所述对话流测试包括测试阶段测试；

9、当处于所述测试阶段测试时，所述得到各个对话节点的意图识别结果，包括：

10、获取各个所述对话节点的话术池，并识别各个所述对话节点的意图量；

11、根据所述话术池和所述意图量，分别计算每个对话节点的回复准确率和兜底率，以及整个对话流的回复准确率和兜底率。

12、进一步的，所述分别计算每个对话节点的回复准确率和兜底率，包括：

13、从测试日志中获取所述对话节点的意图量、回复话术准确量和兜底量；

14、所述回复准确率的计算表达式为：

15、；

16、式中，y为所述回复准确率，m为所述意图量，w为所述回复话术准确量；

17、所述兜底率的计算表达式为：

18、；

19、式中，z为所述兜底率，x为所述兜底量。

20、进一步的，当处于所述测试阶段测试时，所述根据所述意图识别结果，得到测试结果，包括：

21、将计算得到的回复准确率和兜底率分别与预设的对应目标值进行对比，以确定当前版本的所述外呼系统是否可以上线工作。

22、进一步的，所述对话流测试包括生产阶段测试；

23、当处于所述生产阶段测试时，所述获取外呼系统的测试数据，包括：

24、将实际生产工作中的工作数据作为外呼系统的测试数据；

25、所述得到各个对话节点的意图识别结果，包括：

26、计算各个对话节点的节点访问率、节点挂断率和节点重试率，并根据所述节点访问率、所述节点挂断率和所述节点重试率的预设指标，确定关键节点，并根据所述关键节点，确定关键路径，并根据所述关键路径进行所述对话流测试。

27、进一步的，当处于所述生产阶段测试时，所述根据所述意图识别结果，得到测试结果，包括：

28、将所述外呼系统和客户之间的每一句对话都打上相应的客户标签和意向标签，根据正态分布对所述客户标签和所述意向标签进行优化分析，以确定客户对当前版本的外呼系统的支持度和置信度；

29、根据所述支持度和所述置信度，计算提升度，并根据所述提升度评估当前版本的外呼系统。

30、第二方面，本申请还提供一种自动化外呼测试装置，包括：

31、测试模块，用于通过对话流测试，获取外呼系统的测试数据，所述测试数据包括对话流中的多个对话节点以及对应的对话语句；

32、规划模块，用于计算所述对话节点的数量，以确定针对每个对话节点的对话语句进行意图识别任务的数量；

33、并行模块，用于根据测试设备的处理器配置，将所有所述意图识别任务分为多个并行任务组，并通过生成相应数量的线程，以并行执行各个所述意图识别任务，从而得到各个对话节点的意图识别结果；

34、分析模块，用于根据所述意图识别结果，得到测试结果。

35、第三方面，本申请还提供一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行所述的自动化外呼测试方法。

36、第四方面，一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行所述的自动化外呼测试方法。

37、本发明公开了一种自动化外呼测试方法、装置、计算机设备及存储介质，该方法包括：通过对话流测试，获取外呼系统的测试数据，所述测试数据包括对话流中的多个对话节点以及对应的对话语句；计算所述对话节点的数量，以确定针对每个对话节点的对话语句进行意图识别任务的数量；根据测试设备的处理器配置，将各个所述意图识别任务分为多个并行任务组，通过生成相应数量的线程，并行执行各个所述意图识别任务，从而得到各个对话节点的意图识别结果；根据所述意图识别结果，得到测试结果。使得多个节点的测试任务可以并行执行，大大提高测试效率，实现自动化、标准化的智能外呼测试方案，可最大程度降低业务流程人工测试的工作量，节省企业人力投入成本。

技术特征：

1.一种自动化外呼测试方法，其特征在于，包括：

2.根据权利要求1所述的自动化外呼测试方法，其特征在于，所述根据测试设备的处理器配置，将所有所述意图识别任务分为多个并行任务组，通过生成相应数量的线程，包括：

3.根据权利要求1所述的自动化外呼测试方法，其特征在于，所述对话流测试包括测试阶段测试；

4.根据权利要求3所述的自动化外呼测试方法，其特征在于，所述分别计算每个对话节点的回复准确率和兜底率，包括：

5.根据权利要求3所述的自动化外呼测试方法，其特征在于，当处于所述测试阶段测试时，所述根据所述意图识别结果，得到测试结果，包括：

6.根据权利要求1所述的自动化外呼测试方法，其特征在于，所述对话流测试包括生产阶段测试；

7.根据权利要求6所述的自动化外呼测试方法，其特征在于，当处于所述生产阶段测试时，所述根据所述意图识别结果，得到测试结果，包括：

8.一种自动化外呼测试装置，其特征在于，包括：

9.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行权利要求1至7中任一项所述的自动化外呼测试方法。

10.一种可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至7中任一项所述的自动化外呼测试方法。

技术总结
本发明涉及测试技术领域，提供一种自动化外呼测试方法、装置、计算机设备及存储介质，该方法包括：通过对话流测试，获取外呼系统的测试数据，所述测试数据包括对话流中的多个对话节点以及对应的对话语句；计算所述对话节点的数量，以确定针对每个对话节点的对话语句进行意图识别任务的数量；根据测试设备的处理器配置，将各个所述意图识别任务分为多个并行任务组，通过生成相应数量的线程，并行执行各个所述意图识别任务，从而得到各个对话节点的意图识别结果；根据所述意图识别结果，得到测试结果。使得多个节点的测试任务可以并行执行，大大提高测试效率。

技术研发人员：陈烁隍,孔海明,王田丰
受保护的技术使用者：天津金城银行股份有限公司
技术研发日：
技术公布日：2024/1/13