话术测试方法、装置、电子设备及存储介质与流程

文档序号:24552161发布日期:2021-04-06 12:04阅读:130来源:国知局
话术测试方法、装置、电子设备及存储介质与流程

本申请涉及数据处理技术领域,具体涉及一种话术测试方法、装置、电子设备及存储介质。



背景技术:

在测试一个人工智能(artificialintelligence,ai)机器人项目时,ai机器人和客户是通过电话交互。接收到客户应答时,会根据客户应答意图,选择对应的话术来应对。选一个意图对应有20条话术,ai机器人随机选择择话术。我们需要测试这20条话术全部都是正确的。

按照业务一般的测试办法,采用真实电话沟通,或者结果接口一次次调用的方式。不管是采用电话还是接口一次次调用来实现,都需要非常多的时间。20条话术,按照我们的经验需要大概100次调用才会全部被覆盖。总共大概有60个意图,需要6000次以上的调用。一通对话按照2分钟来计算,需要非常大的时间和人力来完成测试,通过接口一次次调用手动处理应答,也会需要大量时间来出。不管是通过电话还是手动输入应答方式来处理,都需要大量的时间来验证,对应项目快速迭代来说,无法满足项目需要,因此,如何快速确定话术覆盖程度的问题亟待解决。



技术实现要素:

本申请实施例提供了一种话术测试方法、装置、电子设备及存储介质,能够快速确定话术覆盖程度。

第一方面,本申请实施例提供一种话术测试方法,所述方法包括:

获取针对预设内容的话术集,所述话术集包括多个话术;

获取所述预设内容对应的话术列表;

根据所述话术集与所述话术列表确定所述话术集对应的目标覆盖率;

在所述目标覆盖率大于预设阈值时,确认所述预设内容的话术被全部覆盖;

在所述目标覆盖率小于或等于预设阈值时,确认所述预设内容的话术未被全部覆盖。

第二方面,本申请实施例提供一种话术测试装置,所述装置包括:第一获取单元、第二获取单元、第一确定单元和第二确定单元,其中,

所述第一获取单元,用于获取针对预设内容的话术集,所述话术集包括多个话术;

所述第二获取单元,用于获取所述预设内容对应的话术列表;

所述第一确定单元,用于根据所述话术集与所述话术列表确定所述话术集对应的目标覆盖率;

所述第二确定单元,用于在所述目标覆盖率大于预设阈值时,确认所述预设内容的话术被全部覆盖;以及在所述目标覆盖率小于或等于预设阈值时,确认所述预设内容的话术未被全部覆盖。

第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面中的步骤的指令。

第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

实施本申请实施例,具备如下有益效果:

可以看出,本申请实施例中所描述的话术测试方法、装置、电子设备及存储介质,获取针对预设内容的话术集,话术集包括多个话术,获取预设内容对应的话术列表,根据话术集与话术列表确定话术集对应的目标覆盖率,在目标覆盖率大于预设阈值时,确认预设内容的话术被全部覆盖,在目标覆盖率小于或等于预设阈值时,确认预设内容的话术未被全部覆盖,进而,能够收集预设内容的话术集,以及获取预设内容对应的话术列表,进而,可以实现批量进行话术比对,即可以依据预设内容的话术集以及与其对应的话术列表进行比对,得到覆盖率,并通过覆盖率确定覆盖程度,即能够实现快速确定话术覆盖程度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种话术测试方法的流程示意图;

图2是本申请实施例提供的另一种话术测试方法的流程示意图;

图3是本申请实施例提供的一种电子设备的结构示意图;

图4是本申请实施例提供的一种话术测试装置的功能单元组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备(如手机、平板电脑、pos机等等)、台式机、车载设备、可穿戴设备(智能手表、智能手环、无线耳机、增强现实/虚拟现实设备、智能眼镜)、ai机器人、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(userequipment,ue),移动台(mobilestation,ms),终端设备(terminaldevice)等等。为方便描述,上面提到的设备统称为电子设备,电子设备还可以为服务器。

下面对本申请实施例进行详细介绍。

请参阅图1,图1是本申请实施例提供的一种话术测试方法的流程示意图,如图所示,应用于电子设备,本话术测试方法包括:

101、获取针对预设内容的话术集,所述话术集包括多个话术。

其中,预设内容可以为预先设置的问题或者场景,预设内容可以由用户自行设置或者系统默认,例如,预设内容可以为:是否需要存款?又例如,确认存款50万元?等等。话术集中的话术则可以为针对预设内容的答复,预设内容可以由电子设备进行提问,话术则是针对该预设内容的答复,话术的具体形式可以为语音。话术集可以包括多个话术。在话术为语音时,每一话术对应一个语音编号。可以通过预设接口读取预设内容的话术集。预设接口可以由系统默认或者用户自行设置。电子设备获取针对预设内容的话术集,该话术集包括多个话术,相当于批量获取预设内容的话术集。

102、获取所述预设内容对应的话术列表。

其中,电子设备中可以预先存储内容与话术列表之间的映射关系,话术列表中可以预先存储多个预先设置的预设话术,进而,电子设备可以根据该映射关系确定预设内容对应的话术列表。

可选地,上述步骤102,获取所述预设内容对应的话术列表,可以包括如下步骤:

21、获取所述预设内容对应的目标语言类型;

22、按照预设的语言类型与话术列表之间的映射关系,确定所述目标语言类型对应的话术列表。

其中,本申请实施例中,语言类型可以为以下至少一种:英语、德语、日文、俄语、法语、西班牙语、方言等等,在此不作限定。电子设备中可以预先存储预设的语言类型与话术列表之间的映射关系。

具体实现中,电子设备获取预设内容对应的目标语言类型,按照预设的语言类型与话术列表之间的映射关系,确定目标语言类型对应的话术列表,如此,能够依据不同的语言配置相应的话术列表,保证话术测试的精准性。

103、根据所述话术集与所述话术列表确定所述话术集对应的目标覆盖率。

其中,电子设备可以预先规划预设内容对应的话术列表,将话术集与话术列表进行比对,得到目标覆盖率。

可选地,上述步骤103,根据所述话术集与话术列表确定所述话术集对应的目标覆盖率,包括:

a31、确定所述话术集中的话术与所述话术列表中的话术之间的匹配值;

a32、依据所述匹配值确定所述话术集对应的目标覆盖率。

具体实现中,电子设备可以调取ai机器人的接口,检查接口返回的话术,通过该方式可以得到话术集中的话术,进而,可以获取话术列表中的话术,将话术集中的话术与话术列表中的话术之间进行匹配,得到匹配值,可以将匹配值作为话术集对应的目标覆盖率。

当然,具体实现中,还可以检测话术集中的话术是否在以上话术列表中,如果存在,则可以将存在于话术列表中的话术存入一个已覆盖列表,如果不是在以上列表,则存入一个非期望话术列表,进而,按照该方式,当话术集中新的话术出现时,可以判断是否在标签期望话术,如果在就从原有的列表(话术集对应的列表)中删除,并且加入已出现的列表。如果不在原列表,则加入不在期望列表。当所有的话术都出现过,原话术列表长度为空时,就退出。

可选地,上述步骤103,根据所述话术集与话术列表确定所述话术集对应的目标覆盖率,包括:

b31、获取预设次数;

b32、通过所述预设次数更新所述话术列表的长度,并基于该长度更新所述话术列表,得到更新后的话术列表;

b33、确定所述更新后的话术列表的预测比对耗时;

b34、依据所述预设次数,将所述话术集与话术列表进行比对,得到实际比对耗时;

b35、依据所述预测比对耗时和所述实际比对耗时确定所述目标覆盖率。

其中,预设次数可以由用户自行设置或者系统默认,其可以为经验值。

具体实现中,电子设备可以获取预设次数,进而,通过预设次数更新话术列表的长度,长度=话术列表长度*预设次数,并基于该长度更新话术列表,得到更新后的话术列表,确定更新后的话术列表的预测比对耗时,即确定更新后的话术列表包含的话术数量,每一条话术比对时长一定,则预测比对耗时=话术数量*话术比对时长,话术比对时长可以为经验值,例如,可以预先比对多条话术,确定总的时长,再将总的时长与多条话术的数量之间的比值,作为每一条话术的话术比对时长。

进而,电子设备可以依据预设次数,将话术集与话术列表进行比对,得到实际比对耗时,即将话术集与话术列表比对预设次数,得到实际比对耗时,实际比对耗时可以依据程序执行的实际时间来确定,最后,依据预测比对耗时和实际比对耗时确定目标覆盖率,通过两者之间的比值得到覆盖率。

进一步地,如果没有缺陷的情况下,可以使用了最小的请求次数,就做到了全量覆盖。全量覆盖之后,可以计算出现话术列表中统计出每个话术出现的次数。当达到话术列表长度*10次数时,还没有跑完,这个时候是有缺陷的,需要停止,不能无休止跑下去。列表长度*10,也是经过多次试验后得出的数据,一般如果没有缺陷的话,这个范围内,可以做到全量覆盖。

这样,就可以做到应对接口的随机返回,不管ai机器人有多少话术,我们都可以快速覆盖到全部的话术。确保ai与客户的交互每次都是正确的,不会出现任何差错。

可选地,上述步骤103,根据所述话术集与话术列表确定所述话术集对应的目标覆盖率,包括:

c31、将所述话术集中每一话术进行特征提取,得到多个特征集;

c32、获取所述话术列表对应的预设神经网络模型;

c33、将所述多个特征集输入到预设神经网络模型,得到目标覆盖率。

其中,预设神经网络模型可以为以下至少一种:卷积神经网络模型、语义分割模型、循环神经网络模型、卷积神经网络模型、脉冲神经神经网络模型等等,在此不做限定。每一特征集可以包括多个特征,特征可以为关键字,或者,关键字可以为字符,该预设神经网络模型可以由训练样本集以及对应的话术标签集输入到原始神经网络模型而得到,训练样本集中包括多个话术样本,每一话术样本对应一个话术标签。电子设备可以将多个特征集输入到预设神经网络模型,进而,可以得到每一特征集对应的话术标签,即得到多个话术标签,预设神经网络模型本身可以对应一个预设话术标签集,将多个话术标签与预设话术标签集进行比对,得到覆盖率,通过神经网络模型实现对话术进行分类,基于分类结果以及神经网络模型自身的类别覆盖情况,确定话术的覆盖率。

104、在所述目标覆盖率大于预设阈值时,确认所述预设内容的话术被全部覆盖。

其中,预设阈值可以由用户自行设置或者系统默认。在目标覆盖率大于预设阈值时,确认预设内容的话术被全部覆盖。

105、在所述目标覆盖率小于或等于预设阈值时,确认所述预设内容的话术未被全部覆盖。

其中,在目标覆盖率小于或等于预设阈值时,确认预设内容的话术未被全部覆盖,则可以确认未被覆盖的比例,以及完善话术集,力求话术被全部覆盖。

可选地,在上述步骤101,获取针对预设内容的话术集之前,还可以包括如下步骤:

d1、配置话术测试需求参数;

d2、依据所述话术测试需求参数配置测试环境参数;

d3、基于所述测试环境参数进行测试环境调试;

d4、在所述测试环境满足预设要求时,执行所述获取针对预设内容的话术集的步骤。

其中,话术测试需求参数可以包括以下至少一种:需求指标、网络拓扑、服务器软硬件配置、数据预处理、初始参数、业务模型等等,在此不作限定。预设要求可以由用户自行设置或者系统默认,例如,检测当前测试环境参数与预设测试环境参数是否比对成功,预设测试环境参数也可以由用户自行设置或者系统默认。

其中,需求指标可以为以下至少一种:平均设备响应时间、资源使用情况、事务成功率等等,在此不作限定。网络拓扑可以为测试环境的实际网络拓扑图及生产环境拓扑图等等。服务器软硬件配置可以为:生产环境和测试环境的软硬件配置及差异分析。数据量预埋可以包括测试数据和辅底数据,例如:1、测试过程中交易需要提前准备的交易记录,如冲正操作、更新操作、及撤销操作等;2、估算系统3年后的系统数据库中存量。初始参数可以为以下至少一种:服务器的中间件关键配置、数据库配置如:服务的连接数配置、应用内存配置、数据库的连接池配置、表空间大小等等,在此不作限定。业务模型可以为业务算法,例如,语义识别算法、语义分割算法、神经网络算法等等,在此不作限定,不同业务可以对应不同业务模型。

另外,测试环境参数可以包括以下至少一种:应用服务器的环境参数、数据库服务器的环境参数等等,在此不作限定。其中,应用服务器的环境参数可以为以下至少以后一种:磁盘分区、逻辑卷创建、中间件部署、应用下发各要求的环境参数等等,在此不作限定。数据库服务器的环境参数可以为以下至少一种:磁盘分区、逻辑卷创建、表空间创建、数据文件创建、数据库安装、建库、建表等的环境参数,在此不作限定。

进而,电子设备可以基于测试环境参数进行测试环境调试,具体如下:脚本编辑(例如,针对业务模型,编写/录制和调试脚本);数据预埋(例如,对应数据记录的预埋,实现方法:sql语句导入、存储过程、文件生成);挡板部署(例如,当业务模型中的交易涉及非被测系统外的关联系统,则需将其设为挡板,以避免被测系统的结果失真,特殊情况除外:如联调测试)。

具体实现中,可以配置话术测试需求参数,并依据话术测试需求参数配置测试环境参数,基于测试环境参数进行测试环境调试,在测试环境满足预设要求时,执行步骤101,反之,则不执行步骤101,继续调整测试环境,如此,可以优化测试环境,提升测试效率。

可选地,上述步骤d3,基于所述测试环境参数进行测试环境调试,可以包括如下步骤:

d31、获取当前测试环境参数;

d32、获取目标测试要求;

d33、按照预设的测试要求与测试环境参数之间的映射关系,确定所述目标测试要求对应的预设测试环境参数;

d34、在所述测试环境参数与所述测试环境参数比对成功时,确认所述测试环境满足所述预设要求;

d35、在所述测试环境参数与所述测试环境参数比对失败时,确认所述测试环境不满足所述预设要求。

其中,预设测试环境参数可以由用户自行设置或者系统默认。预设测试环境参数可以包括软件测试环境参数,和/或,硬件测试环境参数。软件测试环境参数可以包括以下至少一种:cpu温度、gpu温度、前台应用类型、进程数量、cpu资源占用率、gpu资源占用率、内存大小、屏幕分辨率、系统类型等等,在此不做限定。硬件测试环境参数可以包括以下至少一种:cpu型号、gpu型号、cpu核数、cpu处理速率、gpu处理速率等等,在此不做限定。不同的测试要求可以对应不同的测试环境参数。

具体实现中,可以预先存储预设的测试要求与测试环境参数之间的映射关系,获取当前测试环境参数,获取目标测试要求,按照预设的测试要求与测试环境参数之间的映射关系,确定目标测试要求对应的预设测试环境参数,将当前测试环境参数与预设测试环境参数比对成功时,确认测试环境满足所述预设要求,反之,在测试环境参数与测试环境参数比对失败时,确认测试环境不满足预设要求。

可以看出,本申请实施例中所描述的话术测试方法,获取针对预设内容的话术集,话术集包括多个话术,获取预设内容对应的话术列表,根据话术集与话术列表确定话术集对应的目标覆盖率,在目标覆盖率大于预设阈值时,确认预设内容的话术被全部覆盖,在目标覆盖率小于或等于预设阈值时,确认预设内容的话术未被全部覆盖,进而,能够收集预设内容的话术集,以及获取预设内容对应的话术列表,进而,可以实现批量进行话术比对,即可以依据预设内容的话术集以及与其对应的话术列表进行比对,得到覆盖率,并通过覆盖率确定覆盖程度,即能够实现快速确定话术覆盖程度。

请参阅图2,图2是本申请实施例提供的一种话术测试方法的流程示意图,应用于电子设备,如图所示,本话术测试方法包括:

201、配置话术测试需求参数。

202、依据所述话术测试需求参数配置测试环境参数。

203、基于所述测试环境参数进行测试环境调试。

204、在所述测试环境满足预设要求时,获取针对预设内容的话术集,所述话术集包括多个话术。

205、获取所述预设内容对应的话术列表。

206、根据所述话术集与所述话术列表确定所述话术集对应的目标覆盖率。

207、在所述目标覆盖率大于预设阈值时,确认所述预设内容的话术被全部覆盖。

208、在所述目标覆盖率小于或等于预设阈值时,确认所述预设内容的话术未被全部覆盖。

其中,上述步骤201-步骤208的具体描述可以参照上述图1所描述的话术测试方法的相应步骤,在此不再赘述。

可以看出,本申请实施例中所描述的话术测试方法,配置话术测试需求参数,依据话术测试需求参数配置测试环境参数,基于测试环境参数进行测试环境调试,在测试环境满足预设要求时,获取针对预设内容的话术集,话术集包括多个话术,获取预设内容对应的话术列表,根据话术集与话术列表确定话术集对应的目标覆盖率,在目标覆盖率大于预设阈值时,确认预设内容的话术被全部覆盖,在目标覆盖率小于或等于预设阈值时,确认预设内容的话术未被全部覆盖,进而,能够收集预设内容的话术集,以及获取预设内容对应的话术列表,进而,可以实现批量进行话术比对,即可以依据预设内容的话术集以及与其对应的话术列表进行比对,得到覆盖率,并通过覆盖率确定覆盖程度,即能够实现快速确定话术覆盖程度。

与上述实施例一致地,请参阅图3,图3是本申请实施例提供的一种电子设备的结构示意图,如图所示,该电子设备包括处理器、存储器、通信接口以及一个或多个程序,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,本申请实施例中,上述程序包括用于执行以下步骤的指令:

获取针对预设内容的话术集,所述话术集包括多个话术;

获取所述预设内容对应的话术列表;

根据所述话术集与所述话术列表确定所述话术集对应的目标覆盖率;

在所述目标覆盖率大于预设阈值时,确认所述预设内容的话术被全部覆盖;

在所述目标覆盖率小于或等于预设阈值时,确认所述预设内容的话术未被全部覆盖。

可以看出,本申请实施例中所描述的电子设备,获取针对预设内容的话术集,话术集包括多个话术,获取预设内容对应的话术列表,根据话术集与话术列表确定话术集对应的目标覆盖率,在目标覆盖率大于预设阈值时,确认预设内容的话术被全部覆盖,在目标覆盖率小于或等于预设阈值时,确认预设内容的话术未被全部覆盖,进而,能够收集预设内容的话术集,以及获取预设内容对应的话术列表,进而,可以实现批量进行话术比对,即可以依据预设内容的话术集以及与其对应的话术列表进行比对,得到覆盖率,并通过覆盖率确定覆盖程度,即能够实现快速确定话术覆盖程度。

可选地,在所述根据所述话术集与话术列表确定所述话术集对应的目标覆盖率方面,上述程序包括用于执行以下步骤的指令:

确定所述话术集中的话术与所述话术列表中的话术之间的匹配值;

依据所述匹配值确定所述话术集对应的目标覆盖率。

可选地,在所述根据所述话术集与话术列表确定所述话术集对应的目标覆盖率方面,上述程序包括用于执行以下步骤的指令:

获取预设次数;

通过所述预设次数更新所述话术列表的长度,并基于该长度更新所述话术列表,得到更新后的话术列表;

确定所述更新后的话术列表的预测比对耗时;

依据所述预设次数,将所述话术集与话术列表进行比对,得到实际比对耗时;

依据所述预测比对耗时和所述实际比对耗时确定所述目标覆盖率。

可选地,在所述根据所述话术集与话术列表确定所述话术集对应的目标覆盖率方面,上述程序包括用于执行以下步骤的指令:

将所述话术集中每一话术进行特征提取,得到多个特征集;

获取所述话术列表对应的预设神经网络模型;

将所述多个特征集输入到预设神经网络模型,得到目标覆盖率。

可选地,在所述获取所述预设内容对应的话术列表方面,上述程序包括用于执行以下步骤的指令:

获取所述预设内容对应的目标语言类型;

按照预设的语言类型与话术列表之间的映射关系,确定所述目标语言类型对应的话术列表。

可选地,在所述获取针对预设内容的话术集之前,上述程序还包括用于执行以下步骤的指令:

配置话术测试需求参数;

依据所述话术测试需求参数配置测试环境参数;

基于所述测试环境参数进行测试环境调试;

在所述测试环境满足预设要求时,执行所述获取针对预设内容的话术集的步骤。

可选地,在所述基于所述测试环境参数进行测试环境调试方面,上述程序包括用于执行以下步骤的指令:

获取目标测试要求;

按照预设的测试要求与测试环境参数之间的映射关系,确定所述目标测试要求对应的预设测试环境参数;

将所述测试环境参数与所述预设测试环境参数进行比对;

在所述测试环境参数与所述测试环境参数比对成功时,确认所述测试环境满足所述预设要求;

在所述测试环境参数与所述测试环境参数比对失败时,确认所述测试环境不满足所述预设要求。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。

图4是本申请实施例中所涉及的话术测试装置400的功能单元组成框图。该话术测试装置400,所述装置400包括:第一获取单元401、第二获取单元402、第一确定单元403和第二确定单元404,其中,

所述第一获取单元401,用于获取针对预设内容的话术集,所述话术集包括多个话术;

所述第二获取单元402,用于获取所述预设内容对应的话术列表;

所述第一确定单元403,用于根据所述话术集与所述话术列表确定所述话术集对应的目标覆盖率;

所述第二确定单元404,用于在所述目标覆盖率大于预设阈值时,确认所述预设内容的话术被全部覆盖;以及在所述目标覆盖率小于或等于预设阈值时,确认所述预设内容的话术未被全部覆盖。

可以看出,本申请实施例中所描述的话术测试装置,获取针对预设内容的话术集,话术集包括多个话术,获取预设内容对应的话术列表,根据话术集与话术列表确定话术集对应的目标覆盖率,在目标覆盖率大于预设阈值时,确认预设内容的话术被全部覆盖,在目标覆盖率小于或等于预设阈值时,确认预设内容的话术未被全部覆盖,进而,能够收集预设内容的话术集,以及获取预设内容对应的话术列表,进而,可以实现批量进行话术比对,即可以依据预设内容的话术集以及与其对应的话术列表进行比对,得到覆盖率,并通过覆盖率确定覆盖程度,即能够实现快速确定话术覆盖程度。

可选地,在所述根据所述话术集与话术列表确定所述话术集对应的目标覆盖率方面,所述第一确定单元403具体用于:

确定所述话术集中的话术与所述话术列表中的话术之间的匹配值;

依据所述匹配值确定所述话术集对应的目标覆盖率。

可选地,在所述根据所述话术集与话术列表确定所述话术集对应的目标覆盖率方面,所述第一确定单元403具体用于:

获取预设次数;

通过所述预设次数更新所述话术列表的长度,并基于该长度更新所述话术列表,得到更新后的话术列表;

确定所述更新后的话术列表的预测比对耗时;

依据所述预设次数,将所述话术集与话术列表进行比对,得到实际比对耗时;

依据所述预测比对耗时和所述实际比对耗时确定所述目标覆盖率。

可选地,在所述根据所述话术集与话术列表确定所述话术集对应的目标覆盖率方面,所述第一确定单元403具体用于:

将所述话术集中每一话术进行特征提取,得到多个特征集;

获取所述话术列表对应的预设神经网络模型;

将所述多个特征集输入到预设神经网络模型,得到目标覆盖率。

可选地,在所述获取所述预设内容对应的话术列表方面,所述第二获取单元具体用于:

获取所述预设内容对应的目标语言类型;

按照预设的语言类型与话术列表之间的映射关系,确定所述目标语言类型对应的话术列表。

可选地,在所述获取针对预设内容的话术集之前,所述装置400还具体用于:

配置话术测试需求参数;

依据所述话术测试需求参数配置测试环境参数;

基于所述测试环境参数进行测试环境调试;

在所述测试环境满足预设要求时,执行所述获取针对预设内容的话术集的步骤。

可选地,在所述基于所述测试环境参数进行测试环境调试方面,所述装置400具体用于:

获取目标测试要求;

按照预设的测试要求与测试环境参数之间的映射关系,确定所述目标测试要求对应的预设测试环境参数;

将所述测试环境参数与所述预设测试环境参数进行比对;

在所述测试环境参数与所述测试环境参数比对成功时,确认所述测试环境满足所述预设要求;

在所述测试环境参数与所述测试环境参数比对失败时,确认所述测试环境不满足所述预设要求。

可以理解的是,本实施例的话术测试装置的各程序模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。

本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。

需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:u盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:read-onlymemory,简称:rom)、随机存取器(英文:randomaccessmemory,简称:ram)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1