1.本技术涉及到语言处理领域,具体而言,涉及一种基于结果评价的话术训练数据处理方法和装置。
背景技术:2.在销售人员与客户对话的过程中,一般会根据客户的回答来收集一些信息,为了能够使收集到的信息更加准确,会提前对销售人员进行培训。培训的内容采用话术模板,在话术模板中列举了常见的问答语句,销售人员根据话术模板跟客户进行沟通,从而获得客户信息。
3.话术模板中的每一条话术均是针对特定场景的,客户在听到销售人员使用该话术的时候,不一定按照话术希望的方向去回答,从而很难收集到希望等到的信息,因此,话术模板中的每一条话术是否能够起到作用对销售人员非常重要,对于话术是否起作用以及如何改进话术目前均是靠人工来进行的,这依赖于人的经验,并且这种话术的修改带有一定的主观因素,无法评估某一条话术真正的效果。
技术实现要素:4.本技术实施例提供了一种基于结果评价的话术训练数据处理方法和装置,以至少解决现有技术中对话术的评估和修改依赖人的主观经验所导致的问题。
5.根据本技术的一个方面,提供了一种基于结果评价的话术训练数据处理方法,包括:分别获取客户多组话术的回答,其中,所述多组话术中的每一组话术均用于收集相同的客户信息;对所述每一组话术对应的回答进行语义分析,判断所述回答中是否包括所述客户信息;对所述每一组话术打上标签,其中,所述标签用于指示该组话术是否收集到的所述客户信息;根据标签为能够收集到所述客户信息的至少一组话术生成用于收集所述客户信息的标准话术。
6.进一步地,对所述每一组话术对应的回答进行语义分析包括:将所述每一组话术对应的语音回答转换为文字;对所述每一组话术对应的文字进行语义分析。
7.进一步地,对所述每一组话术对应的文字进行语义分析包括:从所述每一组话术对应的文字中提取关键词,其中,所述关键词为用于指示该组话术中的每一个问题的答案,所述关键词作为语义分析的结果,所述每一组话术中包括至少一个问题,所述至少一个问题按照顺序被提问。
8.进一步地,对所述每一组话术打上标签包括:在判断提取到的关键词符合所述客户信息的情况下,获取该关键词出现之前的该组话术中已经被提问过的问题;将该组话术中的未被提问到的问题删除,保留该组话术中已经被提问过的问题;为修改过的该组话术打上标签,其中,所述标签用于指示该组话术能够收集到的所述客户信息。
9.进一步地,对所述每一组话术打上标签包括:在判断提取到的所有关键词均不符合所述客户信息的情况下,为该组话术打上标签,其中,所述标签用于指示该组话术未能够
收集到的所述客户信息。
10.根据本技术的另一个方面,还提供了一种基于结果评价的话术训练数据处理装置,包括:第一获取模块,用于分别获取客户多组话术的回答,其中,所述多组话术中的每一组话术均用于收集相同的客户信息;分析模块,用于对所述每一组话术对应的回答进行语义分析,判断所述回答中是否包括所述客户信息;标签模块,用于对所述每一组话术打上标签,其中,所述标签用于指示该组话术是否收集到的所述客户信息;生成模块,用于根据标签为能够收集到所述客户信息的至少一组话术生成用于收集所述客户信息的标准话术。
11.进一步地,所述分析模块用于:将所述每一组话术对应的语音回答转换为文字;对所述每一组话术对应的文字进行语义分析。
12.进一步地,所述分析模块用于:从所述每一组话术对应的文字中提取关键词,其中,所述关键词为用于指示该组话术中的每一个问题的答案,所述关键词作为语义分析的结果,所述每一组话术中包括至少一个问题,所述至少一个问题按照顺序被提问。
13.进一步地,所述标签模块用于:在判断提取到的关键词符合所述客户信息的情况下,获取该关键词出现之前的该组话术中已经被提问过的问题;将该组话术中的未被提问到的问题删除,保留该组话术中已经被提问过的问题;为修改过的该组话术打上标签,其中,所述标签用于指示该组话术能够收集到的所述客户信息。
14.进一步地,所述标签模块用于:在判断提取到的所有关键词均不符合所述客户信息的情况下,为该组话术打上标签,其中,所述标签用于指示该组话术未能够收集到的所述客户信息。
15.在本技术实施例中,采用了分别获取客户多组话术的回答,其中,所述多组话术中的每一组话术均用于收集相同的客户信息;对所述每一组话术对应的回答进行语义分析,判断所述回答中是否包括所述客户信息;对所述每一组话术打上标签,其中,所述标签用于指示该组话术是否收集到的所述客户信息;根据标签为能够收集到所述客户信息的至少一组话术生成用于收集所述客户信息的标准话术。通过本技术解决了现有技术中对话术的评估和修改依赖人的主观经验所导致的问题,从而借助于真实数据提高了话术模板的可用性。
附图说明
16.构成本技术的一部分的附图用来提供对本技术的进一步理解,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。在附图中:
17.图1是根据本技术实施例的基于结果评价的话术训练数据处理方法的流程图。
具体实施方式
18.需要说明的是,在不冲突的情况下,本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
19.需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
20.在本实施例中提供了一种基于结果评价的话术训练数据处理方法,图1是根据本
申请实施例的基于结果评价的话术训练数据处理方法的流程图,如图1所示,该流程包括如下步骤:
21.步骤s102,分别获取客户多组话术的回答,其中,所述多组话术中的每一组话术均用于收集相同的客户信息;
22.步骤s104,对所述每一组话术对应的回答进行语义分析,判断所述回答中是否包括所述客户信息;
23.步骤s106,对所述每一组话术打上标签,其中,所述标签用于指示该组话术是否收集到的所述客户信息;
24.步骤s108,根据标签为能够收集到所述客户信息的至少一组话术生成用于收集所述客户信息的标准话术。
25.作为一个可以选择增加的实施方式,将标签为能够收集到所述客户信息的所有的话术中的每个问题按照顺序来进行排列,比对收集到客户信息的每组话术的第一个问题,选择第一问题出现概率最大的提问内容作为作为所述标准话术中的第一个问题,依次类推,获取作为所述标准话术中的所有问题。
26.作为另一个可以选择增加的实施方式,还可以获取未收到所述客户信息的话术,对于为收集到所述客户信息的每组话术确定客户停止回答之前的最后一个问题,并所述最后一个问题标记为疑似禁用问题。在比对能够收集到所述客户信息的所有话术中的每个问题之前,判断所述疑似禁用问题是否出现能够收到到所述客户信息的每组话术中所有问题中,如果未出现,则确定所述疑似禁用问题为禁用问题,所述禁用问题被禁止出现在任何话术组中。遍历已经生成但是尚未使用的每组话术,如果该组话术中存在禁用问题,则将该组话术的标签标记为不能收集到所述客户信息。
27.作为另一个可以选择增加的实施方式,还可以将每组话术以及该组话术对应的标签(包括能够收集到所述用户信息的话术以及无法收集到所述用户信息的话术),作为训练数据使用,将训练数据输入到一个机器学习的模型中进行训练,所述训练数据包括输入数据和输出数据,其中,所述输入数据是所述客户信息,以及所述客户信息对应的多组话术以及每组话术对应的标签;所述输出数据是上述可选实施方式中得到的标准话术。在该模型训练成功之后,就可以将预定难客户信息以及对应的每组话术以及标签输入到该模型中,该模型输出的就是标准话术。该模型可以称为是第一机器学习模块。
28.作为另一个可选的实施方式,打标签的工作也可以由机器学习来完成,该机器学习模型可以称为是第二机器学习模型,该模型使用的训练数据包括:输入数据和输出数据,其中,所述输入数据为客户对该组话术的回答对应的文字和希望得到的客户信息,输出为所述标签,该标签用于指示该组话术对应的文字中是否包括所述客户信息。在训练成功之后,将客户的回答对应的文字以及希望得到的客户信息输入到的第二机器学习模型中,所述第二机器学习模型就会输出标签,该标签作为该组话术的标签。
29.作为另一个可以选择增加的实施方式,在得到标准话术之后,将所述标准话术输入到自动应答设备中,所述自动应答设备用于自动按照输入的标准话术中的问题向接入的客户进行提问,所述自动应答设备自动对客户的回答进行录音。在将录音转换为文字之后,输入到第二机器学习模型中,所述第二机器学习模型中会输入标签,判断收集到的标签中能够收到到所述客户信息的比例是否超过阈值(例如,80%),如果超过阈值,则将该标准话
术作为可用的标准话术。如果比例未超过阈值,则继续重复图1中的步骤继续收集数据进行标准话术的提炼。
30.通过上述步骤解决了现有技术中对话术的评估和修改依赖人的主观经验所导致的问题,从而借助于真实数据提高了话术模板的可用性。
31.为了便于处理,可以直接获取客户回答的录音,该录音为语音文件,可以将所述每一组话术对应的语音回答转换为文字;对所述每一组话术对应的文字进行语义分析。
32.语义分析的方式有很多种,在本实施例中采取提取关键词的方式来进行处理,例如,从所述每一组话术对应的文字中提取关键词,其中,所述关键词为用于指示该组话术中的每一个问题的答案,所述关键词作为语义分析的结果,所述每一组话术中包括至少一个问题,所述至少一个问题按照顺序被提问。
33.为了得到预定的客户信息,例如,客户的购房需求,在某些情况下需要提出多个问题,在本实施例中,可以在判断提取到的关键词符合所述客户信息的情况下,获取该关键词出现之前的该组话术中已经被提问过的问题;将该组话术中的未被提问到的问题删除,保留该组话术中已经被提问过的问题;为修改过的该组话术打上标签,其中,所述标签用于指示该组话术能够收集到的所述客户信息。通过该步骤可以得到最优的问题。
34.在判断提取到的所有关键词均不符合所述客户信息的情况下,为该组话术打上标签,其中,所述标签用于指示该组话术未能够收集到的所述客户信息。
35.本实施例中的方法可以应用到多种行业,例如可以针对地产行业进行语义分析,识别销售话术的关键词,对客户的回答进行采集,填进crm字段,销售来进行分析,答案是对错。本实施例让销售进行参与机器学习,数据量大,形成标准的语义分析逻辑,哪些话术更容易使得客户回答正确,使得话术越来越精准,可以反馈使得自动话机更智能。
36.在本实施例中,提供一种电子装置,包括存储器和处理器,存储器中存储有计算机程序,处理器被设置为运行计算机程序以执行以上实施例中的方法。
37.上述程序可以运行在处理器中,或者也可以存储在存储器中(或称为计算机可读介质),计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
38.这些计算机程序也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤,对应与不同的步骤可以通过不同的模块来实现。在本实施例中就提供了这样的一种装置,该装置被称为基于结果评价的话术训练数据处理装置,该装置包括:第一获取模块,用于分别获取客户多组话术的回答,其中,所述多组话术中的每一组话术均用于收集相同的客户信息;分析模块,用于对所述每一组话术对应的回答
进行语义分析,判断所述回答中是否包括所述客户信息;标签模块,用于对所述每一组话术打上标签,其中,所述标签用于指示该组话术是否收集到的所述客户信息;生成模块,用于根据标签为能够收集到所述客户信息的至少一组话术生成用于收集所述客户信息的标准话术。
39.该装置中对应的模块与上述方法步骤相对应,已经在上述实施例中进行过说明的,在此不再赘述。例如,所述分析模块可以用于:将所述每一组话术对应的语音回答转换为文字;对所述每一组话术对应的文字进行语义分析。优选地,所述分析模块用于:从所述每一组话术对应的文字中提取关键词,其中,所述关键词为用于指示该组话术中的每一个问题的答案,所述关键词作为语义分析的结果,所述每一组话术中包括至少一个问题,所述至少一个问题按照顺序被提问。
40.又例如,所述标签模块用于:在判断提取到的关键词符合所述客户信息的情况下,获取该关键词出现之前的该组话术中已经被提问过的问题;将该组话术中的未被提问到的问题删除,保留该组话术中已经被提问过的问题;为修改过的该组话术打上标签,其中,所述标签用于指示该组话术能够收集到的所述客户信息。优选地,所述标签模块用于:在判断提取到的所有关键词均不符合所述客户信息的情况下,为该组话术打上标签,其中,所述标签用于指示该组话术未能够收集到的所述客户信息。
41.在上述实施例中,销售使用预定话术问问题的过程中,提取用户针对该问题的回答,如果回答正确则将内容提取到crm字段,并记录回答正确的问题。如果客户回答错误,则记录问题和客户的答案,并进行语音分析,从而根据分析结果对话术进行纠正。
42.以上仅为本技术的实施例而已,并不用于限制本技术。对于本领域技术人员来说,本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本技术的权利要求范围之内。