客服回复文本评分方法及装置、存储介质、计算机设备与流程

1.本技术涉及计算机技术领域，尤其是涉及到一种客服回复文本评分方法及装置、存储介质、计算机设备。


背景技术：

2.随着线上咨询业务变得越来越多，线上客服的应用也越来越广泛。当前很多业务咨询采用文本咨询的方式，因而产生了大量的客户与客服的交流文本。为了从这些交流文本中看出客服的水平，可以通过检查这些交流文本来对客服的回复水平进行评分。
3.现有的针对客服回复文本的评分方法主要是由人工从客服回复文本中抽检一部分回复文本，并从头到尾检查这些回复文本，最终给出相应的评分。这种方法不仅会存在不合格对话漏检或难以代表客服真实水平的情况，而且对这些回复文本全部进行人工质检又会大大增加工作强度，效率较低、增加企业成本。


技术实现要素：

4.有鉴于此，本技术提供了一种客服回复文本评分方法及装置、存储介质、计算机设备，可以直接根据预设评分模型输出的结果迅速确定客服回复文本的评分，效率较高，且由于评分结果的依据是整个待评分对话文本，因而评分准确性高。
5.根据本技术的一个方面，提供了一种客服回复文本评分方法，包括：
6.获取待评分对话文本，对所述待评分对话文本中的每个待评分问答对文本进行分词，其中，所述待评分对话文本中包括至少一个所述待评分问答对文本，所述待评分问答对文本包括客服回复文本；
7.依据分词结果进行数值转换，得到每个所述待评分问答对文本对应的拼接向量组合；
8.将每个所述待评分问答对文本对应的所述拼接向量组合输入至预设评分模型，基于输出的结果得到所述待评分对话文本中所述客服回复文本对应的客服回复评分。
9.可选地，所述依据分词结果进行数值转换，得到每个所述待评分问答对文本对应的拼接向量组合，具体包括：
10.依据分词结果，从预设字向量表中确定每个所述分词的词向量，并基于所述词向量，确定每个所述待评分问答对文本对应的词向量组合；
11.依据所述分词结果以及预设关键词列表，确定每个所述分词对应的权重向量，并基于所述权重向量，确定每个所述待评分问答对文本对应的权重向量组合；
12.基于所述词向量组合以及所述权重向量组合，确定每个所述待评分问答对文本对应的拼接向量组合。
13.可选地，所述基于所述词向量组合以及所述权重向量组合，确定每个所述待评分问答对文本对应的拼接向量组合之前，所述方法还包括：
14.依据所述分词结果，确定每个所述分词对应的句子标识向量以及位置标识向量，
并基于所述句子标识向量以及所述位置标识向量，确定每个所述待评分问答对文本对应的句子标识向量组合以及位置标识向量组合；
15.基于所述词向量组合、所述句子标识向量组合、所述位置标识向量组合以及所述权重向量组合，确定每个所述待评分问答对文本对应的拼接向量组合。
16.可选地，所述将每个所述待评分问答对文本对应的所述拼接向量组合输入至预设评分模型之前，所述方法还包括：
17.获取预设问答对文本样本，对每个所述预设问答对文本样本进行分词，得到与每个所述预设问答对文本样本对应的样本拼接向量组合；
18.将所述样本拼接向量组合输入至评分预训练模型，输出回复文本预测值；
19.基于每个所述预设问答对文本样本对应的回复文本真实值以及所述回复文本预测值，计算所述评分预训练模型对应的模型损失值；
20.当所述模型损失值大于预设损失阈值时，调整所述评分预训练模型对应的模型参数，并将每个所述预设问答对文本样本对应的所述样本拼接向量组合输入至调整后的评分预训练模型中，再次计算所述模型损失值；
21.当所述模型损失值小于或等于所述预设损失阈值时，将所述评分预训练模型作为所述预设评分模型。
22.可选地，所述获取待评分对话文本之后，所述方法还包括：
23.确定所述待评分对话文本中每个子文本对应的文本产生时间以及文本标识；
24.基于所述文本产生时间以及所述文本标识，对所述子文本进行整理，得到所述待评分问答对文本。
25.可选地，所述获取待评分对话文本之后，所述方法还包括：
26.将所述待评分对话文本中的所述客服回复文本与预设敏感词数据库进行匹配，当任一所述客服回复文本与所述预设敏感词数据库匹配成功时，将所述待评分对话文本进行标记，并将标记后的所述待评分对话文本发送至预设复核终端。
27.可选地，所述基于输出的结果得到所述待评分对话文本中所述客服回复文本对应的客服回复评分之后，所述方法还包括：当所述待评分对话文本中任一所述客服回复文本对应的客服回复评分低于预设评分阈值时，将所述待评分对话文本发送至所述预设复核终端。
28.根据本技术的另一方面，提供了一种客服回复文本评分装置，包括：
29.分词模块，用于获取待评分对话文本，对所述待评分对话文本中的每个待评分问答对文本进行分词，其中，所述待评分对话文本中包括至少一个所述待评分问答对文本，所述待评分问答对文本包括客服回复文本；
30.向量组合确定模块，用于依据分词结果进行数值转换，得到每个所述待评分问答对文本对应的拼接向量组合；
31.评分模块，用于将每个所述待评分问答对文本对应的所述拼接向量组合输入至预设评分模型，基于输出的结果得到所述待评分对话文本中所述客服回复文本对应的客服回复评分。
32.可选地，所述向量组合确定模块，具体用于：
33.依据分词结果，从预设字向量表中确定每个所述分词的词向量，并基于所述词向
量，确定每个所述待评分问答对文本对应的词向量组合；依据所述分词结果以及预设关键词列表，确定每个所述分词对应的权重向量，并基于所述权重向量，确定每个所述待评分问答对文本对应的权重向量组合；基于所述词向量组合以及所述权重向量组合，确定每个所述待评分问答对文本对应的拼接向量组合。
34.可选地，所述向量组合确定模块，还用于：
35.所述基于所述词向量组合以及所述权重向量组合，确定每个所述待评分问答对文本对应的拼接向量组合之前，依据所述分词结果，确定每个所述分词对应的句子标识向量以及位置标识向量，并基于所述句子标识向量以及所述位置标识向量，确定每个所述待评分问答对文本对应的句子标识向量组合以及位置标识向量组合；基于所述词向量组合、所述句子标识向量组合、所述位置标识向量组合以及所述权重向量组合，确定每个所述待评分问答对文本对应的拼接向量组合。
36.可选地，所述装置还包括：
37.所述分词模块，还用于所述将每个所述待评分问答对文本对应的所述拼接向量组合输入至预设评分模型之前，获取预设问答对文本样本，对每个所述预设问答对文本样本进行分词，得到与每个所述预设问答对文本样本对应的样本拼接向量组合；
38.输出模块，用于将所述样本拼接向量组合输入至评分预训练模型，输出回复文本预测值；
39.损失值计算模块，用于基于每个所述预设问答对文本样本对应的回复文本真实值以及所述回复文本预测值，计算所述评分预训练模型对应的模型损失值；
40.参数调整模块，用于当所述模型损失值大于预设损失阈值时，调整所述评分预训练模型对应的模型参数，并将每个所述预设问答对文本样本对应的所述样本拼接向量组合输入至调整后的评分预训练模型中，再次计算所述模型损失值；
41.所述评分模块，还用于当所述模型损失值小于或等于所述预设损失阈值时，将所述评分预训练模型作为所述预设评分模型。
42.可选地，所述装置还包括：
43.整理模块，用于所述获取待评分对话文本之后，确定所述待评分对话文本中每个子文本对应的文本产生时间以及文本标识；基于所述文本产生时间以及所述文本标识，对所述子文本进行整理，得到所述待评分问答对文本。
44.可选地，所述装置还包括：
45.匹配模块，用于所述获取待评分对话文本之后，将所述待评分对话文本中的所述客服回复文本与预设敏感词数据库进行匹配，当任一所述客服回复文本与所述预设敏感词数据库匹配成功时，将所述待评分对话文本进行标记，并将标记后的所述待评分对话文本发送至预设复核终端。
46.可选地，所述装置还包括：
47.判断模块，用于所述基于输出的结果得到所述待评分对话文本中所述客服回复文本对应的客服回复评分之后，当所述待评分对话文本中任一所述客服回复文本对应的客服回复评分低于预设评分阈值时，将所述待评分对话文本发送至所述预设复核终端。
48.依据本技术又一个方面，提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述客服回复文本评分方法。
49.依据本技术再一个方面，提供了一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述客服回复文本评分方法。
50.借由上述技术方案，本技术提供的一种客服回复文本评分方法及装置、存储介质、计算机设备，首先，可以获取待评分对话文本，待评分对话文本中可以包括一个或者多个待评分问答对文本。每个待评分问答对文本中既可以包括客户提问文本，也可以包括客服回复文本。接着，可以对待评分对话文本中的每个待评分问答对文本进行分词。对待评分问答对文本进行分词后，可以进一步对分词的结果进行数值转换，进而可以得到待评分问答对文本中每个分词结果对应的向量。之后，可以将待评分问答对文本中的每个分词结果对应的向量进行拼接，得到每个待评分问答对文本对应的拼接向量组合。得到每个待评分问答对文本对应的拼接向量组合后，可以将每个拼接向量组合输入到预设评分模型中，之后可以根据预设评分模型的输出结果得到待评分对话文本中客服回复文本对应的客服回复评分。本技术实施例将待评分对话文本中的每个待评分问答对文本对应的拼接向量组合输入至预设评分模型后，可以直接根据输出的结果迅速确定客服回复文本的评分，效率较高，且由于评分结果的依据是整个待评分对话文本，因而评分准确性高。
51.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
52.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
53.图1示出了本技术实施例提供的一种客服回复文本评分方法的流程示意图；
54.图2示出了本技术实施例提供的另一种客服回复文本评分方法的流程示意图；
55.图3示出了本技术实施例提供的一种客服回复文本评分装置的结构示意图。
具体实施方式
56.下文中将参考附图并结合实施例来详细说明本技术。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
57.在本实施例中提供了一种客服回复文本评分方法，如图1所示，该方法包括：
58.步骤101，获取待评分对话文本，对所述待评分对话文本中的每个待评分问答对文本进行分词，其中，所述待评分对话文本中包括至少一个所述待评分问答对文本，所述待评分问答对文本包括客服回复文本；
59.本技术实施例提供的客服回复文本评分方法，可以应用于客户端一侧，也可以应用于服务器一侧。应用本技术实施例的客服回复文本评分方法，可以直接根据客户和客服之间的对话文本获得客服回复文本对应的客服回复评分。本技术可以自动进行全面、及时、低成本的评分，提升评分效率的同时，还可以降低企业的成本。首先，可以从客户和客服的对话文本中获取待评分对话文本，由于待评分对话文本是由客户的问话和客服的答话组成的，因而待评分对话文本中可以包括一个或者多个待评分问答对文本。每个待评分问答对
文本中既可以包括客户提问文本，也可以包括客服回复文本。接着，可以对待评分对话文本中的每个待评分问答对文本进行分词。具体地，可以对每个待评分问答对文本中的客户提问文本以及客服回复文本中按照词汇进行分词，也可以按照单个字进行分词。例如，客户提问文本：请问办理业务需要什么条件？那么可以按照词汇进行分词，分词结果可以是：请问、办理、业务、需要、什么、条件，还可以按照单个字进行分词，那么分词结果即每个字。
60.步骤102，依据分词结果进行数值转换，得到每个所述待评分问答对文本对应的拼接向量组合；
61.在该实施例中，对待评分问答对文本进行分词后，可以进一步对分词的结果进行数值转换，进而可以得到待评分问答对文本中每个分词对应的向量。接着，可以将每个分词对应的向量进行拼接，得到每个待评分问答对文本对应的拼接向量组合。
62.步骤103，将每个所述待评分问答对文本对应的所述拼接向量组合输入至预设评分模型，基于输出的结果得到所述待评分对话文本中所述客服回复文本对应的客服回复评分。
63.在该实施例中，得到待评分对话文本中的每个待评分问答对文本对应的拼接向量组合后，可以将每个拼接向量组合输入到预设评分模型中，之后可以根据预设评分模型的输出结果确定客服回复文本对应的正确的概率，并将概率乘以100，得到客服回复评分。具体地，将待评分对话文本中的每个待评分问答对文本对应的拼接向量组合输入到预设评分模型之后，每个待评分问答对文本均可以对应输出一个客服回复文本对应的正确的概率，之后可以将每个待评分问答对文本的客服回复文本对应的正确的概率乘以100，得到各个待评分问答对文本中客服回复文本对应的评分，再将这些评分求取平均值，最后确定待评分对话文本对应的客服回复文本的最后评分，即客服回复评分。
64.通过应用本实施例的技术方案，首先，可以获取待评分对话文本，待评分对话文本中可以包括一个或者多个待评分问答对文本。每个待评分问答对文本中既可以包括客户提问文本，也可以包括客服回复文本。接着，可以对待评分对话文本中的每个待评分问答对文本进行分词。对待评分问答对文本进行分词后，可以进一步对分词的结果进行数值转换，进而可以得到待评分问答对文本中每个分词结果对应的向量。之后，可以将待评分问答对文本中的每个分词结果对应的向量进行拼接，得到每个待评分问答对文本对应的拼接向量组合。得到每个待评分问答对文本对应的拼接向量组合后，可以将每个拼接向量组合输入到预设评分模型中，之后可以根据预设评分模型的输出结果得到待评分对话文本中客服回复文本对应的客服回复评分。本技术实施例将待评分对话文本中的每个待评分问答对文本对应的拼接向量组合输入至预设评分模型后，可以直接根据输出的结果迅速确定客服回复文本的评分，效率较高，且由于评分结果的依据是整个待评分对话文本，因而评分准确性高。
65.进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，提供了另一种客服回复文本评分方法，如图2所示，该方法包括：
66.步骤201，获取待评分对话文本，确定所述待评分对话文本中每个子文本对应的文本产生时间以及文本标识；基于所述文本产生时间以及所述文本标识，对所述子文本进行整理，得到所述待评分问答对文本；
67.在该实施例中，从客户和客服的对话文本中获取待评分对话文本，其中，每个待评分对话文本中可以包括多个子文本，之后可以分别确定待评分对话文本中每个子文本对应
的文本产生时间和文本标识。在这里，文本产生时间可以是客户提问时文本产生的时间，也可以是客服回复时文本产生的时间，文本标识可以是客户提问文本对应的客户标识，客户标识具体可以是客户手机号、客户身份证号、客户会员号等，此外还可以是客服回复文本对应的客服标识，客服标识具体可以是客服工号等，通过文本标识可以看出哪些子文本是客户产生的，哪些子文本是客服产生的。确定每个子文本对应的文本产生时间和文本标识后，可以以文本产生时间和文本标识为基础，对待评分对话文本中的子文本进行整理。当客户提问文本以及客服回复文本一替一次出现时，那么由一个客户提问文本和一个客服回复文本就可以组成一个待评分问答对文本；当客户连续提问两次，而客户也连续回复两次时，那么可以将客户连续两次提问对应的文本作为一个客户提问文本，将客服连续两次回复对应的文本作为一个客服回复文本，并将这个客户提问文本和客服回复文本作为一个待评分问答对文本。例如，将子文本按文本产生时间进行排序，客户对应的文本标识为客户a，客服对应的文本标识为客服b，如20：06：34，客户a，请问还需要什么材料？20：06：37，客户a，身份证是复印件还是扫描件？20：06：40，客服b，王先生，您好，请稍等，我帮您查看一下。
68.20：06：40，客服b，这边查询到您理赔需要增加的材料如下：1、2、3、4。则会整理成待评分问答对文本：20：06：34，客户a，请问还需要什么材料？身份证是复印件还是扫描件？20：06：40，客服b，王先生，您好，请稍等，我帮您查看一下。这边查询到您理赔需要增加的材料如下：1、2、3、4。此外，还可以对无意义文本进行处理，比如去除每个子文本中的停用词等。本技术实施例将连续多个客户提问子文本或多个连续客服回复子文本进行整理，整理为一个客户提问文本，或一个客服回复文本，便于后续进行评分，同时有利于提升评分结果的准确性。
69.步骤202，将所述待评分对话文本中的所述客服回复文本与预设敏感词数据库进行匹配，当任一所述客服回复文本与所述预设敏感词数据库匹配成功时，将所述待评分对话文本进行标记，并将标记后的所述待评分对话文本发送至预设复核终端；
70.在上述实施例中，一个待评分对话文本中可以包括一个或多个待评分问答对文本，获取待评分对话文本对应的全部待评分问答对文本之后，将这些待评分问答对文本中的客服回复文本与预设敏感词数据库匹配，如果其中的任意一个客服回复文本与预设敏感词数据库匹配成功时，那么说明客服回答的部分存在敏感词，此时直接将待评分对话文本进行标记。在这里，预设敏感词数据库中可以脏话、辱骂话语等。当将待评分对话文本进行标记后，还可以将标记后的待评分对话文本发送到预设复核终端中，由预设复核终端对应的工作人员进行复核，找出其中存在的问题。
71.步骤203，当不存在所述客服回复文本与所述预设敏感词数据库相匹配时，对所述待评分对话文本中的每个待评分问答对文本进行分词，其中，所述待评分对话文本中包括至少一个所述待评分问答对文本，所述待评分问答对文本包括客服回复文本；
72.在该实施例中，当待评分对话文本中的所有客服回复文本均不与预设敏感词数据库中的敏感词相匹配时，说明客服回复文本中不存在敏感词汇，接着可以对待评分对话文本中的每个待评分问答对文本进行分词。具体地，可以对每个待评分问答对文本中的客户提问文本以及客服回复文本按照词汇进行分词，也可以按照单个字进行分词。在这里，待评分对话文本中可以包括一个或多个待评分问答对文本，每个待评分问答对文本中可以包括客户提问文本，也可以包括客服回复文本。
73.步骤204，依据分词结果，从预设字向量表中确定每个所述分词的词向量，并基于所述词向量，确定每个所述待评分问答对文本对应的词向量组合；依据所述分词结果以及预设关键词列表，确定每个所述分词对应的权重向量，并基于所述权重向量，确定每个所述待评分问答对文本对应的权重向量组合；基于所述词向量组合以及所述权重向量组合，确定每个所述待评分问答对文本对应的拼接向量组合；
74.在该实施例中，对每个待评分问答对文本进行分词后，可以以分词结果为基础，分别确定词向量组合以及权重向量组合。首先可以根据分词结果，从预设字向量表中确定每个分词对应的词向量。当以词汇进行分词时，可以从预设字向量表中确定每个词汇中每个字对应的一维向量，进而将该词汇中每个字对应的一维向量进行拼接，得到该词汇对应的词向量；当以单字进行分词时，可以从预设字向量表中确定每个字对应的一维向量，即该分词对应的词向量。确定每个分词对应的词向量之后，可以将每个分词对应的词向量进行组合，最终得到每个待评分问答对文本对应的词向量组合。例如，客户提问文本可以是：我可以办理增值业务吗？其中每个字从前至后对应的一维向量可以用字母a至字母j表示。那么客户提问文本对应的词向量组合可以是[a，b，c，d，e，f，g，h，i，j]。此外，还可以根据分词结果和预设关键词列表，分别确定每个分词是否属于预设关键词列表中的关键词，如果属于预设关键词列表中的关键词，那么可以将该分词对应的权重向量赋予数值为1的一维向量，否则可以将该分词对应的权重向量赋予数值为0的一维向量，接着，可以根据每个分词对应的权重向量，确定待评分问答对文本对应的权重向量组合。例如，客户提问文本可以是：请问患有恶性肿瘤的患者可以参保吗？其中，恶性和肿瘤可以是预设关键词列表中的关键词，那么客户提问文本对应的权重向量组合中除了“恶性”和“肿瘤”位置处对应的是数值1之外，其它位置可以是数值0。通过设置预设关键词列表，并将每个分词赋予对应的权重向量，可以更直接赋予我们更加关注的分词以较高的权重，可以避免某些重要的关键词占比较小而被忽视。例如对于保险客户和客服来说，预设关键词列表中可以包括有关保险的相关词汇，例如疾病专有名词、医院相关名词等。最后，可以以词向量组合和权重向量组合为基础，进一步确定每个待评分问答对文本对应的拼接向量组合，具体可以是每个待评分问答对文本中每个分词对应的词向量和权重向量相加，最后得到每个待评分问答对文本对应的拼接向量组合。
[0075]
步骤205，将每个所述待评分问答对文本对应的所述拼接向量组合输入至预设评分模型，基于输出的结果得到所述待评分对话文本中所述客服回复文本对应的客服回复评分；
[0076]
在该实施例中，得到待评分对话文本中的每个待评分问答对文本对应的拼接向量组合后，可以将每个拼接向量组合输入到预设评分模型中，之后可以根据预设评分模型的输出结果确定客服回复文本对应的正确的概率，并将概率乘以100，得到客服回复评分。具体地，将待评分对话文本中的每个待评分问答对文本对应的拼接向量组合输入到预设评分模型之后，每个待评分问答对文本均可以对应输出一个客服回复文本对应的正确的概率，之后可以将每个待评分问答对文本的客服回复文本对应的正确的概率乘以100，得到各个待评分问答对文本中客服回复文本对应的评分，再将这些评分求取平均值，最后确定待评分对话文本对应的客服回复文本的最后评分，即客服回复评分。
[0077]
步骤206，当所述待评分对话文本中任一所述客服回复文本对应的客服回复评分
低于预设评分阈值时，将所述待评分对话文本发送至所述预设复核终端。
[0078]
在该实施例中，当待评分对话文本中对应的全部待评分问答对文本中，如果存在一个待评分问答对文本中的客服回复文本对应的客服回复评分低于预设评分阈值时，即认为客服回复不合格，将待评分对话文本发送到预设复核终端中，这样可以保证及时发现客服回复时存在的问题，及时纠正客服存在的错误，从侧面提升客户的体验。
[0079]
在本技术实施例中，可选地，步骤204中所述“基于所述词向量组合以及所述权重向量组合，确定每个所述待评分问答对文本对应的拼接向量组合”之前，所述方法还包括：依据所述分词结果，确定每个所述分词对应的句子标识向量以及位置标识向量，并基于所述句子标识向量以及所述位置标识向量，确定每个所述待评分问答对文本对应的句子标识向量组合以及位置标识向量组合；基于所述词向量组合、所述句子标识向量组合、所述位置标识向量组合以及所述权重向量组合，确定每个所述待评分问答对文本对应的拼接向量组合。
[0080]
在该实施例中，除了确定每个待评分问答对文本对应的词向量组合和权重向量组合之外，还可以根据分词结果，确定待评分问答对文本中每个分词对应的句子标识向量和位置标识向量。其中，句子标识向量可以用于表示每个分词是属于客户提问文本，还是属于客服回复文本。位置标识向量可以用于表示每个分词在客户提问文本或客服回复文本中所处的位置，进而可以使得后续依据待评分问答对文本得到客服回复评分时可以充分考虑上下文的信息，使得评分结果更加准确。接着，可以根据句子标识向量和位置标识向量，确定每个待评分问答对文本对应的句子标识向量组合、位置标识向量组合，即将每个分词对应的句子标识向量结合在一起，得到句子标识向量组合，将每个分词对应的位置标识向量结合在一起，得到位置标识向量组合。最后，可以以词向量组合、句子标识向量组合、位置标识向量组合以及权重向量组合为基础，确定每个待评分问答对文本对应的拼接向量组合，具体可以是每个待评分问答对文本中每个分词对应的分词向量、权重向量、句子标识向量以及位置标识向量相加，最后得到每个待评分问答对文本对应的拼接向量组合。
[0081]
在本技术实施例中，可选地，步骤205中所述“将每个所述待评分问答对文本对应的所述拼接向量组合输入至预设评分模型”之前，所述方法还包括：获取预设问答对文本样本，对每个所述预设问答对文本样本进行分词，得到与每个所述预设问答对文本样本对应的样本拼接向量组合；将所述样本拼接向量组合输入至评分预训练模型，输出回复文本预测值；基于每个所述预设问答对文本样本对应的回复文本真实值以及所述回复文本预测值，计算所述评分预训练模型对应的模型损失值；当所述模型损失值大于预设损失阈值时，调整所述评分预训练模型对应的模型参数，并将每个所述预设问答对文本样本对应的所述样本拼接向量组合输入至调整后的评分预训练模型中，再次计算所述模型损失值；当所述模型损失值小于或等于所述预设损失阈值时，将所述评分预训练模型作为所述预设评分模型。
[0082]
在该实施例中，得到预设评分模型之前，还需要对评分预训练模型进行训练。在这里，评分预训练模型可以为bert预训练模型，对bert预训练模型进行微调训练可以比使用其他模型进行训练获得更高的准确度，若模型从0开始训练，常用的中文汉字3500个，这些字组合成词汇，中文词汇量约为50万个；设定词向量维度为512时，语言模型参数量为512*50万＝256m。训练亿级参数量的模型需要海量训练语料，bert通用模型的强大之处在于使
用谷歌平台和高性能服务器，对超大规模数据进行训练，得到预训练的通用语言模型，再根据具体应用，使用针对具体情况应使用的标注数据进行有监督的模型精加工，最终得到预设评分模型，这样可以大大减少模型训练所需的时间。首先，获取预设问答对文本样本，其中，预设问答对文本样本中可以包括正样本和负样本，其中正样本为回答正确的样本，负样本为回答错误的样本，预设问答对文本样本可以为由有业务背景的质检专家进行qa标注的文本，标注回答是否正确，正确为1，不正确为0，即回复文本真实值。接着，对预设问答对文本样本进行分词，即将每个预设问答对文本样本中的客户提问文本样本和客服回复文本样本分词，将分词分别转换为数值，之后由数值拼接为对应的样本拼接向量组合。在这里，样本拼接向量组合可以包括样本词向量组合、样本权重向量组合、样本句子标识向量组合以及样本位置标识向量组合，样本权重向量组合的存在可以使评分预训练模型在进一步训练过程中充分考虑需要重点关注的词汇。之后将样本拼接向量组合输入至评分预训练模型，可以得到回复文本预测值，具体可以是一个概率值，之后可以以回复文本真实值和回复文本预测值为基础，计算评分预训练模型对应的模型损失值。当模型损失值大于预设损失阈值时，说明评分预训练模型的模型精度并没有达到预期的目标，还需要对评分预训练模型的模型参数进行调整，调整参数后再次将样本拼接向量组合输入至调整参数后的评分预训练模型中，并再次计算模型损失值，直至模型损失值小于或等于预设损失阈值时，将模型损失值小于或等于预设损失阈值的评分预训练模型作为预设评分模型。
[0083]
在本技术实施例中，可选地，步骤203中所述“对所述待评分对话文本中的每个待评分问答对文本进行分词”之后，所述方法还包括：对每个所述待评分问答对文本对应的分词结果进行去重处理，并依据去重后的所述分词结果进行数值转换。
[0084]
在该实施例中，对待评分问答对文本进行分词后，还可以对分词结果进行去重，去掉其中的重复分词，例如对于有些分词在一个待评分问答对文本中出现的次数超过一次时，可以将重复的分词进行去重，最后每个分词只保留一个，之后利用去重后的分词结果进行数值转换，这样可以有效减少预设评分模型的计算量，可以减少数值转换的资源占用，同时几乎不会影响评分结果。
[0085]
进一步的，作为图1方法的具体实现，本技术实施例提供了一种客服回复文本评分装置，如图3所示，该装置包括：
[0086]
分词模块，用于获取待评分对话文本，对所述待评分对话文本中的每个待评分问答对文本进行分词，其中，所述待评分对话文本中包括至少一个所述待评分问答对文本，所述待评分问答对文本包括客服回复文本；
[0087]
向量组合确定模块，用于依据分词结果进行数值转换，得到每个所述待评分问答对文本对应的拼接向量组合；
[0088]
评分模块，用于将每个所述待评分问答对文本对应的所述拼接向量组合输入至预设评分模型，基于输出的结果得到所述待评分对话文本中所述客服回复文本对应的客服回复评分。
[0089]
可选地，所述向量组合确定模块，具体用于：
[0090]
依据分词结果，从预设字向量表中确定每个所述分词的词向量，并基于所述词向量，确定每个所述待评分问答对文本对应的词向量组合；依据所述分词结果以及预设关键词列表，确定每个所述分词对应的权重向量，并基于所述权重向量，确定每个所述待评分问
答对文本对应的权重向量组合；基于所述词向量组合以及所述权重向量组合，确定每个所述待评分问答对文本对应的拼接向量组合。
[0091]
可选地，所述向量组合确定模块，还用于：
[0092]
所述基于所述词向量组合以及所述权重向量组合，确定每个所述待评分问答对文本对应的拼接向量组合之前，依据所述分词结果，确定每个所述分词对应的句子标识向量以及位置标识向量，并基于所述句子标识向量以及所述位置标识向量，确定每个所述待评分问答对文本对应的句子标识向量组合以及位置标识向量组合；基于所述词向量组合、所述句子标识向量组合、所述位置标识向量组合以及所述权重向量组合，确定每个所述待评分问答对文本对应的拼接向量组合。
[0093]
可选地，所述装置还包括：
[0094]
所述分词模块，还用于所述将每个所述待评分问答对文本对应的所述拼接向量组合输入至预设评分模型之前，获取预设问答对文本样本，对每个所述预设问答对文本样本进行分词，得到与每个所述预设问答对文本样本对应的样本拼接向量组合；
[0095]
输出模块，用于将所述样本拼接向量组合输入至评分预训练模型，输出回复文本预测值；
[0096]
损失值计算模块，用于基于每个所述预设问答对文本样本对应的回复文本真实值以及所述回复文本预测值，计算所述评分预训练模型对应的模型损失值；
[0097]
参数调整模块，用于当所述模型损失值大于预设损失阈值时，调整所述评分预训练模型对应的模型参数，并将每个所述预设问答对文本样本对应的所述样本拼接向量组合输入至调整后的评分预训练模型中，再次计算所述模型损失值；
[0098]
所述评分模块，还用于当所述模型损失值小于或等于所述预设损失阈值时，将所述评分预训练模型作为所述预设评分模型。
[0099]
可选地，所述装置还包括：
[0100]
整理模块，用于所述获取待评分对话文本之后，确定所述待评分对话文本中每个子文本对应的文本产生时间以及文本标识；基于所述文本产生时间以及所述文本标识，对所述子文本进行整理，得到所述待评分问答对文本。
[0101]
可选地，所述装置还包括：
[0102]
匹配模块，用于所述获取待评分对话文本之后，将所述待评分对话文本中的所述客服回复文本与预设敏感词数据库进行匹配，当任一所述客服回复文本与所述预设敏感词数据库匹配成功时，将所述待评分对话文本进行标记，并将标记后的所述待评分对话文本发送至预设复核终端。
[0103]
可选地，所述装置还包括：
[0104]
判断模块，用于所述基于输出的结果得到所述待评分对话文本中所述客服回复文本对应的客服回复评分之后，当所述待评分对话文本中任一所述客服回复文本对应的客服回复评分低于预设评分阈值时，将所述待评分对话文本发送至所述预设复核终端。
[0105]
需要说明的是，本技术实施例提供的一种客服回复文本评分装置所涉及各功能单元的其他相应描述，可以参考图1至图2方法中的对应描述，在此不再赘述。
[0106]
基于上述如图1至图2所示方法，相应的，本技术实施例还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述如图1至图2所示的客服回复
文本评分方法。
[0107]
基于这样的理解，本技术的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施场景所述的方法。
[0108]
基于上述如图1至图2所示的方法，以及图3所示的虚拟装置实施例，为了实现上述目的，本技术实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，该计算机设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1至图2所示的客服回复文本评分方法。
[0109]
可选地，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(radio frequency，rf)电路，传感器、音频电路、wi-fi模块等等。用户接口可以包括显示屏(display)、输入单元比如键盘(keyboard)等，可选用户接口还可以包括usb接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、wi-fi接口)等。
[0110]
本领域技术人员可以理解，本实施例提供的一种计算机设备结构并不构成对该计算机设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0111]
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理和保存计算机设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。
[0112]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本技术可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。首先，可以获取待评分对话文本，待评分对话文本中可以包括一个或者多个待评分问答对文本。每个待评分问答对文本中既可以包括客户提问文本，也可以包括客服回复文本。接着，可以对待评分对话文本中的每个待评分问答对文本进行分词。对待评分问答对文本进行分词后，可以进一步对分词的结果进行数值转换，进而可以得到待评分问答对文本中每个分词结果对应的向量。之后，可以将待评分问答对文本中的每个分词结果对应的向量进行拼接，得到每个待评分问答对文本对应的拼接向量组合。得到每个待评分问答对文本对应的拼接向量组合后，可以将每个拼接向量组合输入到预设评分模型中，之后可以根据预设评分模型的输出结果得到待评分对话文本中客服回复文本对应的客服回复评分。本技术实施例将待评分对话文本中的每个待评分问答对文本对应的拼接向量组合输入至预设评分模型后，可以直接根据输出的结果迅速确定客服回复文本的评分，效率较高，且由于评分结果的依据是整个待评分对话文本，因而评分准确性高。
[0113]
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本技术所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
[0114]
上述本技术序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本技术的几个具体实施场景，但是，本技术并非局限于此，任何本领域的技术人员能思之的变化都
应落入本技术的保护范围。