一种智能客服机器人满意度自动评价方法及系统与流程

本发明属于计算机技术领域，具体涉及一种智能客服机器人满意度自动评价方法及系统。

背景技术：

客服是企业获得用户反馈意见、解决用户产品疑问的一个主要途径。传统的客服业务主要由专业的人工客服人员来处理，使得企业在客服方面的投入会随着客服业务量的增加而高速增长，成为不可忽视的支出。针对这一问题，目前比较先进的方案是引入智能客服机器人。其做法首先是对用户高频、意图明确的热门问题进行分析，抽象成若干类标准问句(frequentlyaskedquestions，简称faq)，对每一个faq由专业的业务人员配置好标准答案，然后针对未来用户的问题，采用技术手段分析该问题是否规约到任何一个已有faq，如果是则将预先配置好的答案返回给用户，实现高效地解决用户疑问的效果。客服机器人的引入可以显著降低人工客服量，节约大量客服成本。

客服机器人应用在客服工作中确实有着显而易见的优势：一是能够提高用户感知，为企业在线客服、新媒体客服等提供统一智能的自助服务支撑，降低用户消息得到解决的难度和复杂度；二是能够提升服务效率，缩短咨询处理时限，分流传统人工客服压力，节省服务成本；三是能够快速收集用户诉求和行为数据，支撑产品迭代优化。虽然客服机器人有着以上种种优势，但是并不是所有的智能机器人都适合做智能客服，而且需要用客观的、可以量化的指标来衡量智能客服机器人。目前智能客服行业已有一套评价体系，涉及的关键指标主要有：问题预判准确率、问题识别率、24h未转人工率、客户满意度等。智能客服机器人的主要职责是为客户提供专业的解决问题的服务，其关注的焦点是聚焦在业务范围内，有多大的解决问题的能力。所以，对智能客服机器人应该是评价其处理问题的能力。

对于一个线上的智能客服机器人，现有的技术指标中只有问题预判准确率和24小时未转人工率能够对线上客服机器人进行实时评价，问题识别准确率需要大量人工对其结果进行评价，不能对其进行自动评价。对于客户满意度，在服务完成后，多数用户不乐于进行服务评分。外呼的调查方式优点固然很好，能够对智能客服机器人进行一个完整的评价，但是其也存在以下缺点：一是需要很多人力进行调查，二是这种评价不一定适合客服机器人，这种评价方式略显主观，对智能客服机器人来说，应以是否专业地解决客户问题为评价基准。

技术实现要素：

为了解决现有技术存在的上述问题，本发明提供了一种智能客服机器人满意度自动评价方法及系统。

为实现上述目的，本发明采取以下技术方案：一种智能客服机器人满意度自动评价方法包括以下步骤：

根据用户消息和客服机器人回复得到相关度分值；

根据相关度分值以及客服机器人回复是否解决用户消息，计算得到相关度修正系数；

根据用户消息和客服机器人回复得到理论满意度值；

根据相关度修正系数以及用户与客服机器人的交互轮数，计算得到满意度修正系数；

根据理论满意度值和满意度修正系数，计算得到实际满意度值；

根据实际满意度值以及用户与客服机器人的交互轮数，计算得到最终满意度值。

进一步地，所述根据用户消息和客服机器人回复得到相关度分值的具体过程为：

收集用户消息、客服机器人回复以及人工标注的用户消息与客服机器人回复的相关度，并将其作为输入，将相关度得分作为输出，采用机器学习算法或搜索算法对相关度模型进行训练，得到相关度打分模型；

将新输入的用户消息和客服机器人回复输入相关度打分模型中，得到相关度分值。

进一步地，所述根据用户消息和客服机器人回复得到理论满意度值的具体过程为：

采用收集的用户消息、客服机器人回复以及人工标注的用户对客服机器人回复的满意度数据对满意度模型进行训练，得到理论满意度打分模型；

将新输入的用户消息和客服机器人回复输入理论满意度打分模型中，得到理论满意度值。

进一步地，所述根据相关度修正系数以及用户与客服机器人的交互轮数计算得到满意度修正系数的步骤采用指数递减算法得到满意度修正系数，其具体过程为：

用户与客服机器人第i次交互的满意度修正系数αi：

αi＝βi*e^-(i-1)/t；

式中，t表示一个对话轮数控制系数，βi表示用户与客服机器人第i次交互的相关度修正系数。

进一步地，所述根据相关度修正系数以及用户与客服机器人的交互轮数计算得到满意度修正系数的步骤采用线性算法得到满意度修正系数，其具体过程为：

用户与客服机器人第i次交互的满意度修正系数αi：

αi＝1-k(i-1)；

式中，如果αi<0，则取αi＝0；k表示线性系数，k取小于1的数。

进一步地，所述根据理论满意度值和满意度修正系数计算得到实际满意度值的具体过程为：

用户与客服机器人第i次交互的实际满意度si^r为：

si^r＝αi*si；

式中，si为用户与客服机器人第i次交互的理论满意度值。

进一步地，所述根据实际满意度值以及用户与客服机器人的交互轮数计算得到最终满意度值的步骤采用加权平均得到最终满意度值的过程为：

用户与客服机器人交互n轮后，最终满意度值为：

其中，

式中，γi为每轮对话对应的权重。

进一步地，所述根据实际满意度值以及用户与客服机器人的交互轮数计算得到最终满意度值的步骤采用几何平均得到最终满意度值的过程为：

用户与客服机器人交互n轮后，最终满意度值为：

一种智能客服机器人满意度自动评价系统包括相关度分值获取模块、相关度修正系数计算模块、理论满意度值获取模块、满意度修正系数计算模块、实际满意度值计算模块、最终满意度值计算模块；所述相关度分值获取模块用于获取用户消息与客服机器人回复的相关度分值，所述相关度修正系数计算模块用于根据相关度分值以及客服机器人回复是否解决用户问题得到相关度修正系数，所述理论满意度值获取模块用于获取用户对客服机器人回复的理论满意度值，所述满意度修正系数计算模块用于根据关度修正系数以及用户与客服机器人的交互轮数得到满意度修正系数，所述实际满意度值计算模块用于根据理论满意度值和满意度修正系数得到实际满意度值，所述最终满意度值计算模块用于根据实际满意度值以及用户与客服机器人的交互轮数得到最终满意度值。

进一步地，所述理论满意度值获取模块包括问答采集模块、满意度标注模块、满意度模型和理论满意度值输出模块；所述问答采集模块用于采集用户输入的消息以及客服机器人回复的消息，所述满意度标注模块用于接收人工对用户消息与客服机器人回复的满意度标注的数据，所述满意度模型用于训练得到理论满意度打分模型，所述理论满意度值输出模块用于输出理论满意度值

由于采取以上技术方案，本发明具有以下优点：本发明一方面能够减少满意度评价对于人工干预的依赖，实时获得用户对于客服机器人的满意度，降低获得满意度调查需要的人力资源及其带来的滞后性；另一方面引入客观评价指标对客服机器人进行客观公正评价，防止主观因素对客服机器人的性能产生影响。本发明还能够快速迭代客服机器人，提升用户对于客服机器人的使用体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中提供的一种智能客服机器人满意度自动评价方法的流程图；

图2是本发明一实施例中提供的一种智能客服机器人满意度自动评价系统的结构示意图。

图中：1-相关度分值获取模块；11-问答采集模块；12-相关度标注模块；13-相关度模型；14-相关度分值输出模块；2-相关度修正系数计算模块；3-理论满意度值获取模块；31-满意度标注模块；32-满意度模型；33-理论满意度值输出模块；4-满意度修正系数计算模块；5-实际满意度值计算模块；6-最终满意度值计算模块；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

如图1所示，本发明提供了一种智能客服机器人满意度自动评价方法，其包括以下步骤：

s1、根据用户消息和客服机器人回复得到相关度分值，其具体包括以下步骤：

1)收集用户消息、客服机器人回复以及人工标注的用户消息与客服机器人回复的相关度，并将其作为输入，将相关度得分作为输出，采用机器学习算法或搜索算法对相关度模型进行训练，得到相关度打分模型。

相关度模型可以采用循环神经网络或卷积神经网络。相关度打分模型对用户消息和客服机器人回复进行特征提取，再利用提取的特征判断用户消息和客服机器人回复的相关度。

2)将新输入的用户消息和客服机器人回复输入相关度打分模型中，得到相关度分值。其中，相关度分值采用0～1的小数。

s2、根据相关度分值以及客服机器人回复是否解决用户消息，计算得到相关度修正系数。相关度修正系数可以采用机器学习算法或查表方法得到。

当采用机器学习算法时，采用一个线性网络y＝wx+b，其中，将相关度分值和是否解决用户问题(解决用户问题为1，未解决用户问题为0)作为输入，带入x中。例如，相关度分值为0.9，解决用户问题，则x＝[0.9，1]；相关度分值为0.9，未解决用户问题，则x＝[0.9，0]。将参数对输入模型中进行训练，最终得到相关度修正系数。

当采用查表方法时，首先建立一个相关度查询表格，如果相关度查询表格中有要查询的相关度分值，则查表得到对应的相关度修正系数；如果相关度查询表格中没有要查询的相关度分值，则采用插值方法得到相关度修正系数。

s3、根据用户消息和客服机器人回复得到理论满意度值，其具体包括以下步骤：

1)采用收集的用户消息、客服机器人回复以及人工标注的用户对客服机器人回复的满意度数据对满意度模型进行训练，得到理论满意度打分模型。

满意度模型可以采用循环神经网络或卷积神经网络。

2)将新输入的用户消息和客服机器人回复输入理论满意度打分模型中，得到理论满意度值。其中，理论满意度值可以采用1～5的连续值。

s4、根据相关度修正系数以及用户与客服机器人的交互轮数，计算得到满意度修正系数。

满意度修正系数可以采用指数递减算法得到。

用户与客服机器人第i次交互的满意度修正系数αi：

αi＝βi*e^-(i-1)/t。式中，t表示一个对话轮数控制系数，βi表示用户与客服机器人第i次交互的相关度修正系数。一般，t取值为5。

满意度修正系数也可以采用线性算法得到。

用户与客服机器人第i次交互的满意度修正系数αi：

αi＝1-k(i-1)。

式中，如果αi<0，则取αi＝0；k表示线性系数，k可以取一个小于1的数，例如0.2。

s5、根据理论满意度值和满意度修正系数，计算得到实际满意度值。

用户与客服机器人第i次交互的实际满意度si^r为：

si^r＝αi*si。

式中，si为用户与客服机器人第i次交互的理论满意度值。

s6、根据实际满意度值以及用户与客服机器人的交互轮数，计算得到最终满意度值。最终满意度值可以采用加权平均得到，也可以采用几何平均得到。

当采用加权平均计算得到最终满意度值时，用户与客服机器人交互n轮后，最终满意度值为：

其中，

式中，γi为每轮对话对应的权重。

当采用几何平均计算得到最终满意度值时，用户与客服机器人交互n轮后，最终满意度值为：

上述步骤s3与s4的顺序是可以互换的。

上述步骤s1中，人工标注的用户消息与客服机器人回复的相关度可以由单人标注得到，也可以对多人标注的相关度求平均值得到。上述步骤s3中，人工标注的用户对客服机器人回复的满意度数据可以由单人标注得到，也可以对多人标注的相关度求平均值得到。采用对多人标注的数据求平均值的方法能够获得更为准确的数据，提高模型的效果。

本发明不限于满意度的评价广度及其表现形式，也可以使用满意度的五种离散状态，即“非常满意”，“比较满意”，“一般”，“不满意”，“非常不满意”，本发明也不限于满意度的分级细化程度，可以根据具体需求设计更粗粒度或者更细粒度的满意度划分方式。

实施例

用户输入消息：你好。

客服机器人回复：hi，请问有什么可以帮到你的吗？

用户输入消息：怎么才能支付？

客户机器人回复：微信支付是集成在微信客户端的支付功能，用户可以通过手机完成快速的支付流程。钱包操作入口：(轻触此处)。微信支付向用户提供安全、快捷、高效的支付服务，以绑定银行卡的快捷支付为基础。支付场景：公众账号支付、app支付、线下扫码支付。

采用本发明智能客服机器人满意度自动评价方法对上述用户与客服机器人的交互过程进行满意度自动评价，其具体过程为：

(1)采用相关度打分模型预测得到用户与客户机器人第一轮交互时用户消息与客服机器人回复之间的相关度分值为r1＝0.9。

(2)用户与客户机器人的第一轮交互并没有解决用户的问题，用户继续输入。采用查表方法，查询如表1所示的相关度表格。

表1相关度表格

相关度表格中并未查到相关度分值0.9，则采用插值方法计算得到相关度分值0.9对应的相关度修正系数为

(3)采用满意度打分模型预测得到用户与客户机器人第一轮交互时用户消息与客服机器人回复之间的理论满意度值为s1＝3.5。

(4)用户与客户机器人第一轮交互时用户消息与客服机器人回复之间的满意度修正系数α1＝β1*e^-(1-1)/t＝0.63。

(5)用户与客服机器人第一次交互的实际满意度为：

s1^r＝α1*s1＝0.63*3.5＝2.205。

(6)采用相关度打分模型预测得到用户与客户机器人第二轮交互时用户消息与客服机器人回复之间的相关度分值为r2＝0.95。

(7)用户与客户机器人的第二轮交互解决了用户的问题。采用查表方法，查询如表1所示的相关度表格。相关度表格中并未查到相关度分值0.95，则采用插值方法计算得到相关度分值0.95对应的相关度修正系数为β2＝0.95。

(8)采用满意度打分模型预测得到用户与客户机器人第二轮交互时用户消息与客服机器人回复之间的理论满意度值为s2＝4.5。

(9)用户与客户机器人第二轮交互时用户消息与客服机器人回复之间的满意度修正系数α2＝0.95*e^-(2-1)/5＝0.78。

(10)用户与客服机器人第二次交互的实际满意度为：

s2^r＝α2*s2＝0.78*4.5＝3.5。

(11)用户与客服机器人此次交互的最终满意度为：

如图2所示，本发明提供了一种智能客服机器人满意度自动评价系统，其包括相关度分值获取模块1、相关度修正系数计算模块2、理论满意度值获取模块3、满意度修正系数计算模块4、实际满意度值计算模块5、最终满意度值计算模块6。相关度分值获取模块1用于获取用户消息与客服机器人回复的相关度分值。相关度修正系数计算模块2用于根据相关度分值以及客服机器人回复是否解决用户问题得到相关度修正系数。理论满意度值获取模块3用于获取用户对客服机器人回复的理论满意度值。满意度修正系数计算模块4用于根据关度修正系数以及用户与客服机器人的交互轮数得到满意度修正系数。实际满意度值计算模块5用于根据理论满意度值和满意度修正系数得到实际满意度值。最终满意度值计算模块6用于根据实际满意度值以及用户与客服机器人的交互轮数得到最终满意度值。

上述实施例中，相关度分值获取模块1包括问答采集模块11、相关度标注模块12、相关度模型13和相关度分值输出模块14。其中，问答采集模块11和相关度标注模块12均与相关度模型13的输入端连接，相关度分值输出模块14与相关度模型13的输出端连接。

问答采集模块11用于采集用户输入的消息以及客服机器人回复的消息。相关度标注模块12用于接收人工对用户消息与客服机器人回复的相关度标注的数据。用户输入的消息、客服机器人回复的消息以及用户消息与客服机器人回复的相关度的标注数据输入相关度模型13中用于训练相关度模型13，得到相关度打分模型。将当前用户输入的消息以及客服机器人回复的消息输入相关度打分模型中，得到当前用户输入的消息与客服机器人回复的消息之间的相关度分值，相关度分值输出模块14用于输出相关度分值。

上述实施例中，理论满意度值获取模块3包括问答采集模块11、满意度标注模块31、满意度模型32和理论满意度值输出模块33。其中，问答采集模块11和满意度标注模块31均与满意度模型32的输入端连接，理论满意度值输出模块33与满意度模型32的输出端连接。

问答采集模块11用于采集用户输入的消息以及客服机器人回复的消息。满意度标注模块31用于接收人工对用户消息与客服机器人回复的满意度标注的数据。用户输入的消息、客服机器人回复的消息以及用户消息与客服机器人回复的满意度的标注数据输入满意度模型32中用于训练满意度模型32，得到理论满意度打分模型。将当前用户输入的消息以及客服机器人回复的消息输入理论满意度打分模型中，得到当前用户输入的消息与客服机器人回复的消息之间的理论满意度值，理论满意度值输出模块33用于输出理论满意度值。

本发明一方面能够减少满意度评价对于人工干预的依赖，实时获得用户对于客服机器人的满意度，降低获得满意度调查需要的人力资源及其带来的滞后性；另一方面引入客观评价指标对客服机器人进行客观公正评价，防止主观因素对客服机器人的性能产生影响。本发明还能够快速迭代客服机器人，提升用户对于客服机器人的使用体验。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。