一种交互方法及装置、存储介质及电子设备与流程

1.本发明涉及数据处理技术领域，特别涉及一种交互方法及装置、存储介质及电子设备。


背景技术：

2.目前，在客户办理业务过程中，若碰到运营高峰，会导致客户等待时间过长，从而影响客户的情绪，使得客户的体验不好。


技术实现要素：

3.本发明所要解决的技术问题是提供一种交互方法，能够提高客户满意度。
4.本发明还提供了一种交互装置，用以保证上述方法在实际中的实现及应用。
5.一种交互方法，包括：
6.响应于检测指令，获取待处理的表情图片；
7.确定所述表情图片所属的客户的等待时长；
8.在检测到所述客户的等待时长大于预设的时长阈值的情况下，根据所述表情图片获得所述客户的情绪值；
9.根据所述客户的情绪值判断所述客户是否满足预设的人机交互条件；
10.在所述客户的情绪值满足所述人机交互条件的情况下，控制交互机器人以预设的情绪安抚方式与所述客户进行交互。
11.上述的方法，可选的，还包括：
12.在所述客户的情绪值不满足所述人机交互条件的情况下，向预设的服务人员发送提示信息，所述提示信息用于提示服务人员与所述客户进行交互。
13.上述的方法，可选的，所述确定所述表情图片所属的客户的等待时长，包括：
14.基于预设的神经网络模型对所述表情图片进行人脸识别，以确定出所述表情图片所属的客户；
15.根据预设的时间信息记录表中确定所述客户的等待时长。
16.上述的方法，可选的，所述根据所述表情图片获得所述客户的情绪值，包括：
17.利用预先构建的情绪识别模型对所述表情图片进行识别，获得所述客户的情绪值。
18.上述的方法，可选的，情绪识别模型的构建过程，包括：
19.获取初始情绪识别模型以及训练数据集；所述训练数据集包括多个训练样本，训练样本包括历史表情图片以及所述历史表情图片的表情标签；
20.利用训练数据集中的各训练样本依次对初始情绪识别模型进行训练；
21.当确定所述初始情绪识别模型满足预设的训练条件时，将满足训练条件的所述初始情绪识别模型作为情绪识别模型。
22.上述的方法，可选的，所述情绪值包括效价和唤醒值；
23.相应的，所述根据所述客户的情绪值判断所述客户是否满足预设的人机交互条件，包括：
24.确定所述客户的情绪值的效价是否处于预设的效价阈值范围内，以及确定所述客户的情绪值的唤醒值是否处于预设的唤醒阈值范围内；
25.若所述效价处于所述效价阈值范围内，并且所述唤醒值处于所述唤醒值阈值范围内，则确定所述客户是否满足预设的人机交互条件；否则，确定所述客户是否不满足预设的人机交互条件。
26.一种交互装置，包括：
27.获取单元，用于响应检测指令，获取待处理的表情图片；
28.确定单元，用于确定所述表情图片所属的客户的等待时长；
29.执行单元，用于在检测到所述客户的等待时长大于预设的时长阈值的情况下，根据所述表情图片获得所述客户的情绪值；
30.判断单元，用于根据所述客户的情绪值判断所述客户是否满足预设的人机交互条件；
31.控制单元，用于在所述客户的情绪值满足所述人机交互条件的情况下，控制交互机器人以预设的情绪安抚方式与所述客户进行交互。
32.上述的装置，可选的，还包括：
33.提示单元，用于在所述客户的情绪值不满足所述人机交互条件的情况下，向预设的服务人员发送提示信息，所述提示信息用于提示服务人员与所述客户进行交互。
34.一种存储介质，所述存储介质包括存储指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如上述的交互方法。
35.一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如上述的交互方法。
36.与现有技术相比，本发明包括以下优点：
37.本发明提供了一种交互方法及装置、存储介质及电子设备，该方法包括：响应于检测指令，获取待处理的表情图片；确定所述表情图片所属的客户的等待时长；在检测到所述客户的等待时长大于预设的时长阈值的情况下，根据所述表情图片获得所述客户的情绪值；根据所述客户的情绪值判断所述客户是否满足预设的人机交互条件；在所述客户的情绪值满足所述人机交互条件的情况下，控制交互机器人以预设的情绪安抚方式与所述客户进行交互。应用本发明实施例提供的方法，能够在客户等待时间过长且客户的情绪值满足交互条件的情况下，安抚客户的情绪，有效的提升了客户满意度。
附图说明
38.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
39.图1为本发明提供的一种交互方法的方法流程图；
40.图2为本发明提供的一种确定表情图片所属的客户的等待时长的过程的流程图；
41.图3为本发明提供的一种情绪识别模型的构建过程的流程图；
42.图4为本发明提供的一种交互装置的结构示意图；
43.图5为本发明提供的一种电子设备的结构示意图；
44.图6为本发明提供的一种实施场景示例图；
45.图7为本发明提供的一种情绪识别模型的训练过程的流程图；
46.图8为本发明提供的一种交互流程的示例图。
具体实施方式
47.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.在本技术中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
49.本发明实施例提供了一种交互方法，该方法可以应用于电子设备，所述方法的方法流程图如图1所示，具体包括：
50.s101：响应于检测指令，获取待处理的表情图片。
51.在本实施例中，可以通过摄像设备获得业务办理区域内的客户的表情图片，表情图片也即人脸图片。
52.s102：确定所述表情图片所属的客户的等待时长。
53.在本实施例中，客户的等待时长可以是客户在业务办理区域中停留的时长，也可以是预设的排队系统中记录的客户的已排队时长。
54.s103：在检测到所述客户的等待时长大于预设的时长阈值的情况下，根据所述表情图片获得所述客户的情绪值。
55.在本实施例中，情绪值可以是连续类型的值或离散类型的值；若情绪值为连续类型的值，则情绪值可以包括效价valence值和唤醒arousal值，用于客户的情绪度量。若情绪值为离散值，则情绪值可以表示情绪的类别，例如，情绪值为0，则表示情绪焦躁，情绪值为1表示情绪平静。
56.s104：根据所述客户的情绪值判断所述客户是否满足预设的人机交互条件；若是，则执行s105；若否，则执行s106。
57.在本实施例中，情绪值可以为连续类型的值；在此情况下，若情绪值处于预设的情绪值区间，则可以确定客户满足预设的人机交互条件；否则，确定客户不满足人机交互条件。
58.在一些实施例中，情绪值可以为离散类型的值，在此情况下，若情绪值表示的客户情绪类别为预设的第一情绪类别，则确定客户满足人机交互条件，第一情绪类别可以是情绪焦躁；否则，可以确定客户不满足人机交互条件。
59.s105：控制交互机器人以预设的情绪安抚方式与所述客户进行交互。
60.在本实施例中，控制交互机器人以预设的情绪安抚方式与所述客户进行交互的方式，可以是应用预设的对话模板与客户对话、控制机器人执行娱乐动作等，以安抚客户情绪。
61.s106：向预设的服务人员发送提示信息，所述提示信息用于提示服务人员与所述客户进行交互。
62.应用本发明实施例提供的方法，能够在客户等待时间过长且客户的情绪值满足交互条件的情况下，安抚客户的情绪，有效的提升了客户满意度。
63.在本发明提供的一实施例中，基于上述的实施过程，具体的，所述确定所述表情图片所属的客户的等待时长，如图2所示，包括：
64.s201：基于预设的神经网络模型对所述表情图片进行人脸识别，以确定出所述表情图片所属的客户；
65.在本实施例中，神经网络模型可以是轻量级神经网络mobilenets，可以利用神经网络模型提取表情图片中的人脸特征，将人脸特征与预设的数据库中存储的各客户的标准人脸特征进行匹配，将与该人脸特征匹配成功的标准人脸特征所属的客户，确定为表情图片所属的客户。
66.s202：根据预设的时间信息记录表中确定所述客户的等待时长。
67.在本实施例中，时间信息记录表可以记录客户首次出现在业务办理区域的初始时间，将当前时间减去初始时间，可以得到客户的等待时长。
68.在本发明提供的一实施例中，基于上述的实施过程，具体的，所述根据所述表情图片获得所述客户的情绪值，包括：
69.利用预先构建的情绪识别模型对所述表情图片进行识别，获得所述客户的情绪值。
70.在本实施例中，情绪识别模型可以深度神经网络模型，可以采用残差网络resnet进行训练得到。
71.在本发明提供的一实施例中，基于上述的实施过程，具体的，情绪识别模型的构建过程，如图3所示，具体包括：
72.s301：获取初始情绪识别模型以及训练数据集；所述训练数据集包括多个训练样本，训练样本包括历史表情图片以及所述历史表情图片的表情标签；
73.在本实施例中，表情标签可以是连续型的标签，可以包括效价和唤醒值。
74.可选的，训练数据集中包含人面部带有眼镜、人在眼睛和唇部化妆、表情姿态多样的历史表情图片，训练数据集中的历史表情图片所属的各客户具有不同的年龄段。
75.s302：利用训练数据集中的各训练样本依次对初始情绪识别模型进行训练。
76.在本实施例中，可以将训练数据集中的训练样本输入到初始情绪识别模型，获得初始情绪识别模型的输出结果；根据输出结果以及当前输入的训练样本的标签计算一致性相关系数；若一致性相关系数不满足条件，则对初始神经网络模型的网络参数进行调整，并将下一训练样本输入到初始情绪识别模型中，直至一致性相关系数满足预设的条件。
77.s303：当确定所述初始情绪识别模型满足预设的训练条件时，将满足训练条件的所述初始情绪识别模型作为情绪识别模型。
78.在本实施例中，训练条件可以是一致性相关系数满足要求。
79.在本发明提供的一实施例中，基于上述的实施过程，具体的，所述情绪值包括效价和唤醒值；
80.相应的，所述根据所述客户的情绪值判断所述客户是否满足预设的人机交互条件，包括：
81.确定所述客户的情绪值的效价是否处于预设的效价阈值范围内，以及确定所述客户的情绪值的唤醒值是否处于预设的唤醒阈值范围内；
82.若所述效价处于所述效价阈值范围内，并且所述唤醒值处于所述唤醒值阈值范围内，则确定所述客户是否满足预设的人机交互条件；否则，确定所述客户是否不满足预设的人机交互条件。
83.在本实施例中，情绪识别是将客户表情映射到二维坐标上，其中横坐标表示arousal(效价)，纵坐标表示valence(唤醒)；效价和唤醒的值域都在[-1,1]之间，预先设置各情绪的阈值范围，比如说快乐表情的效价区间[0.0,1.0]和唤醒区间[-0.2,0.5]；需要人机交互的情绪的阈值范围可以包括效价阈值范围和唤醒值阈值范围；若不处于该需要人机交互的情绪的阈值范围，则由人工介入安抚客户情绪。
[0084]
可选的，效价用于对情绪从消极到积极的度量，区分正性和负性的情绪；唤醒度用于对情绪从平静到兴奋的度量，表征情绪的唤醒程度。
[0085]
与图1所述的方法相对应，本发明实施例还提供了一种交互装置，用于对图1中方法的具体实现，本发明实施例提供的交互装置可以应用于电子设备中，其结构示意图如图4所示，具体包括：
[0086]
获取单元401，用于响应检测指令，获取待处理的表情图片；
[0087]
确定单元402，用于确定所述表情图片所属的客户的等待时长；
[0088]
执行单元403，用于在检测到所述客户的等待时长大于预设的时长阈值的情况下，根据所述表情图片获得所述客户的情绪值；
[0089]
判断单元404，用于根据所述客户的情绪值判断所述客户是否满足预设的人机交互条件；
[0090]
控制单元405，用于在所述客户的情绪值满足所述人机交互条件的情况下，控制交互机器人以预设的情绪安抚方式与所述客户进行交互。
[0091]
在本发明提供的一实施例中，基于上述的方案，可选的，还包括：
[0092]
提示单元，用于在所述客户的情绪值不满足所述人机交互条件的情况下，向预设的服务人员发送提示信息，所述提示信息用于提示服务人员与所述客户进行交互。
[0093]
在本发明提供的一实施例中，基于上述的方案，可选的，所述确定单元402，包括：
[0094]
第一识别子单元，用于基于预设的神经网络模型对所述表情图片进行人脸识别，以确定出所述表情图片所属的客户；
[0095]
第一确定子单元，用于根据预设的时间信息记录表中确定所述客户的等待时长。
[0096]
在本发明提供的一实施例中，基于上述的方案，可选的，所述执行单元403，包括：
[0097]
第二识别子单元，用于利用预先构建的情绪识别模型对所述表情图片进行识别，获得所述客户的情绪值。
[0098]
在本发明提供的一实施例中，基于上述的方案，可选的，识别子单元，包括：
[0099]
获取模块，用于获取初始情绪识别模型以及训练数据集；所述训练数据集包括多个训练样本，训练样本包括历史表情图片以及所述历史表情图片的表情标签；
[0100]
训练模块，用于利用训练数据集中的各训练样本依次对初始情绪识别模型进行训练；
[0101]
执行模块，用于当确定所述初始情绪识别模型满足预设的训练条件时，将满足训练条件的所述初始情绪识别模型作为情绪识别模型。
[0102]
在本发明提供的一实施例中，基于上述的方案，可选的，所述情绪值包括效价和唤醒值；
[0103]
相应的，所述判断单元，包括：
[0104]
第二确定子单元，用于确定所述客户的情绪值的效价是否处于预设的效价阈值范围内，以及确定所述客户的情绪值的唤醒值是否处于预设的唤醒阈值范围内；
[0105]
第三确定子单元，用于若所述效价处于所述效价阈值范围内，并且所述唤醒值处于所述唤醒值阈值范围内，则确定所述客户是否满足预设的人机交互条件；否则，确定所述客户是否不满足预设的人机交互条件。
[0106]
上述本发明实施例公开的交互装置中的各个单元和模块具体的原理和执行过程，与上述本发明实施例公开的交互方法相同，可参见上述本发明实施例提供的交互方法中相应的部分，这里不再进行赘述。
[0107]
本发明实施例还提供了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述交互方法。
[0108]
本发明实施例还提供了一种电子设备，其结构示意图如图5所示，具体包括存储器501，以及一个或者一个以上的指令502，其中一个或者一个以上指令502存储于存储器501中，且经配置以由一个或者一个以上处理器503执行所述一个或者一个以上指令502进行以下操作：
[0109]
响应于检测指令，获取待处理的表情图片；
[0110]
确定所述表情图片所属的客户的等待时长；
[0111]
在检测到所述客户的等待时长大于预设的时长阈值的情况下，根据所述表情图片获得所述客户的情绪值；
[0112]
根据所述客户的情绪值判断所述客户是否满足预设的人机交互条件；
[0113]
在所述客户的情绪值满足所述人机交互条件的情况下，控制交互机器人以预设的情绪安抚方式与所述客户进行交互。
[0114]
如图6所示，为本发明实施例提供的一种实施场景示例图，示出了包括智能机器人和远程服务器的实施场景，在银行大厅中，用户可以到银行办理业务，通过智能机器人采集客户的表情图片，通过远程服务器根据表情图片进行情绪识别，获得客户的情绪值，智能机器人根据客户的情绪值和等待时长确定是否与客户进行交互。
[0115]
可选的，首先收集客户表情数据、对数据进行标注标签、设计并训练神经网络模型。对预训练好的模型进行部署，开发情绪识别服务端程序，为服务机器人提供远程调用接口。其次设计并开发服务机器人程序，设计本地数据库或缓存数据库来保存客户实时的情绪状况。最后对情绪识别的结果设置一个阈值，若客户情绪识别的结果小于此阈值说明客户情绪平稳；若高于此阈值，说明客户情绪激进，服务机器人将此客户信息通知银行柜员，
可以在客户情绪爆发前进行人工沟通干预。
[0116]
在本实施例中，情绪识别的结果设置一个阈值范围，若客户情绪识别的结果在此阈值范围内说明客户情绪平稳；若高于此阈值，说明客户情绪激进，服务机器人将此客户信息通知银行柜员，事先进行人工沟通干预。
[0117]
在本实施例中，情绪识别技术采用深度学习技术，以残差网络为骨干，在线下预先进行训练，并结合在线数据的学习提升其识别的准确性，如图7所示，具体如下：
[0118]
首先准备神经网络的数据集。数据集采用网络上已经公开的affectnet数据集和银行客户数据集结合。affectnet数据集共有约44w张图片，其中有10％的人面部带有眼镜，50％的人在眼睛和唇部化妆并且表情姿态多样。搜集表情图片的年龄也分布广泛。数据集采用众包的方法标记为连续(效价和唤醒)和离散(表情分类)的标签。连续的标签分别是效价(valence)和唤醒(arousal)。两者的值域都在[-1,1]之间。银行客户表情数据集可以类似affectnet数据集的效价和唤醒值标注。
[0119]
标注完成后将训练集和测试集按照9：1的方法进行分类。或者采用十字交叉法进行训练集和测试集划分；可根据训练的不同效果采用不同的划分方式。采用残差网络进行训练，残差网络容易优化，且其内部的残差块使用了跳跃链接，缓解了在深度神经网络中增加深度带来了梯度消失的问题。
[0120]
调试模型参数，使用ccc(一致性相关系数)评判网络的训练结果。当模型满足训练要求时候，在测试集上进行测试，若情绪识别结果达到要求，可以将其封装成接口提供给客户端服务机器人。
[0121]
在本实施例中，情绪识别是将客户表情映射到二维坐标上，其中横坐标表示arousal(效价)，纵坐标表示valence(唤醒)。效价和唤醒的值域都在[-1,1]之间。事先设置情绪激进或平缓的阈值范围，比如说快乐表情的效价区间[0.0,1.0]和唤醒区间[-0.2,0.5]。由于连续的情感识别评价结果属于连续域，可以利用ccc(一致性相关系数)这个评价指标来评价连续情绪模型，ccc能够在测量数据的差异并且同时考虑数据的协方差，具体如下：
[0122][0123]
其中，sy和分别为真实值和预测值的方差。表示真实值和预测值的协方差。和分别是两者的均值。
[0124]
如图8所示，为本发明实施例提供的一种交互流程的示例图，其中，智能机器人会定时录制客户面部表情，上传至情绪识别服务端，服务端对客户情绪做出判断，将判断结果返回给机器人，机器人通过客户当前情绪做出相应反应。
[0125]
人脸识别与追踪技术在机器人本地机器上进行，以算力需求较少的轻量级神经网络mobilenets对人脸特征进行提取，进行标记后将客户的id、人脸信息、以及进入银行后开始等待服务的时间存入数据库中。
[0126]
机器人通过定时扫描大厅客户，匹配数据库中的人脸，获取客户等待时间，并同时向情绪识别服务器请求客户情绪信息，结合客户的情绪与等待时间，判断客户当前是否需要接入安抚，若需要，则执行预先设定好的安抚程序与客户交互。
[0127]
具体的，人脸识别与追踪技术在机器人本地机器上进行，实时对客户进行人脸追踪及特征提取，锁定客户信息并存入本地数据库。其中人脸特征提取采用轻量级神经网络mobilenets，进行标记后将客户的id、人脸信息、以及进入银行后开始等待服务的时间存入数据库中。
[0128]
机器人通过定时扫描大厅客户，匹配数据库中的人脸，获取客户等待时间，并同时向情绪识别服务器请求客户情绪信息，结合客户的情绪与等待时间，判断客户当前是否需要接入安抚，若需要，则执行预先设定好的安抚程序与客户交互。其中客户的情绪阈值取决于效价和唤醒值的范围。根据affectnet数据集中情绪激进的范围划分，阈值的范围在是一个区间内。
[0129]
需要说明的是，本发明提供的一种交互方法及装置、存储介质及电子设备可用于人工智能领域、区块链领域、分布式领域、云计算领域、大数据领域、物联网领域、移动互联领域、网络安全领域、芯片领域、虚拟现实领域、增强现实领域、全息技术领域、量子计算领域、量子通信领域、量子测量领域、数字孪生领域或金融领域。上述仅为示例，并不对本发明提供的一种交互方法及装置、存储介质及电子设备的应用领域进行限定。
[0130]
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0131]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0132]
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
[0133]
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
[0134]
以上对本发明所提供的一种交互方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。