基于表情识别的网点满意度评价方法和装置与流程

本发明涉及计算机技术领域，尤其涉及一种基于表情识别的网点满意度评价方法和装置。

背景技术：

满意是一种心理状态，是指一个人对一段关系质量的主观评价。它是客户的需求被满足后的愉悦感，是客户对产品或服务的事前期望与实际使用产品或服务后所得到实际感受的相对关系。如果用数字来衡量这种心理状态，这个数字就叫做满意度，客户满意是客户忠诚的基本条件。通过评价客户满意度，能够帮助服务机构改善服务质量。

目前，如金融机构(如银行、证券公司、保险公司等)、客服机构(如厂商的客服等)、政府办事机构(如税务大厅等)等服务机构进行满意度评价的方式主要是在客户办理完业务后提示客户在满意度选择装置上选择相应的评价(如非常满意、满意、一般、不满意等几个等级)，完成满意度信息采集，但是，这种满意度评价方式，需要客户积极参与，增加了客户的负担，体验欠佳。

技术实现要素：

针对现有技术中的问题，本发明提供一种基于表情识别的网点满意度评价方法、装置、电子设备以及计算机可读存储介质，能够至少部分地解决现有技术中存在的问题。

为了实现上述目的，本发明采用如下技术方案：

第一方面，提供一种基于表情识别的网点满意度评价方法，包括：

获取各客户进入网点时人脸图像并存入数据库中；

获取一客户的业务办理结束时人脸图像；

根据该业务办理结束时人脸图像在数据库中进行图像匹配得到该客户进入网点时人脸图像；

将该客户的进入网点时人脸图像以及该业务办理结束时人脸图像分别输入预训练的表情识别模型得到该客户在进入网点时的人脸表情识别结果以及业务办理结束时的人脸表情识别结果；

根据该客户在进入网点时的人脸表情识别结果以及业务办理结束时的人脸表情识别结果评价该客户对网点的满意度。

进一步地，还包括：

分别对该进入网点时人脸图像以及该业务办理结束时人脸图像进行预处理。

进一步地，该分别对该进入网点时人脸图像以及该业务办理结束时人脸图像进行预处理，包括：

采用opencv分别对该进入网点时人脸图像以及该业务办理结束时人脸图像进行裁剪、锐化、翻转处理，得到多张处理后的进入网点时人脸图像以及多张处理后的业务办理结束时人脸图像；

采用差值算法分别重塑多张处理后的进入网点时人脸图像以及多张处理后的业务办理结束时人脸图像得到预设尺寸的多张重塑后的进入网点时人脸图像以及多张重塑后的业务办理结束时人脸图像。

进一步地，该预训练的表情识别模型为卷积神经网络模型。

进一步地，还包括：

构建卷积神经网络模型；

采用已知标签的图像样本对该卷积神经网络模型进行训练得到该预训练的表情识别模型；

其中，该已知标签的图像样本中，每个图像样本均包括一个图像和一个标签，该标签表示该图像对应的表情。

进一步地，该采用已知标签的图像样本对该卷积神经网络模型进行训练得到该预训练的表情识别模型，包括：

将每个图像样本中的图像输入该卷积神经网络模型得到表情识别结果；

将该表情识别结果与该图像对应的标签进行比较；

根据比较结果调整卷积神经网络模型的参数，得到该预训练的表情识别模型。

进一步地，还包括：

采用已知标签的测试样本对该预训练的表情识别模型进行测试，并将该模型的输出作为测试结果；

基于该测试结果及该测试样本对应的已知标签，判断该预训练的表情识别模型是否符合预设要求；

若是，则将当前模型作为用于表情识别的目标模型；

若否，则对当前模型进行优化和/或应用更新后的训练样本集重新进行模型训练。

第二方面，提供一种基于表情识别的网点满意度评价装置，包括：

进入网点时人脸图像获取模块，获取各客户进入网点时人脸图像并存入数据库中；

业务办理结束时人脸图像获取模块，获取一客户的业务办理结束时人脸图像；

图像匹配模块，根据该业务办理结束时人脸图像在数据库中进行图像匹配得到该客户进入网点时人脸图像；

表情识别模块，将该进入网点时人脸图像以及该业务办理结束时人脸图像分别输入预训练的表情识别模型得到该客户在进入网点时的人脸表情识别结果以及业务办理结束时的人脸表情识别结果；

满意度评价模块，根据该客户在进入网点时的人脸表情识别结果以及业务办理结束时的人脸表情识别结果评价该客户对业务服务的满意度。

进一步地，还包括：

预处理模块，分别对该进入网点时人脸图像以及该业务办理结束时人脸图像进行预处理。

进一步地，该预处理模块包括：

图像处理单元，采用opencv分别对该进入网点时人脸图像以及该业务办理结束时人脸图像进行裁剪、锐化、翻转处理，得到多张处理后的进入网点时人脸图像以及多张处理后的业务办理结束时人脸图像；

图像重塑单元，采用差值算法分别重塑多张处理后的进入网点时人脸图像以及多张处理后的业务办理结束时人脸图像得到预设尺寸的多张重塑后的进入网点时人脸图像以及多张重塑后的业务办理结束时人脸图像。

进一步地，该预训练的表情识别模型为卷积神经网络模型。

进一步地，还包括：

模型构建模块，构建卷积神经网络模型；

模型训练模块，采用已知标签的图像样本对该卷积神经网络模型进行训练得到该预训练的表情识别模型；

其中，该已知标签的图像样本中，每个图像样本均包括一个图像和一个标签，该标签表示该图像对应的表情。

进一步地，该模型训练模块包括：

表情识别单元，将每个图像样本中的图像输入该卷积神经网络模型得到表情识别结果；

比较单元，将该表情识别结果与该图像对应的标签进行比较；

参数调整单元，根据比较结果调整卷积神经网络模型的参数，得到该预训练的表情识别模型。

进一步地，还包括：

模型测试模块，采用已知标签的测试样本对该预训练的表情识别模型进行测试，并将该模型的输出作为测试结果；

模型判断模块，基于该测试结果及该测试样本对应的已知标签，判断该预训练的表情识别模型是否符合预设要求；

模型输出模块，若预训练的表情识别模型符合预设要求，则将当前模型作为用于表情识别的目标模型；

模型调整模块，若预训练的表情识别模型不符合预设要求，则对当前模型进行优化和/或应用更新后的训练样本集重新进行模型训练。

第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现上述的基于表情识别的网点满意度评价方法的步骤。

第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的基于表情识别的网点满意度评价方法的步骤。

本发明提供的基于表情识别的网点满意度评价方法和装置，该方法包括：获取各客户进入网点时人脸图像并存入数据库中；获取一客户的业务办理结束时人脸图像；根据该业务办理结束时人脸图像在数据库中进行图像匹配得到该客户进入网点时人脸图像；将该客户的进入网点时人脸图像以及该业务办理结束时人脸图像分别输入预训练的表情识别模型得到该客户在进入网点时的人脸表情识别结果以及业务办理结束时的人脸表情识别结果；根据该客户在进入网点时的人脸表情识别结果以及业务办理结束时的人脸表情识别结果评价该客户对网点的满意度。其中，通过获取客户进入网点时和办理业务结束时两个时点的人脸照片，分别进行人脸表情识别处理，获取客户在进入网点时和办理业务结束时的人脸表情识别结果，基于所述人脸表情识别结果及其变化情况，判定所述客户对网点服务的满意度评价值，能够在客户无感的情况下获取满意度评价值，无需客户的操作，实现无感评价，提升了客户体验。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为实施本发明实施例提供的基于表情识别的网点满意度评价方法的系统架构示意图；

图2是本发明实施例基于表情识别的网点满意度评价方法的流程示意图一；

图3是本发明实施例基于表情识别的网点满意度评价方法的流程示意图二；

图4示出了本发明实施例基于表情识别的网点满意度评价方法的步骤s10和步骤s20；

图5是本发明实施例中的基于表情识别的网点满意度评价装置的结构框图一；

图6是本发明实施例中的基于表情识别的网点满意度评价装置的结构框图二；

图7为本发明实施例电子设备的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

目前，如金融机构(如银行、证券公司、保险公司等)、客服机构(如厂商的客服等)、政府办事机构(如税务大厅等)等服务机构进行满意度评价的方式主要是在客户办理完业务后提示客户在满意度选择装置上选择相应的评价(如非常满意、满意、一般、不满意等几个等级)，完成满意度信息采集，但是，这种满意度评价方式，需要客户积极参与，增加了客户的负担，体验欠佳。

为至少部分解决现有技术中存在的上述技术问题，本发明实施例提供一种基于表情识别的网点满意度评价方法、装置、电子设备以及计算机可读存储介质，通过获取客户进入网点时和办理业务结束时两个时点的人脸照片，分别进行人脸表情识别处理，获取客户在进入网点时和办理业务结束时的人脸表情识别结果，基于所述人脸表情识别结果及其变化情况，判定所述客户对网点服务的满意度评价值，能够在客户无感的情况下获取满意度评价值，无需客户的操作，实现无感评价，提升了网点对网点满意度评价的客户体验，并可以通过对服务机构业务办理信息的收集和对满意度评价的自定义配置，灵活的获取各种满意度评价值，以改进服务机构的各项服务质量。

图1为实施本发明实施例提供的基于表情识别的网点满意度评价方法的系统架构示意图。如图1所示，该业务处理服务器可以与至少一个柜面摄像头以及至少一个大门摄像头通信连接，客户在进入网点时，大门摄像头采集客户的人脸图像，并存入数据库，本领域技术人员可以理解的是，该数据库可设置在处理服务器中，或者设置在其他服务器中，其他服务器与处理服务器通信连接，客户在服务机构办理业务时，通过在业务员(或柜员或服务人员)使用的业务处理服务器(如计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等)处安装柜面摄像头，采集客户的人脸照片，并将采集的人脸照片发送至业务处理服务器，业务处理服务器可以在线接收客户的人脸照片，在线或者离线对客户的人脸照片进行预处理，获取一客户的业务办理结束时人脸图像；根据该业务办理结束时人脸图像在数据库中进行图像匹配得到该客户进入网点时人脸图像；将该客户的进入网点时人脸图像以及该业务办理结束时人脸图像分别输入预训练的表情识别模型得到该客户在进入网点时的人脸表情识别结果以及业务办理结束时的人脸表情识别结果；根据该客户在进入网点时的人脸表情识别结果以及业务办理结束时的人脸表情识别结果评价该客户对网点的满意度。

图2是本发明实施例基于表情识别的网点满意度评价方法的流程示意图一。如图2所示，该基于表情识别的网点满意度评价方法可以包括以下内容：

步骤s100：获取各客户进入网点时人脸图像并存入数据库中；

具体地，由安装在网点大门处的大门摄像头按照预设间隔采集图像，并将人脸图像存入数据库中。

值得说明的是，由于大门摄像头按照预设间隔采集图像，所以，对于同一用户，可能采集了多张该客户进入大门的图像，在将大门摄像头采集的图像存储数据库时，可通过图像识别处理技术将包含同一客户的重复的图像筛选出来，将时间最早的一张或者清晰度最高的一张作为该客户进入网点时的人脸图像。

可选地，目前很多服务网点均设置了自动门，通过红外感测等技术感测到有人靠近时自动开门，本发明实施例中也可以根据自动门打开触发信号触发摄像头开启采集图像，以此，能够使摄像头在没有客户进入时不工作，节省电能并能减小图像数量。

当然，也可以通过在大门摄像头附近合适位置设置人体感测传感器(如红外传感器等)，用于感测人体靠近，并利用感测信号触发大门摄像头开启，以采集客户进门的图像。

步骤s200：获取一客户的业务办理结束时人脸图像。

具体地，在客户接受服务时，采用摄像头按照预设间隔采集客户的图像，并实时识别图像中的人脸，当识别到客户发生变化时，则是上一个客户结束了服务下一个客户在进入网点时的人脸图像，通过这一原理识别一客户的业务办理结束时人脸图像。

可选地，也可以在业务员办理业务时，当业务员结束一个业务流程时，触发一图像获取信号至摄像头，摄像头采集一客户图像，作为一客户在业务办理结束时的人脸图像。

步骤s300：根据所述业务办理结束时人脸图像在数据库中进行图像匹配得到所述客户进入网点时人脸图像；

具体地，根据该客户业务办理结束时人脸图像的特征串，去数据库中筛选具有相同特征串的人脸图像，得到该客户在进入网点时人脸图像。

步骤s400：将所述客户的进入网点时人脸图像以及所述业务办理结束时人脸图像分别输入预训练的表情识别模型得到所述客户在进入网点时的人脸表情识别结果以及业务办理结束时的人脸表情识别结果。

本领域技术人员可以理解的是，人在不同的心理状况下会呈现出不同的面部表情和肢体动作。譬如说一个人眉毛上扬、挤在一起，他极有可能是处在恐惧、担忧或忧虑中；鼻孔外翻，嘴唇紧抿，表示有无法控制的怒气；下巴扬起，嘴角下垂表自责；单眼微眯，单侧嘴角微挑，表不屑、轻蔑等。因此，可以采用人工智能(ai)技术，通过预先选取的海量已知情绪标签的人脸图像训练得到一表情识别模型，通过与训练的表情识别模型识别图像中客户的表情。

步骤s500：根据所述客户在进入网点时的人脸表情识别结果以及业务办理结束时的人脸表情识别结果评价所述客户对网点的满意度。

本发明实施例中，人脸表情识别结果包括：普通表情、正面情绪和负面情绪。

具体地，将愤怒、厌恶、害怕、快乐、伤心、惊讶和自然这7种表情标签分别归属以上三种识别结果。其中，愤怒、厌恶、害怕和伤心归属于负面情绪，快乐归属于正面情绪，惊讶和自然归属于普通表情。

客户对服务的满意度评价值是通过对客户进入网点时和办理业务结束时两个时点的人脸表情识别结果进行比对得到。具体的，对所述人脸表情识别结果进行数字化处理，负面情绪赋值-1，普通表情赋值0，正面情绪赋值1，通过计算业务办理结束时的情绪值减去进入网点时的情绪值，如果结果为负值，则表示不满意，如果结果为0，则表示一般，如果结果为正值，则表示满意。

值得说明的是，本发明实施例可以在将客户进入网点时人脸图像存入数据库的同时，识别客户进入网点时的人脸表情识别结果，由此，能够减少处理等待时间。当然，也可以在获取到一客户业务办理结束时人脸图像后，再将客户的进入网点时人脸图像以及所述业务办理结束时人脸图像输入表情识别模型进行图像识别，以此不会对未办理业务的客户识别其进入网点时的人脸表情识别结果，减少资源消耗。

通过上述技术方案可以得知，本发明实施例提供的基于表情识别的网点满意度评价方法，能够在客户无感的情况下，基于客户在进入网点时和办理业务结束时的人脸表情识别结果，判定所述客户对所述网点的满意度评价值，无需客户的操作，实现无感评价，提升了客户体验。

在一个可选的实施例中，参见图3，该基于表情识别的网点满意度评价方法还可以包括以下内容：

步骤s350：分别对所述进入网点时人脸图像以及所述业务办理结束时人脸图像进行预处理。

具体地，采用opencv分别对所述进入网点时人脸图像以及所述业务办理结束时人脸图像进行裁剪、锐化、翻转处理，得到多张处理后的进入网点时人脸图像以及多张处理后的业务办理结束时人脸图像；

采用差值算法分别重塑多张处理后的进入网点时人脸图像以及多张处理后的业务办理结束时人脸图像得到预设尺寸的多张重塑后的进入网点时人脸图像以及多张重塑后的业务办理结束时人脸图像。

值得说明的是，该预设尺寸可为48×48的矩阵，也可以是64×64的矩阵，本发明实施例对此不作限制，只需要将图像预处理到满足人脸表情识别的计算输入要求即可。

其中，通过对人脸图像进行预处理，能够提高人脸图像的质量，提高后续表情识别的准确性。

在一个可选的实施例中，该预训练的表情识别模型为卷积神经网络(cnn)模型，该模型输出7个表情标签，分别是愤怒、厌恶、害怕、快乐、伤心、惊讶和自然，输入为预处理后的人脸图像，输出为所述7个表情标签的得分值，并以最高得分的标签作为识别结果，并依据识别结果，确定客户的人脸表情识别结果。具体的，人脸表情识别结果包括：普通表情、正面情绪和负面情绪，愤怒、厌恶、害怕和伤心归属于负面情绪，快乐归属于正面情绪，惊讶和自然归属于普通表情。

其中，该卷积神经网络模型可以包括：输入层、卷积层、池化层以及全连接层。输入层用于接收输入图像；卷积层用于提取所述输入图像的特征，池化层用于对所述图像特征进行池化；全连接层用于对池化后的图像特征进行分类，得到表情标签，所述标签表征用户表情。

在一个进一步的实施例中，参见图4，该基于表情识别的网点满意度评价方法还可以包括以下内容：

步骤s10：构建卷积神经网络模型；

其中，可采用开源的卷积神经网络程序或者调用matlab中的卷积神经网络模型实现。

步骤s20：采用已知标签的图像样本对所述卷积神经网络模型进行训练得到所述预训练的表情识别模型；

其中，所述已知标签的图像样本中，每个图像样本均包括一个图像和一个标签，该标签表示该图像对应的表情。

具体地，将每个图像样本中的图像输入所述卷积神经网络模型得到表情识别结果；将所述表情识别结果与所述图像对应的标签进行比较；根据比较结果调整卷积神经网络模型的参数，得到所述预训练的表情识别模型。

在一个可选的实施例中，还基于表情识别的网点满意度评价方法还可以包括：

采用已知标签的测试样本对所述预训练的表情识别模型进行测试，并将该模型的输出作为测试结果；

基于所述测试结果及所述测试样本对应的已知标签，判断所述预训练的表情识别模型是否符合预设要求；

若是，则将当前模型作为用于表情识别的目标模型；

若否，则对当前模型进行优化和/或应用更新后的训练样本集重新进行模型训练。

在一个可选的实施例中，该基于表情识别的网点满意度评价方法还可以包括：

获取摄像头采集的照片，并提取照片中的人脸图像，得到客户人脸图像。

基于同一发明构思，本申请实施例还提供了一种基于表情识别的网点满意度评价装置，可以用于实现上述实施例所描述的方法，如下面的实施例所述。由于基于表情识别的网点满意度评价装置解决问题的原理与上述方法相似，因此基于表情识别的网点满意度评价装置的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5是本发明实施例中的基于表情识别的网点满意度评价装置的结构框图一。如图5所示，该基于表情识别的网点满意度评价装置包括：进入网点时人脸图像获取模块10、业务办理结束时人脸图像获取模块20、图像匹配模块30、表情识别模块40以及满意度评价模块50。

进入网点时人脸图像获取模块10获取各客户进入网点时人脸图像并存入数据库中；

具体地，由安装在网点大门处的大门摄像头按照预设间隔采集图像，并将人脸图像存入数据库中。

值得说明的是，由于大门摄像头按照预设间隔采集图像，所以，对于同一用户，可能采集了多张该客户进入大门的图像，在将大门摄像头采集的图像存储数据库时，可通过图像识别处理技术将包含同一客户的重复的图像筛选出来，将时间最早的一张或者清晰度最高的一张作为该客户进入网点时的人脸图像。

可选地，目前很多服务网点均设置了自动门，通过红外感测等技术感测到有人靠近时自动开门，本发明实施例中也可以根据自动门打开触发信号触发摄像头开启采集图像，以此，能够使摄像头在没有客户进入时不工作，节省电能并能减小图像数量。

当然，也可以通过在大门摄像头附近合适位置设置人体感测传感器(如红外传感器等)，用于感测人体靠近，并利用感测信号触发大门摄像头开启，以采集客户进门的图像。

业务办理结束时人脸图像获取模块20获取一客户的业务办理结束时人脸图像；

具体地，在客户接受服务时，采用摄像头按照预设间隔采集客户的图像，并实时识别图像中的人脸，当识别到客户发生变化时，则是上一个客户结束了服务下一个客户在进入网点时的人脸图像，通过这一原理识别一客户的业务办理结束时人脸图像。

可选地，也可以在业务员办理业务时，当业务员结束一个业务流程时，触发一图像获取信号至摄像头，摄像头采集一客户图像，作为一客户在业务办理结束时的人脸图像。

图像匹配模块30根据所述业务办理结束时人脸图像在数据库中进行图像匹配得到所述客户进入网点时人脸图像；

具体地，根据该客户业务办理结束时人脸图像的特征串，去数据库中筛选具有相同特征串的人脸图像，得到该客户在进入网点时人脸图像。

表情识别模块40将所述进入网点时人脸图像以及所述业务办理结束时人脸图像分别输入预训练的表情识别模型得到所述客户在进入网点时的人脸表情识别结果以及业务办理结束时的人脸表情识别结果；

本领域技术人员可以理解的是，人在不同的心理状况下会呈现出不同的面部表情和肢体动作。譬如说一个人眉毛上扬、挤在一起，他极有可能是处在恐惧、担忧或忧虑中；鼻孔外翻，嘴唇紧抿，表示有无法控制的怒气；下巴扬起，嘴角下垂表自责；单眼微眯，单侧嘴角微挑，表不屑、轻蔑等。因此，可以采用人工智能(ai)技术，通过预先选取的海量已知情绪标签的人脸图像训练得到一表情识别模型，通过与训练的表情识别模型识别图像中客户的表情。

满意度评价模块50根据所述客户在进入网点时的人脸表情识别结果以及业务办理结束时的人脸表情识别结果评价所述客户对业务服务的满意度。

本发明实施例中，人脸表情识别结果包括：普通表情、正面情绪和负面情绪。

具体地，将愤怒、厌恶、害怕、快乐、伤心、惊讶和自然这7种表情标签分别归属以上三种识别结果。其中，愤怒、厌恶、害怕和伤心归属于负面情绪，快乐归属于正面情绪，惊讶和自然归属于普通表情。

客户对服务的满意度评价值是通过对客户进入网点时和办理业务结束时两个时点的人脸表情识别结果进行比对得到。具体的，对所述人脸表情识别结果进行数字化处理，负面情绪赋值-1，普通表情赋值0，正面情绪赋值1，通过计算业务办理结束时的情绪值减去进入网点时的情绪值，如果结果为负值，则表示不满意，如果结果为0，则表示一般，如果结果为正值，则表示满意。

值得说明的是，本发明实施例可以在将客户进入网点时人脸图像存入数据库的同时，识别客户进入网点时的人脸表情识别结果，由此，能够减少处理等待时间。当然，也可以在获取到一客户业务办理结束时人脸图像后，再将客户的进入网点时人脸图像以及所述业务办理结束时人脸图像输入表情识别模型进行图像识别，以此不会对未办理业务的客户识别其进入网点时的人脸表情识别结果，减少资源消耗。

通过上述技术方案可以得知，本发明实施例提供的基于表情识别的网点满意度评价装置，能够在客户无感的情况下，基于客户在进入网点时和办理业务结束时的人脸表情识别结果，判定所述客户对所述网点的满意度评价值，无需客户的操作，实现无感评价，提升了客户体验。

在一个可选的实施例中，参见图6，该基于表情识别的网点满意度评价装置还可以包括：预处理模块35。

预处理模块35分别对所述进入网点时人脸图像以及所述业务办理结束时人脸图像进行预处理。

具体地，所述预处理模块35包括：图像处理单元以及图像重塑单元。

图像处理单元，采用opencv分别对该进入网点时人脸图像以及该业务办理结束时人脸图像进行裁剪、锐化、翻转处理，得到多张处理后的进入网点时人脸图像以及多张处理后的业务办理结束时人脸图像；

图像重塑单元，采用差值算法分别重塑多张处理后的进入网点时人脸图像以及多张处理后的业务办理结束时人脸图像得到预设尺寸的多张重塑后的进入网点时人脸图像以及多张重塑后的业务办理结束时人脸图像。

值得说明的是，该预设尺寸可为48×48的矩阵，也可以是64×64的矩阵，本发明实施例对此不作限制，只需要将图像预处理到满足人脸表情识别的计算输入要求即可。

其中，通过对人脸图像进行预处理，能够提高人脸图像的质量，提高后续表情识别的准确性。

在一个可选的实施例中，该预训练的表情识别模型为卷积神经网络(cnn)模型，该模型输出7个表情标签，分别是愤怒、厌恶、害怕、快乐、伤心、惊讶和自然，输入为预处理后的人脸图像，输出为所述7个表情标签的得分值，并以最高得分的标签作为识别结果，并依据识别结果，确定客户的人脸表情识别结果。具体的，人脸表情识别结果包括：普通表情、正面情绪和负面情绪，愤怒、厌恶、害怕和伤心归属于负面情绪，快乐归属于正面情绪，惊讶和自然归属于普通表情。

其中，该卷积神经网络模型可以包括：输入层、卷积层、池化层以及全连接层。输入层用于接收输入图像；卷积层用于提取所述输入图像的特征，池化层用于对所述图像特征进行池化；全连接层用于对池化后的图像特征进行分类，得到表情标签，所述标签表征用户表情。

在一个可选的实施例中，该基于表情识别的网点满意度评价装置还可以包括：模型构建模块以及模型训练模块。

其中，该模型构建模块用于构建卷积神经网络模型。

值得说明的是，可采用开源的卷积神经网络程序或者调用matlab中的卷积神经网络模型实现。

模型训练模块采用已知标签的图像样本对所述卷积神经网络模型进行训练得到所述预训练的表情识别模型；

其中，所述已知标签的图像样本中，每个图像样本均包括一个图像和一个标签，该标签表示该图像对应的表情。

具体地，该模型训练模块包括：表情识别单元、比较单元以及参数调整单元。

表情识别单元将每个图像样本中的图像输入所述卷积神经网络模型得到表情识别结果；

比较单元将所述表情识别结果与所述图像对应的标签进行比较；

参数调整单元根据比较结果调整卷积神经网络模型的参数，得到所述预训练的表情识别模型。

在一个可选的实施例中，该基于表情识别的网点满意度评价装置还可以包括：模型测试模块、模型判断模块、模型输出模块以及模型调整模块。

模型测试模块采用已知标签的测试样本对所述预训练的表情识别模型进行测试，并将该模型的输出作为测试结果；

模型判断模块基于所述测试结果及所述测试样本对应的已知标签，判断所述预训练的表情识别模型是否符合预设要求；

模型输出模块若预训练的表情识别模型符合预设要求，则将当前模型作为用于表情识别的目标模型；

模型调整模块若预训练的表情识别模型不符合预设要求，则对当前模型进行优化和/或应用更新后的训练样本集重新进行模型训练。

在一个可选的实施例中，该基于表情识别的网点满意度评价装置还可以包括：图像提取模块，获取摄像头采集的照片，并提取照片中的人脸图像，得到客户人脸图像。

上述实施例阐明的装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为电子设备，具体的，电子设备例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

在一个典型的实例中电子设备具体包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现下述步骤：

获取各客户进入网点时人脸图像并存入数据库中；

获取一客户的业务办理结束时人脸图像；

根据所述业务办理结束时人脸图像在数据库中进行图像匹配得到所述客户进入网点时人脸图像；

将所述客户的进入网点时人脸图像以及所述业务办理结束时人脸图像分别输入预训练的表情识别模型得到所述客户在进入网点时的人脸表情识别结果以及业务办理结束时的人脸表情识别结果；

根据所述客户在进入网点时的人脸表情识别结果以及业务办理结束时的人脸表情识别结果评价所述客户对网点的满意度。

从上述描述可知，本发明实施例提供的电子设备，可用于在客户无感的情况下获取满意度评价值，无需客户的操作，实现无感评价，提升了客户体验。

下面参考图7，其示出了适于用来实现本申请实施例的电子设备600的结构示意图。

如图7所示，电子设备600包括中央处理单元(cpu)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储部分608加载到随机访问存储器(ram))603中的程序而执行各种适当的工作和处理。在ram603中，还存储有系统600操作所需的各种程序和数据。cpu601、rom602、以及ram603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。

以下部件连接至i/o接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡，调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装如存储部分608。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现下述步骤：

获取各客户进入网点时人脸图像并存入数据库中；

获取一客户的业务办理结束时人脸图像；

根据所述业务办理结束时人脸图像在数据库中进行图像匹配得到所述客户进入网点时人脸图像；

将所述客户的进入网点时人脸图像以及所述业务办理结束时人脸图像分别输入预训练的表情识别模型得到所述客户在进入网点时的人脸表情识别结果以及业务办理结束时的人脸表情识别结果；

根据所述客户在进入网点时的人脸表情识别结果以及业务办理结束时的人脸表情识别结果评价所述客户对网点的满意度。

从上述描述可知，本发明实施例提供的计算机可读存储介质，可用于在客户无感的情况下获取满意度评价值，无需客户的操作，实现无感评价，提升了客户体验。

在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。