面部表情图片处理方法、装置、计算机设备和存储介质与流程

本申请涉及图片处理技术领域，特别是涉及一种面部表情图片处理方法、装置、计算机设备和存储介质。

背景技术：

随着信息技术的发展，对图片的识别处理技术也越来越成熟，例如图片分类，人脸识别等技术，这些技术的快速发展给我们的生活带来了许多便利。目前的人脸识别技术可以用于识别是否为活体，甚至可以识别身份、判断是否为本人。

然而，随着不同的业务需要，对图片处理技术提出了更高的需求，例如在接收到客户申请的大额信用贷款时，通常需要工作人员的线下或远程面审，在对借款客户的面审过程中，主要依赖于工作人员的经验来判断，判断结果不够准确，存在一定的难度和风险，针对此情况，亟待实现一种能够准确进行情绪分析的方法。

技术实现要素：

基于此，有必要针对上述技术问题，提供一种能够准确进行情绪分析的面部表情图片处理方法、装置、计算机设备和存储介质。

一种面部表情图片处理方法，所述方法包括：

将获取的面部表情图片拆分成多个面部区域，分别提取各面部区域的特征向量；

根据面部区域的区域标识，遍历与区域标识对应的标签数据库，查找标签数据库中与特征向量匹配的标签信息；

将面部表情图片的各面部区域的标签信息进行组合，获取标签信息组合结果；

根据标签信息组合结果确定面部表情图片对应的情绪特征。

在其中一个实施例中，将获取的面部表情图片拆分成多个面部区域，分别提取各面部区域的特征向量之前，还包括：

获取表情图片的训练样本与测试样本；

将训练样本输入预设神经网络模型，通过聚类分析对训练样本进行分类训练；

根据训练得到的模型评估参数，对预设神经网络模型的结构进行调整，获得初始面部表情分析模型；

将测试样本输入初始面部表情分析模型，根据样本测试结果对初始面部表情分析模型的参数进行调整，获得优化面部表情分析模型，优化面部表情分析模型用于根据输入的面部表情图片，确定面部表情图片对应的情绪特征。

在其中一个实施例中，将训练样本输入预设神经网络模型，通过聚类分析对训练样本进行分类训练，包括：

对训练样本按面部区域进行拆分，并提取各面部区域的样本特征向量；

通过聚类分析对样本特征向量进行层级分类；

将训练样本输入预设神经网络模型，通过聚类分析对训练样本进行分类训练之后，还包括：

将样本特征向量设定样本标签信息，并按多层级分类的结果构建标签数据库；

根据预设的训练样本表征的样本情绪特征，以及训练样本对应的样本标签信息组合，建立样本标签信息组合与样本情绪特征的关联关系；

根据样本标签信息组合与样本情绪特征的关联关系，构建情绪特征库。

在其中一个实施例中，根据标签信息组合结果确定面部表情图片对应的情绪特征，包括：

遍历情绪特征库，确定情绪特征库中与标签信息组合结果匹配的情绪特征。

在其中一个实施例中，将获取的面部表情图片拆分成多个面部区域，分别提取各面部区域的特征向量之前，还包括：

获取待分析视频，根据设定的频率对播放的待分析视频进行取样，获取多张面部表情图片；

根据标签信息组合结果确定面部表情图片对应的情绪特征之后，还包括：

统计待分析视频中各面部表情图片对应的标签信息和情绪特征；

根据面部区域中各标签信息所占比重，确定待分析视频中的主要情绪特征；

根据情绪特征与主要情绪特征，确定待分析视频中的情绪变化。

在其中一个实施例中，根据情绪特征与主要情绪特征，确定待分析视频中的情绪变化包括：

当检测到情绪特征与预设正常区域的差别大于预设值时，确定情绪特征对应的面部表情图片，以及面部表情图片在待分析视频中的时间点；

设定面部表情图片所在的时间点为中心，提取预设时间范围中的多帧图片；

对多帧图片分别进行分析，确定情绪特征在预设时间范围的持续时间；

根据主要情绪特征以及情绪特征的持续时间，确定待分析视频中的情绪变化。

在其中一个实施例中，获取待分析视频，根据设定的频率对播放的待分析视频进行取样，获取多张面部表情图片之前，还包括：

获取客户相关数据信息，根据客户相关数据信息对客户进行面审应急问答，并采集客户面审视频；

设定一个问题或一类问题的问答时间为单位，将客户面审视频划分为多个待分析视频。

一种面部表情图片处理装置，所述装置包括：

面部区域划分与特征向量提取模块，用于将获取的面部表情图片拆分成多个面部区域，分别提取各面部区域的特征向量；

标签信息查找模块，用于根据面部区域的区域标识，遍历与区域标识对应的标签数据库，查找标签数据库中与特征向量匹配的标签信息；

标签信息组合结果确定模块，用于将面部表情图片的各面部区域的标签信息进行组合，获取标签信息组合结果；

情绪特征确定模块，用于根据标签信息组合结果确定面部表情图片对应的情绪特征。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

将获取的面部表情图片拆分成多个面部区域，分别提取各面部区域的特征向量；

根据面部区域的区域标识，遍历与区域标识对应的标签数据库，查找标签数据库中与特征向量匹配的标签信息；

将面部表情图片的各面部区域的标签信息进行组合，获取标签信息组合结果；

根据标签信息组合结果确定面部表情图片对应的情绪特征。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

将获取的面部表情图片拆分成多个面部区域，分别提取各面部区域的特征向量；

根据面部区域的区域标识，遍历与区域标识对应的标签数据库，查找标签数据库中与特征向量匹配的标签信息；

将面部表情图片的各面部区域的标签信息进行组合，获取标签信息组合结果；

根据标签信息组合结果确定面部表情图片对应的情绪特征。

上述面部表情图片处理方法、装置、计算机设备和存储介质，通过将获取到的待分析的面部表情图片按面部区域进行拆分，并提取各面部区域的特征向量，以特征向量的形式表征各面部区域的特征，可以更准确、详细地描述面部区域特征，提高匹配的准确率，通过面部区域的区域标识，遍历与该区域标识对应的标签数据库，查找与特征向量匹配的标签信息，根据标签信息的组合结果，确定面部表情图片对应的情绪特征。通过将面部表情图片拆分，确定拆分后各面部区域的标签，然后将标签进行组合的方式，可以精确分析到面部表情图片中的每个细节，提高了情绪分析的准确率。

附图说明

图1为本申请一个实施例中面部表情图片处理方法的应用场景图；

图2为本申请一个实施例中面部表情图片处理方法的流程示意图；

图3为本申请另一个实施例中面部表情图片处理方法的流程示意图；

图4为本申请另一个实施例中面部表情图片处理方法的流程示意图；

图5为本申请另一个实施例中面部表情图片处理方法的流程示意图；

图6为本申请一个实施例中面部表情图片处理步骤s780的流程示意图；

图7为本申请另一个实施例中面部表情图片处理方法的流程示意图；

图8为本申请一个实施例中面部表情图片处理装置的结构框图；

图9为本申请一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的面部表情图片处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。服务器104从终端102获取待分析的面部表情图片，对面部表情图片按面部区域进行拆分，并提取拆分后各面部区域的特征向量，进一步查找特征向量对应的标签信息，最后通过对标签信息进行组合，确定面部表情图片对应的情绪特征，面部表情图片对应的情绪特征可以发送至终端102。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在实施例中，面部表情处理方法可以应用于金融行业的借款人面审过程，以使面审更好地把握客户的真实情绪变化，有利于提高风控水平。

在一个实施例中，如图2所示，提供了一种面部表情图片处理方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：

s400，将获取的面部表情图片拆分成多个面部区域，分别提取各面部区域的特征向量。

面部表情图片是指包含待分析对象的脸部正面的面部信息的图片，可以通过人脸检测算法提取图片中的面部信息，在实施例中，可以采用神经网络分析方法提取出面部信息，面部区域是指基于提取的面部信息，以额头、眉毛、眼、鼻子、嘴、下巴等人脸特征点为中心，进行大区域划分，并以大区域的重要特征点如眼部大区域中的眼珠、眼角，嘴部大区域的嘴角等重点区域进行细化，确定面部区域划分规则，划分方法可以根据面部信息中的器官信息与纹理信息等进行识别区分，从而使得不同的面部表情图片可以根据对应特征的位置和形状达到面部区域上的对应划分，面部区域的特征提取是指将图片信息数据化，获取图片信息中各像素单元间隐藏信息的方法，在实施例中，可以通过主元分析、独立分量分析以及线性判别分析的方式来获取面部区域的特征向量。在实施例中，面部表情图片可以包括针对待分析对象，同一时刻从各角度采集到的的图像信息的集合，并对集合进行整合处理，获取各面部区域图片中的最佳视角图片作为特征向量提取目标。

s500，根据面部区域的区域标识，遍历与区域标识对应的标签数据库，查找标签数据库中与特征向量匹配的标签信息。

面部区域按照设定的划分规则进行拆分，各个面部区域都携带有对应的区域标识，标签数据库与面部区域一一对应，表情数据库中包含大量的样本特征向量，各样本特征向量对应有标签信息，标签信息是指用于表征情绪特征的组成元素，通过将标签数据库与面部区域设置对应绑定关系，可以便捷快速地进行特征向量的匹配，遍历与区域标识对应的标签数据库，可以匹配到与面部区域提取出的特征向量对应的样本特征向量，并根据样本特征向量的对应标签，确定面部区域提取出的特征向量对应的标签信息。

s600，将面部表情图片的各面部区域的标签信息进行组合，获取标签信息组合结果。

在标签信息的获取过程中，将面部表情图片进行了拆分，在拆分过程中，各面部区域携带有原图片的图片识别编码信息，根据图片识别编码信息，可以快速确定原图片的对应各标签信息，将标签信息按照设定的顺序进行组合，可以得到标签信息组合结果。

s700，根据标签信息组合结果确定面部表情图片对应的情绪特征。

特征情绪是指通过对面部表情图片进行分析，得到的对应表征的情绪。在实施例中，可以通过遍历预设的情绪特征库，查找情绪特征库中与标签信息组合结果匹配的情绪特征，从而确定面部表情图片对应的情绪特征。

上述面部表情图片处理方法，通过将获取到的待分析的面部表情图片按面部区域进行拆分，并提取各面部区域的特征向量，以特征向量的形式表征各面部区域的特征，可以更准确、详细地描述面部区域特征，提高匹配的准确率，通过面部区域的区域标识，遍历与该区域标识对应的标签数据库，查找与特征向量匹配的标签信息，根据标签信息的组合结果，确定面部表情图片对应的情绪特征。通过将面部表情图片拆分，确定拆分后各面部区域的标签，然后将标签进行组合的方式，可以精确分析到面部表情图片中的每个细节，提高了情绪分析的准确率。

在一个实施例中，如图3所示，根据输入的面部表情图片，确定面部表情图片对应的情绪特征可以通过神经网络模型分析来进行，将获取的面部表情图片拆分成多个面部区域，分别提取各面部区域的特征向量之前，还包括：

s320，获取表情图片的训练样本与测试样本。

训练样本与测试样本是指用于对神经网络模型的结构和参数进行调整与优化的面部表情图片，作为训练样本与测试样本的表情图片可以通过网络查找获取，在实施例中，可以根据情绪特征分类查找获取表情图片，并将查找的结果分为两部分，一部分作为训练样本集合，一部分作为测试样本集合，其中训练样本集合与测试样本集合可以有相同图片元素。

s340，将训练样本输入预设神经网络模型，通过聚类分析对训练样本进行分类训练。

聚类分析指将物理或抽象对象的集合分组为由类似的对象组成的多个类的分析过程，聚类分析是一种探索性的分析，在分类的过程中，不必事先给出一个分类的标准，聚类分析能够从样本数据出发，自动进行分类。预设的神经网络模型采用聚类分析的方式，对训练样本进行分类，可以获得分类结果，在分类结束后，可以得到对预设神经网络模型的评估参数，模型评估参数是模型结构优化调整的重要依据条件。

s360，根据训练得到的模型评估参数，对预设神经网络模型的结构进行调整，获得初始面部表情分析模型。

模型评估参数包括正确率、召回率以及f值等，其中，正确率是评估捕获的成果中目标成果所占得比例；召回率是从关注领域中，召回目标类别的比例；f值是综合这二者指标的评估指标，用于综合反映整体的指标，通过模型评估参数，可以判断模型结构的优劣，并以此为依据，对模型结构如预设神经网络模型中隐藏层包含的卷积层、池化层以及全连接层的数量与方式进行不断地优化调整，从而得到优化后的初始面部表情分析模型。

s380，将测试样本输入初始面部表情分析模型，根据样本测试结果对初始面部表情分析模型的参数进行调整，获得优化面部表情分析模型，优化面部表情分析模型用于根据输入的面部表情图片，确定面部表情图片对应的情绪特征。

初始面部表情分析模型是对模型结构进行优化后的结果，为提高模型的分析准确率，还需对模型的参数进行进一步调整，通过将测试样本输入初始面部表情分析模型，得到样本测试结果，根据样本测试结果对初始面部表情分析模型的参数进行调整，获得优化面部表情分析模型。

在一个实施例中，如图4所示，将训练样本输入预设神经网络模型，通过聚类分析对训练样本进行分类训练，包括：

s342，对训练样本按面部区域进行拆分，并提取各面部区域的样本特征向量。

s344，通过聚类分析对样本特征向量进行层级分类。

层级分类是指按照面部大区域以及大区域中的细化区域进行分类，通过层级分类可以提高分类处理速度，在实施例中，可以先将获取的训练样本的表情图片按照面部区域进行初步分类，并对根据面部区域进行初步归类好的样本图片，按照同一面部区域的不同状态进行进一步细分。

将训练样本输入预设神经网络模型，通过聚类分析对训练样本进行分类训练之后，还包括：

s352，将样本特征向量设定样本标签信息，并按多层级分类的结果构建标签数据库。

s354，根据预设的训练样本表征的样本情绪特征，以及训练样本对应的样本标签信息组合，建立样本标签信息组合与样本情绪特征的关联关系。

s356，根据样本标签信息组合与样本情绪特征的关联关系，构建情绪特征库。

通过对分类好的样本特征向量设定样本标签信息，可以实现标签数据库的分类构建，在实施例中，可以根据初级分类的结果，分别构建标签数据库，并建立标签数据库与初级分类的各面部区域对应区域标识的绑定关系，以便通过面部区域的区域标识查找到对应的标签数据库。训练样本可以根据分类搜索获得，各训练样本携带有本身表征的情绪特征，根据训练样本的样本标签信息组合，可以建立样本标签信息组合与样本情绪特征的关联关系，并利用各种样本标签信息组合，以及其表征的情绪特征，构建情绪特征库，以便在使用过程中，根据待分析的面部表情图片的标签信息组合，查找该情绪特征库，根据与之匹配的结果确定待分析的面部表情图片的情绪特征。

在一个实施例中，根据标签信息组合结果确定面部表情图片对应的情绪特征，包括：

s720，遍历情绪特征库，确定情绪特征库中与标签信息组合结果匹配的情绪特征。

在一个实施例中，如图5所示，将获取的面部表情图片拆分成多个面部区域，分别提取各面部区域的特征向量之前，还包括：

s200，获取待分析视频，根据设定的频率对播放的待分析视频进行取样，获取多张面部表情图片。

根据标签信息组合结果确定面部表情图片对应的情绪特征之后，还包括：

s740，统计待分析视频中各面部表情图片对应的标签信息和情绪特征。

s760，根据面部区域中各标签信息所占比重，确定待分析视频中的主要情绪特征。

s780，根据情绪特征与主要情绪特征，确定待分析视频中的情绪变化。

在实际使用过程中，面部表情图片的获取途径会根据实际应用场景而变化，例如在面审风控过程中，需要分析的面部表情图片需要从面审过程中获取，在实施例中，可以通过设定频率拍摄面审过程中客户的面部表情图片，也可以通过拍摄客户面审视频，通过截取视频中的面部表情图片进行分析，在其中一个实施例中，获取需要分析的客户面审视频，根据设定的频率对播放的面审视频进行截图，截取出多张用户的面部表情图片，将截取的图片输入预先构建并优化处理后的面部表情分析模型，该模型对截图中的用户面部区域进行拆分，对拆分后的面部区域进行特征向量提取，依据该面部区域的区域标识，遍历面部表情分析模型中与该标识对应的标签数据库，查找标签数据库中与该面部区域特征向量相同的标签信息，然后将各面部区域的数据标签信息进行组合，通过将组合结果与模型中的情绪特征数据库进行对比，对比结果重合的组合结果即为该面部表情图片对应的情绪特征。根据多个图片的分析结果的变化过程，对应用户情绪的变化。根据面部区域中各标签信息所占比重，确定待分析视频中的主要情绪特征，主要情绪特征是表征用户在该时间段内的情绪基调的重要依据，在实施例中，通过对该视频中的多张图片的数据标签信息进行统计，根据各面部区域中比重最大的数据标签信息，确定该段视频中用户的主要情绪特征，进一步通过每一张面部表情图片表征的情绪特征，判断以主要情绪特征为基调的面审过程中，客户的情绪变化。在实施例中，可以根据设定的频率如0.01s对视频片段进行截图，并对该段时间内的截图进行抽样，选取出一定数量的截图样本来进行分析判断。具体地，抽样方式可以是按时间顺序的系统抽样法。在其他实施例中，还可以通过对视频文件进行解码，提取每帧数据，得到图片样本。

在一个实施例中，如图6所示，根据情绪特征与主要情绪特征，确定待分析视频中的情绪变化包括：

s782，当检测到情绪特征与预设正常区域的差别大于预设值时，确定情绪特征对应的面部表情图片，以及面部表情图片在待分析视频中的时间点。

s784，设定面部表情图片所在的时间点为中心，提取预设时间范围中的多帧图片。

s786，对多帧图片分别进行分析，确定情绪特征在预设时间范围的持续时间。

s788，根据主要情绪特征以及情绪特征的持续时间，确定待分析视频中的情绪变化。

预设正常区域是指用户在问答过程中应该表现的情绪，通过对没一会在那个面部表情图片对应的情绪特征进行分析，并通过数据形式表征情绪特征，当情绪特征与预设正常区域的差别大于预设值时，表明客户的情绪异常，以该面部表情图片所在的时间点为中心，提取出设定时间范围的截图，将提取出的截图进行再次分析，并统计在预设时间范围内该情绪特征的持续时间，提高分析结果的准确性。

在一个实施例中，如图7所示，获取待分析视频，根据设定的频率对播放的待分析视频进行取样，获取多张面部表情图片之前，还包括：

s120，获取客户相关数据信息，根据客户相关数据信息对客户进行面审应急问答，并采集客户面审视频。

s140，设定一个问题或一类问题的问答时间为单位，将客户面审视频划分为多个待分析视频。

获取用户相关数据信息，包括用户每天的运动轨迹，用户的资产信息(包括存款信息与房产信息等)，历史借贷情况，通话、水电等各项生活费用的缴纳情况等，结合各项数据分析，确定风控评审影响因素，以作为评审重要参考条件。例如，将客户回答应激问题“你是否有固定住房资产？”、“你的工作稳定吗？”、“如果将这笔资金贷款给你，你是否能在规定期限能还款？”的视频片段，一个问题或一类问题的问答时间为单位，逐一从视频中划分成多个小的视频片段，以便后续有针对性地对客户情绪进行分析。

应该理解的是，虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图8所示，提供了一种面部表情图片处理装置，包括：

面部区域划分与特征向量提取模块400，用于将获取的面部表情图片拆分成多个面部区域，分别提取各面部区域的特征向量；

标签信息查找模块500，用于根据面部区域的区域标识，遍历与区域标识对应的标签数据库，查找标签数据库中与特征向量匹配的标签信息；

标签信息组合结果确定模块600，用于将面部表情图片的各面部区域的标签信息进行组合，获取标签信息组合结果；

情绪特征确定模块700，用于根据标签信息组合结果确定面部表情图片对应的情绪特征。

在一个实施例中，面部表情图片处理装置还包括面部表情分析模型优化调整模块，面部表情分析模型优化调整模块包括：

样本获取单元，用于获取表情图片的训练样本与测试样本；

分类训练单元，用于将训练样本输入预设神经网络模型，通过聚类分析对训练样本进行分类训练；

模型结构调整单元，用于根据训练得到的模型评估参数，对预设神经网络模型的结构进行调整，获得初始面部表情分析模型；

模型参数优化单元，用于将测试样本输入初始面部表情分析模型，根据样本测试结果对初始面部表情分析模型的参数进行调整，获得优化面部表情分析模型，优化面部表情分析模型用于根据输入的面部表情图片，确定面部表情图片对应的情绪特征。

在一个实施例中，分类训练单元还用于对训练样本按面部区域进行拆分，并提取各面部区域的样本特征向量，通过聚类分析对样本特征向量进行层级分类，

面部表情分析模型优化调整模块还包括：

标签数据库构建单元，用于将样本特征向量设定样本标签信息，并按多层级分类的结果构建标签数据库；

关联关系建立单元，用于根据预设的训练样本表征的样本情绪特征，以及训练样本对应的样本标签信息组合，建立样本标签信息组合与样本情绪特征的关联关系；

情绪特征库构建单元，用于根据样本标签信息组合与样本情绪特征的关联关系，构建情绪特征库。

在一个实施例中，情绪特征确定模块700，还用于遍历情绪特征库，确定情绪特征库中与标签信息组合结果匹配的情绪特征。

在一个实施例中，面部表情图片处理装置还包括：

面部表情图片获取模块，用于获取待分析视频，根据设定的频率对播放的待分析视频进行取样，获取多张面部表情图片；

情绪变化分析模块，用于统计待分析视频中各面部表情图片对应的标签信息和情绪特征，根据面部区域中各标签信息所占比重，确定待分析视频中的主要情绪特征，根据情绪特征与主要情绪特征，确定待分析视频中的情绪变化。

在一个实施例中，情绪变化分析模块还用于当检测到情绪特征与预设正常区域的差别大于预设值时，确定情绪特征对应的面部表情图片，以及面部表情图片在待分析视频中的时间点，设定面部表情图片所在的时间点为中心，提取预设时间范围中的多帧图片，对多帧图片分别进行分析，确定情绪特征在预设时间范围的持续时间，根据主要情绪特征以及情绪特征的持续时间，确定待分析视频中的情绪变化。

在一个实施例中，面部表情图片处理装置还包括：

待分析视频采集与划分模块，用于获取客户相关数据信息，根据客户相关数据信息对客户进行面审应急问答，并采集客户面审视频，设定一个问题或一类问题的问答时间为单位，将客户面审视频划分为多个待分析视频。

上述面部表情图片处理装置，通过将获取到的待分析的面部表情图片按面部区域进行拆分，并提取各面部区域的特征向量，以特征向量的形式表征各面部区域的特征，可以更准确、详细地描述面部区域特征，提高匹配的准确率，通过面部区域的区域标识，遍历与该区域标识对应的标签数据库，查找与特征向量匹配的标签信息，根据标签信息的组合结果，确定面部表情图片对应的情绪特征。通过将面部表情图片拆分，确定拆分后各面部区域的标签，然后将标签进行组合的方式，可以精确分析到面部表情图片中的每个细节，提高了情绪分析的准确率。

关于面部表情图片处理装置的具体限定可以参见上文中对于面部表情图片处理方法的限定，在此不再赘述。上述面部表情图片处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种面部表情图片处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

将获取的面部表情图片拆分成多个面部区域，分别提取各面部区域的特征向量；

根据面部区域的区域标识，遍历与区域标识对应的标签数据库，查找标签数据库中与特征向量匹配的标签信息；

将面部表情图片的各面部区域的标签信息进行组合，获取标签信息组合结果；

根据标签信息组合结果确定面部表情图片对应的情绪特征。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取表情图片的训练样本与测试样本；

将训练样本输入预设神经网络模型，通过聚类分析对训练样本进行分类训练；

根据训练得到的模型评估参数，对预设神经网络模型的结构进行调整，获得初始面部表情分析模型；

将测试样本输入初始面部表情分析模型，根据样本测试结果对初始面部表情分析模型的参数进行调整，获得优化面部表情分析模型，优化面部表情分析模型用于根据输入的面部表情图片，确定面部表情图片对应的情绪特征。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

对训练样本按面部区域进行拆分，并提取各面部区域的样本特征向量；

通过聚类分析对样本特征向量进行层级分类；

将样本特征向量设定样本标签信息，并按多层级分类的结果构建标签数据库；

根据预设的训练样本表征的样本情绪特征，以及训练样本对应的样本标签信息组合，建立样本标签信息组合与样本情绪特征的关联关系；

根据样本标签信息组合与样本情绪特征的关联关系，构建情绪特征库。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

遍历情绪特征库，确定情绪特征库中与标签信息组合结果匹配的情绪特征。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取待分析视频，根据设定的频率对播放的待分析视频进行取样，获取多张面部表情图片；

统计待分析视频中各面部表情图片对应的标签信息和情绪特征；

根据面部区域中各标签信息所占比重，确定待分析视频中的主要情绪特征；

根据情绪特征与主要情绪特征，确定待分析视频中的情绪变化。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

当检测到情绪特征与预设正常区域的差别大于预设值时，确定情绪特征对应的面部表情图片，以及面部表情图片在待分析视频中的时间点；

设定面部表情图片所在的时间点为中心，提取预设时间范围中的多帧图片；

对多帧图片分别进行分析，确定情绪特征在预设时间范围的持续时间；

根据主要情绪特征以及情绪特征的持续时间，确定待分析视频中的情绪变化。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取客户相关数据信息，根据客户相关数据信息对客户进行面审应急问答，并采集客户面审视频；

设定一个问题或一类问题的问答时间为单位，将客户面审视频划分为多个待分析视频。

上述用于实现面部表情图片处理方法的计算机设备，通过将获取到的待分析的面部表情图片按面部区域进行拆分，并提取各面部区域的特征向量，以特征向量的形式表征各面部区域的特征，可以更准确、详细地描述面部区域特征，提高匹配的准确率，通过面部区域的区域标识，遍历与该区域标识对应的标签数据库，查找与特征向量匹配的标签信息，根据标签信息的组合结果，确定面部表情图片对应的情绪特征。通过将面部表情图片拆分，确定拆分后各面部区域的标签，然后将标签进行组合的方式，可以精确分析到面部表情图片中的每个细节，提高了情绪分析的准确率。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

将获取的面部表情图片拆分成多个面部区域，分别提取各面部区域的特征向量；

根据面部区域的区域标识，遍历与区域标识对应的标签数据库，查找标签数据库中与特征向量匹配的标签信息；

将面部表情图片的各面部区域的标签信息进行组合，获取标签信息组合结果；

根据标签信息组合结果确定面部表情图片对应的情绪特征。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取表情图片的训练样本与测试样本；

将训练样本输入预设神经网络模型，通过聚类分析对训练样本进行分类训练；

根据训练得到的模型评估参数，对预设神经网络模型的结构进行调整，获得初始面部表情分析模型；

将测试样本输入初始面部表情分析模型，根据样本测试结果对初始面部表情分析模型的参数进行调整，获得优化面部表情分析模型，优化面部表情分析模型用于根据输入的面部表情图片，确定面部表情图片对应的情绪特征。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对训练样本按面部区域进行拆分，并提取各面部区域的样本特征向量；

通过聚类分析对样本特征向量进行层级分类；

将样本特征向量设定样本标签信息，并按多层级分类的结果构建标签数据库；

根据预设的训练样本表征的样本情绪特征，以及训练样本对应的样本标签信息组合，建立样本标签信息组合与样本情绪特征的关联关系；

根据样本标签信息组合与样本情绪特征的关联关系，构建情绪特征库。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

遍历情绪特征库，确定情绪特征库中与标签信息组合结果匹配的情绪特征。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取待分析视频，根据设定的频率对播放的待分析视频进行取样，获取多张面部表情图片；

统计待分析视频中各面部表情图片对应的标签信息和情绪特征；

根据面部区域中各标签信息所占比重，确定待分析视频中的主要情绪特征；

根据情绪特征与主要情绪特征，确定待分析视频中的情绪变化。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

当检测到情绪特征与预设正常区域的差别大于预设值时，确定情绪特征对应的面部表情图片，以及面部表情图片在待分析视频中的时间点；

设定面部表情图片所在的时间点为中心，提取预设时间范围中的多帧图片；

对多帧图片分别进行分析，确定情绪特征在预设时间范围的持续时间；

根据主要情绪特征以及情绪特征的持续时间，确定待分析视频中的情绪变化。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取客户相关数据信息，根据客户相关数据信息对客户进行面审应急问答，并采集客户面审视频；

设定一个问题或一类问题的问答时间为单位，将客户面审视频划分为多个待分析视频。

上述用于实现面部表情图片处理方法的存储介质，通过将获取到的待分析的面部表情图片按面部区域进行拆分，并提取各面部区域的特征向量，以特征向量的形式表征各面部区域的特征，可以更准确、详细地描述面部区域特征，提高匹配的准确率，通过面部区域的区域标识，遍历与该区域标识对应的标签数据库，查找与特征向量匹配的标签信息，根据标签信息的组合结果，确定面部表情图片对应的情绪特征。通过将面部表情图片拆分，确定拆分后各面部区域的标签，然后将标签进行组合的方式，可以精确分析到面部表情图片中的每个细节，提高了情绪分析的准确率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。