基于注意力机制的卷积神经网络面部情绪识别方法及系统

1.本发明属于面部情绪识别的技术领域，具体涉及基于注意力机制的卷积神经网络面部情绪识别方法及系统。


背景技术：

2.情绪是人类针对内部或外部的重要事件所产生的突发反应。情绪持续时间很短，但蕴含大量复杂的生物信息，其中不仅包括语言，神情等外部行为，还包括大脑内部神经机制相互协调所产生的脑电波变化。情绪通常可分为乐观，平静和悲观等状态。情绪识别是通过观测生物信息，使计算机能够识别人类的情绪状态。对情绪识别的研究可以为辅助医学治疗，防止疲劳驾驶，监测个人健康状况，创作艺术作品等提供科学依据。因此，情绪识别的研究具有重要意义。
3.针对脑电波信号的处理，很多研究者采用了计算部分信号的统计特征的方法进行处理，但是这种特征提取方法会破坏脑电波信号之间的相关性。同时也有很多研究者采用支持向量机的分类器解决情绪识别问题，但是这种方法的结果过分依赖于核函数的选择，当使用不同的核函数时结果偏差十分巨大，这使得方法的鲁棒性较差，卷积神经网络相比于支持向量机，其结果具有更强的鲁棒性。


技术实现要素：

4.本发明克服现有技术存在的不足，所要解决的技术问题为：提供一种，能够解决用户情绪变化准确识别的基于注意力机制的卷积神经网络面部情绪识别方法及系统。
5.为了解决上述技术问题，本发明采用的技术方案为：基于注意力机制的卷积神经网络面部情绪识别方法，包括：收集人脸图像数据，按比例分为训练集和测试集；将训练集中的人脸图像数据输入卷积神经网络模型中进行特征学习，得到人脸面部情绪特征数据；在测试集中测试卷积神经网络模型，优化所述卷积神经网络模型的参数；将待识别的人脸图像数据输入优化后的卷积神经网络模型中，得到情绪分类结果。
6.优选地，所述将训练集中的人脸图像数据输入卷积神经网络模型中进行特征学习，得到人脸面部情绪特征数据，具体包括：将各权值、阈值，置成小的接近于0的随机值，并初始化精度控制参数eps＝1e-15和学习率0.05；从训练集中取一个输入模式加到网络，输入模式与每层的权值矩阵进行点乘运算，从而计算出各层输出，并给出它的输出向量；将输出向量中的元素与目标向量中的元素进行比较，计算出各层残差、权值和阈值；当模型平均准确率满足95％时保存模型。
7.优选地，所述将待识别的人脸图像数据输入优化后的卷积神经网络模型中，得到所述人脸图像的面部情绪特征数据之前，包括：采集待识别的人脸图像数据；对所述人脸图像进行灰度转换，对灰度转换后的人脸图像进行长宽尺寸的校正，使所述人脸图像的长宽调整至预设的尺寸；对所述人脸图像按照预设的人脸部位规则进行分割，并对分割的部位进行标记。
8.优选地，所述将待识别的人脸图像数据输入优化后的卷积神经网络模型中，得到所述人脸图像的面部情绪特征数据，具体包括：将分割并标记后的人脸图像数据输入到训练好的卷积神经网络模型中；对标记的部位进行计算，综合所有部位的计算结果，得到在不同情绪下面部情绪特征的得分；将分值进行排序，最高分数对应的情绪即为待识别人脸图像数据的情绪分类结果。
9.优选地，所述卷积神经网络模型包括2个卷积层包括卷积层1和卷积层2；2个池化层包括池化层1和池化层2；2个全连接层包括全连接层1和全连接层2以及1个softmax层。
10.优选地，所述卷积层1的卷积核数设为16，卷积核模板的大小为3
×
3，卷积层1后连接偏置层、激活函数层和池化层1，其中池化层1的池化核模板大小设为2
×
2；卷积层2的卷积核数设为32，卷积核大小为3
×
3；池化层2的池化核大小设为2
×
2；全连接层1的特征向量维度设为2048，全连接层2的特征向量维度设为512；softmax层的特征向量维度为7类。
11.另一实施例，基于注意力机制的卷积神经网络面部情绪识别系统，包括：样本收集单元：收集人脸图像数据，按比例分为训练集和测试集；卷积计算单元：将训练集中的人脸图像数据输入卷积神经网络模型中进行特征学习，得到人脸面部情绪特征数据；优化单元：在测试集中测试卷积神经网络模型，优化所述卷积神经网络模型的参数；识别单元：将待识别的人脸图像数据输入优化后的卷积神经网络模型中，得到情绪分类结果。
12.优选地，所述卷积计算单元，具体包括：初始化单元；将各权值、阈值，置成小的接近于0的随机值，并初始化精度控制参数eps＝1e-15和学习率0.05；第一计算单元：从训练集中取一个输入模式加到网络，输入模式与每层的权值矩阵进行点乘运算，从而计算出各层输出，并给出它的输出向量；第二计算单元：将输出向量中的元素与目标向量中的元素进行比较，计算出各层残差、权值和阈值；存储单元：当模型平均准确率满足95％时保存模型。
13.优选地，所述基于注意力机制的卷积神经网络面部情绪识别系统，包括：采集单元：采集待识别的人脸图像数据；处理单元：对所述人脸图像进行灰度转换，对灰度转换后的人脸图像进行长宽尺寸的校正，使所述人脸图像的长宽调整至预设的尺寸；标记单元：对所述人脸图像按照预设的人脸部位规则进行分割，并对分割的部位进行标记。
14.优选地，所述识别单元包括：分割单元：将分割并标记后的人脸图像数据输入到训练好的卷积神经网络模型中；第三计算单元：对标记的部位进行计算，综合所有部位的计算结果，得到在不同情绪下面部情绪特征的得分；排序单元：将分值进行排序，最高分数对应的情绪即为待识别人脸图像数据的情绪分类结果。
15.本发明与现有技术相比具有以下有益效果：
16.本发明基于注意力机制的卷积神经网络面部情绪识别方法及系统，包括收集人脸图像数据，按比例分为训练集和测试集；将训练集中的人脸图像数据输入卷积神经网络模型中进行特征学习，得到人脸面部情绪特征数据；在测试集中测试卷积神经网络模型，优化所述卷积神经网络模型的参数；将待识别的人脸图像数据输入优化后的卷积神经网络模型中，得到情绪分类结果；本发明能够实现识别用户情绪的变化，提高用户情绪识别的准确率，通过卷积神经网络的人脸微表情动作检测，利用多个卷积和池化层提高检测准确率，避免有效动作单元遗漏，提高了人脸识别的精度，从而可以大大增加人脸识别的可信度。
附图说明
17.下面结合附图对本发明做进一步详细的说明；
18.图1为本发明实施例一提供的基于注意力机制的卷积神经网络面部情绪识别方法的流程示意图；
19.图2为本发明实施例一提供的基于注意力机制的卷积神经网络面部情绪识别系统的结构示意图；
20.图3为本发明实施例二提供的基于注意力机制的卷积神经网络面部情绪识别系统的结构示意图；
21.图4为本发明实施例三提供的基于注意力机制的卷积神经网络面部情绪识别系统的结构示意图；
22.图5为本发明实施例四提供的基于注意力机制的卷积神经网络面部情绪识别系统的结构示意图；
23.图中：10为样本收集单元，20为卷积计算单元，201为初始化单元，202为第一计算单元，203为第二计算单元，204为存储单元，30为优化单元，40为识别单元，401为分割单元，402为第三计算单元，403为排序单元，50为采集单元，60为处理单元，70为标记单元。
具体实施方式
24.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
26.应该理解的是，当元件(诸如层、膜、区域、或衬底)描述为在另一元件“上”时，该元件可直接在该另一元件上，或者也可存在中间元件。而且，在说明书以及权利要求书中，当描述有元件“连接”至另一元件时，该元件可“直接连接”至该另一元件，或者通过第三元件“连接”至该另一元件。
27.下面结合优选的实施步骤对本技术进行说明，图1为本发明实施例一提供的一种基于注意力机制的卷积神经网络面部情绪识别方法的流程示意图，如图1所示，该方法包括如下步骤：
28.s10、收集人脸图像数据，按比例分为训练集和测试集；
29.s20、将训练集中的人脸图像数据输入卷积神经网络模型中进行特征学习，得到人脸面部情绪特征数据；
30.s30、在测试集中测试卷积神经网络模型，优化所述卷积神经网络模型的参数；
31.s40、将待识别的人脸图像数据输入优化后的卷积神经网络模型中，得到情绪分类结果。
32.具体地，收集人脸图像数据，按比例分为训练集和测试集；将训练集中的人脸图像数据输入卷积神经网络模型中进行特征学习，得到人脸面部情绪特征数据；在测试集中测试卷积神经网络模型，优化所述卷积神经网络模型的参数；将待识别的人脸图像数据输入优化后的卷积神经网络模型中，得到情绪分类结果；本实施例能够实现识别用户情绪的变化，提高用户情绪识别的准确率，通过卷积神经网络的人脸微表情动作检测，利用多个卷积和池化层提高检测准确率，避免有效动作单元遗漏，提高了人脸识别的精度，从而可以大大增加人脸识别的可信度。
33.进一步地，所述将训练集中的人脸图像数据输入卷积神经网络模型中进行特征学习，得到人脸面部情绪特征数据，具体包括：将各权值、阈值，置成小的接近于0的随机值，并初始化精度控制参数eps＝1e-15和学习率0.05；从训练集中取一个输入模式加到网络，输入模式与每层的权值矩阵进行点乘运算，从而计算出各层输出，并给出它的输出向量；将输出向量中的元素与目标向量中的元素进行比较，计算出各层残差、权值和阈值；当模型平均准确率满足95％时保存模型。
34.进一步地，所述将待识别的人脸图像数据输入优化后的卷积神经网络模型中，得到所述人脸图像的面部情绪特征数据之前，包括：采集待识别的人脸图像数据；对所述人脸图像进行灰度转换，对灰度转换后的人脸图像进行长宽尺寸的校正，使所述人脸图像的长宽调整至预设的尺寸；对所述人脸图像按照预设的人脸部位规则进行分割，并对分割的部位进行标记；具体地，将待识别的人脸图像进行预处理包括图像颜色的处理、图像尺寸的调整和图像旋转、图像翻转、图像降噪等处理，所述图像颜色的处理包括对所述人脸图像进行灰度转换，使人脸图像转化为灰度图像；所述图像尺寸的调整包括对人脸图像进行长宽尺寸的校正，使所述人脸图像的长宽调整至预设的尺寸；其中，所述预设的尺寸为根据历史数据设置的使后续处理能够达到较佳效果的尺寸；所述对分割的部位进行标记，如，将人脸的眼睛、嘴唇、下颌等部位分割出来；然后对分割出来的部分进行标记，比如，分割出来的眼睛标记为a，嘴唇标记为b，眉毛标记为c，下颌标记为d。
35.进一步地，所述将待识别的人脸图像数据输入优化后的卷积神经网络模型中，得到所述人脸图像的面部情绪特征数据，具体包括：将分割并标记后的人脸图像数据输入到训练好的卷积神经网络模型中；对标记的部位进行计算，综合所有部位的计算结果，得到在不同情绪下面部情绪特征的得分；将分值总和进行排序，最高分数对应的情绪即为待识别人脸图像数据的情绪分类结果；具体地，人脸情绪分为三类：中性、积极、消极；中性情绪为人在正常情况下的面部表现；积极情绪为人高兴时候的面部表现；消极情绪包括生气、愤怒、悲伤、惊讶等消极的情绪；举例说明，将待识别的人脸图像分割出来的眼睛标记为a，嘴唇标记为b，眉毛标记为c，下颌标记为d，分别计算在中性情绪、积极情绪、消极情绪下的眼睛a，嘴唇b，眉毛c，下颌d的得分，如在中性情绪下，眼睛a得分5，嘴唇b得分4，眉毛c得分4，下颌d得分3，在中性情绪下得分总和为16；在积极情绪下，眼睛a得分9，嘴唇b得分8，眉毛c得分7，下颌d得分6，在积极情绪下得分总和为30；在消极情绪下，眼睛a得分2，嘴唇b得分1，眉毛c得分5，下颌d得分4，在消极情绪下得分总和为12；排序可知，待识别人脸图像数据的情绪分类结果为积极情绪。
36.进一步地，所述卷积神经网络模型包括2个卷积层包括卷积层1和卷积层2；2个池化层包括池化层1和池化层2；2个全连接层包括全连接层1和全连接层2以及1个softmax层；具体地，卷积神经网络模型包括2个卷积层包括卷积层1和卷积层2，通过多个卷积和池化层可以提取整个面部或局部区域的更高和多层次的特征，且具有良好的面部表情图像特征的分类性能。
37.进一步地，所述卷积层1的卷积核数设为16，卷积核模板的大小为3
×
3，卷积层1后连接偏置层、激活函数层和池化层1，其中池化层1的池化核模板大小设为2
×
2；卷积层2的卷积核数设为32，卷积核大小为3
×
3；池化层2的池化核大小设为2
×
2；全连接层1的特征向量维度设为2048，全连接层2的特征向量维度设为512；softmax层的特征向量维度为7类。
38.图2为本发明实施例一提供的一种基于注意力机制的卷积神经网络面部情绪识别系统的结构示意图，如图2所示，基于注意力机制的卷积神经网络面部情绪识别系统，包括：
39.样本收集单元10：收集人脸图像数据，按比例分为训练集和测试集；卷积计算单元20：将训练集中的人脸图像数据输入卷积神经网络模型中进行特征学习，得到人脸面部情绪特征数据；优化单元30：在测试集中测试卷积神经网络模型，优化所述卷积神经网络模型的参数；识别单元40：将待识别的人脸图像数据输入优化后的卷积神经网络模型中，得到情绪分类结果。
40.具体地，样本收集单元10：收集人脸图像数据，按比例分为训练集和测试集；卷积计算单元20：将训练集中的人脸图像数据输入卷积神经网络模型中进行特征学习，得到人脸面部情绪特征数据；优化单元30：在测试集中测试卷积神经网络模型，优化所述卷积神经网络模型的参数；识别单元40：将待识别的人脸图像数据输入优化后的卷积神经网络模型中，得到情绪分类结果；本实施例能够实现识别用户情绪的变化，提高用户情绪识别的准确率，通过卷积神经网络的人脸微表情动作检测，利用多个卷积和池化层提高检测准确率，避免有效动作单元遗漏，提高了人脸识别的精度，从而可以大大增加人脸识别的可信度。
41.图3为本发明实施例二提供的一种基于注意力机制的卷积神经网络面部情绪识别系统的结构示意图，如图3所示，所述卷积计算单元20，具体包括：初始化单元201；将各权值、阈值，置成小的接近于0的随机值，并初始化精度控制参数eps＝1e-15和学习率0.05；第一计算单元202：从训练集中取一个输入模式加到网络，输入模式与每层的权值矩阵进行点乘运算，从而计算出各层输出，并给出它的输出向量；第二计算单元203：将输出向量中的元素与目标向量中的元素进行比较，计算出各层残差、权值和阈值；存储单元204：当模型平均准确率满足95％时保存模型。
42.图4为本发明实施例三提供的一种基于注意力机制的卷积神经网络面部情绪识别系统的结构示意图，如图4所示，所述系统包括：采集单元50：采集待识别的人脸图像数据；处理单元60：对所述人脸图像进行灰度转换，对灰度转换后的人脸图像进行长宽尺寸的校正，使所述人脸图像的长宽调整至预设的尺寸；标记单元70：对所述人脸图像按照预设的人脸部位规则进行分割，并对分割的部位进行标记。
43.图5为本发明实施例四提供的一种基于注意力机制的卷积神经网络面部情绪识别系统的结构示意图，如图5所示，所述识别单元40包括：分割单元401：将分割并标记后的人脸图像数据输入到训练好的卷积神经网络模型中；第三计算单元402：对标记的部位进行计算，综合所有部位的计算结果，得到在不同情绪下面部情绪特征的得分；排序单元403：将分
值进行排序，最高分数对应的情绪即为所述人脸图像的面部情绪特征数据。
44.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
45.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
46.在本技术所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
47.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
48.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
49.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、移动终端、服务器或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
50.最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。