表情强度变化的人脸表情识别方法、系统及存储介质

1.本发明属于表情识别技术领域，更具体地，涉及一种强度变化的人脸表情识别方法及其应用。


背景技术：

2.面部表情作为最重要的非语言交流手段之一，可以传达自己内心的情感。为了使计算机理解各种面部表情，人脸表情识别已经成为计算机视觉领域的研究热点之一。
3.图卷积神经网络，是一种在图数据结构上进行卷积操作的神经网络，它的提出源于深度学习中的卷积神经网络，但它可以用于卷积神经网络不擅长的非欧几里德域。图卷积神经网络，继承了深度学习的大部分优点，对图的节点、边或子图表现出很强的流形表示能力。
4.现有的大多数深度学习方法主要集中在峰值表情的人脸表情识别，当应用于非峰值表情的人脸表情识别时，现有方法的表现都会受到很大挑战。当表情强度相较于峰值表情产生大范围变化时，人脸表情的类内距离也会相应增大。此外，当表情强度较弱时，人的面部动作变化也是细微的，难以区分的。同时又由于有标签数据的不足，模型得不到充足数据的训练，其泛化能力自然也存在不足。这些问题导致现有的方法在应用时都存在局限性，识别精度低。利用图神经网络的优点有利于解决以上问题，而现有技术上尚无公开的方法如何进一步优化图神经网络用于强度变化的表情识别。


技术实现要素：

5.针对现有技术的至少一个缺陷或改进需求，本发明提供了一种表情强度变化的人脸表情识别方法、系统及存储介质，能够充分利用强度相似表情之间的局部信息、峰值表情与非峰值表情之间的峰导信息，能够有效提高强度变化表情的分类精度。
6.为实现上述目的，按照本发明的第一方面，提供了一种表情强度变化的人脸表情识别方法，包括：
7.获取数据样本集，所述数据样本集包括峰值表情样本和非峰值表情样本；
8.提取所述数据样本集中样本的特征向量，所有样本的特征向量组成特征矩阵；
9.对每个样本，计算其与其他样本间的距离，取与其距离最近的多个样本作为其第一邻居样本，根据每两个样本间是否存在第一邻居关系构建第一邻接矩阵；对每个样本，计算其与其他峰值表情样本间的距离，取与其距离最近的多个样本作为其第二邻居样本，根据每两个样本间是否存在第二邻居关系构建第二邻接矩阵；
10.将所述特征矩阵、所述第一邻接矩阵和所述第二邻接矩阵输入到图卷积神经网络进行训练。
11.进一步地，所述构建第一邻接矩阵包括：
12.将第i个样本记为xi，将第一邻接矩阵中第i行第j列的值记为若样本xj是样本
xi的第一邻居样本，则否则
13.进一步地，所述构建第二邻接矩阵包括：
14.将第i个样本记为xi，将第二邻接矩阵中第i行第j列的值记为若样本xj是样本xi的第二邻居样本，则否则
15.进一步地，所述图卷积神经网络包括融合模块、图卷积模块和分类模块，所述输入到图卷积神经网络进行训练包括步骤：
16.将所述第一邻接矩阵和所述第二邻接矩阵输入到所述融合模块进行加权融合，获得加权邻接矩阵；
17.将所述特征矩阵、所述加权邻接矩阵输入到所述图卷积模块；
18.将所述图卷积模块的输出数据输入到所述分类模块。
19.进一步地，所述第一邻接矩阵中包含样本相似样本间的局部信息，所述第二邻接矩阵中包含非峰值样本与峰值样本间的峰导信息，调整所述第一邻接矩阵和所述第二邻接矩阵的加权权重参数。
20.进一步地，所述图卷积神经网络包括第一图卷积模块、第二图卷积模块、注意力模块和分类模块，所述输入到图卷积神经网络进行训练包括步骤：
21.将所述特征矩阵、所述第一邻接矩阵输入到所述第一图卷积模块；
22.将所述特征矩阵、所述第二邻接矩阵输入到所述第二图卷积模块；
23.将所述第一图卷积模块、所述第二图卷积模块的输出数据输入到所述注意力模块；
24.将所述注意力模块的输出数据输入到所述分类模块。
25.进一步地，所述计算其与其他样本间的距离、所述计算其与其他峰值表情样本间的距离均为计算欧氏距离。
26.进一步地，提取特征向量前对样本进行预处理，所述预处理包括：
27.通过人脸特征点来确定输入图像中可见的眼睛中心以及嘴巴中心的位置；
28.计算输入图像和对齐图像点与点之间的变换矩阵t，变换矩阵t的计算公式为：
29.设为对齐图像的水平中心，w为对齐图像的水平宽度，为头部姿态角度，
30.s1＝s
mouth
，
[0031][0032]
其中，s1、s
mouth
为原始图像中嘴巴中心的坐标，t1为对齐图像中嘴巴中心的坐标，s2为输入图像中眼睛中心的坐标，t2为对齐图像中眼睛中心的坐标，s
l.eye
为输入图像左眼中
心的坐标，s
r.eye
为输入图像右眼中心的坐标，x
center
为对齐图像的水平中心，y
eyes
为对齐图像眼睛的水平中心，d
xmouth
为对齐图像中嘴巴的水平宽带，y
mouth
为对齐图像中嘴巴中心的纵坐标，当一只眼睛在不可见位置的时候，可见的眼睛的坐标用s
v.eye
来表示，s
mouth
表示嘴巴中心的坐标，在输入图像中只有一只眼睛可见的情况下，s2＝s
v.eye
。
[0033]
按照本发明的第二方面，提供了一种表情强度变化的人脸表情识别系统，包括：
[0034]
获取模块，用于获取数据样本集，所述数据样本集包括峰值表情样本和非峰值表情样本；
[0035]
特征提取模块，用于提取所述数据样本集中每个样本的特征向量，所有样本的特征向量组成特征矩阵；
[0036]
邻接矩阵构建模块，用于对每个样本，计算其与其他样本间的距离，取与其距离最近的多个样本作为其第一邻居样本，根据每两个样本间是否存在第一邻居关系构建第一邻接矩阵；对每个样本，计算其与其他峰值表情样本间的距离，取与其距离最近的多个样本作为其第二邻居样本，根据每两个样本间是否存在第二邻居关系构建第二邻接矩阵；
[0037]
训练模块，用于将所述特征矩阵、所述第一邻接矩阵和所述第二邻接矩阵输入到图卷积神经网络进行训练。
[0038]
按照本发明的第三方面，提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项方法。
[0039]
总体而言，本发明与现有技术相比，具有有益效果：
[0040]
(1)本发明充分利用了非峰值样本与峰值样本间的峰导信息来构建第二邻接矩阵中，通过缩小峰值表情和非峰值表情在空间上的距离，提升表情的识别精度；
[0041]
(2)本发明利用加权邻接矩阵的子空间融合模型将第一邻接矩阵与第二邻接矩阵进行融合，在利用峰导信息的同时，还考虑了强度相似表情之间的局部信息，充分利用了数据样本中不同强度表情的有效信息；
[0042]
(3)本发明还采用注意力机制的子空间融合模型，与加权邻接矩阵的子空间融合方法相比，注意力机制提供了可训练的权重，以另一种方式促进了峰值表情信息与强度相似表情之间峰导信息的有效融合，大大提高了人脸表情识别任务的正确率和鲁棒性。
[0043]
(4)本发明利用了图卷积神经网络这样的半监督神经网络，使得在使用较少有标签数据的情况下，取得较好的识别精度，减轻样本的标注负担。
附图说明
[0044]
图1是本发明实施例的强度变化的人脸表情识别方法的流程图；
[0045]
图2是本发明实施例的第一邻接矩阵示意图；
[0046]
图3是本发明实施例的第二邻接矩阵示意图；
[0047]
图4是本发明实施例的图卷积神经网络模块示意图；
[0048]
图5是本发明实施例的加权邻接矩阵的子空间融合模型的网络结构图；
[0049]
图6是本发明实施例的注意力机制的子空间融合模型的模型网络结构图。
具体实施方式
[0050]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对
本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0051]
如图1所示，本发明实施例的一种表情强度变化的人脸表情识别方法，包括步骤：
[0052]
s101，获取数据样本集，数据样本集包括峰值表情样本和非峰值表情样本。
[0053]
人脸表情中，除了基本表情类别(愤怒，厌恶，恐惧，快乐，悲伤和惊讶)外，还隐藏了表情强度，例如快乐的程度。峰值表情样本是指一类表情中程度最强的图片样本，除了峰值表情样本以外的样本为非峰值表情样本。
[0054]
进一步地，输入到下一步骤进行特征提取前，先对样本进行预处理，数据预处理方法步骤如下：
[0055]
根据人脸特征点裁剪人脸区域并且做归一化；
[0056]
进一步地，人脸裁剪与归一化的具体步骤为：通过人脸特征点来确定输入图像中可见的眼睛中心以及嘴巴中心的位置；计算输入图像和对齐图像点与点之间的变换矩阵t，变换矩阵t的计算公式为：
[0057]
设为对齐图像的水平中心，w为对齐图像的水平宽度，为头部姿态角度。输入和对齐图像中的位置计算如下：
[0058]
s1＝s
mouth
，
[0059][0060]
其中，s1、s
mouth
为原始图像中嘴巴中心的坐标，t1为对齐图像中嘴巴中心的坐标，s2为输入图像中眼睛中心的坐标，t2为对齐图像中眼睛中心的坐标，s
l.eye
为输入图像左眼中心的坐标，s
r.eye
为输入图像右眼中心的坐标，x
center
为对齐图像的水平中心，y
eyes
为对齐图像眼睛的水平中心，d
xmouth
为对齐图像中嘴巴的水平宽带，y
mouth
为对齐图像中嘴巴中心的纵坐标。当一只眼睛在不可见位置的时候，可见的眼睛的坐标用s
v.eye
来表示，s
mouth
表示嘴巴中心的坐标。在受试者只有一只眼睛可见的情况下，则使用可见的眼睛坐标s
v.eye
替代即当受试者只有一只眼睛可见的情况下，s2＝s
v.eye
。变换矩阵t是通过由两点对应给出的线性方程组求解得到的。该对齐方法适用于头部姿势大范围变化下的人脸对齐。
[0061]
s102，提取数据样本集中每个样本的特征向量，所有样本的特征向量组成特征矩阵。
[0062]
进一步地，样本的特征提取优选采用以下三种方式中的一种。
[0063]
(1)利用lbp算子的特征提取方法。
[0064]
lbp是一种用来描述图像局部纹理特征的算子，它具有旋转不变性和灰度不变性
等显著的优点。lbp算子的计算具体为：在3*3的窗口内，以窗口中心像素点的灰度值为阈值，再将周围的八个像素点的灰度值与其进行比较，若大于中心像素点的灰度值则被标记为1，否则为0。这样，3*3邻域内的8个像素点经过比较后，可以产生8位二进制数。通常会将其转换成十进制数，即lbp码，共256种。最终就能够得到该窗口中心像素点的lbp值，并用这个值来反映该区域的纹理信息。用公式表示就是：
[0065][0066]
其中，i(p)表示窗口中除了中心像素之外的第p个像素点的灰度值，i(c)表示中心像素点的灰度值，s(
·
)为门限函数，公式表示如下：
[0067][0068]
由于lbp记录的是邻域像素点和中心像素点的差值，因此当光照变化引起窗口内的像素点的灰度值同步增大或者减小时，lbp值变化不明显，故而lbp对光照变化不敏感。
[0069]
(2)利用公开且已训练好的人脸模型直接提取所有数据样本特征的深度特征提取法。
[0070]
在本实施例的这种特征提取方法中，使用了resnet18网络模型读取预先训练好的人脸模型ms-celeb-1m中的网络参数，将所有的数据样本直接输入到整个网络中，输出整个网络中的最后一层全连接层前的512维向量，作为本实施例中数据样本的深度特征。
[0071]
(3)利用有标签样本对预先训练好的人脸模型ms-celeb-1m进行微调，得到深度模型，最后利用得到的深度模型提取所有数据样本的深度嵌入特征。
[0072]
在本实施例的这种特征提取方法中，同样使用了resnet18网络模型读取预先训练好的人脸模型ms-celeb-1m中的网络参数，将所有有标签的样本作为resnet18模型的训练集数据，对整个网络的参数进行微调，得到相对本实施例中使用的数据样本的微调深度模型。再将所有的数据样本直接输入到本特征提取方法的微调深度模型中，输出整个网络中的最后一层全连接层前的512维向量，作为当前数据样本的深度嵌入特征。
[0073]
以上三种特征提取方法，得到的特征均可作为本实施例中样本的特征向量。
[0074]
s103，对每个样本，计算其与其他样本间的距离，取与其距离最近的多个样本作为其第一邻居样本，根据每两个样本间是否存在第一邻居关系构建第一邻接矩阵；对每个样本，计算其与其他峰值表情样本间的距离，取与其距离最近的多个样本作为其第二邻居样本，根据每两个样本间是否存在第二邻居关系构建第二邻接矩阵。
[0075]
邻接矩阵以矩阵中第i行第j列的数的值，来表示图中第i个节点与第j个节点的连接关系，若为1则表示有连接，若为0则无连接。
[0076]
通过构建第一邻接矩阵，可以充分利用样本与其相似样本之间的局部信息，即在特征空间中，与目标样本邻接的其他样本信息。通过构建第二邻接矩阵，可以充分利用非峰值样本与峰值样本间的峰导信息，即在特征空间中，与目标样本邻接的峰值表情信息。
[0077]
进一步地，计算样本与其他样本间的距离、计算样本与其他峰值表情样本间的距离优选采用欧氏距离。但也可采用其他表示差异性的距离计算公式来实现。
[0078]
下面具体说明第一邻接矩阵和第二邻接矩阵构建的优选实现方法。
[0079]
(1)构建第一邻接矩阵。
[0080]
构建第一邻接矩阵的原理如图2所示，对经过数据预处理的图片样本，根据特征向量之间的欧氏距离，构建图片样本之间的局部保持投影邻接矩阵。
[0081]
任取一个图片样本xi，计算其与其他所有图片样本之间的欧氏距离，取最近的k个图片样本作为第一邻居样本，在一个实施例中，k＝20。若样本xj是样本xi的第一邻居，即xj∈n(xi，k)。则样本xj与样本xi之间的连接关系(第一邻居关系)用1来表示，若两个样本之间没有第一邻居关系则用0表示。最终得到第一邻接矩阵也即局部保持投影邻接矩阵，公式表达如下：
[0082][0083]
将第一邻接矩阵记为a
l
，为a
l
中第i行的第j列的数值。
[0084]
(2)构建第二邻接矩阵。
[0085]
构建第二邻接矩阵的原理如图3所示，对经过数据预处理的图片样本，根据特征向量之间的欧氏距离，构建图片样本之间的第二邻接矩阵。
[0086]
任取一个图片样本xi，计算其与其他所有峰值表情样本之间的欧氏距离，取最近的k个峰值表情样本作为第二邻居样本，在一个实施例中，k＝20。若样本xj是样本xi的第二邻居，即xj∈n(xi，k)，且样本xj是峰值表情，即xj∈x
p
。则样本xj与样本xi之间的连接关系(第二邻居关系)用1来表示，若两个样本之间没有第二邻居关系则用0表示。最终得到第二邻接矩阵也即第二邻接矩阵，公式表达如下：
[0087][0088]
将第一邻接矩阵记为a
p
，为a
p
中第i行的第j列的数值。
[0089]
s104，将特征矩阵、第一邻接矩阵和第二邻接矩阵输入到图卷积神经网络进行训练。
[0090]
构建图神经网络识别模型。将图片样本和邻接矩阵输入到预先构建的识别模型进行训练，训练时最小化训练样本真实标签与训练样本模型预测标签之间的交叉熵损失。由于图卷积神经网络的输入数据中除了特征矩阵外，还包括第一邻接矩阵和第二邻接矩阵，因此能够充分利用强度相似表情之间的局部信息、峰值表情与非峰值表情之间的峰导信息，能够有效提高强度变化表情的分类精度。
[0091]
图神经网络识别模型的结构可以有多种不同的实现方式，例如加权邻接矩阵的子空间融合模型或注意力机制的子空间融合模型。
[0092]
在一个实施例中，图卷积神经网络包括融合模块、图卷积模块和分类模块，输入到图卷积神经网络进行训练包括步骤：将第一邻接矩阵和第二邻接矩阵输入到融合模块进行加权融合，获得加权邻接矩阵；将特征矩阵、加权邻接矩阵输入到图卷积模块；将图卷积模
块的输出数据输入到分类模块。
[0093]
其中加权邻接矩阵构建模块用于将样本之间的局部信息与峰值表情和非峰值表情之间的峰导信息，以邻接矩阵的形式进行融合。送入图卷积神经网络模块，将局部信息与峰导信息进行聚合，包括步骤：
[0094]
(1)构建加权邻接矩阵
[0095]
图4是加权邻接矩阵的子空间融合模块的网络结构图，整个模型首先将第一邻接矩阵与第二邻接矩阵，进行融合。融合的方式是以矩阵加法的形式进行，同时两种邻接矩阵各有一个经验设置的权重参数，用以调整，寻找最佳的融合比例。具体的公式表现如下：
[0096]at
＝γ1a
l
+γ2a
p
[0097]
其中参数γ1与γ2的分别是第一邻接矩阵和第二邻接矩阵的权重，两者的取值集合为{0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9，1.0}，在一个实施例中，γ1＝1，γ2＝0.1。
[0098]
得到的加权邻接矩阵，能够同时包含强度相似样本之间的局部信息以及非峰值表情与峰值表情之间的峰导信息。并且得益于两个参数γ1、γ2的灵活取值，使得在加权邻接矩阵能够权衡局部信息与峰导信息之间的比重。
[0099]
(2)将样本数据的特征矩阵与加权邻接矩阵，送入图卷积模块和分类模块。
[0100]
图卷积模块包括两层卷积操作，
[0101][0102]
图卷积模块的输入包括由每个数据样本的特征向量组成的特征矩阵和保存邻接关系的邻接矩阵。其中h
(0)
＝x
t
正是输入到图卷积模块中的特征矩阵，若每个节点的特征表示xi，节点数为n，特征维度为512，则x
t
就是一个n*512的矩阵。h
(h)
是神经网络中第h层的输出。w
(h)
是神经网络中第h层的可训练权重矩阵。而则是输入到图卷积模块中的邻接矩阵a的归一化形式，其具体计算公式如下：
[0103][0104]
其中in是n维的单位矩阵。是的度矩阵，是一个对角阵，对角上的元素为各个顶点的度，其中顶点的度，其中为中第i行第i列的值，为中第i行第j列的值。而σ是非线性激活函数，如神经网络中常用relu函数，σ(x)＝relu(x)。
[0105]
由于图卷积神经网络是以半监督方式训练的，训练数据集被重新定义为其中是数据集中有标签的样本，而是数据集中无标签的样本。
[0106]
特别说明的是，在加权邻接矩阵的子空间融合模型中，所有样本数据组成的特征矩阵经过第一层图卷积层后，得到的嵌入特征矩阵维度为n*16，再经过第二层图卷积层后，得到n*6的嵌入特征矩阵。在经过一层soft-max层就得到了所有样本的类别概率分布。
[0107]
特别说明的是，在本发明中，使用的图卷积模块均具有两层图卷积层，使用的激活函数也均是relu函数。
[0108]
在另一个实施例中，图卷积神经网络包括第一图卷积模块、第二图卷积模块、注意力模块和分类模块，输入到图卷积神经网络进行训练包括步骤：将特征矩阵、第一邻接矩阵输入到第一图卷积模块；将特征矩阵、第二邻接矩阵输入到第二图卷积模块；将第一图卷积
模块、第二图卷积模块的输出数据输入到注意力模块；将注意力模块输出数据输入到分类模块。
[0109]
其中注意力模块，将使用局部信息的图卷积神经网络模块和使用峰导信息的图卷积神经网络模块的输出特征进行融合，在特征级上把样本之间的局部信息与峰值表情和非峰值表情之间的峰导信息进行融合，包括步骤：
[0110]
(1)将数据样本的特征矩阵，分别与第一邻接矩阵和第二邻接矩阵送入两个图卷积模块。
[0111]
这两个图卷积模块分别聚合了强度相似样本之间的局部信息和峰值表情与非峰值表情之间的峰导信息后，对于单个样本来说，输入进图卷积模块的维度为512，经过第一个图卷积层后，特征维度仍然是512，在送入第二个图卷积层，其输出的嵌入特征维度为128。
[0112]
(2)利用注意力机制
[0113]
如图6所示，两个图卷积模块输出的n*128的嵌入特征矩阵被输入到注意力模块中，进行融合。融合得到的融合特征仍然是128维，可以表示成：
[0114]
fc＝α1f1+α2f2[0115]
其中，α1和α2就是自注意力权重，fc为融合后的向量，f1、f2分别为两个图卷积模块的数据向量，可以通过下面的公式定义的一个soft-max激活的前馈神经网络来学习。
[0116][0117]
其中w是前馈神经网络中的可训练权重值，i指的是特征向量中第i维，σ是一个relu函数。最后融合特征输入到一个能将128维降到6维的全连接层进行表情分类。
[0118]
进一步地对图卷积神经网络以交叉熵损失进行约束，以最优化模型中可训练的网络参数。其中交叉熵损失可以表示如下：
[0119][0120]
其中n是无标签数据样本的个数，《
·
，
·
》代表内积运算，y是样本的真实标签分布，为one-hot形式，是模型对样本预测类别的概率分布，而log()是以e为底的对数函数。再最小化交叉熵损失l的过程中，能够优化模型中的可训练参数，从而提高模型的性能。
[0121]
在一个实施例中，采用了oulu-casia表情库。该表情库收集了80个被试者在3种不同光照条件下的6个基本表情(愤怒，厌恶，恐惧，快乐，悲伤和惊讶)。本实验共记录了480条正常光照条件下的表情序列。每个序列以中性表情开始，以峰值表情结束。
[0122]
本发明选取了所有的被试者，每个被试者有6种表情序列。但是每个序列中只选取第7张图片到最后一张图片作为网络模型的数据输入。其中每个序列的第7、8、9张图片样本作为非峰值表情，最后3张图片样本作为峰值表情。最终，共计7499张人脸表情图像作为输入。采用十折交叉验证，将样本以被试者为单位平均分成10份，每次选取72位被试者的所有人脸表情图片样本作为有标签数据，剩余8位被试者所有人脸表情图片样本作为无标签数据，最终计算所有无标签数据的识别精度。
[0123]
在oulu-casia数据集上，采用十折交叉验证时的非峰值表情，峰值表情以及所有强度的表情识别精度在加权邻接矩阵的子空间融合模型下分别为76.66％、91.01％、85.27％，在注意力机制的子空间融合模型下分别为76.69％、91.68％、85.53％，优于现有其他深度学习方法的识别结果，表明本发明提供方法能有效的抑制强度变化对人脸表情识别带来的干扰。
[0124]
同时为了验证本发明在较少标签数据下的识别性能，本发明采还用了五折交叉验证，将样本以被试者为单位平均分成5份，每次选取16位被试者的所有人脸表情图片样本作为有标签数据，剩余64位被试者所有人脸表情图片样本作为无标签数据，最终计算所有无标签数据的识别精度。
[0125]
在oulu-casia数据集，采用五折交叉验证时上的非峰值表情，峰值表情以及所有强度的表情识别精度在加权邻接矩阵的子空间融合模型下分别为65.93％、80.70％、74.41％，在注意力机制的子空间融合模型下分别为66.06％、81.14％、74.96％，本发明在较少有标签数据情况下的识别结果也能高于部分现有的使用了更多的有标签数据的深度学习方法，表明本发明提供方法能够在只有较少有标签数据的情况下，取得不错的结果。
[0126]
本发明实施例的一种表情强度变化的人脸表情识别系统，包括获取模块、特征提取模块、邻接矩阵构建模块和训练模块。
[0127]
获取模块，用于获取数据样本集，数据样本集包括峰值表情样本和非峰值表情样本；
[0128]
特征提取模块，用于提取数据样本集中每个样本的特征向量，所有样本的特征向量组成特征矩阵；
[0129]
邻接矩阵构建模块，用于对每个样本，计算其与其他样本间的距离，取与其距离最近的多个样本作为其第一邻居样本，根据每两个样本间是否存在第一邻居关系构建第一邻接矩阵；对每个样本，计算其与其他峰值表情样本间的距离，取与其距离最近的多个样本作为其第二邻居样本，根据每两个样本间是否存在第二邻居关系构建第二邻接矩阵；
[0130]
训练模块，用于将特征矩阵、第一邻接矩阵和第二邻接矩阵输入到图卷积神经网络进行训练。
[0131]
进一步地，构建第一邻接矩阵包括：
[0132]
将第i个样本记为xi，将第一邻接矩阵中第i行第j列的值记为若样本xj是样本xi的第一邻居样本，则否则
[0133]
进一步地，根据两个样本间是否存在第二邻居关系构成第二邻接矩阵包括：
[0134]
将第i个样本记为xi，将第二邻接矩阵中第i行第j列的值记为若样本xj是样本xi的第二邻居样本，则否则
[0135]
进一步地，图卷积神经网络包括融合模块、图卷积模块和分类模块，输入到图卷积神经网络进行训练包括步骤：
[0136]
将第一邻接矩阵和第二邻接矩阵输入到融合模块进行加权融合，获得加权邻接矩阵；
[0137]
将特征矩阵、加权邻接矩阵输入到图卷积模块；
[0138]
将图卷积模块的输出数据输入到分类模块。
[0139]
进一步地，图卷积神经网络包括第一图卷积模块、第二图卷积模块、注意力模块和分类模块，输入到图卷积神经网络进行训练包括步骤：
[0140]
将特征矩阵、第一邻接矩阵输入到第一图卷积模块；
[0141]
将特征矩阵、第二邻接矩阵输入到第二图卷积模块；
[0142]
将第一图卷积模块、第二图卷积模块的输出数据输入到注意力模块；
[0143]
将注意力模块输出数据输入到分类模块。
[0144]
系统的实现原理、技术效果与上述方法类似，此处不再赘述。
[0145]
本发明实施例还提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现上述任一表情强度变化的人脸表情识别方法实施例的技术方案。其实现原理、技术效果与上述方法类似，此处不再赘述。
[0146]
必须说明的是，上述任一实施例中，方法并不必然按照序号顺序依次执行，只要从执行逻辑中不能推定必然按某一顺序执行，则意味着可以以其他任何可能的顺序执行。
[0147]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。