融合SURF特征和卷积神经网络的小样本人脸表情识别方法

融合surf特征和卷积神经网络的小样本人脸表情识别方法
技术领域
1.本发明属于人脸识别技术领域，具体涉及一种融合surf特征和卷积神经网络的小样本人脸表情识别方法。


背景技术：

2.人脸表情识别技术被广泛应用于智能医疗、智能交通、公共安全和智能教育等领域。它有助于创造出更多能够识别人类情绪能力的智能机器人，也能够进一步用于检测疲劳驾驶和互动游戏开发。
3.传统的人脸表情识别方法大多基于手工制作的特征，采用预处理—特征提取—分类的方法。而目前的人脸表情识别方法大多基于深度学习方法，主要是使用各种深度神经网络实现特征提取和分类。但是这些深度神经网络的训练需要大量标注好的样本数据，样本的多少会直接影响着模型和网络训练后的效果。而且这种方法中人脸表情数据集由于具有自发表情诱导困难、样本难以采集等特殊性，从而导致数据样本有限，所以使用这些数据集训练出来的模型容易产生过拟合且模型的性能比较差。
4.虽然当前普遍采用数据增强技术在一定程度上扩充表情样本数量如旋转、光亮度变化、对比度变化等方法，但是使用这种方式扩充后的数据集进行训练的模型更容易产生过拟合现象。


技术实现要素：

5.本发明是为了解决上述问题而进行的，目的在于提供一种融合surf特征和卷积神经网络的小样本人脸表情识别方法。
6.本发明提供了一种融合surf特征和卷积神经网络的小样本人脸表情识别方法，具有这样的特征，包括如下步骤：步骤s1，将待测样本预处理形成预处理向量后输入预先训练好的人脸表情识别模型中；人脸表情识别模型由输入层、cnn网络模型、surf模型、softmax层以及结果处理层组成；步骤s2，将预处理向量通过输入层输入cnn网络模型得到第一特征向量，cnn网络模型由三个子模型以及一个第一平均层组成，平均层用于将预处理向量分别输入三个子模型中处理得到的结果进行平均从而形成第一特征向量；步骤s3，将预处理向量通过输入层输入surf模型得到第二特征向量，surf模型由三个surf子模型以及一个第二平均层组成，第二平均层进行平均从而形成第二特征模向量；步骤s4，将第一特征向量和第二特征向量分别输入softmax层得到相对应的第一概率值和第二概率值；步骤s5，将第一概率值和第二概率值输入结果处理层进行平均处理，得到预测概率值；步骤s6，将预测概率值最大的类别作为待测样本被预测出的类别。
7.在本发明提供的融合surf特征和卷积神经网络的小样本人脸表情识别方法中，还可以具有这样的特征：其中，子模型具有依次连接的多个卷积层、池化层以及dropout层，三个子模型的dropout层分别设有不同的dropout值。
8.在本发明提供的融合surf特征和卷积神经网络的小样本人脸表情识别方法中，还
可以具有这样的特征：其中，卷积层的数量为两个。
9.在本发明提供的融合surf特征和卷积神经网络的小样本人脸表情识别方法中，还可以具有这样的特征：其中，卷积层为3
×
3的过滤器。
10.在本发明提供的融合surf特征和卷积神经网络的小样本人脸表情识别方法中，还可以具有这样的特征：其中，输入层是像素为48
×
48的单通道灰度图像。
11.在本发明提供的融合surf特征和卷积神经网络的小样本人脸表情识别方法中，还可以具有这样的特征：其中，对待测样本的预处理是指将待测样本的图像大小统一为48
×
48。
12.在本发明提供的融合surf特征和卷积神经网络的小样本人脸表情识别方法中，还可以具有这样的特征：其中，人脸表情识别模型的训练过程如下：步骤a1，将训练样本中的人脸表情图像统一大小，并进行归一化处理得到零均值和单位方差的向量，作为预处理向量；步骤a2，构建初始模型；步骤a3，将预处理向量输入初始模型进行训练直到达到预定条件，从而得到训练后的初始模型作为人脸表情识别模型。
13.发明的作用与效果
14.根据本发明所涉及的融合surf特征和卷积神经网络的小样本人脸表情识别方法，通过使用surf特征和卷积神经网络的协同工作，首先通过卷积神经网络中的dropout层不同节点的保留概率筛选出相对合适的卷积神经网络，之后使用surf算法提取出表情图像的特征，提高小数据的性能，然后采用简单平均的方法对模型进行融合，从而减少误差、避免过拟合，实现使用少量样本就能训练模型且进一步提高了人脸表情识别的准确率。本发明一方面充分利用了surf不需要大量数据提取特征，提高小数据性能的优势；另一方面，通过融合两种方法解决神经网络中需要大量数据进行训练的问题，同时提高大数据中表情识别的准确率和小样本下表情识别的准确率。所以，本发明的融合surf特征和卷积神经网络的小样本人脸表情识别方法降低了在人脸表情识别过程中训练样本的成本，解决了cnn需要大量数据训练的问题，提高了小样本下表情识别的准确率。
附图说明
15.图1是本发明的实施例中融合surf特征和卷积神经网络的小样本人脸表情识别方法的流程图；
16.图2是本发明的实施例中人脸表情识别模型的结构；
17.图3是本发明的实施例中的人脸表情识别模型的训练过程的流程图。
具体实施方式
18.为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本发明融合surf特征和卷积神经网络的小样本人脸表情识别方法作具体阐述。
19.<实施例>
20.本实施例详细阐述一种融合surf特征和卷积神经网络的小样本人脸表情识别方法。
21.图1是本实施例中融合surf特征和卷积神经网络的小样本人脸表情识别方法的流
程图。
22.如图1所示，本实施例中的融合surf特征和卷积神经网络的小样本人脸表情识别方法包括如下步骤：
23.步骤s1，将待测样本预处理形成预处理向量后输入预先训练好的人脸表情识别模型中。
24.图2是本实施例中人脸表情识别模型的结构。
25.如图2所示，人脸表情识别模型由输入层、cnn网络模型、surf模型、softmax层以及结果处理层组成。
26.输入层是像素为48
×
48的单通道灰度图像。
27.图3是本实施例中的人脸表情识别模型的训练过程的流程图。
28.如图3所示，本实施例中的人脸表情识别模型的训练过程如下：
29.步骤a1，将训练样本中的人脸表情图像统一大小，并进行归一化处理得到零均值和单位方差的向量，作为预处理向量。
30.步骤a2，构建初始模型。
31.步骤a3，将预处理向量输入初始模型进行训练直到达到预定条件，从而得到训练后的初始模型作为人脸表情识别模型。
32.在本实施例中，对待测样本的预处理是指将待测样本的图像大小统一为48
×
48。
33.步骤s2，将预处理向量通过输入层输入cnn网络模型得到第一特征向量，cnn网络模型由三个子模型以及一个第一平均层组成，平均层用于将预处理向量分别输入三个子模型中处理得到的结果进行平均从而形成第一特征向量。
34.子模型具有依次连接的多个卷积层、池化层以及dropout层，三个子模型的dropout层分别设有不同的dropout值。
35.在本实施例中，卷积层的数量为两个，卷积层为3
×
3的过滤器，为了保持输入输出规格空间大小不变，在边框的周围添加了零填充padding。过滤器处理的矩阵深度也为1，应与当前神经网络节点矩阵的深度一致，连续使用32个过滤器与输入图像进行卷积得到32个特征图。
36.然后采用最大池化这种非线性下采样对卷积结果进行整合，用的是2*2的过滤器，可以对每个2*2的区域进行一次最大池化操作，接着添加一次最大池化层，可以使下一层卷积核的数量翻倍，得到卷积滤波器的数目分别为64、128和256。卷积层输出以后再输入给全连接层，在每个最大池化层之后引入一个dropout层来降低网络过拟合的风险。
37.步骤s3，将预处理向量通过输入层输入surf模型得到第二特征向量，surf模型由三个surf子模型以及一个第二平均层组成，第二平均层进行平均从而形成第二特征模向量。
38.步骤s4，将第一特征向量和第二特征向量分别输入softmax层得到相对应的第一概率值和第二概率值。
39.本实施例在人脸表情识别模型的最后阶段放置一个soft
‑
max层，这个层有7个输出。算法中采用dropout正则化的方式，从而能够很好地解决由于训练样本较少，学习到的特征不足而产生的过拟合方法。
40.为了获得更好的分类性能，可以使用多个卷积神经网络模型，改变其中dropout层
的概率，从而增加模型的多样性。
41.而在分类过程中要能够使用surf中的关键点描述符，就需要一个固定大小的向量，使用k
‑
means方法可以将描述符分组到一些集群中，然后通过计算每个集群中包含的描述符的数量形成一系列关键点，得到特征向量的大小为k，k向量通过4096全连接层和dropout层。
42.步骤s5，将第一概率值和第二概率值输入结果处理层进行平均处理，得到预测概率值。
43.本实施例中的平均处理为通过如下公式完成的简单平均：
[0044][0045]
式中：c表示得到的dropout值下的cnn模型，x
c
表示在c模型下的输入，c(e|x
c
)表示在c模型下判定为某一表情的概率；s表示得到的k值下的surf模型，x
s
表示在s模型下的输入，s(e|x
s
)表示在s模型下判定为某一表情的概率。p(e|x)表示相应的cnn和surf模型融合后得到的模型下判定为某一表情的概率。
[0046]
步骤s6，将预测概率值最大的类别作为待测样本被预测出的类别。
[0047]
根据被预测出的类别可以判断待测样本所属的表情类别，从而判断出待测样本中人脸的表情。
[0048]
实施例的作用与效果
[0049]
根据本发明所涉及的融合surf特征和卷积神经网络的小样本人脸表情识别方法，通过使用surf特征和卷积神经网络的协同工作，首先通过卷积神经网络中的dropout层不同节点的保留概率筛选出相对合适的卷积神经网络，之后使用surf算法提取出表情图像的特征，提高小数据的性能，然后采用简单平均的方法对模型进行融合，从而减少误差、避免过拟合，实现使用少量样本就能训练模型且进一步提高了人脸表情识别的准确率。本发明一方面充分利用了surf不需要大量数据提取特征，提高小数据性能的优势；另一方面，通过融合两种方法解决神经网络中需要大量数据进行训练的问题，同时提高大数据中表情识别的准确率和小样本下表情识别的准确率。所以，本发明的融合surf特征和卷积神经网络的小样本人脸表情识别方法降低了在人脸表情识别过程中训练样本的成本，解决了cnn需要大量数据训练的问题，提高了小样本下表情识别的准确率。
[0050]
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。