本发明属于图像处理技术领域，具体涉及一种基于正交实验分析的深度学习人脸图像扩充方法。
背景技术：
人脸识别是一种生物特征识别技术，卷积神经网络的提出进一步提高了人脸识别率，由于其可靠性强，识别率高等优点，人脸识别具有广泛的应用前景。文献“aunifiedembeddingforfacerecognitionandclustering.inproc.cvpr,2015，p815-823”公开了一种基于深度学习的人脸识别方法。该方法以大量人脸图片作为输入，通过深度卷积神经网络学习人脸特征，将人脸图像映射到欧式空间，空间距离的长度表示人脸图像的相似性，通过比较人脸图像的空间距离长度完成人脸识别。然而，该方法在训练深度卷积神经网络时使用了大量人脸图像，在实际应用中采集人脸图像效率低、耗时长，获取大量的人脸图像数据比较困难。对人脸图像进行扩充是一种有效的方法，但人脸图像扩充方法复杂多样。因此分析不同扩充方法对人脸识别率的影响，确定最佳的扩充方法是十分必要的。
技术实现要素：
本发明所要解决的技术问题在于克服上述现有技术的缺点，提供一种人脸图像获取简单、效率高、人脸识别效果好的基于正交实验分析的深度学习人脸图像扩充方法。
解决上技术问题所采用的技术方案由下述步骤组成：
(1)扩充人脸图像
建立原始人脸图像数据库i为：
i＝{ik|k∈[1,n]}(1)
其中n是初始人脸图像的总数量为有限的正整数，ik为一幅人脸图像，k为原始人脸图像数据库i中图像的编号。
使用不同的数据扩充方法对原始人脸图像数据库i进行扩充，数据扩充方法采用现有的图像处理方法，包括图像旋转、图像放大、图像平移、亮度增强、均值滤波、中值滤波、高斯滤波、双边滤波，得到扩充后的人脸数据集：
式中
经扩充后的人脸数据集作为训练集如下：
d＝{(ii′,ti)|i∈[1,u]}(3)
式中ii′为待训练的人脸图像，ti为ii′相应的人脸标签，u是d中图片的总数量为有限的正整数，i为d中图像的编号。
(2)训练深度卷积神经网络
卷积神经网络包括输入层(1)、13个卷积层(2)，5个池化层(3)、3个全连接层(4)、输出层(5)，连接关系如下：
输入层(1)是大小为224×224的人脸图像，输入层(1)后依次连接2个含有64个特征图的卷积层(2)，含有64个特征图的卷积层(2)后连接含有64个特征图的池化层(3)，含有64个特征图的池化层(3)后依次连接2个含有128个特征图的卷积层(2)，含有128个特征图的卷积层(2)后连接含有128个特征图的池化层(3)，含有128个特征图的池化层(3)后依次连接3个含有256个特征图的卷积层(2)，含有256个特征图的卷积层(2)后连接含有256个特征图的池化层(3)，含有256个特征图的池化层(3)后依次连接3个含有512个特征图的卷积层(2)，含有512个特征图的卷积层(2)后连接含有512个特征图的池化层(3)，含有512个特征图的池化层(3)后依次连接3个含有512个特征图的卷积层(2)，含有512个特征图的卷积层(2)后连接含有512个特征图的池化层(3)，含有512个特征图的池化层(3)后依次连接全连接层(4)和输出层(5)，构建成深度卷积神经网络。
将扩充后的人脸图像数据集作为训练数据输入到深度卷积神经网络中进行训练，训练过程如下：
式中w(m,n)是卷积层(2)中卷积核的元素，m、n分别为卷积核的第m行、第n列，c(x,y)是巻积操作后的输出矩阵在第x行第y列的元素，s为卷积核的大小，b为卷积层的偏置值；用公式(5)对卷积层得到的特征图进行下采样操作。
p(x,y)＝max(c(x+m′,y+n′))(5)
式中p(x,y)是池化层输出矩阵的元素，m′、n′是下采样操作所采取的步长为有限的正整数；用公式(6)得到全连接层(4)的输出：
式中，fq表示在神经元q处的输出，w′为全连接层的权重矩阵，s′为权重矩阵的大小，b′为全连接层的偏置值。
用公式(7)作为网络的损失函数，使用小批量梯度下降算法来训练深度卷积神经网络：
式中m是一个批次中训练图片的数量为有限的正整数，j为输出层(5)神经元的数量，q和z为神经元的编号。
在训练过程中使用反向传播方法更新深度卷积神经网络的权重wt′如下：
式中μ为动量，δvt-1为迭代次数为t-1时更新的权重变化量，α是学习率为0.0005～0.005，wt是迭代次数为t时的权重。
(3)正交实验
用图像旋转、图像放大、图像平移、亮度增强、均值滤波、中值滤波、高斯滤波、双边滤波作为不同因素，不同水平组合的数据扩充方法对原始人脸图像数据库i进行扩充，并进行正交实验，训练深度卷积神经网络，确定相应的人脸识别率，用极差分析法对正交实验的结果进行分析，确定最佳的人脸数据扩充方法，对原始人脸图像数据库进行扩充，重新训练深度卷积神经网络。
(4)优化深度卷积神经网络
调整深度卷积神经网络的层数、学习率、每层网络的卷积核个数和大小，重复实验，选择人脸识别率最高的模型，对参数及训练好的模型保存。
在本发明的扩充人脸图像步骤(1)中，本发明的图像旋转是将图像顺时针或逆时针旋转10°～40°，图像放大是将原图像放大1.2～1.8倍，图像平移是将图像向左或向右平移12～24个像素、向上或向下平移10～20个像素，亮度增强是将亮度增加为原图像的1.2～1.8倍。
采用均值滤波器进行滤波，均值滤波器的大小为3×3～5×5，采用中值滤波器进行滤波，中值滤波器的大小为3×3～7×7，采用高斯滤波器进行滤波，高斯滤波器的大小为3×3～7×7，采用双边滤波器进行滤波，双边滤波器的大小为3×3～7×7。
在本发明的训练深度卷积神经网络步骤(2)中，本发明的卷积层(2)中卷积核的大小为3×3，卷积操作的步长为1、边缘填充的像素数量为1。本发明的池化层(3)中滤波器的大小为2×2、下采样操作的步长为2、边缘填充的像素数量为。本发明的全连接层(4)的特征图数量依次为4096、4096、54。
本发明针对不同的人脸图像扩充方法，采用正交实验分析了不同扩充方法对人脸识别率的影响，确定了最佳的人脸图像扩充方法，容易获得大量人脸图像数据，解决了实际应用中人脸采集耗时长、效率低的问题，同时采用深度卷积神经网络对扩充后的人脸图像进行训练，解决了人脸识别方法在实际应用中识别率低的技术问题。可推广到解决其他深度学习所用的图像数据不足的技术问题中。
附图说明
图1是本发明实施例1的流程图。
图2是实施例1的深度卷积神经网络的结构示意图。
具体实施方式
下面结合附图和实施例对本发明进一步详细说明，但本发明不限于下述的实施例。
实施例1
以54人的班级使用人脸识别进行课堂考勤为例，在图1中，本实施例的基于正交实验分析的深度学习人脸图像扩充方法由以下步骤组成：
(1)扩充人脸图像
教师在每学期前10节课采集学生的人脸图像，建立原始人脸图像数据库i为：
i＝{ik|k∈[1,n]}(1)
式中n是初始人脸图像的总数量为540，ik为一幅人脸图像，k为原始人脸图像数据库i中图像的编号。使用不同的数据扩充方法对原始人脸图像数据库i进行扩充，本实施例的数据扩充方法采用现有的图像处理方法，包括图像旋转、图像放大、图像平移、亮度增强、均值滤波、中值滤波、高斯滤波、双边滤波，本实施例图像旋转是将图像顺时针旋转25°，图像放大是将图像放大1.5倍，图像平移是将图像向右平移18个像素、向下平移15个像素，亮度增强是将亮度增加为原图像的1.5倍，采用均值滤波器进行滤波，均值滤波器的大小为4×4，采用中值滤波器进行滤波，中值滤波器的大小为5×5，采用高斯滤波器进行滤波，高斯滤波器的大小为5×5，采用双边滤波器进行滤波，双边滤波器的大小为5×5。得到扩充后的人脸数据集：
式中
训练所用的人脸图像数据集为
d＝{(ii′,ti)|i∈[1,u]}(3)
式中ii′为待训练的人脸图像，ti为ii′相应的学生学号，u是d中图片的总数量为4320，i为d中图像的编号。
(2)训练深度卷积神经网络
卷积神经网络包括输入层1、13个卷积层2，5个池化层3、3个全连接层4、输出层5，连接关系如下：
在图2中，输入层1是大小为224×224的人脸图像，输入层1后依次连接2个含有64个特征图的卷积层2，含有64个特征图的卷积层2后连接含有64个特征图的池化层3，含有64个特征图的池化层3后依次连接2个含有128个特征图的卷积层2，含有128个特征图的卷积层2后连接含有128个特征图的池化层3，含有128个特征图的池化层3后依次连接3个含有256个特征图的卷积层2，含有256个特征图的卷积层2后连接含有256个特征图的池化层3，含有256个特征图的池化层3后依次连接3个含有512个特征图的卷积层2，含有512个特征图的卷积层2后连接含有512个特征图的池化层3，含有512个特征图的池化层3后依次连接3个含有512个特征图的卷积层2，含有512个特征图的卷积层2后连接含有512个特征图的池化层3，含有512个特征图的池化层3后依次连接全连接层4和输出层5，构建成深度卷积神经网络。
将扩充后的人脸图像数据集作为训练数据输入到深度卷积神经网络中进行训练，训练过程如下：
式中w(m,n)是卷积层中卷积核的元素，s是卷积核的大小为3，卷积操作的步长为1、边缘填充的像素数量为1，m、n分别为卷积核的第m行、第n列，c(x,y)是巻积后的输出矩阵在第x行第y列的元素，b是卷积层的偏置值为1；用公式(5)对卷积层得到的特征图进行下采样操作：
p(x,y)＝max(c(x+m′,y+n′))(5)
式中p(x,y)是池化层输出矩阵的元素，池化层中滤波器的大小为2×2、边缘填充的像素数量为0，m′、n′是下采样操作所采取的步长为2；用公式(6)得到全连接层的输出：
式中fq为全连接层在神经元q处的输出，w′为全连接层的权重矩阵，s′为权重矩阵的大小，b′是全连接层的偏置值为1，全连接层的特征图数量依次为4096、4096、54。
用公式(7)作为网络的损失函数，使用小批量梯度下降算法来训练深度卷积神经网络：
式中m是一个批次中训练图片的数量为64，j是输出层神经元的数量为54，q和z为神经元的编号。
在训练过程中使用反向传播方法更新深度卷积神经网络的权重wt′如下：
式中μ为动量，δvt-1为迭代次数为t-1时更新的权重变化量，α是学习率为0.001，wt是迭代次数为t时的权重。
(3)正交实验
用图像旋转、图像放大、图像平移、亮度增强、均值滤波、中值滤波、高斯滤波、双边滤波作为不同因素，不同水平组合的数据扩充方法对原始人脸图像数据库i进行扩充。设立2组正交实验，对每个因素选取3个水平值，图像旋转是将图像顺时针旋转10°、25°、40°，也可采用逆时针旋转相同的角度，图像放大为原图像的1.2、1.5、1.8倍，图像平移是将图像向右平移12、18、24个像素和向下平移10、15、20个像素，亮度增强是将亮度增加为原图像的1.2、1.5、1.8倍。采用均值滤波的滤波器大小为3×3、4×4、5×5，采用中值滤波的滤波器大小为3×3、5×5、7×7，采用高斯滤波的滤波器大小为3×3、5×5、7×7，采用双边滤波的滤波器大小为3×3、5×5、7×7，正交表如表1和表2所示。进行正交实验，训练深度卷积神经网络，确定相应的人脸识别率，用极差分析法对正交实验的结果进行分析，确定最佳的人脸数据扩充方法，对初始人脸图像数据库进行扩充，重新训练深度卷积神经网络。
表14因素3水平的正交实验表
由表1可见，由极差分析法确定影响人脸识别率的因素由大到小为图像旋转、图像放大、亮度增强、图像平移。
表24因素3水平的正交实验表
由表2可见，由极差分析法确定影响人脸识别率的因素由大到小为双边滤波、中值滤波、高斯滤波、均值滤波。使用双边滤波与图像平移进行人脸图像扩充，比较相应人脸识别率，得到使用图像平移扩充后的人脸识别率高于双边滤波。因此，确定最佳的人脸图像扩充方法为3水平的图像放大、1水平的图像平移、1水平的图像旋转，3水平的亮度增强。
(4)优化深度卷积神经网络
调整深度卷积神经网络的层数、学习率、每层网络的卷积核个数和大小，重复实验，选择人脸识别率最高的模型，对参数及训练好的模型保存。
使用训练好的模型进行人脸识别，教师将在课堂上新采集的学生人脸图像作为模型的输入进行识别，得到每张人脸图像所对应的学号，完成课堂考勤。
实施例2
以54人的班级使用人脸识别进行课堂考勤为例，本实施例的基于正交实验分析的深度学习人脸图像扩充方法由以下步骤组成：
(1)扩充人脸图像
教师在每学期前10节课采集学生的人脸图像，建立原始人脸图像数据库i为：
i＝{ik|k∈[1,n]}(1)
式中n是初始人脸图像的总数量为540，ik为一幅人脸图像，k为原始人脸图像数据库i中图像的编号。使用不同的数据扩充方法对原始人脸图像数据库i进行扩充，数据扩充方法采用现有的图像处理方法，包括图像旋转、图像放大、图像平移、亮度增强、均值滤波、中值滤波、高斯滤波、双边滤波，本实施例图像旋转是将图像顺时针旋转10°，图像放大是将图像放大1.2倍，图像平移是将图像向右平移12个像素、向下平移10个像素，亮度增强是将亮度增加为原图像的1.2倍。采用均值滤波器进行滤波，均值滤波器的大小为3×3，采用中值滤波器进行滤波，中值滤波器的大小为3×3，采用高斯滤波器进行滤波，高斯滤波器的大小为3×3，采用双边滤波器进行滤波，双边滤波器的大小为3×3。得到扩充后的人脸数据集：
式中
训练所用的人脸图像数据集为：
d＝{(ii′,ti)|i∈[1,u]}(3)
式中ii′为待训练的人脸图像，ti为ii′相应的学生学号，u是d中图片的总数量为4320，i为d中图像的编号。
步骤(2)～步骤(4)与实施例1相同。得到每张人脸图像所对应的学号，完成课堂考勤。
实施例3
以54人的班级使用人脸识别进行课堂考勤为例，本实施例的基于正交实验分析的深度学习人脸图像扩充方法由以下步骤组成：
(1)扩充人脸图像
教师在每学期前10节课采集学生的人脸图像，建立原始人脸图像数据库i为：
i＝{ik|k∈[1,n]}(1)
式中n是初始人脸图像的总数量为540，ik为一幅人脸图像，k为原始人脸图像数据库i中图像的编号。使用不同的数据扩充方法对原始人脸图像数据库i进行扩充，数据扩充方法采用现有的图像处理方法，包括图像旋转、图像放大、图像平移、亮度增强、均值滤波、中值滤波、高斯滤波、双边滤波。本实施例图像旋转是将图像顺时针旋转40°，图像放大是将图像放大1.8倍，图像平移是将图像向左平移24个像素、向下平移20个像素，亮度增强是将亮度增加为原图像的1.8倍。采用均值滤波器进行滤波，均值滤波器的大小为5×5，采用中值滤波器进行滤波，中值滤波器的大小为7×7，采用高斯滤波器进行滤波，高斯滤波器的大小为7×7，采用双边滤波器进行滤波，双边滤波器的大小为7×7。得到扩充后的人脸数据集：
式中
训练所用的人脸图像数据集为
d＝{(ii′,ti)|i∈[1,u]}(3)
式中ii′为待训练的人脸图像，ti为ii′相应的学生学号，u是d中图片的总数量为4320，i为d中图像的编号。
步骤(2)～(4)与实施例1相同。得到每张人脸图像所对应的学号，完成课堂考勤。
对于不同学生人数学生使用人脸识别进行课堂考勤情况，与以上的实施例相同。