一种基于PCANet-CNN的任意姿态人脸表情识别方法
【技术领域】
[0001] 本发明属于情感识别领域，具体设及一种基于PCANet-CNN的任意姿态人脸表情识 别方法及系统
【背景技术】
[0002] 人脸表情识别是模式识别、人机交互和计算机视觉等领域设及的重要研究方向， 目前已成为国内外的研究热点。一般来说人类最常见的六种基本表情为高兴、悲伤、愤怒、 惊讶、厌恶与恐惧。近年来，随着各种对姿态具有鲁棒性的特征的不断提出，促进了多姿态 自动人脸表情识别技术的发展。比如传统的人脸识别模型只能基于正脸或者接近正脸的图 片进行表情识别，而对侧脸或者有一定角度的人脸表情识别效果非常差。接着有研究者提 出针对不同姿态的人脸图片训练不同的表情识别模型。然而自然环境下姿态的变化是非线 性的。即使将其设定为固定的几种姿态，随着姿态的不断增多，模型的训练也是非常耗时 的。运就促使了是否可W通过寻找对姿态具有鲁棒性的特征来进行任意姿态的人脸表情识 另IJ，从而在提高效率的同时得到更好的表情识别结果。
[0003] (1)在S.Eleftheriadis等人，名为"Discriminative 化ared Gaussian Processes for Multiview and View-Invariant Facial Expression Recognition"的论 文中，利用一种判别式高斯过程隐变量模型进行多姿态的人脸表情识别，但是该方法应用 的是传统的手工特征，它对于物体的遮挡，人脸的变形W及姿态的不断变化不具备很好的 鲁棒性。（2)在O.Rudovic等人，名为乂oupled Gaussian Processes forfose-Invariant 化cial Expression Recognition"的论文中，作者首先对不同姿态的人脸图像进行关键点 检测，然后通过学习侧脸图像的关键点和正脸图像的关键点的映射关系来进行姿态的归一 化操作，最后基于映射之后的关键点提取手工特征。首先该方法仅仅利用关键点学习正脸 图像和侧脸图像的映射关系，信息是不充足的；其次它的姿态的归一化W及特征提取是通 过两个单独的步骤完成的，运降低了模型的识别率W及效率。
【发明内容】
[0004] 为了解决上述问题，本发明通过深度学习的方法进一步拓展了【背景技术】中论文 (2)的方法，通过自动学习正脸特征和侧脸特征之间映射关系的方法将姿态归一化和特征 提取在同一个步骤完成，进而得到一个可用于任意姿态的统一表情识别模型。实现本发明 的技术方案如下：
[0005] -种基于PCANet-O^N的任意姿态人脸表情识别方法，包括如下步骤：
[0006] S1，对样本图片预处理得到统一像素的的灰度图像，然后将统一像素的的灰度图 像分为正脸图像和侧脸图像，对所得的正脸图像提取尺寸为klXk2大小的特征块;对所得到 的侧脸图像提取尺寸为kiXk2大小的特征块；
[0007] S2,将步骤S1中的正脸图像作为无监督特征学习 PCANet的输入进行无监督正脸特 征学习，得到正脸特征；
[000引S3,将步骤SI中的侧脸图像作为有监督特征学习 α^Ν的输入，并结合步骤S2的正脸 特征，通过有监督学习 α^Ν的处理建立侧脸特征和正脸特征之间的映射关系；
[0009] S4,利用步骤S3的映射关系得到对任意姿态具有鲁棒性的统一正脸特征；
[0010] S5,将步骤S4所得的对姿态具有鲁棒性的统一正脸特征送入支持向量机SVM中进 行识别模型的训练，得到一个针对任意姿态的统一识别模型；
[0011] S6,利用步骤S3所述的映射关系W及步骤S5所述的统一识别模型识别出任意姿态 人脸图像所属的人脸表情类别。
[0012] 作为优选技术方案，所述步骤S1中预处理的过程包括:通过一个级联的VJ框架检 测样本图片中的人脸，再通过二值化对检测到的人脸图片进行灰度处理得到灰度图像，然 后对所得灰度图像进行大小归一化得到统一像素的灰度图像。
[0013] 作为优选技术方案，所述步骤S1中正脸图像和侧脸图像的统一像素的灰度图像大 小均设置为96 X 96，特征块大小均为5*5。
[0014] 作为优选技术方案，所述步骤S2中无监督特征学习的过程包括：
[0015] 步骤S2-1，对正脸图像进行白化处理；
[0016] 步骤S2-2,通过预训练得到不同尺寸的卷积核，再用所得卷积核对正脸图像进行 卷积，得到PCANet第一层的输出；
[0017] 步骤S2-3,将PCA化t第一层的输出作为PCANet第二层的输入，经过与第一层相同 的卷积过程得到PCANet第二层的输出；
[0018] 步骤S2-4,对PCA化t第二层的输出进行二值哈希处理W及直方图分块处理，最终 将所得特征堆叠串联起来形成对光照具有鲁棒性的正脸特征。
[0019] 作为优选技术方案，所述步骤S2-1中白化处理的过程：
[0020] 读取正脸图像的像素特征，然后W步长大小为1、特征块大小为5巧对得到的像素 特征进行分块处理，然后对每一个小的特征块串联得到一个一维的特征，对此一维的特征 均除W其标准差，从而得到具有相同方差的特征。
[0021] 作为优选技术方案，所述步骤S3的具体实现包括：
[0022] S3-1，将步骤S1中侧脸图像输入至有监督特征学习 α^Ν的卷积层，将步骤S2中所得 正脸特征作为α^Ν的标签，通过反向传播算法更新卷积核;对输入的侧脸图像首先经过卷积 层和池化层得到CNN第一层的输出，然后将池化后的结果作为CNN第二层的输入，经过卷积 和池化得到第二层的输出，即得到侧脸特征；
[0023] S3-2,计算侧脸特征和正脸特征之间的重构误差函数来计算侧脸特征和正脸特征 之间的平均误差值，并W此平均误差来反向传播更新各层卷积核，当此平均误差值趋于收 敛时，算法停止，得到侧脸特征和正脸特征之间的映射关系，所述映射关系由两层C順中的 权重Wl，W2W及偏置bl，b2构成。
[0024] 作为优选技术方案，所述步骤S4具体包括：
[0025] S4-1，输入一张任意姿态的灰度人脸图像，通过步骤S3的侧脸特征和正脸特征之 间的映射关系，得到运张任意姿态的灰度人脸图像所对应的正脸特征；
[0026] S4-2,对所有的任意姿态的灰度人脸图像均按照步骤S4-1的处理，得到对姿态具 有鲁棒性的统一正脸特征。
[0027] 作为优选技术方案，所述步骤S6中识别出任意姿态的人脸表情的具体过程包括： 对任意一张待测人脸图片，采用步骤SI所述预处理的方法进行预处理得到统一像素的的灰 度图像，然后按照步骤S4处理得到此未知姿态的人脸表情图片所对应的统一正脸特征，将 此统一正脸特征送入步骤S5中训练好的统一识别模型中得到此待测人脸图片所属的表情 类别。
[0028] 和现有技术相比，本发明的有益效果：
[0029] (1)本发明提出的基于PCANet-O^N的任意姿态人脸表情识别方法，通过学习侧脸 特征和正脸特征之间的映射关系，使得不同姿态的人脸图像的表情识别可W在一个完整统 一的模型中进行，而无需再为每一种姿态分别建立不同的识别模型。
[0030] (2)利用所学的映射关系，将侧脸特征映射到统一的正脸特征上，通过归一化后的 特征训练一个完整统一的识别模型，提高了模型的效率W及识别率。
[0031] (3)本发明解决了多姿态人脸表情识别中需要为每种姿态分别建立模型的问题， 使得训练得到的模型不受姿态，光照等因素的干扰，能够有效地提高多姿态人脸表情识别 的准确率。
【附图说明】
[0032] 图1是基于PCANet-O^N的任意姿态人脸表情识别流程图；
[0033] 图2是基于PCANet的特征提取流程图；
[0034] 图3是基于α^Ν的映射关系学习流程图。
【具体实施方式】
[0035] 本发明首先对原始图像进行预处理，包括人脸检测，图像灰度化W及图像大小归 一化。然后通过无监督学习方法一一主成分分析网络PCANet对预处理后的正面人脸图像进 行特征学习，得到正脸特征。学习得到的正脸特征将作为有监督卷积神经网络α^Ν的标签更 新两层CNN的权重和偏置，预处理之后的任意姿态的人脸图像作为CNN的输入，计算侧脸特 征和正脸特征之间的重构误差函数值，当重构误差函数值趋于收敛时停止，得到最终的正 脸特征和侧脸特征之间的映射关系。对任意待识别人脸图像的特征采用该映射关系得到统 一正脸特征，然后输入支持向量机SVM进行训练和人脸表情识别。
[0036] 下面结合附图和具体实施例来对本发明作进一步详细描述。
[0037] 图1为本发明提出的基于PCA化t-C順的任意姿态人脸表情识别的流程图。本发明 首先对任意姿态的人脸图像进行预处理，利用无监督特征学习算法PCANet得到一组正脸特 征。然后利用有监督卷积神经网络算法学习正脸特征和侧脸特征之间的映射关系，将任意 姿态的人脸图像特征映射到它所对应的正脸特征，得到对姿态具有鲁棒性的统一正脸特 征。最终利用此统一正脸特征训练得到可用于任意姿态的人脸表情的统一识别模型。具体 包括W下步骤：
[0038] S1，样本图片预处理:对样本图片预处理得到统一像素的的灰度图像，然后将统一 像素的的灰度图像分为正脸图像和侧脸图像(非正脸图像），对所得的正脸图像提取尺寸为 klXk2大小的特征块;对所得到的侧脸图像提取尺寸为klXk2大小的特征块；
[0039]