[0084] 1.3有监督特征映射关系学习
[0085] 由图3可知，此有监督特征映射关系的学习分为Ξ个步骤，即的第一层处理， α^Ν的第二层处理W及通过反向传播算法计算正脸特征和侧脸特征之间映射关系的过程。
[0086] 1.3.1C順的第一层处理：
[0087] 对步骤1.1所得的统一大小的侧脸图像I提取尺寸为时5大小的特征块，因此I可W 表示为. . .，Xi,mn}。然后将所有的特征块堆叠得到特征矩阵Zf，通过预训练得到 的C順第一层的权重巧1可W得到^个子矩阵。经过池化层降低特征的维数。然后得到C順第 一层的输出為，即
[008引
（10)
[0089] 式（10)中，〇(x)=max(0，x)是一个线性激活函数，巧1为C順第一层的权重，bi是CNN 第一层中学习得到的偏置。
[0090] 1.3.2 C順的第二层处理：
[0091] 经过与1.3.1相同的处理的过程，学习得到C順第二层的权重巧2和偏置b2,然后得 到CNN第二层的输出與，即
[0092]
(11)
[009引式（11)中，邮为C順第二层的权重，b2是C順第二层中学习得到的偏置，L2为C順第 二层卷积核的个数，最终一张图像I的侧脸特征为连接L2个子矩阵得到，即为《。
[0094] 1.3.3正脸特征和侧脸特征之间映射关系的训练过程：
[00%]我们通过反向传播算法来学习正脸特征和侧脸特征之间的映射关系。将1.2所学 正脸特征作为标签，通过计算正脸特征和侧脸特征之间的重构误差来更新每一层中的 权重和偏置，当此误差值趋于收敛时算法停止。此过程可W表示为
[0096]
(。）
[0097] 式（12)中，fi为公式(9)所得的正脸特征，X2是通过公式（11)所得的对任意姿态的 人脸图像的特征，通过一个二范式II · I If求得正脸特征和任意姿态的人脸图像的特征之 间的误差。最终当此误差函数值收敛时所得的CNN的权重和偏置构成了最终所需的正脸特 征和侧脸特征之间的映射关系，为：
[009引 map = ((Ii*Wi+bi)*W2+b2) (13)
[0099] 式（13)中，I i表示输入的任意姿态的人脸图像，Wi，W2表示α^Ν两层卷积学习到的权 重(卷积核），bi，b2表示CNN两层卷积中学习到的偏置项。
[0100] 1.4识别模型的训练
[0101] 对于所有的任意姿态的训练图片，通过1.3节中公式（13)的映射关系得到针对任 意姿态的统一正脸特征，将此统一正脸特征送入支持向量机SVM中进行训练得到一个可用 于任意姿态的统一识别模型。
[0102] 2.图像的识别过程
[0103] 采用1.3节所述的映射关系，对一张任意姿态的待测图片，经过公式（13)得到其所 对应的正脸特征，然后送入已训练好的SVM中进行表情识别，最终得到其所属的人脸表情类 别。
[0104] 综上所述，本发明公开了一种基于PCA化t-O^N的任意姿态人脸表情识别方法。把 任意姿态的人脸表情识别过程分为Ξ个步骤:首先通过无监督特征学习方法PCANet进行无 监督正面人脸特征学习，然后通过有监督特征学习方法α^Ν学习正脸特征和侧脸特征之间 的映射关系，进而得到统一的人脸特征表示形式。最后基于此统一的特征进行模型的训练 和识别。通过W上Ξ个步骤得到了一个可W对任意姿态人脸图像进行识别的统一模型。通 过学习侧脸特征和正脸特征之间映射关系的方法来训练一个可W用于任意姿态人脸表情 识别的模型。因此本发明解决了多姿态人脸表情识别需要分别针对不同的姿态建立不同模 型，W及由于多姿态因素导致人脸表情识别准确率不高的问题。
[0105] 尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可W理解:在不 脱离本发明的原理和宗旨的情况下可W对运些实施例进行多种变化、修改、替换和变型，本 发明的范围由权利要求及其等同物限定。
【主权项】
1. 一种基于PCANet-CNN的任意姿态人脸表情识别方法，其特征在于，包括如下步骤： S1，对样本图片预处理得到统一像素的灰度图像，然后将统一像素的灰度图像分为正 脸图像和侧脸图像，对所得的正脸图像提取尺寸为kiXk2大小的特征块;对所得到的侧脸图 像提取尺寸为kiXk2大小的特征块； 52, 将步骤S1中的正脸图像作为无监督特征学习PCANet的输入进行无监督正脸特征学 习，得到正脸特征； 53, 将步骤S1中的侧脸图像作为有监督特征学习CNN的输入，并结合步骤S2的正脸特 征，通过有监督学习CNN的处理建立侧脸特征和正脸特征之间的映射关系； 54, 利用步骤S3的映射关系得到对任意姿态具有鲁棒性的统一正脸特征； 55, 将步骤S4所得的对姿态具有鲁棒性的统一正脸特征送入支持向量机SVM中进行识 别模型的训练，得到一个针对任意姿态的统一识别模型； 56, 利用步骤S3所述的映射关系以及步骤S5所述的统一识别模型识别出任意姿态人脸 图像所属的人脸表情类别。2. 根据权利要求1所述的一种基于PCANet-CNN的任意姿态人脸表情识别方法，其特征 在于，所述步骤S1中预处理的过程包括:通过一个级联的VJ框架检测样本图片中的人脸，再 通过二值化对检测到的人脸图片进行灰度处理得到灰度图像，然后对所得灰度图像进行大 小归一化得到统一像素的灰度图像。3. 根据权利要求1所述的一种基于PCANet-CNN的任意姿态人脸表情识别方法，其特征 在于，所述步骤S1中统一像素的灰度图像大小设为96*96,正脸图像和侧脸图像的特征块大 小设置为5*5。4. 根据权利要求1所述的一种基于PCANet-CNN的任意姿态人脸表情识别方法，其特征 在于，所述步骤S2中无监督特征学习的过程包括： 步骤S2-1，对正脸图像进行白化处理； 步骤S2-2,通过预训练得到不同尺寸的卷积核，再用所得卷积核对正脸图像进行卷积， 得到PCANet第一层的输出； 步骤S2-3,将PCANet第一层的输出作为PCANet第二层的输入，经过与第一层相同的卷 积过程得到PCANet第二层的输出； 步骤S2-4,对PCANet第二层的输出进行二值哈希处理以及直方图分块处理，最终将所 得特征堆叠串联起来形成对光照具有鲁棒性的正脸特征。5. 根据权利要求4所述的一种基于PCANet-CNN的任意姿态人脸表情识别方法，其特征 在于，所述步骤S2-1中白化处理的过程： 读取正脸图像的像素特征，然后以步长大小为1、特征块大小为5*5对得到的像素特征 进行分块处理，然后对每一个小的特征块串联得到一个一维的特征，对此一维的特征均除 以其标准差，从而得到具有相同方差的特征。6. 根据权利要求1所述的一种基于PCANet-CNN的任意姿态人脸表情识别方法，其特征 在于，所述步骤S3的具体实现包括： S3-1，将步骤S1中侧脸图像输入至有监督特征学习CNN的卷积层，将步骤S2中所得正脸 特征作为CNN的标签，通过反向传播算法更新卷积核;对输入的侧脸图像首先经过卷积层和 池化层得到CNN第一层的输出，然后将池化后的结果作为CNN第二层的输入，经过卷积和池 化得到第二层的输出，即得到侧脸特征； 53- 2,计算侧脸特征和正脸特征之间的重构误差函数来计算侧脸特征和正脸特征之间 的平均误差值，并以此平均误差来反向传播更新各层卷积核，当此平均误差值趋于收敛时， 算法停止，得到侧脸特征和正脸特征之间的映射关系，所述映射关系由两层CNN中的权重 …，以及偏置匕如构成。7. 根据权利要求1所述的一种基于PCANet-CNN的任意姿态人脸表情识别方法，其特征 在于，所述步骤S4具体包括： 54- 1，输入一张任意姿态的灰度人脸图像，通过步骤S3的侧脸特征和正脸特征之间的 映射关系，得到这张任意姿态的灰度人脸图像所对应的正脸特征； S4-2,对所有的任意姿态的灰度人脸图像均按照步骤S4-1的处理，得到对姿态具有鲁 棒性的统一正脸特征。8. 根据权利要求1所述的一种基于PCANet-CNN的任意姿态人脸表情识别方法，其特征 在于，所述步骤S6中识别出任意姿态的人脸表情的具体过程包括： 对任意一张待测人脸图片，采用步骤S1所述预处理的方法进行预处理得到统一像素的 的灰度图像，然后按照步骤S4处理得到此未知姿态的人脸表情图片所对应的统一正脸特 征，将此统一正脸特征送入步骤S5中训练好的统一识别模型中得到此待测人脸图片所属的 表情类别。
【专利摘要】本发明公开了一种基于PCANet-CNN的任意姿态人脸表情识别方法。首先对原始图像进行预处理得到统一大小的灰度人脸图像，包括正脸图像和侧脸图像。正脸图像输入无监督特征学习模型PCANet中，学习得到正脸图像所对应的特征。将侧脸图像输入有监督特征学习模型CNN中，并将无监督特征学习得到的正脸特征作为标签，训练得到正脸特征和侧脸特征之间的映射关系。通过此映射关系便可以得到任意姿态的人脸图像所对应的统一正脸特征，最终将统一正脸特征送入SVM中训练得到针对任意姿态的统一识别模型。本发明解决了传统多姿态人脸表情识别中需要为每种姿态分别建立模型，以及由于姿态等因素造成的模型识别率低的问题，能够有效地提高多姿态人脸图像表情识别的准确率。
【IPC分类】G06K9/62, G06K9/00
【公开号】CN105447473
【申请号】CN201510926925
【发明人】毛启容, 张飞飞, 于永斌, 詹永照, 许国朋, 屈兴
【申请人】江苏大学
【公开日】2016年3月30日
【申请日】2015年12月14日