一种基于PCANet-CNN的任意姿态人脸表情识别方法_2

文档序号:9687934阅读:来源:国知局
具体实现:通过一个级联的VJ框架检测样本图片中的人脸,再通过二值化对检测 到的人脸图片进行灰度处理得到灰度图像,然后对所得灰度图像进行大小归一化得到统一 像素的灰度人脸图像,统一像素的灰度人脸图像的大小为96*96。
[0040] 然后将统一像素的灰度人脸图像分为正脸图像和侧脸图像,对所得的正脸图像提 取尺寸为kiXk2大小的特征块;对所得到的侧脸图像同样提取尺寸为kiXk2大小的特征块, 本发明中的特征块大小设置为5*5。
[0041] S2,无监督正脸特征学习:将S1中所述统一像素的正脸图像作为无监督特征学习 PCANet的输入进行无监督正脸特征学习,得到正脸特征。
[0042] 具体实现:首先对正脸图像进行白化处理,然后通过预训练得到不同尺寸的卷积 核,再用所得卷积核对正脸图像进行卷积,得到PCANet第一层的输出。将所得结果作为 PCANet第二层的输入,经过与第一层相同的卷积过程得到PCANet第二层的输出,对PCANet 第二层的输出进行二值哈希处理W及直方图分块处理,最终将所得特征堆叠串联起来形成 对光照具有鲁棒性的正脸特征。
[0043] 进一步,所述步骤S2中无监督正脸特征学习中白化处理的具体过程为:对得到的 统一像素的灰度正脸图像读取其像素特征,然后W-定大小的步长和特征块(本发明中设 置步长大小为1特征块大小为5*5)对得到的像素特征进行分块处理,然后对每一个小的特 征块串联得到一个一维的特征,对此一维特征均除W其标准差,从而得到具有相同方差的 特征。通过此操作可W降低输入的冗余性。
[0044] S3,侧脸特征与正脸特征映射关系的有监督学习:将步骤S1中的侧脸图像作为有 监督特征学习的输入,并结合步骤S2的正脸特征,通过有监督学习的处理建立侧脸 特征和正脸特征之间的映射关系。
[0045] 具体实现:将S1中所述统一像素的侧脸图像输入至有监督特征学习 α^Ν的卷积层, 将S2中所得正脸特征作为α^Ν的标签通过反向传播算法更新卷积核(权重W及偏置)。在CNN 中采用和PCA化t相似的处理操作,对输入的侧脸图像首先经过卷积层和池化层得到第 一层的输出,然后将池化后的结果作为α^Ν第二层的输入,经过与第一层相同的卷积和池化 得到第二层的输出,即得到侧脸特征。
[0046] 然后计算侧脸特征和正脸特征之间的重构误差函数来计算侧脸特征和正脸特征 之间的均方误差值,并W此均方误差值来反向传播更新各层卷积核,当此均方误差值趋于 收敛时,算法停止。最终得到侧脸特征和正脸特征之间的映射关系。
[0047] 进一步,步骤S3学习得到侧脸特征与正脸特征映射关系的具体过程为:通过计算 侧脸特征和正脸特征之间的平均误差来更新有监督特征学习各层的权重和偏置,当此 平均误差值趋于收敛时算法结束。此时所得到的C順中的权重和偏置构成了侧脸特征和正 脸特征之间的映射关系。
[0048] S4,学习得到对姿态具有鲁棒性的统一正脸特征:输入一张任意姿态的灰度人脸 图像,通过步骤S3学习得到的侧脸特征和正脸特征之间的映射关系,得到运张任意姿态的 灰度人脸图像所对应的正脸特征。
[0049] 对所有的(人类表情总共有8种)任意姿态的灰度人脸图像均进行此操作,得到对 姿态具有鲁棒性的统一正脸特征。
[0050] 进一步,所述步骤S4学习得到对姿态具有鲁棒性的统一正脸特征的具体过程为: 通过步骤S3学习得到侧脸特征和正脸特征之间的映射关系,此特征映射关系由两层C順中 的权重Wl,W2W及偏置bl,b2构成。对于一张任意姿态的测试图片,提取原始像素特征,然后 W特征块大小为时5步长为1提取新的特征,表示为Ii,通过((Ii*Wl+bl)*W2+b2)计算得到的 特征作为映射之后的特征,即为所述对姿态具有鲁棒性的统一正脸特征。
[0051] S5,任意姿态人脸表情识别模型训练:利用步骤S4所得的对姿态具有鲁棒性的统 一正脸特征送入支持向量机SVM中进行识别模型的训练。由于所得的特征是统一姿态的特 征,因此可W训练得到一个针对任意姿态的统一识别模型。
[0052] 进一步,所述步骤S5中统一识别模型为:通过学习得到任意姿态人脸图像对应的 正脸特征,将此正脸特征作为SVM的输入,从而得到一个可用于任意姿态的统一识别模型。
[0053] S6,任意姿态人脸表情识别:对任意一张待测人脸图片,采用步骤S1所述预处理的 方法进行预处理得到归一化像素的灰度人脸图像,然后按照步骤S3、S4中的侧脸特征和正 脸特征之间的映射关系得到此未知姿态的人脸表情图片所对应的统一正脸特征,将此统一 正脸特征送入步骤S5中训练好的统一识别模型中即可得到此待测人脸图片所属的表情类 别。
[0054] 下面通过具体实施例来对本发明进行说明。本发明的实现包括模型的训练过程和 图像的识别过程,下面分别详细描述。
[0055] 1.模型的训练过程,包括如下:
[0化6] 1.1任意姿态人脸图像的预处理过程:
[0057]对输入的任意姿态的人脸图像首先进行人脸检测,然后对检测到的人脸图像进行 灰度化处理,得到灰度图像。最后对所得的灰度图像进行大小归一化处理得到统一像素的 灰度图像,得到大小为96X96的灰度人脸图像,并将图像分为正脸图像和侧脸图像。
[0化引 1.2无监督特征学习:
[0059] 由图2可知,此无监督特征学习方法PCA化t总共分为Ξ个步骤,即PCANet的第一层 处理,PCANet的第二层处理W及哈希二值化与直方图处理过程。
[0060] 1.2.1 PCANet 的第一层处理:
[0061] 对步骤1.1所得的统一像素的正脸图像I提取尺寸为5巧的特征块,因此I可W表示 为Ii={xi,l, . . .,Xi,mn}。其中€ 巧啡2,Rklk2 表示 = 皿)都属于一 个ki*k2大小的向量(本发明中ki、k2均设为5),xij表示第i张图片的第j个特征块,m η表示此 正脸图像的大小(本发明中为96*96)。接下来将所有的特征块堆叠起来可W得到一个特征 向量Xi,然后对Xi进行归一化处理得到向量?Γ。对所有的正脸图像均做此处理,然后将所有 处理后的特征向量连接起来得到:
[0062]
(1)
[0063] 式(1)中,X表示按特征块提取的正脸图像的像素特征,支^表示对每i个小特征块 进行归一化处理所得的像素特征,下标N表示一张正脸图像共包含了 N个特征块,於表 示每一个X属于一个kik2*Nh行的向量,Nh表示一共取出的特征块的个数,ki,k2表示每个特征 块的大小,h表示每一个特征向量Xi的维数。
[0064] 假设PCANet第i层的卷积核的个数为以,然后可W通过一个正交函数来最小化重 构误差函数,即
[0065]
口)
[0066] 式(2)中,Ili是一个大小为。州1的单位矩阵,yTy表示PCANet卷积层的权重,Li表 示PCANet第一层滤波器的个数。接下来求解Χχτ的特征向量,然后对其进行从大到小的排 序。最终取前^个作为PCA滤波器第一层的卷积核。因此,PCANet第一层的滤波器可W表示 为:
[0067]
(3)
[0068] 式(3)中,"如)是一个映射函数,它可W将一个向量m映射到一个矩阵W上。qi (ΧχΤ)表示的是将χχΤ的特征向量排序后的第1个。当求得巧吃后PCANet的第一层完成。 1.2.2PCANet的第二层处理:
[0069] PCANet的第二层与第一层相似,它的输入是第一层第1个滤波器的输出,即
[0070]
(4)
[0071] 然后经过与公式(1)相同的处理过程得到归一化之后的特征为
[0072]
(5)
[0073] 式巧)中,Y表示图像I经过PCA化t第一层之后得到的卷积输出,输入PCANet的第二 层,可得其第二层的滤波器为:
[0074]
C6)
[00巧]式(6)中,巧2表示PCANet第二层的滤波器,L2为PCA化t第二层滤波器的个数;对于 每一个《我们可W得到L2个输出,对每一个4乘Wr/得至化CANet第二层中每个卷积核的输 出结果(大小为^12)为:
[0076]
(7)
[0077] 式(7)中,"表示PCA化t第二层每个卷积核的输出,心表示图像Ii在第1个卷积核 的输入,巧;3是通过公式(6)学习得到的PCA化t第二层的滤波器,L2是PCA化t第二层滤波器 的个数。
[0078] 1.2.3哈希二值化与直方图处理过程:
[00巧]通过公式(7)可知,对于^个输入图像信息名经过PCANet第二层处理之后每个《有 L2个输出。然后我们对运些输出进行二值化处理得到T,并将它们归一化到?〇,2' -η范围 内,即
[0080]
(S)
[0081] 式(8)中,巧2表示PCANet第二层的滤波器,Η( ·)是赫维赛德阶跃函数,它可将 /,'*巧3中的正直转化为1,负值转化为0。然后将^个巧划分为Β个块(本发明中Β的值为64), 计算每个块内的十进制直方图。将处理后的所有的Β个块连接起来得到一个向量妨飯?(巧), 因此,最终对一张输入图像Ii,其特征fi表示形式我们可W由逐个的直方图形式连接得到, 即
[0082]
(9)
[0083] 所得fi即为正脸特征,它将被作为有监督特征学习 α^Ν的标签来更新其参数,进而 学习得到正脸特征和侧脸特征之间的映射关系。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1