一种基于深层特征与浅层特征融合的人脸年龄估计方法与流程

文档序号:12468328阅读:252来源:国知局

本发明涉及一种基于深层特征与浅层特征融合的人脸年龄估计方法,属于图像处理技术的技术领域。



背景技术:

随着模式识别的发展,人脸识别也随之成为热点。许多新兴技术也依赖于人脸识别。其中,人脸年龄估计作为其中一个分支,因其在身份认证、人机接口、视频检索以及机器人视觉中存在着潜在的应用受到了广泛的关注。

国际上,Young和Niels是最早提出年龄估计的人。他们早在1994年就提出通过人脸图像进行年龄估计。但是他们的工作相对较为简单。他们把年龄粗略地分成:小孩、年轻人和老年人三种。Hayashi等人研究了基于Hough变换的皱纹纹理和人脸图像肤色分析的年龄和性别识别方法。2003年,Iga等人用支持向量机开发一个用于估计年龄的分类器。Lanitis等人提出一种基于脸部外观的统计模型。他们比较了不同分类器,例如KNN、MLP、SOM的性能,并且认为机器几乎可以和人一样估计出人的年龄。Nakano等人提出利用脸部和脖子上皱纹纹理的边缘信息来进行年龄估计。Zhou等人提出用Boosing的方法做为回归方法进行年龄的估计,并用实验表明该方法比基于SVMs的方法还要好。Geng等人提出衰老模式子空间的方法,通过学习一些代表性的子空间来建模衰老模式,这种衰老模式是用一系列的个人衰老图像定义出来的。

年龄估计是一个复杂的问题,主要由于人的年龄特征在外表上很难准确地被观察出来。人脸的年龄特征通常表现在皮肤纹理、皮肤颜色、光亮程度和皱纹纹理等方面,然而这些因素通常与个人的遗传基因、生活习惯、性别、性格特征和工作环境等方面相关。因此,很难用一个统一的模型去定义人脸图像的年龄,通常需要通过大量样本的学习才能较好地估计出人的年龄层次。目前,要准确地估计出一个人的具体年龄,仍然是一个很困难的问题。



技术实现要素:

本发明所要解决的技术问题在于克服现有技术的不足,提供一种基于深层特征与浅层特征融合的人脸年龄估计方法,解决现有的估计方法很难用一个统一的模型去定义人脸图像的年龄,无法准确地对人脸图像特征提取和识别估计出具体年龄,无法实现神经网络下的年龄估计。

本发明具体采用以下技术方案解决上述技术问题:

一种基于深层特征与浅层特征融合的人脸年龄估计方法,包括以下步骤:

步骤A、对人脸样本数据集中的每张人脸样本图像进行预处理,获得每张人脸样本图像的人脸区域多尺度图片;

步骤B、利用步骤A所获得每张人脸样本图像的人脸区域多尺度图片对构建的初始卷积神经网络训练,获得多个用于人脸识别的卷积神经网络,并从其中选取一个用于人脸识别的卷积神经网络;

步骤C、将具备年龄标签值的人脸数据集进行预处理,得到每张人脸图像的人脸区域多尺度图片,及将得到的每张人脸图像的人脸区域多尺度图片分别作为输入对步骤B所选取的卷积神经网络进行微调处理,可获得多个用于年龄估计的卷积神经网络;

步骤D、所述每个用于年龄估计的卷积神经网络分别提取得到每张人脸图像所对应多层次的年龄特征,并将其作为深层特征输出;

步骤E、利用HOG特征和LBP特征提取算子对步骤C中具备年龄标签值的人脸数据集中每张人脸图像分别进行特征提取,及所提取的HOG特征和LBP特征作为人脸图像的浅层特征输出;

步骤F、构建深度置信网络,及将每个人脸图像所提取的深层特征和浅层特征中的HOG特征和LBP特征输入深度置信网络中进行融合,获得融合后的特征;

步骤G、根据步骤F所得融合后的特征进行人脸图像的年龄回归估计,获得和输出人脸图像所对应的年龄标签值。

进一步地,作为本发明的一种优选技术方案:所述步骤A中对每张人脸样本图像预处理包括:人脸关键点定位、人脸对齐及裁剪处理。

进一步地,作为本发明的一种优选技术方案:所述步骤A中通过构建级联深度神经回归网络实现人脸关键点定位。

进一步地,作为本发明的一种优选技术方案:所述步骤B中构建的初始卷积神经网络包括卷积层、全连接层和输出层。

进一步地,作为本发明的一种优选技术方案:所述步骤B中选取得到一个识别精度最高的用于人脸识别的卷积神经网络。

进一步地,作为本发明的一种优选技术方案:所述步骤G中人脸图像的年龄回归估计包括:对人脸数据集所具备的年龄标签值采用线性回归分析得到年龄回归函数,根据所得年龄回归函数估计融合后的特征得到人脸图像所对应的年龄标签值。

本发明采用上述技术方案,能产生如下技术效果:

本发明提出了一种基于深层特征与浅层特征融合的人脸年龄估计方法,通过训练深度卷积网络提取人脸图像的深层特征,同时用HOG算子和LBP算子提取人脸图像的浅层特征,再用深度置信网络DBN融合所提取的特征,最后通过回归模型得到年龄估计的结果。

所述方法所具有的优势有:1)本发明在特征提取阶段,除了提取浅层特征之外,还使用多个卷积神经网络多区域多尺度提取人脸图像的差异化特征,提高了估计结果的可靠性;2)采用深度置信网络DBN对提取的特征进行融合,同时加深了网络结构,提高了年龄估计的准确度。

因此,本发明改进了以往人工浅层特征选取不充分的缺点,借助卷积神经网络优越的特征提取能力,为年龄估计提供了更鲁棒的差异年龄化特征,使估计结果更准确。本发明的方法是一种具高精度的人脸图像年龄识估计方法,在自然环境下的人脸年龄估计领域是可提高年龄估计识别能力,具有很高的实用性能。

附图说明

图1为本发明基于深层特征与浅层特征融合的人脸年龄估计方法的流程示意图。

具体实施方式

下面结合说明书附图对本发明的实施方式进行描述。

如图1所示,本发明设计了一种基于深层特征与浅层特征融合的人脸年龄估计方法,其特征在于,包括以下步骤:

步骤A、对选取的人脸样本数据集中的每个人脸样本图像进行预处理,获得每张人脸样本图像的人脸区域多尺度图片。其中,人脸样本数据集可以采用国际通用的WebFace数据库;优选地,对每张人脸样本图像预处理可以包括:人脸关键点定位、人脸对齐及裁剪处理过程。具体处理过程如下:

步骤A.1、采用构建的级联深度神经回归网络对人脸样本图像实现人脸关键点定位,级联深度神经回归可以精确的把人眼,鼻子,嘴角等关键点定位出来。如根据人脸图像定位的五个关键点:两只眼睛,一个鼻子,两个嘴角,分三种尺度截取人脸各个模块,每个尺度所覆盖的人脸范围大小都不一样,共提取出30块人脸图片,但本发明不限于该数量。

步骤A.2、根据所得人脸的关键点坐标对人脸样本图像进行几旋转、平移与拉伸等几何变换,实现人脸对齐;

步骤A.3、以对齐后各个人脸样本图像的关键点坐标为中心,多尺度裁剪得到处理后的人脸样本图像。

步骤B、利用步骤A所获得每张人脸样本图像的人脸区域多尺度图片对构建的初始卷积神经网络训练,获得多个用于人脸识别的卷积神经网络,并从其中选取一个用于人脸识别的卷积神经网络;

其中,构建的初始卷积神经网络包括卷积层、全连接层和输出层,采用DeepID的卷积神经网络结构,利用裁剪好的人脸图像训练网络,直到收敛后保存网络模型。具体地,它包含4个卷积层,一个全连接层和一个输出层。四层卷积层的每一层卷积核个数与卷积核大小都不相同。最后一层全连接层的维数是160,网络结构类似于DeepID卷积神经网络。

通设计该初始卷积神经网络的结构,利用步骤A裁剪好的人脸样本图像训练网络,由于步骤A裁剪好的人脸样本图像具备多尺度多模块,因此多尺度多模块人脸图像会各自训练出一个卷积神经网络,本发明中优选地选择出识别精度最高的网络作为迁移学习的初始网络。

步骤C、利用具备年龄标签值的人脸数据集经过同样步骤的预处理,得到人脸区域多尺度图片,并分别作为输入对所选取的用于人脸识别的卷积神经网络进行微调处理,可获得多个用于年龄估计的卷积神经网络。

该过程对所选取的用于人脸识别的卷积神经网络进行微调处理,获得多个用于年龄估计的卷积神经网络;其中,具备年龄标签值的人脸数据集指具备人脸图像,且每个人脸图像都有具体的年龄标签值与之一一对应的数据集,如某一张人脸图像对应的年龄标签值为20岁,或人脸图像某一张人脸图像对应的年龄标签值为30岁,或一张人脸图像对应的年龄标签值为50岁,并且数据集年龄的覆盖度要尽可能广,其可以采用Morph和FE-NET国际权威的数据库。因此使得人脸数据集可以对步骤B所选取出的一个用于人脸识别的卷积神经网络进行微调,分别得到可识别不同年龄下的人脸图像的卷积神经网络。

步骤D、对所述每个用于年龄估计的卷积神经网络分别提取得到人脸图像所对应多层次的年龄特征,并将其作为深层特征输出;

网络微调fine-tuning后,不同的年龄子网络加载对应预处理好的具备年龄标签值的人脸数据集的人脸图像,经过前向传播后,提取卷积神经网络输出的最后一层全连接层,作为训练DBN网络所需要的深层特征。其中,多层次年龄特征指的是数据集中每一张人脸图像的多个区域都能提取对应的特征向量,多个特征向量就称为多层次年龄特征。

步骤E、利用特征提取算法对所述具备年龄标签值的人脸数据集中的人脸图像进行特征提取,获得每个人脸图像的浅层特征,其中浅层特征包括HOG特征和LBP特征。即:利用HOG特征和LBP特征提取算算子对步骤C中具备年龄标签值的人脸数据集中每张人脸图像分别进行特征提取,及所提取的HOG特征和LBP特征作为人脸图像的浅层特征输出。

所述步骤E为浅层特征提取的主要部分,浅层特征主要包括方向梯度直方图HOG特征与局部二值模式LBP特征,其中,HOG特征对光照变化和阴影有较好的效果,LBP特征是一种用来描述图像局部纹理特征的算子,用于提取人脸图像局部的纹理特征,直方图均衡化后得到LBP直方图特征。该过程利用不同的算子提取年龄数据集人脸图像的浅层特征。

步骤F、构建深度置信网络DBN,及将每个人脸图像所提取的深层特征和浅层特征中的HOG特征和LBP特征输入深度置信网络DBN中进行融合,获得融合后的特征;具体地,将从人脸图片中提取的浅层特征与深层特征串联,作为深度置信网络DBN的输入层特征,确定地DBN网络的隐层数一层隐层神经元的个数,目的是合理对提取的特征进行融合,使得最后特征维数降低,便于回归函数的设计。深度置信网络DBN的特点是层与层之间神经元全连接,层内的神经元之间互相不连接,这种结构使得特征维数下降的同时保持有用信息不丢失。

步骤G、根据深度置信网络中融合后的特征进行人脸图像的年龄回归估计,获得和输出人脸图像的年龄估计结果。即:根据人脸数据集所具备的年龄标签值与提取的年龄特征之间一一对应的关系,采用线性回归分析得到年龄回归函数,利用所得年龄回归函数估计融合后的特征得到人脸图像所对应的年龄标签值,即可完成对人图像的年龄估计。

该过程是根据对人脸数据集所具备的年龄标签值,采用线性回归分析的方法,得到年龄回归函数。回归函数使得人脸图片提取并融合得到的特征与图片对应的年龄标签值联系起来,利用这种对应关系,找到回归函数。

因此,本发明通过训练深度卷积网络提取人脸图像的深层特征,同时用HOG算子和LBP算子提取人脸图像的浅层特征,再用深度置信网络DBN融合所提取的特征,最后通过回归模型得到年龄估计的结果。

综上,本发明的方法提高了估计结果的可靠性;采用深度置信网络DBN对提取的特征进行融合,同时加深了网络结构,提高了年龄估计的准确度,是一种具高精度的人脸图像年龄识估计方法,在自然环境下的人脸年龄估计领域是可提高年龄估计识别能力,具有很高的实用性能。

上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1