基于多输出卷积神经网络和有序回归的年龄估计方法
【专利摘要】本发明公开了一种基于多输出卷积神经网络和有序回归的年龄估计方法，其实现是：1.建立亚洲人脸年龄数据集(AFAD)；2.建立用于二分类的训练数据；3.训练深度卷积神经网络；4.将测试样本输入到训练好的卷积神经网络；5.得到测试样本的年龄估计。本发明提出了一种对年龄进行排序的方法，将有序回归和深度学习方法相结合，显著地提升了年龄预测性能的准确度。本发明解决了现有年龄估计方法中特征提取和回归建模是独立进行与优化的不足，能充分利用年龄标签的序列关系将年龄估计有序回归，提高了年龄估计准确率，还为亚洲人脸的年龄估计建立了一个大规模数据库，为人脸年龄估计研究提供了数据库基础。能广泛用于对人脸图像的年龄估计。
【专利说明】
基于多输出卷积神经网络和有序回归的年龄估计方法
技术领域
[0001] 本发明属于计算机视觉技术领域，主要涉及人脸图像的年龄估计方法，具体是一 种基于多输出卷积神经网络和有序回归的年龄估计方法，可用于对人脸图像进行年龄估 计。
【背景技术】
[0002] 对人脸图像进行人类年龄估计是一个较新的研究方向，在现实生活中有着广泛的 应用。例如在安全监控方面，通过监控摄像机输入图像，年龄估计系统可以警告或阻止未成 年人进入网吧或进入酒吧饮酒；在商业用户管理方面，广告商可以根据行人的年龄为不同 的潜在客户提供特定的广告;在生物特征识别方面，可以进行长时间跨度的人脸识别。
[0003] G .Guo，G.Mu，Y.Fu and T .Huang在文章 "Human age estimation using bi〇-inspired f eatures"（CVPR，2009)中将生物启发式方法引入到年龄估计领域，在小波变换 的基础上通过简单层和复杂层的处理得到人脸图像的纹理特征，生物启发式方法是年龄估 计领域表现最好的特征提取方法之一。然后生物启发式特征被输入另一个回归器或分类器 用于年龄估计。
[0004] D.Yi ,Z.Lei ,and S.Li在文章 "Age estimation by multi-scale convolutional network"（CVPR，2014)中首次将深度卷积神经网络应用于年龄估计，它包括1层卷积层、1层 池化层、1层局部层和1层全链接层。随后，深度卷积神经网络提取到的特征被输入另一个回 归器用于年龄估计。
[0005] 以上两种方法的不足之处在于将基于人脸图像的年龄估计方法分为独立的两步： 特征的提取和或者度量回归或者多分类。这两个步骤是分离进行、独立优化的。另一方面， 人类面部在不同年龄段有不同的老化表现，在童年时期表现为人脸形状的变化，在成年时 期则表现为皮肤纹理的变化。由于老化模式形成的随机过程的非平稳性，人工选取的特征 并不能适用于所有的年龄范围。
【发明内容】
[0006] 本发明的目的在于针对上述现有技术分为两步优化的不足，提出一种经过排序准 确估计年龄的基于多输出卷积神经网络和有序回归的年龄估计方法。
[0007] 本发明是一种基于多输出卷积神经网络和有序回归的年龄估计方法，其特征在 于，包括有如下步骤：
[0008] (1)建立亚洲人脸年龄数据集(AFAD)，其中包含了 16万张亚洲人脸图像，每一张人 脸图像都有年龄标签，这是目前为止，最大的公开年龄数据集，解决了大规模年龄数据集的 缺乏使得年龄估计问题无法取得更大进展的屏障。目前最大的受欢迎的公开数据库有FG-NET数据库包含1002张人脸图片、MORPH I数据库包含1690张人脸图片、MORPH II数据库包 含55608张人脸图片，这些数据库并不能满足深度学习算法对巨大的训练样本的需求。此外 MORPH II数据库的种族分布是非常不平衡的，例如超过96%的面孔是非洲和欧洲人种，但 只有少于1 %的面孔来自亚洲。因此，以前年龄估计的方法在亚洲面孔上的性能是未知的。 而亚洲人脸年龄数据集包含了 16万张亚洲人脸图像，很好的弥补了这个不足。
[0009] (2)建立用于二分类的训练数据，输入亚洲人脸年龄数据集中带年龄标签的人脸 图像集，将年龄估计问题转化为一系列的二分类子问题，对每一个二分类子问题的二分类 器构建相应的训练数据，及根据人脸图像的年龄标签生成一系列的二分类类标，从输入的 亚洲人脸年龄数据集中带年龄标签的人脸图像集得到包含人脸图像、二分类类标和权重的 训练数据。
[0010] (3)训练深度卷积神经网络，根据训练数据，训练多输出深度卷积神经网络，使得 每一个输出都是二分类器的一个二分类类标。
[0011] (4)将测试样本输入到训练好的卷积神经网络中，将一张步骤(1)中建立的亚洲人 脸年龄数据集中的不带年龄标签的人脸图像作为测试样本，将测试图像输入步骤(3)中训 练好的多输出深度卷积神经网络，进行多层的卷积、池化等操作。
[0012] (5)得到测试样本的年龄估计，得到多输出深度卷积神经网络的输出，每一个输出 都是二分类器的一个二分类类标，对所有输出类标进行等级排序，得到测试样本的年龄估 计。
[0013] 实现本发明目的的技术思路是，根据年龄标签的序列关系，将年龄估计问题看作 有序回归问题;把有序回归问题转化为一系列的二分类子问题，并用多输出深度卷积神经 网络解决这些子问题。
[0014] 与现有技术比，本发明的技术优势有：
[0015] (1)现有的年龄估计方法都分为独立的两步:特征的提取和度量回归或者是多分 类，这两个步骤是分离进行、独立优化的，存在两步中均为最优，而最终结果并非出于最优 状态的可能性。本发明通过一种端对端的多输出深度卷积神经网络，将特征提取和回归或 多分类过程进行融合，使得优化函数在全过程上取得最优解，保证最终结果为最优；
[0016] (2)在特征提取阶段，现有的年龄估计的特征提取方法大多采用人脸的形状特征 或者纹理特征，而本发明采用深度学习的方法自动的对人脸特征进行学习，与人工选取的 特征相比自动学习的特征更好的契合人脸老化的全过程；
[0017] (3)在回归或多分类阶段，现有的年龄估计方法大多采用支持向量机或者典型相 关性分析方法，而本发明采用有序回归的方法对年龄标签之间的相对顺序进行排序，而不 是直接对人脸图像的年龄确切值进行估计，解决了老化模式形成随机过程的非平稳性，提 高了年龄估计的准确率；
[0018] (4)本发明首次建立了大规模亚洲人脸年龄数据集，与现有的数据库相比，包含了 16万张亚洲人脸图像，是目前为止最大的公开年龄数据集，解决了大规模年龄数据集的缺 乏使得年龄估计问题无法取得更大进展的屏障。同时，不同于现有数据库大多分布在非洲 和欧洲人种上的不均衡性，亚洲人脸年龄数据集中的大部分人脸图像为亚洲人种。
【附图说明】
[0019] 图1为本发明的实现流程图；
[0020] 图2为建立亚洲人脸年龄数据集的实现流程图；
[0021] 图3为亚洲人脸年龄数据集部分样本示例图，图3(a)为亚洲人脸年龄数据集中不 同年龄的女性图像示例，图3(b)为亚洲人脸年龄数据集中不同年龄的男性图像示例；
[0022] 图4为多输出深度卷积神经网络结构图；
[0023] 图5为本发明在性能评价指标累计指数上与其他技术的对比图。
【具体实施方式】
[0024] 下面结合附图，对本发明详细描述。
[0025] 实施例1
[0026] 对人脸图像进行人类年龄估计在现实生活中有着广泛的应用。例如在安全监控方 面，通过对监控摄像机中人脸图像进行年龄估计，可以警告或阻止未成年人进入网吧或酒 吧饮酒;在商业用户管理方面，广告商可以根据行人的年龄为不同的潜在客户提供特定的 广告;在生物特征识别方面，可以进行长时间跨度的人脸识别。但是现有的年龄估计技术存 在很多的不足，例如特征提取和回归或多分类分离进行、训练数据不足并且分布不均匀。这 些不足严重影响了现有年龄估计技术的预测准确度。
[0027] 本发明一直在计算机视觉领域进行探索与研究，针对现有年龄估计技术的不足， 提出了一种基于多输出卷积神经网络和有序回归的年龄估计方法，参见图1，包括有如下步 骤：
[0028] (1)建立亚洲人脸年龄数据集(AFAD)，其中包含了 16万张亚洲人脸图像，每一张人 脸图像都有年龄标签，这是目前为止，最大的公开年龄数据集。它解决了大规模年龄数据集 的缺乏使得年龄估计问题无法取得更大进展的屏障，尤其是为亚洲人脸识别提供了有效的 数据基础，在此基础上还可以进一步进行满足需要的数据扩充。目前世界上最大的受欢迎 的公开数据库包括FG-NET数据库，该数据仅存1002张人脸图片、MORPH I数据库其中仅存 1690张人脸图片、MORPH II数据库其中仅存55608张人脸图片，而本发明的亚洲人脸年龄数 据集包含了 16万张亚洲人脸图像，这些数据库并不能满足深度学习算法对巨大的训练样本 的需求。此外MORPH II数据集的种族分布是非常不平衡的，例如超过96%的面孔是非洲和 欧洲的，但只有少于1 %的面孔来自亚洲，因此，以前年龄估计的方法在亚洲面孔上的性能 是未知的。而亚洲人脸年龄数据集包含了 16万张亚洲人脸图像，很好的弥补了这个不足。亚 洲人脸年龄数据集的建立过程参见图2。参见图3,本发明亚洲人脸年龄数据集不仅数量多， 而且对性别进行了分类，图3(a)为亚洲人脸年龄数据集中不同年龄的女性图像示例，图3 (b)为亚洲人脸年龄数据集中不同年龄的男性图像示例。本发明的数据库不仅满足了深度 学习算法对巨大训练样本的需求，而且提供了大量的亚洲人脸图像。
[0029] (2)建立用于二分类的训练数据，输入亚洲人脸年龄数据集中带年龄标签的人脸 图像集，将年龄估计问题转化为一系列的二分类子问题，对每一个二分类子问题的二分类 器构建相应的训练数据，根据人脸图像的年龄标签生成一系列的二分类类标，从输入亚洲 人脸年龄数据集中带年龄标签的人脸图像集得到包含人脸图像、二分类类标和权重的训练 数据。
[0030] (3)训练深度卷积神经网络，根据训练数据，训练多输出深度卷积神经网络，使得 每一个输出都是二分类器的一个二分类类标。参见图4,本例中多输出深度卷积神经网络包 含3层卷积层，3层局部归一化层和2层最大值池化层，之后是80个神经元组成的全连接层。 所有的输出共享相同的中间层，经过这3层处理，多输出深度卷积神经网络取得了最好的性 能。
[0031] (4)将测试样本输入到训练好的卷积神经网络中，将一张步骤(1)中建立的亚洲人 脸年龄数据集中的不带年龄标签的人脸图像作为测试样本，将测试图像输入步骤(3)中训 练好的多输出深度卷积神经网络，分别进行3层卷积，3层局部归一化和2层最大值池化操 作。
[0032] 本发明在研究与开发的过程中，曾经将图3(a)所示女性图像和图3(b)所示男性图 像中的每一幅图像都作为测试样本进行了测试，分别输入到了多输出深度卷积神经网络， 取得了较高的年龄准确率。
[0033] (5)得到测试样本的年龄估计，得到多输出深度卷积神经网络的输出，每一个输出 都是二分类器的一个二分类类标，对所有输出类标进行等级排序，得到测试样本的年龄估 计。
[0034] 现有的年龄估计方法都分为独立的两步:特征的提取和度量回归或者是多分类， 这两个步骤是分离进行、独立优化的，这样做不仅分两步进行有两次优化过程，而且存在两 步中均为最优，而最终结果并非最优状态的可能性。而本发明基于多输出卷积神经网络的 排序回归模型及其在年龄估计中的应用通过一种端对端的多输出深度卷积神经网络，将特 征提取和回归或多分类过程进行融合，使得优化过程中不仅学习到了最优的人脸年龄特 征，使得优化函数在全过程上取得最优解。
[0035] 实施例2
[0036] 基于多输出卷积神经网络和有序回归的年龄估计方法同实施例1，其中步骤（1)中 建立亚洲人脸年龄数据集，参见图2，包括有如下步骤：
[0037] (la)通过在特定的社交网络人人网上收集人脸图像建立这个数据集，人人网是一 个社交网络，学生在上面可以与他人建立联系，上传照片，发表评论等等，在包括中学生、高 中生、本科生和研究生在内的许多亚洲学生中有着广泛的应用。即使在毕业之后，有些人仍 旧登录他们的人人网账号来与老同学进行联系。因此，人人网用户的年龄跨越了从15岁到 超过40岁一个很长的范围，这有利于建立一个广泛年龄跨度的数据集。人人网上有一个特 殊的相册头像相册用于每一个用户上传自己的照片，所以亚洲人脸年龄数据集中的图像来 自人人网上用户的头像相册。
[0038] (lb)用户在人人网上创建一个账户时，需要提供出生日期和性别等信息。通过用 户头像相册中图片的上传日期与该用户所提供的出生日期得到该张图像的年龄，以此年龄 作为标签。通过该用户所提供的性别信息作为性别标签。
[0039] (lc)通过OpenCV对所得到的所有图像进行人脸识别和剪裁，删除不含人脸的图像 如物品甚至标志物图像和人脸图像中的背景如人的全身照，得到人脸图像；
[0040] (Id)利用人工手动滤除卡通头像、观测年龄明显与年龄标签不符的图像、观测性 别明显与性别标签不符的图像等噪声数据。最后，一共收集了 164,432张有年龄标签的人脸 图像，其中包含63,680张女性人脸图像和100,752张男性人脸图像，年龄范围从15到40岁， 以此作为亚洲人脸年龄数据集。
[0041] 亚洲人脸年龄数据集的建立过程参见图2。参见图3,为亚洲人脸年龄数据集部分 样本示例图，图3(a)为亚洲人脸年龄数据集中不同年龄的女性图像示例，图3(b)为亚洲人 脸年龄数据集中不同年龄的男性图像示例。
[0042]本发明首次建立了大规模亚洲人脸年龄数据集，与现有的数据库相比，包含了 16 万张亚洲人脸图像，是目前为止，最大的公开年龄数据集，解决了大规模年龄数据集的缺乏 使得年龄估计问题无法取得更大进展的屏障。同时，不同于现有数据库大多分布在非洲和 欧洲人种上，亚洲人脸年龄数据集中的大部分人脸图像为亚洲人种，解决了以前的年龄估 计方法在亚洲面孔上的性能是未知的困境。
[0043] 实施例3
[0044]基于多输出卷积神经网络和有序回归的年龄估计方法同实施例1-2,其中步骤(2) 所述建立用于二分类的训练数据包括如下步骤：
[0045] (2a)把年龄估计转化为年龄排序用一系列的二分类器处理，对亚洲人脸年龄数据 集图像的每一个二分类器构建相应的训练数据，给定有序的训练数据，其中，Xl ex为第i幅图像的输入空间，yiG γ ={ri，r2, . . .，rd为有序序列的输出空间，γκ>γκ-ι>~ >η，Κ为等级总数，符号 > 表示不同等级之间的排序，Ν为训练数据的总数。
[0046] (2b)对于第k个二分类器，其二分类类标e{0,l丨表示第i个样本的序标号71是否 比:Tk大，定义如下：
[0047]
[0048] 当于y ，二分类类标yf为1，否则为0，便于以后对年龄进行排序。
[0049] (2c)-个具体的训练数据构造为Dk = ，其中yfe{0,l]·是一个二分类 类标，wf是第i个样本的权重，wf采用绝对代价矩阵取值为wf = e ?
[0050] 本发明采用有序回归的方法对年龄标签之间的相对顺序进行排序，而不是单纯对 人脸图像的年龄确切值进行估计，解决了老化模式形成随机过程的非平稳性。根据年龄标 签的序列关系，将年龄估计问题看作有序回归问题，把有序回归问题转化为一系列的二分 类子问题，克服了回归问题在训练过程中的过拟合现象。
[0051 ] 实施例4
[0052]基于多输出卷积神经网络和有序回归的年龄估计方法同实施例1-3,步骤(3)所述 训练深度卷积神经网络包括有如下步骤：
[0053] (3a)定义多输出深度卷积神经网络的损失函数Em写为：
[0054] · i~l ?-ι
[0055] 其中，Ν为输入训练样本数目，Τ为输出数目，At表示第t个输出的重要性系数，1 {·}为布尔测试，内部条件为真则其为1，否则为〇，<表示第i个图像的第t个输出， 乂&{0,1}表示第i幅图像的第t个子问题对应类标，w;第i幅图像的第t个输出的权重， Xlex 表示第i幅图像的输入，Wt为第t个输出的权重。
[0056] (3b)对损失函数进行优化，对于多输出深度卷积神经网络的第t个输出，从L-1层 第j个神经元到L层第k个神经元权重的梯度计算如下：
[0057；
[0058]
[0059] 其中，Em是卷积神经网络的损失函数，o(j)是L-1层第j个神经元的输出，是 输出层第k个神经元的误差。
[0000] (3c)从L-2层第i个神经元到L-1层第j个神经元权重的梯度计算如下：
[0061]
[0062]
[0063]其中，o(i)是L-2层第i个神经元的输出，SL-Kj)是L-1层第j个神经元的误差。
[0064] (3d)反复执行步骤（3b)_(3c)，直至多输出深度卷积神经网络的损失函数Em取得 最小值。
[0065] (3f)输出损失函数Em取得最小值时的最优权重参数f，使得每一个输出都是二分 类器的一个二分类类标。
[0066] 多输出卷积神经网络结构参见图4,多输出深度卷积神经网络包含3层卷积层，3层 局部归一化层和2层最大值池化层，之后是80个神经元组成的全连接层。所有的输出共享相 同的中间层。
[0067] 本发明通过采用深度神经网络的方法，避免了人工选取特征所带来的误差。同时， 深度神经网络方法的使用，将特征提取与回归或多分类两个阶段融合了起来，使得优化函 数在全过程上取得最优解。
[0068] 实施例5
[0069] 基于多输出卷积神经网络和有序回归的年龄估计方法同实施例1-4,步骤(4)所述 将测试样本输入到训练好的卷积神经网络中包括有如下步骤：
[0070] (4a)从亚洲人脸年龄数据集中选择一张不带年龄标签的人脸图像作为测试样本， 测试图像数据为V ;
[0071] (4b)将测试图像输入训练好的多输出深度卷积神经网络进行多层的卷积、池化操 作，其中使用到的权重参数^为步骤(3f)得到的最优参数。
[0072] 将测试图像直接输入训练好的多输出深度卷积神经网络，其中使用到的权重参数 都来自训练过程，因此本发明得到的特征将最契合年龄估计这一应用。
[0073] 实施例6
[0074] 基于多输出卷积神经网络和有序回归的年龄估计方法同实施例1-5,步骤(5)所述 得到测试样本的年龄估计包括有如下步骤：
[0075] (5a)得到测试图像数据Y的多个输出&&/)^{〇，1}氺=1，2，-_，1(-1，在本发明 中设置最小的年龄数是1，年龄取值原则上都为整数，输出fkUO为第k个分类器的二分类 类标。
[0076] (5b)由多个二分类类标，根据下面的公式预测训练数据V的等级)
[0077] h(x7 ) =rq
[0078] 其中
[0079] (5c)输出测试图像的估计年龄，测试图像的估计年龄是等级MY hhU')是1， 2,…，K-1其中的一个。
[0080] 本发明采用以上方案，解决了现有的年龄数据库数据量小不适用于训练深度学习 模型且人种分布不均衡的问题。本发明使用多输出卷积神经网络和有序回归技术也解决了 现有的年龄估计问题存在的很多不足，提高了年龄估计的准确率。
[0081 ] 实施例7
[0082]基于多输出卷积神经网络和有序回归的年龄估计方法同实施例1-6,下面在给出 一个例子进一步说明本发明的实现和技术优势：
[0083]步骤1，建立亚洲人脸年龄数据集(AFAD)
[0084] 本发明采用MORPH II人脸图像数据集和AFAD数据库，其中，MORPH II包含55,608 幅人脸图像，其中42,589幅为非洲人脸图像(77% )，10，559为欧洲人脸图像（19% )，1，769 为西班牙裔美国人人脸图像(3%)，只有154幅亚洲人脸图像(0.2%)，年龄跨度从16岁到77 岁，年龄中位数为33，每个人的平均图像张数为4; AFAD包含164，432张有年龄标签的人脸图 片，分为63,680张女性图片和100,752张男性图片，年龄范围从15岁到40岁。亚洲人脸年龄 数据集的建立过程参见图2，步骤如下：
[0085] (la)通过在特定的社交网络人人网上收集人脸图像建立这个数据集，人人网是一 个社交网络，学生在上面可以与他人建立联系，上传照片，发表评论等等，在包括中学生、高 中生、本科生和研究生在内的许多亚洲学生中有着广泛的应用。即使在毕业之后，有些人仍 旧登录他们的人人网账号来与老同学进行联系。因此，人人网用户的年龄跨越了从15岁到 超过40岁一个很长的范围，这有利于建立一个广泛年龄跨度的数据集。人人网上有一个特 殊的相册头像相册用于每一个用户上传自己的照片，所以亚洲人脸年龄数据集中的图像来 自人人网上用户的头像相册。
[0086] (lb)用户在人人网上创建一个账户时，需要提供出生日期和性别等信息。通过用 户头像相册中图片的上传日期与该用户所提供的出生日期得到该张图像的年龄，以此年龄 作为标签。通过该用户所提供的性别信息作为性别标签。
[0087] (lc)通过OpenCV对所得到的所有图像进行人脸识别和剪裁，删除不含人脸的图像 如物品甚至标志物图像和人脸图像中的背景如人的全身照，得到人脸图像。
[0088] (Id)利用人工手动滤除卡通头像、观测年龄明显与年龄标签不符的图像、观测性 别明显与性别标签不符的图像等噪声数据。最后，一共收集了 164,432张有年龄标签的人脸 图像，其中包含63,680张女性人脸图像和100,752张男性人脸图像，年龄范围从15到40岁， 以此作为亚洲人脸年龄数据集。
[0089]参见图3,为亚洲人脸年龄数据集部分样本示例图，图3(a)为亚洲人脸年龄数据集 中不同年龄的女性图像示例，图3(b)为亚洲人脸年龄数据集中不同年龄的男性图像示例。 [0090]步骤2,建立用于二分类的训练数据
[0091] (2a)把年龄估计转化为年龄排序用一系列的二分类器处理，对亚洲人脸年龄数据 集图像的每一个二分类器构建相应的训练数据，给定有序的训练数据Din}：!,，其中， xiex为第i幅图像的输入空间，yie γ = {ri，r2,. . .，rd为有序序列的输出空间，γκ>γκ-ι > ...>n，K为等级总数，符号〉表示不同等级之间的排序，N为训练数据的总数。
[0092] (2b)对于第k个二分类器，其二分类类标yf e_!0,U表示第i个样本的序标号71是否 比:Tk大，定义如下：
[0093]
[0094] 本发明定义了二分类器的类标，当于yi>r时，二分类类标为1，否则为0,便于以后 对年龄进行排序。
[0095] (2c)-个具体的训练数据构造为没={Xi，yf ，其中yf e {0,1)是一个二分类 类标，wf是第i个样本的权重，wf采用绝对代价矩阵取值力~
[0096] 步骤3，训练深度卷积神经网络
[0097] 多输出深度卷积神经网络有一个多输出结构，每一个输出对应一个二分类器。这 些二分类器在深度卷积神经网络中联合训练。具体步骤如下：
[0098] (3a)定义多输出深度卷积神经网络的损失函数Em写为：
[0099]
[0100] 其中，N为输入训练样本数目，T为输出数目，At表示第t个输出的重要性系数，1 {·}为布尔测试，内部条件为真则其为1，否则为〇，<表示第i个图像的第t个输出， 允表示第i幅图像的第t个子问题对应类标，w;第i幅图像的第t个输出的权重， Xlex 表示第i幅图像的输入，Wt为第t个输出的权重。
[0101] (3b)对损失函数进行优化，对于多输出深度卷积神经网络的第t个输出，从L-1层 第j个神经元到L层第k个神经元权重的梯度计算如下：
[0102]
[0103]
[0104] 其中，Em是卷积神经网络的损失函数，o(j)是L-1层第j个神经元的输出，涔(兮是 输出层第k个神经元的误差。
[0105] (3c)从L-2层第i个神经元到L-1层第j个神经元权重的梯度计算如下：
[0106]
[0107]
[0108]其中，〇(i)是L-2层第i个神经元的输出，SL-Kj)是L-1层第j个神经元的误差。
[0109] (3d)反复执行步骤（3b)_(3c)，直至多输出深度卷积神经网络的损失函数Em取得 最小值。
[011 0] (3f)输出损失函数Em取得最小值时的最优权重参数f，使得每一个输出都是二分 类器的一个二分类类标。
[0111] 利用步骤3所建立多输出深度卷积神经网络结构参见图4,网络包含3层卷积，3层 局部归一化层和2层最大值池化层，之后是80个神经元组成的全连接层。所有的输出共享相 同的中间层。
[0112] 步骤4,将测试样本输入到训练好的卷积神经网络
[0113] (4a)从亚洲人脸年龄数据集中选择一张不带年龄标签的人脸图像作为测试样本， 测试图像数据为V。
[0114] (4b)将测试图像输入训练好的多输出深度卷积神经网络进行多层的卷积、池化等 操作，其中使用到的权重参数^为步骤(3f)得到的最优参数。
[0115] 步骤5,得到测试样本的年龄估计
[0116] (5a)得到测试图像数据V的多个输出€1{&/)￡{〇，1}氺=1，2，-_，1(-1，其中1(为年 龄等级数，输出fUV )为第k个分类器的二分类类标。
[0117] (5b)由多个二分类类标根据下面的公式预测训练数据V的等级MV)
[0118] h(x7 ) =rq
[0119] 其中
[0120] (5c)输出测试图像的估计年龄，测试图像的估计年龄是等级MV)。
[0121] 本发明的效果可以通过以下仿真实验进一步的说明：
[0122] 实施例8
[0123] 基于多输出卷积神经网络和有序回归的年龄估计方法同实施例1-7，
[0124] 1.仿真条件
[0125] 本发明是在中央处理器为Intel(R)Core i3-530 2.93GHZ、内存4G、WIND0WS 7操 作系统上，运用MATLAB软件进行的仿真，发明在Caffe上实现。
[0126] 2.仿真内容
[0127] 本发明在MORPH II人脸图像数据集和AFAD数据库上进行基于人脸图像的年龄估 计仿真实验。
[0128] 本发明以平均绝对误差和累计指数为指标对方法性能进行评测，仿真对比了不同 图像识别方法对图像进行年龄估计的准确率。对比的多种年龄估计方法包括生物启发式特 征+线性支持向量机回归器、生物启发式特征+典型相关分析、深度卷积神经网络+线性支持 向量机回归器。本发明在同样的条件下与两个经典的有序回归相比较，平均绝对误差的对 比实验结果如表1所示。累计指数的对比实验结果见图5。
[0129] 表1.不同方法下年龄估计的准确率
[0130]
[0131] 由表1可见，一般来说有序回归优于度量回归；更重要的是，本发明在有序回归的 基础上又增加了深度学习，或者说本发明将有序回归和深度学习方法结合，显著地提升了 年龄预测性能的准确度。与度量回归4-5的平均绝对误差相比，发明将平均绝对误差分别降 到了3.27岁和3.34岁，年龄估计的准确率提高了 1岁左右。
[0132] 对于累积指数，本发明方法在MORPH II和AFAD数据集上也取得了最好的性能，参 见图5，当年龄误差在2-12岁时，本发明方法的准确率远高于之前的方法。
[0133] 综上所述，本发明的基于多输出卷积神经网络和有序回归的年龄估计方法，其实 现是：1.建立亚洲人脸年龄数据集(AFAD); 2.建立用于二分类的训练数据;3.训练深度卷积 神经网络;4.将测试样本输入到训练好的卷积神经网络;5.得到测试样本的年龄估计。本发 明提出了一种对年龄进行排序的方法，将有序回归和深度学习方法结合，显著地提升了年 龄预测性能的准确度。本发明解决了现有年龄估计方法中特征学习和回归建模是独立处理 与优化的不足，能充分利用年龄标签的序列关系将年龄估计有序回归，提高了年龄估计准 确率，还为亚洲人脸的年龄估计建立了一个大规模数据库，为人脸年龄估计研究提供了数 据库基础。本发明能广泛用于对人脸图像的年龄估计。
【主权项】
1. 一种基于多输出卷积神经网络和有序回归的年龄估计方法，其特征在于，包括有如 下步骤： (1) 建立亚洲人脸年龄数据集，其中包含了 16万张亚洲人脸图像，每一张人脸图像都有 年龄标签； (2) 建立用于二分类的训练数据，输入亚洲人脸年龄数据集中带年龄标签的人脸图像 集，根据人脸图像的年龄标签生成一系列的二分类类标，得到包含人脸图像、二分类类标和 权重的训练数据； (3) 训练深度卷积神经网络，根据训练数据，训练多输出深度卷积神经网络，使得每一 个输出都是二分类器的一个二分类类标； (4) 将测试样本输入到训练好的卷积神经网络中，将一张亚洲人脸年龄数据集中的不 带年龄标签的人脸图像作为测试样本，将测试样本输入训练好的多输出深度卷积神经网 络，进行多层的卷积、池化操作； (5) 得到测试样本的年龄估计，得到多输出深度卷积神经网络的输出，每一个输出都是 二分类器的一个二分类类标，对所有输出类标进行等级排序，得到测试样本的年龄估计。2. 根据权利要求1所述的基于多输出卷积神经网络和有序回归的年龄估计方法，其特 征在于，步骤(1)所述建立亚洲人脸年龄数据集包括有如下步骤： (la) 通过在特定的社交网络人人网上收集人脸图像建立运个数据集，图像来自人人网 上用户的头像相册； (lb) 通过用户头像相册中图像的上传日期与该用户所提供的出生日期得到该张图像 的年龄，W此年龄作为标签； (lc) 通过化enCV对所得到的所有图像进行人脸识别和剪裁，删除不含人脸的图像，得 到人脸图像； (ld) 利用人工手动滤除卡通头像、明显与年龄不符图像等噪声数据，得到亚洲人脸年 龄数据集。3. 根据权利要求1所述的基于多输出卷积神经网络和有序回归的年龄估计方法，其特 征在于，步骤(2)所述建立用于二分类的训练数据包括如下步骤： (2a)把年龄估计转化为年龄排序用一系列的二分类器处理，对亚洲人脸年龄数据集图 像的每一个二分类器构建相应的训练数据，给定有序的训练数据D=K，yi沿，其中，xiex 为第i幅图像在输入空间的，yie 丫 ={τι，η，...，Γκ}为有序序列的输出空间，rK>rii-i>... >ri，K为等级总数，符号 > 表示不同等级之间的排序，N为训练数据的总数； (2b)对于第k个二分类器，其二分类类标yl^ €.化I!表示第i个样本的序标号yi是否比rk 大，定义如下：当于yi〉rk时，二分类类标yf为1，否则为0; (扣)一个具体的第k个二分类器的训练数据构造为Dk = {Xi，yf，wf培l，其中yfe?O，l)是 一个二分类类标，wf是第i个样本的权重，>叫采用绝对代价矩阵取值为V(/，k)，wf = C。4. 根据权利要求1所述的基于多输出卷积神经网络和有序回归的年龄估计方法，其特 征在于，步骤(3)所述训练深度卷积神经网络包括有如下步骤： (3a)定义多输出深度卷积神经网络的损失函数Em写为：其中，N为输入训练样本数目，T为输出数目，表示第t个输出的重要性系数，1{ ·}为布 尔测试，内部条件为真则其为1，否则为0,却表示第i个图像的第t个输出，j,'e诉，η表示第i 幅图像的第t个子问题对应类标，的第i幅图像的第t个输出的权重，xiex表示第i幅图像的 输入，Wt为第t个输出的权重； (3b)对损失函数进行优化，对于多输出深度卷积神经网络的第t个输出，从层第j个 神经元到L层第k个神经元权重的梯度计算如下：其中，Em是卷积神经网络的损失函数，〇〇)是心1层第j个神经元的输出，巧（y是输出层 第k个神经元的误差； (3〇)从心2层第i个神经元到层第j个神经元权重的梯度计算如下：其中，〇。）是心2层第i个神经元的输出，5^〇)是心1层第j个神经元的误差； (3d)反复执行步骤（3b)-(3c)，直至多输出深度卷积神经网络的损失函数Em取得最小 值； (3f)输出损失函数Em取得最小值时的最优权重参数WS使得每一个输出都是二分类器 的一个二分类类标。5. 根据权利要求1所述的基于多输出卷积神经网络和有序回归的年龄估计方法，其特 征在于，步骤(4)所述将测试样本输入到训练好的卷积神经网络中包括有如下步骤： (4a)从亚洲人脸年龄数据集中选择一张不带年龄标签的人脸图像作为测试样本，测试 样本数据为χ/ ; (4b)将测试图像输入训练好的多输出深度卷积神经网络进行多层的卷积、池化操作， 其中使用到的权重参数Wt为步骤(3f)得到的最优参数。6. 根据权利要求1所述的基于多输出卷积神经网络和有序回归的年龄估计方法，其特 征在于，步骤(5)所述得到测试样本的年龄估计包括有如下步骤： (5a)得到测试图像数据χ/的多个输出fk(χ/ ) E {0，U，k = 1，2，…，K-1，其中K为年龄等 级数，输出fk(x/ )为第k个分类器的二分类类标； 巧b)由多个二分类类标·(乂片於:，根据下面的公式预测训练数据X'的等级h(x')巧C)输出测试图像的估计年龄，测试图像的估计年龄是等级Κχ/)。
【文档编号】G06K9/00GK105975916SQ201610273524
【公开日】2016年9月28日
【申请日】2016年4月28日
【发明人】牛振兴, 魏雪, 周默, 袁博, 高新波, 华刚
【申请人】西安电子科技大学