一种基于深度学习的人脸美丽评价方法
【技术领域】
[0001] 本发明属于模式识别与人工智能技术领域，特别涉及一种计算机客观评价人脸美 丽程度的方法。
【背景技术】
[0002] 评价人脸的美丽程度很有可能受到主观因素的影响，不同人，不同种族都有不同 的平均标准。即使同一个民族在不同时期的审美标准也可能完全不同。但是在同一时期， 相同地区的人们对美丽还是有共性的认识。一些学者已经开始用计算机对人脸美丽进行较 为客观的评价。人脸美丽评价可以广泛地应用在日常生活中，如在社交网络中让计算机为 好友进行美丽评价并分享。
[0003] 基于几何特征的人脸美丽预测方法是人脸美丽研宄的热点，研宄者在人脸图像上 提取许多有意义的特征点，计算感兴趣特征点之间的几何距离以及由这些距离所构成的比 率矢量，然后将几何距离和比率矢量作为特征进行机器学习。几何特征体现了人脸图像各 部位一种和谐的数量或比例关系。比如中国发明专利200810029422. 6号专利《一种基于视 频的人脸美丽评价方法》和200910041044. 8号专利《一种采用计算机进行女性图像的人脸 美丽分类方法》但是，人脸平面图像单纯用几何特征进行描述会丢失诸如肌肉的起伏、五官 部位的结构转折等表征人脸美丽的特征信息，而且人脸特征点的检测在训练阶段需由人工 标注训练样本，但过多主观因素介入容易导致所获结果没有普适性，甚至当待标注图像数 目庞大时，令到人工介入非常繁琐。表观特征指以人脸整体外貌特征为研宄对象，对美丽特 征的分析不再局限于几何距离，也不再局限于特征点的控制。表观特征不用提取特征点，避 免过多人工介入，相对于几何特征具有独特优势。
【发明内容】
[0004] 为了克服现有技术的上述缺点，本发明目的在于提供一种基于深度学习的人脸美 丽评价方法，能够有效地学习到表达人脸美丽的特征，从而获得更好的人脸美丽客观评价。
[0005] 为了实现上述发明目的，本发明采用的技术方案是：
[0006] 一种基于深度学习的人脸美丽评价方法，包括下列步骤：
[0007] (1)获取训练人脸图像集和测试人脸图像集；
[0008] (2)通过DLANet特征学习模型（该模型通过最小化同类样本距离，最大化异类样 本距离来学习特征），对训练人脸图像集学习人脸美丽特征（卷积模版），并用卷积模版对 原始图像进行卷积形成多个特征图；
[0009] (3)把（2)得到的特征图作为输入，利用同样的DLANet特征学习方法学习第二层 卷积模版，并用卷积模版对（2)得到的特征图进行卷积形成多个特征图；
[0010] (4)对（3)得到的特征图二值化编码，在局部区域计算统计直方图，然后把所有的 局部区域统计直方图拼接成一张人脸图像的特征；
[0011] (5)把人脸的美丽评价量化为多个等价形成，用SVM分类器进行分类得出评价结 果。
[0012] 上述方案中，所述步骤（2)用DLANet学习卷积模版具体操作如下：
[0013] (I)对所有训练人脸图像提取7X7的图像块，将这些图像块展成列向量并减去对 应均值形成样本矩阵P。
[0014] (II)对于第i个样本氏，找到Ii1个最近的同类样本Pi"Pi2,…，如和k 2个最近的异 类样本P1,，艮2，…，构造系数矩阵Li
[0015]
【主权项】
1. 一种基于深度学习的人脸美丽评价方法，包括下列步骤： (1) 获取训练人脸图像集和测试人脸图像集； (2) 通过DLANet特征学习模型，对训练人脸图像集学习人脸美丽特征即卷积模版，并 用卷积模版对原始图像进行卷积形成多个特征图；所述DLANet特征学习模型通过最小化 同类样本距离，最大化异类样本距离来学习特征； (3) 把步骤（2)得到的特征图作为输入，利用与步骤（2)同样的DLANet特征学习方法 学习第二层卷积模版，并用该第二层卷积模版对（2)得到的特征图进行卷积形成多个特征 图； (4) 对步骤（3)得到的特征图二值化编码，在局部区域计算统计直方图，然后把所有的 局部区域统计直方图拼接成一张人脸图像的特征； (5) 把人脸的美丽评价量化为多个等价形成，用SVM分类器进行分类得出评价结果。
2. 根据权利要求1所述的基于深度学习的人脸美丽评价方法，其特征在于所述步骤 (2)用DLANet学习卷积模版具体操作如下： (I)对所有训练人脸图像提取7X7的图像块，将这些图像块展成列向量并减去对应均 值形成样本矩阵P ; (Π )对于第i个样本，找到Ic1个最近的同类样本…L和1^2个最近的异类样 本Pb知，…，K2;构造系数矩阵Li Li = i . /<：1 (-lfel+fe2,/fel+fe2) V iU1-Vk2 / 糾?(?^Χ 通肝随酸料骑辦棚側； 1Wfc2是长度为Vk2的全1向量，41+fc2是对角线全为1的（Vk 2) X (Vk2)大小的方阵； (III) 为了考虑每个样本对总体的不同影响，采用边缘度叫来表示其重要性，边缘度的 定义为
其中^是落在样本也邻近区域内异类样本的个数，S是正则化参数，t是缩放因子；当 Iii越大，m 越大说明此样本也越重要； (IV) 定义选择矩阵
这个矩阵表示从样本矩阵P选出第i个样本民，这样就可以得到对齐矩阵 L = Xf=T SiTniLiSj, 其中Nmn是样本个数，Si为选择矩阵，L ,是（II )所述的系数矩阵，!1^是（III)所述的 边缘度； (V) 对矩阵？^^进行特征值分解，将特征值按从小到大排列，取前8个特征值对应的特 征向量矩阵化作为这一层的8个卷积模版； (VI)将卷积模版与原人脸图像进行卷积，得到8个特征图。
3. 根据权利要求1所述的基于深度学习的人脸美丽评价方法，其特征在于所述步骤 (3) 以步骤⑵得到的特征图作为输入，学习得到8个卷积模版，将卷积模版与8个特征图 进行卷积，共得到64个特征图。
4. 根据权利要求1所述的基于深度学习的人脸美丽评价方法，其特征在于所述步骤 (4) 具体操作如下： 利用二值化函数B(X)将所有特征图二值化
把从步骤（3)中同一特征图卷积得到的8个二值化后的深层特征图作为一组，将它们 对应像素的8个值看成一个二进制数并转化为十进制数，从步骤（3)的64个特征图得到8 个输出图；对于每个输出图以滑动窗的形式取16 X 16的块，滑动步长为8,统计每个块的统 计直方图，形成28 = 256维直方图特征；最终将整幅人脸图像的所有特征拼接在一起得到 这一人脸图像的美丽特征表达。
5. 根据权利要求1所述的基于深度学习的人脸美丽评价方法，其特征在于所述步骤 (5) 将训练人脸图像对应评分量化为5个等级，也就是把人脸图像分为5类：不美，一般不 美，一般，一般美，很美；用步骤（4)得到的人脸美丽特征和对应的分类标签训练SVM分类 器，这个分类器对测试人脸图像进行评价从而实现计算机对人脸美丽的客观评价。
【专利摘要】本发明提供一种基于深度学习的人脸美丽评价方法。该方法包括：(1)获取训练人脸图像集和测试人脸图像集；(2)通过特征学习对训练人脸图像集学习人脸美丽特征，并用卷积模版对原始图像进行卷积形成多个特征图；(3)把得到的特征图作为输入，利用同样特征学习方法学习第二层卷积模版，并用卷积模版对(2)得到的特征图进行卷积形成多个特征图；(4)对得到的特征图二值化编码，在局部区域计算统计直方图，然后把所有的局部区域统计直方图拼接成一张人脸图像的特征；(5)把人脸的美丽评价量化为多个等价形成，用SVM分类器分类得出评价结果。本发明通过深度学习算法从样本中自动学习出人脸美丽特征，使计算机智能地对人脸美丽进行评价。
【IPC分类】G06K9-62, G06K9-66
【公开号】CN104636755
【申请号】CN201510059798
【发明人】金连文, 冯子勇
【申请人】华南理工大学
【公开日】2015年5月20日
【申请日】2015年1月31日