专利名称：一种基于几何特征的人脸美感分析方法
技术领域：
本发明涉及人脸美感分析方法技术领域，特别是涉及一种基于几何特征的人脸美感分析方法。
背景技术：
人脸美感是个性与共性的统一，个性是指每个人的容貌都不尽相同，都有自己美的特质，共性是指每个人美的表现不同，但都遵循一定的规律。自古以来，人们对美的追求就从未停止过，哲学家、心理学家、美学家等也一直在试图寻找美的本质，并形成了许多的美学规律，如中国的古典美学标准成为了中国文化的重要思想体系，中国传统审美观的“三庭五眼”说法，自古希腊以来所推崇的“黄金比例”，以及研究者最近发现的新“黄金比例”寸。早期，人们认为美是一种抽象的主观概念，“美在旁观者的眼睛里(Beauty is in the eye of the beholder) ”，即对美的判断会根据观察者的性别、年龄、种族、教育程度、文化环境等差异而有所不同。伏尔泰也曾认为，“美是相对的”。然而，有研究发现，给2-3月和6-8月的婴儿呈现按照成人标准划分的女性美丑图片，婴儿注视美女图片的时间明显长于非美女；同时，进化心理学的一项研究发现，亚洲人、西班牙人、黑人和白人在对女性照片打分时，有着高达0.93的正相关。即全世界的人们都在使用一套类似的美感判断准则。人脸美感分析技术正引起人们越来越多的注意，这是因为人脸美感分析技术所带来的巨大的经济效益和社会效益。美国整容手术学会发表报告称，美国整容市场10年来增长4. 57倍，2007年行业产值达约130亿美元；进化心理学家从女性美与繁殖的关系中引入 “繁殖价值”概念，从进化的角度解释了男性对女性的审美观；面对互联网上的海量信息，从美感角度进行个性化的信息检索也越来越成为各个社交网站的主流方法。随着人类生活方式的不断改变、活动范围的扩大及各民族种群由于种族、地域、气候、生活习性的长期影响， 世界各地人群的体质特征都发生了显著变化，其面部特征的改变也尤其明显，因此研究当代人群容貌特征，能为临床美容医学、医疗保健及营养评价标准提供重要的基础资料。貌美人群的各器官遵循一定的比例，而比例失调是畸形的重要变化指标之一。科学家通过貌美人群和普通人群的对比，研究美丽带来的社会影响，即外貌对人际关系的影响程度。美貌特征也严重影响着雕塑家、美术家等的艺术创作，为人类提供了难以估量的精神价值。鉴于人脸美感分析技术在整容手术、化妆、社交网站、娱乐软件、科学研究等领域潜在的应用前景，人们开始思考美的本质，组成美的元素是什么，能否对其量化。上世纪八九十年代，人们在弗朗西斯高尔顿多次提取图像特征技术的基础上利用图像变形软件(Morphing software)，由多个独立人脸图像合成平均脸，得到“平均脸理论 (Averageness hypothesis) ”，即认为只有平均脸才是最漂亮最吸引人的，越接近平均脸越有吸引力。不过，Perrett等人采用其他合成方法，只将漂亮的人脸合成得到的平均脸要比把所有的人脸(包括漂亮的和不漂亮的)合成得到的平均脸更加吸引人，部分否定了“平均脸理论”，认为平均脸固然有吸引力，但是有吸引力的脸不一定都是平均脸。
然而，近年来，随着科学技术和信息技术的进步，特别是计算机技术、网络技术和大容量存储技术的不断发展，人们开始从数据挖掘的角度，利用机器学习和模式识别的方法来分析研究人脸美感。根据美感分析算法基于的特征不同，目前主流的人脸美感分析技术大体上可以分成以下两类1、基于子空间(Subspace based)的方法基于子空间的方法从人脸表象(Appearance)信息出发，直接输入人脸的灰度图像，即可实现全自动的人脸美感分析。在人脸识别应用中获得了较大成功。人脸图像的维数通常较高，同类的人脸图像在这样高维空间中的分布很不紧凑，因而不利于分类，且计算复杂度高。子空间分析把原始的高维空间中的人脸图像数据投影压缩到一个低维子空间， 使数据在子空间中的分布更加紧凑，更有利于分类，同时也大大降低了计算的复杂度。2、基于几何特征(Geometrical features based)的方法。基于几何特征的研究方法需要根据已有的经验知识得到可能的描述人脸美感的各个器官的几何比例关系，并训练得到具有较强分类回归性能的特征描述组合，用于新进人脸图像的分类回归。此方法从人类大脑对人脸美感的认知原理出发，易于理解、存储量小、光照变化不敏感。但是由于构成人脸美感的特征描述是多方面的，标准不一的信息，因而具有很大的挑战性，也面临着很多问题。由于上述方法在提取人脸美感特征描述时的侧重点不同，使得对人脸美感分析还存在着很多问题(1)、对于基于子空间的算法来说，它需要对输入人脸图像进行位置校准预处理， 且易受光照、姿势变化、图像质量等的影响。O)、对于基于几何特征的方法来说，首先，此方法对强烈的表情变化和姿势变化的鲁棒性较差；其次，一般的几何特征只描述了人脸的基本形状和结构关系，忽略了局部细微特征，如纹理特征，造成部分信息丢失；此外，还需人工标定几何关系，工作量大，实验过程需人工介入，不能实现全自动。因此，需要本领域技术人员迫切解决的一个技术问题就是如何能够创新的提出有一种有效措施以克服现有技术存在的缺陷。
发明内容
本发明所要解决的技术问题是提供一种基于几何特征的人脸美感分析方法，有效实现特征的集成，获取人脸美感精确类别。为了解决上述问题，本发明公开了一种基于几何特征的人脸美感分析方法，所述方法包括离线数据库建立与在线监测，其中离线数据库建立部分分为离线预处理和离线处理，在线监测部分分为在线预处理和在线处理；所述离线预处理包括对预选图片数据库中每张人脸图像的各器官上标定41个特征点，各器官上特征点的连线用于描绘该器官的轮廓，存储各特征点的坐标，组合单一特征描述和组合特征描述，用于在线监测时，与未知人脸图像标注后所选取的相应的组合特征进行比较；所述离线处理包括将获得的数据库中所有图像组成的特征组合描述，采用基于记忆的动态加权核密度估计构建弱分类器；
所述在线预处理包括对输入的每一张人脸图像样本，按离线数据库所选取的41 个几何特征点的位置进行人工标定，存储每个点的坐标值，进行单一特征描述和组合特征描述组合，作为查询向量；所述在线处理具体内容包括将输入图像的几何特征描述通过Adaboost算法进行集成学习，集成各弱分类器为强分类器进行分类，获得与查询向量所描述的人脸图像相应类别的类标号。优选的，所述预选图片数据库中每张人脸图像携带有分类信息，具体划分为正例样本或负例样本，即“有吸引力的”或“没有吸引力的”。优选的，所述方法还包括根据所述分类信息对所构建的弱分类器进行校验。优选的，所述分类信息是经至少50人以上分别给出客观美感分值，按其平均值大小划分的。优选的，对于离线数据库中的每一张人脸图像计算41个几何特征点中的任意两点之间的欧氏距离，并以瞳间距归一，共取817个，计算描述下颂骨轮廓的10个特征点的两侧任意两点间的斜率共20个，计算描述人脸面积的三角形面积，并以两瞳孔点和鼻尖点构成的三角形面积归一，共取8个，欧氏距离、斜率和三角形面积组成的845维特征向量作为其单一特征描述，同时，存储所有离线数据库中人脸图像的845维特征向量，用于在线监测时，与未知人脸图像标注后所选取的相应的845维特征向量进行比较；对于离线数据库中的每一张人脸图像，经离线处理后得到845维特征向量的每一维的分类性能后，按其分类性能高低排序，选取分类性能较强的前100维向量进行两两组合得到4950维联合特征作为其组合特征描述，分别用于在线监测时，与未知人脸图像标注后所选取的相应的组合特征描述进行比较。优选的，对于输入的每一张人脸图像，计算41个几何特征点中的任意两点之间的欧氏距离共817个，并以瞳间距归一，计算描述下颂骨轮廓的10个特征点的两侧任意两点间的斜率共20个，计算描述人脸面积的三角形面积共8个，并以两瞳孔点和鼻尖点构成的三角形面积归一，存储由欧氏距离、斜率和三角形面积组成的845维特征向量作为其单一特征描述的查询向量；对于输入在线预处理的每一张人脸图片，按照离线数据库人脸图像的845维单一特征描述的每一维分类性能的高低排序，从输入图像的845维特征描述中选取相应的前 100维进行两两组合得到4950维联合特征作为其组合特征描述的查询向量存储。与现有技术相比，本发明具有以下优点本发明通过基于组合策略的局部几何特征进行组合描述，并采用基于记忆的动态加权核密度估计(MDKDE)构建弱分类器，利用Adaboost集成学习机制实现特征的有效集成，得到人脸美感精确类别。与以往基于几何特征的人脸美感分析技术不同的是，本发明从欧氏距离、斜率和面积等多角度选取描述人脸美感的局部几何特征，构成人脸美感的单一描述，并由局部几何特征描述进行组合得到组合特征描述，并采用MDKDE构建Adaboost集成学习的弱分类器，对任意输入的人脸图像获得了较好的分类结果。
图1是本发明具体实施方式
所述的一种基于几何特征的人脸美感分析方法的示意图；图2是本发明具体实施方式
所述的几何特征点的选取位置的示意图；图3是本发明具体实施方式
所述的人脸几何特征提取的示意图；图4是本发明具体实施方式
所述的人脸斜率特征描述示图；图5是本发明具体实施方式
所述的三角形面积特征描述示图；图6是本发明具体实施方式
所述的人脸特征组合描述示意图；其中i，i = 1，2… 845为单一特征描述的第i维特征描述值，假设1到845是按其分类性能从高到低排序；图7是本发明具体实施方式
所述的Adaboost算法原理示意图；图8是本发明具体实施方式
所述的非参估计示意图；图9是本发明具体实施方式
所述的动态加权核密度估计示意图；图10是本发明具体实施方式
所述的基于样本分类错误驱动的DWKDE ；图11是本发明具体实施方式
所述的基于样本分类错误驱动的MDWKDE ；图12是本发明具体实施方式
所述的单一局部特征描述分类结果示意图；图13是本发明具体实施方式
所述的单一特征描述集成学习分类结果示意图；图14是本发明具体实施方式
所述的组合特征描述分类结果示意图；图15是本发明具体实施方式
所述的组合特征描述集成学习分类结果示意图。
具体实施例方式为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式
对本发明作进一步详细的说明。参照图1，示出了本发明所述的一种基于几何特征的人脸美感分析方法的示意图， 下面对本发明的具体实施方式
作详细阐述。1、几何点标注在本发明中，考虑到人工工作量的大小，在选取人脸图像的几何标注点时，共选取 41个特征点，各器官上各特征点的连线能大致描绘出该器官的轮廓。对输入的每一个人脸图像按照预先设定的41个几何特征点进行人工标注，并存储每个点的坐标值。图2给出了本方案的几何特征点的选取位置，图3为人脸几何特征提取的示意图。2、特征组合对于每一张已经标注的人脸图片(1)计算任意两个点A(Xl，Yl)和B(x2，y2)之间的欧氏距离共820个， d(A,B) = ^y1 -y2)2 +(X1-X2)2 ,并以瞳间距归一，去除瞳间距及上下唇中间点到上唇和下唇的距离2个，共817个；(2)计算描述下颂骨轮廓各点的两侧任意两点C (x3，y3)和D0c4，y4)间的斜率共20 个^ =T^T-，具体参照图4给出的人脸斜率特征描述示λ3 λ4(3)计算描述人脸面积的三角形面积，并以两瞳孔点和鼻尖点构成的三角形面积归一，去除两瞳孔点和鼻尖点构成的三角形面积，共8个，具体参照图5给出的三角形面积特征描述示(4)将上述共845维特征组合在一起作为其单一特征描述，如图6所示；(5)经离线处理得到845维特征的每一维的分类性能后，按其分类性能高低排序， 选取分类性能较强的前100维进行两两组合得到4950维二次联合特征作为其组合特征描述，如图6所示。3、Adaboost 集成学习1995年，Freund和Schapire根据在线分配算法提出了 Adaboost算法，其全称为 Adaptive Boosting, ￠(^ Adaboost MIS另Ι」 Boosting 胃夕去。Adaboost是一种迭代算法，其核心思想是针对同一个训练集的不同分布训练不同的弱分类器，然后将这些弱分类器集合起来，构成一个更强的最终的强分类器。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。参照图 7为Adaboost算法原理示意图。使用Adaboost分类器可将分类重心放在容易错分的数据上面，如图10所示。其中，圆圈和的点表示待分类的数据，符号越大表示权重越高，实线表示目前的分类结果(由前m次合并得到)，虚线表示当前预分类，它会更关注上一次被错分的数据，即那些符号的大的数据，则在当前分类中被错分的概率降低。当m= 150的时候，已基本将两种不同符号的点分开。Adaboost算法针对同一个训练集的不同权重分布训练不同的弱分类器。初始时， 每个样本对应的权重是相同的，即1/n，其中η为样本个数，在此样本分布下训练出一弱分类器。对于分类正确的样本，降低其权重，这样被分错的样本就被突出出来，从而得到一个新的样本分布。在新的样本分布下，再次对弱分类器进行训练，得到弱分类器。依此类推， 经过T次循环，得到T个弱分类器，把这T个弱分类器按一定的权重叠加(Boost)起来，得到最终想要的强分类器。Adaboost集成算法流程具体步骤如下人脸样本的几何特征描述(Xl，Y1)，…，(xn, yn)，其中Xi，i = 1，…，η为单一特征描述或组合特征描述，类别标签yi = 1，0分别表示“有吸引力的”和“没有吸引力的”，η 为样本总数。(1)初始化样本权值W1, i，W1,, = IAm(对“有吸引力的”)或Wia = 1/21(对“没有吸引力的”)，其中m和1分别为正负样本个数，η = m+1 ；(2)对t = 1，…，T (T为选取的弱分类器的个数)1)、归一化权重 wti:
WtiWt,i = ^n w
^j=I yvtj2)、对每个特征f，训练一个MDWKDE弱分类器ht,f ；3)、计算对应所有特征的弱分类器的加权(Wt)错误率etf =YiWjhtf(Xi)-4)、选取拥有最小错误率(et)的分类器为最佳弱分类器ht ；5)、按照最佳弱分类器的错误率重新调整权重
权利要求
1.一种基于几何特征的人脸美感分析方法，其特征在于，所述方法包括离线数据库建立与在线监测，其中离线数据库建立部分分为离线预处理和离线处理，在线监测部分分为在线预处理和在线处理；所述离线预处理包括对预选图片数据库中每张人脸图像的各器官上标定41个特征点，各器官上特征点的连线用于描绘该器官的轮廓，存储各特征点的坐标，组合单一特征描述和组合特征描述，用于在线监测时，与未知人脸图像标注后所选取的相应的组合特征进行比较；所述离线处理包括将获得的数据库中所有图像组成的特征组合描述，采用基于记忆的动态加权核密度估计构建弱分类器；所述在线预处理包括对输入的每一张人脸图像样本，按离线数据库所选取的41个几何特征点的位置进行人工标定，存储每个点的坐标值，进行单一特征描述和组合特征描述组合，作为查询向量；所述在线处理具体内容包括将输入图像的几何特征描述通过Adaboost算法进行集成学习，集成各弱分类器为强分类器进行分类，获得与查询向量所描述的人脸图像相应类别的类标号。
2.如权利要求1所述的方法，其特征在于所述预选图片数据库中每张人脸图像携带有分类信息，具体划分为正例样本或负例样本，即“有吸引力的”或“没有吸引力的”。
3.如权利要求2所述的方法，其特征在于，所述方法还包括根据所述分类信息对所构建的弱分类器进行校验。
4.如权利要求2所述的方法，其特征在于所述分类信息是经至少50人以上分别给出客观美感分值，按其平均值大小划分的。
5.如权利要求1所述的方法，其特征在于对于离线数据库中的每一张人脸图像计算41个几何特征点中的任意两点之间的欧氏距离，并以瞳间距归一，共取817个，计算描述下颂骨轮廓的10个特征点的两侧任意两点间的斜率共20个，计算描述人脸面积的三角形面积，并以两瞳孔点和鼻尖点构成的三角形面积归一，共取8个，欧氏距离、斜率和三角形面积组成的845维特征向量作为其单一特征描述，同时，存储所有离线数据库中人脸图像的845维特征向量，用于在线监测时，与未知人脸图像标注后所选取的相应的845维特征向量进行比较；对于离线数据库中的每一张人脸图像，经离线处理后得到845维特征向量的每一维的分类性能后，按其分类性能高低排序，选取分类性能较强的前100维向量进行两两组合得到4950维联合特征作为其组合特征描述，分别用于在线监测时，与未知人脸图像标注后所选取的相应的组合特征描述进行比较。
6.如权利要求1所述的方法，其特征在于对于输入的每一张人脸图像，计算41个几何特征点中的任意两点之间的欧氏距离共 817个，并以瞳间距归一，计算描述下颂骨轮廓的10个特征点的两侧任意两点间的斜率共 20个，计算描述人脸面积的三角形面积共8个，并以两瞳孔点和鼻尖点构成的三角形面积归一，存储由欧氏距离、斜率和三角形面积组成的845维特征向量作为其单一特征描述的查询向量；对于输入在线预处理的每一张人脸图片，按照离线数据库人脸图像的845维单一特征描述的每一维分类性能的高低排序，从输入图像的845维特征描述中选取相应的前100维进行两两组合得到4950维联合特征作为其组合特征描述的查询向量存储。
全文摘要
本发明提供了一种基于几何特征的人脸美感分析方法，通过基于组合策略的局部几何特征进行组合描述，并采用基于记忆的动态加权核密度估计(MDKDE)构建弱分类器，利用Adaboost集成学习机制实现特征的有效集成，得到人脸美感精确类别。与以往基于几何特征的人脸美感分析技术不同的是，本发明从欧氏距离、斜率和面积等多角度选取描述人脸美感的局部几何特征，构成人脸美感的单一描述，并由局部几何特征描述进行组合得到组合特征描述，并采用MDKDE构建Adaboost集成学习的弱分类器，对任意输入的人脸图像获得了较好的分类结果。
文档编号G06K9/66GK102254180SQ20111017711
公开日2011年11月23日 申请日期2011年6月28日 优先权日2011年6月28日
发明者朱振峰, 段红帅, 赵耀 申请人:北京交通大学