3d脸型自动变化方法及系统的制作方法
【专利摘要】本发明提供了一种3D脸型自动变化方法，包括步骤：步骤1：人脸检测；断输入图像中是否存在人脸，若检测到人脸，则继续执行步骤2；步骤2：确定图像中人脸的面部特征点；步骤3：加载标准三维人脸模型数据文件；步骤4：区分出如下各个顶点群；步骤5：对所述各个顶点群中的顶点分别添加权重值；步骤6：对调整后的标准三维人脸模型M2的人脸进行整体缩放；步骤7：使调整后的标准三维人脸模型M2的组成脸部轮廓的顶点群所形成的脸部轮廓形状与步骤2得到的人脸的面部特征点形成的脸部轮廓的形状一致。本发明具有的有益效果为：本发明可以通过一张人脸正面照片自动转换为三维人脸脸型并继续3D脸型变化，具有实现容易以及转换速度快的优点。
【专利说明】3D脸型自动变化方法及系统
【技术领域】
[0001]本发明涉及人脸识别与还原，具体地，涉及3D脸型自动变化方法及系统。
【背景技术】
[0002]现今社会，诸如视觉监控、远程教育和人机交互技术及安全等各方面都迫切希望能够进行快速、有效的身份验证。生物特征因为自身的稳定性和差异性，已成为身份验证的主要手段。人脸是一种极为复杂的多变的物体，也是一种典型的非刚性物体。
[0003]人的脸部特征十分丰富，除了形状和表情之外，还有五官的特征分布。通过研究这些特征间的比例关系，可以得到不同的人脸的相似和差异程度。与利用视网膜识别及指纹识别等人体生物特征进行身分验证相比，人脸识别技术具有直观、友好及方便等特点，正越来越受到国际学术界、企业界、政府、公安部门和国防军事部门的重视和青睐，具有广泛的应用前景。
[0004]现有技术中对人脸识别的研究大致有两个阶段。第一阶段，主要研究人脸识别所需要的面部特征，该阶段工作的特点是识别过程全部依赖于操作人员，显然不能完成自动识别的功能。第二阶段，主要是人机交互式识别阶段，该阶段工作特点是需要利用操作员的某些先验知识，不能摆脱人的干预。
[0005]对于3D脸型变化技术，现有技术中的3D脸型变化技术，主要方法有:传统方法
(I)，利用三角样条曲面进行面部建模和研究；传统方法(2)，基于激光扫描的三维数据获取方法。传统方法(I)实现原理复杂，目前只限于理论方面的研究，实际应用很少涉及。传统方法(2)虽建模精确，但成本高不易普遍应用。
[0006]因此，有必要设计一种实现简单成本低的3D脸型变化的技术方案。
【发明内容】
[0007]针对现有技术中的缺陷，本发明的目的是提供一种3D脸型自动变化方法及系统。
[0008]根据本发明提供的一种3D脸型自动变化方法，包括如下步骤:
[0009]步骤1:人脸检测，以判断输入图像中是否存在人脸，若检测到人脸，则继续执行步骤2 ;
[0010]步骤2:确定图像中人脸的面部特征点；
[0011]步骤3:加载标准三维人脸模型数据文件，以将预设的标准三维人脸模型Ml作为初始模型；将标准三维人脸模型Ml的中心点调整为鼻尖所在的顶点，得到调整后的标准三维人脸模型M2 ;标准三维人脸模型M2中人脸的额头最上顶点和下巴最下顶点在Y方向上的距离H ；
[0012]步骤4:对调整后的标准三维人脸模型M2的顶点进行分组，区分出如下各个顶点群:
[0013]-组成眉毛的定点群；
[0014]-组成眼睛的顶点群；
[0015]-组成鼻子的顶点群；
[0016]-组成嘴的顶点群；
[0017]-组成脸部轮廓的顶点群；
[0018]步骤5:对所述各个顶点群中的顶点分别添加权重值，权重值用于表示顶点受到控制点影响的程度，当控制点移动时，顶点根据权重值移动相应的距离，其中，每个顶点最多受到P个控制点影响；
[0019]步骤6:对调整后的标准三维人脸模型M2的人脸进行整体缩放，使额头最上顶点与下巴最下顶点在垂直方向上的距离为步骤3中得到的H ；
[0020]步骤7:使调整后的标准三维人脸模型M2的组成脸部轮廓的顶点群所形成的脸部轮廓形状与步骤2得到的人脸的面部特征点形成的脸部轮廓的形状一致。
[0021 ] 优选地，所述步骤I包括如下步骤:
[0022]步骤1.1:对图像进行预处理，包括:对图像进行光照补偿处理，并将图像中待确定的人脸图像变换到预先设定的位置以及将待确定的人脸图像的尺寸缩放到预先设定的大小；
[0023]步骤1.2:将待确定的人脸图像与人脸模板进行模板匹配，若匹配，则将从待确定的人脸图像投影到人脸子空间，通过特征子脸技术判断是否为人脸。
[0024]优选地,所述步骤2包括如下步骤:
[0025]步骤2.1:确定眼虹膜、鼻翼、嘴角、眉毛这些面像五官轮廓的大小、位置、距离属性；
[0026]步骤2.2:计算出面像五官轮廓的几何特征量，根据几何特征量形成一描述对应人脸的特征向量；
[0027]步骤2.3:根据人脸的特征向量以及经过训练的先验比例尺关系，确定图像中人脸的面部特征点，其中，所述经过训练的先验比例尺关系包括从额头到眼睛、从眼睛到鼻孔、从鼻孔到嘴巴、从嘴巴到下颌的坐标比例关系。
[0028]优选地，控制点范围权重大小根据肌肉规律进行设值，其中，所述控制点范围权重是指控制点所控制的顶点范围内的顶点被设置的权重，对控制点控制下的顶点根据肌肉规律设置不同的权重；其中，权重值为O至1，权重值为O时表示顶点不受控制点控制，权重值为I时表示顶点完全由控制点控制。
[0029]优选地，当控制点移动时，接受该控制点控制的顶点均相应地按照控制点的移动方向进行移动；在步骤5中，当所述各个顶点群中的顶点被分别添加权重值后，将控制点根据正面人脸图片中相同部位的点进行对齐移动。
[0030]根据本发明提供的一种3D脸型自动变化系统，包括如下装置:
[0031]人脸检测装置，用于人脸检测，以判断输入图像中是否存在人脸，若检测到人脸，则继续触发面部特征点确定装置执行；
[0032]面部特征点确定装置，用于确定图像中人脸的面部特征点；
[0033]加载调整装置，用于加载标准三维人脸模型数据文件，以将预设的标准三维人脸模型Ml作为初始模型；将标准三维人脸模型Ml的中心点调整为鼻尖所在的顶点，得到调整后的标准三维人脸模型M2 ;得到标准三维人脸模型M2中人脸的额头最上顶点和下巴最下顶点在Y方向上的距离H ;
[0034]顶点分组装置，用于对调整后的标准三维人脸模型M2的顶点进行分组，区分出如下各个顶点群:
[0035]-组成眉毛的定点群；
[0036]-组成眼睛的顶点群；
[0037]-组成鼻子的顶点群；
[0038]-组成嘴的顶点群；
[0039]-组成脸部轮廓的顶点群；
[0040]权重值添加装置，用于对所述各个顶点群中的顶点分别添加权重值，权重值用于表示顶点受到控制点影响的程度，当控制点移动时，顶点根据权重值移动相应的距离，其中，每个顶点最多受到P个控制点影响；
[0041]缩放装置，用于对调整后的标准三维人脸模型M2的人脸进行整体缩放，使额头最上顶点与下巴最下顶点在垂直方向上的距离为加载调整装置得到的H ；
[0042]脸部轮廓形状调整装置，用于使调整后的标准三维人脸模型M2的组成脸部轮廓的顶点群所形成的脸部轮廓形状与面部特征点确定装置得到的人脸的面部特征点形成的脸部轮廓的形状一致。
[0043]优选地，所述人脸检测装置包括如下装置:
[0044]图像预处理装置，用于对图像进行预处理，包括:对图像进行光照补偿处理，并将图像中待确定的人脸图像变换到预先设定的位置以及将待确定的人脸图像的尺寸缩放到预先设定的大小；
[0045]模板匹配装置，用于将待确定的人脸图像与人脸模板进行模板匹配，若匹配，则将从待确定的人脸图像投影到人脸子空间，通过特征子脸技术判断是否为人脸。
[0046]优选地，所述面部特征点确定装置包括如下装置:
[0047]五官轮廓确定装置，用于确定眼虹膜、鼻翼、嘴角、眉毛这些面像五官轮廓的大小、位置、距离属性；
[0048]人脸特征向量确定装置，用于计算出面像五官轮廓的几何特征量，根据几何特征量形成一描述对应人脸的特征向量；
[0049]人脸面部特征点确认装置，用于根据人脸的特征向量以及经过训练的先验比例尺关系，确定图像中人脸的面部特征点，其中，所述经过训练的先验比例尺关系包括从额头到眼睛、从眼睛到鼻孔、从鼻孔到嘴巴、从嘴巴到下颌的坐标比例关系。
[0050]优选地，控制点范围权重大小根据肌肉规律进行设值，其中，所述控制点范围权重是指控制点所控制的顶点范围内的顶点被设置的权重，对控制点控制下的顶点根据肌肉规律设置不同的权重；其中，权重值为O至1，权重值为O时表示顶点不受控制点控制，权重值为I时表示顶点完全由控制点控制。
[0051]优选地，当控制点移动时，接受该控制点控制的顶点均相应地按照控制点的移动方向进行移动；在权重值添加装置中，当所述各个顶点群中的顶点被分别添加权重值后，将控制点根据正面人脸图片中相同部位的点进行对齐移动。
[0052]与现有技术相比，本发明具有的有益效果为:本发明可以通过一张人脸正面照片自动转换为三维人脸脸型并继续3D脸型变化，具有实现容易以及转换速度快的优点。
【专利附图】
【附图说明】
[0053]通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显:
[0054]图1为本发明提供的3D脸型自动变化方法的流程示意图。
【具体实施方式】
[0055]下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
[0056]首先对本发明提供的方法进行说明。根据本发明提供的3D脸型自动变化方法，包括如下步骤:
[0057]步骤1:人脸检测，以判断输入图像中是否存在人脸。
[0058]原理是:识别人脸主要依据人脸上的特征，对人脸图像进行特征提取和分类之前一般需要做几何归一化算法和灰度归一算法。
[0059]几何归一化算法是根据人脸定位结果将图像中人脸变换到同一位置和同样大小，灰度归一化算法是指对图像进行光照补偿等处理，光照补偿能够一定程度的克服光照变化的影响而提高识别度。
[0060]检测人脸过程中，首先将待确定的人脸图像和人脸模板进行模板匹配，如果匹配，那么将其投影到人脸子空间，由特征子脸技术判断是否为人脸。
[0061]其中，模板匹配，是指按照人脸特征，将人脸图像划分成14个不同区域，用每个区域的灰度统计值表示该区域，用整个样本的灰度平均值归一化，从而得到用特征向量表示的人脸模板。通过非监督学习的方法对训练样本聚类，得到参考模板族。将测试图像的模板与参考模板在某种距离测度下匹配，通过阈值判断匹配程度。
[0062]特征子脸技术的基本思想是:从统计的观点，寻找人脸图像分布的基本元素，即人脸图像样本集协方差矩阵的特征向量，以此近似地表征人脸图像。这些特征向量称为特征脸(Eigenface)。实际上，特征脸反映了隐特征子脸技术的基本思想是:特征脸反映了隐含在人脸样本集合内部的信息和人脸的结构关系。将眼睛、面颊、下颌的样本集协方差矩阵的特征向量称为特征眼、特征颌和特征唇，统称特征子脸。特征子脸在相应的图像空间中张成子空间，称为子脸空间。计算出测试图像窗口在子脸空间的投影距离，若窗口图像满足阈值比较条件，则判断其为人脸。
[0063]步骤2:确定人脸的面部特征点。
[0064]本实施例使用特征向量法:该方法是先确定眼虹膜、鼻翼、嘴角等面像五官轮廓的大小、位置、距离等属性，然后再计算出它们的几何特征量，而这些特征量形成一描述该面像的特征向量。在对关键特征点定位是加人了经过训练的先验比例尺关系，即从额头到眼睛、眼睛到鼻孔、鼻孔到嘴巴和嘴巴到下颌的y坐标比例关系，以嵌入式系统为平台，得出特征点位置以及轮廓形状。
[0065]在人脸检测的基础上，面部关键特征检测试图检测人脸上的主要的面部特征点的位置和眼睛和嘴巴等主要器官的形状信息。灰度积分投影曲线分析、模板匹配、可变形模板、Hough变换、Snake算子、基于Gabor小波变换的弹性图匹配技术、主动性状模型和主动外观模型是常用的方法。
[0066]可变形模板的主要思想是根据待检测人脸特征的先验的形状信息，定义一个参数描述的形状模型，该模型的参数反映了对应特征形状的可变部分，如位置、大小角度等，它们最终通过模型与图像的边缘、峰、谷和灰度分布特性的动态地交互适应来得以修正。
[0067]步骤3:标准三维人脸模型建立模块加载标准三维人脸模型数据文件，建立标准三维人脸模型，标准三维人脸模型的中心点调整为鼻尖所在的顶点，计算此时额头最上顶点和下巴最下顶点在Y方向上的距离H。
[0068]步骤4:标准三维人脸模型建立模块对标准三维人脸模型顶点进行分组，区分出组成眉毛、眼睛、鼻子、嘴以及脸部轮廓的顶点群。
[0069]步骤5:对标准三维人脸模型上区分出组成眉毛、眼睛、鼻子、嘴以及脸部轮廓的顶点群添加权重数值，每个顶点最多受到3个控制点影响。其中，每一个控制点对一个顶点群中的若干个顶点进行控制，定点群中的顶点可以接受多个控制点的控制。当控制点移动时，接受该控制点控制的顶点均相应地按照控制点的移动方向进行移动。顶点群添加权重数值后，调整三维模型控制点，具体地，这是一个自动对齐的过程，模型上的控制点会根据照片上取得的点对齐移动。
[0070]对每个顶点设置权重大小,权重值为0-1,值为O时顶点不受控制点的控制,值为I时顶点完全由控制点控制(例如权重值为I时，控制点移动I毫米则对应的顶点也移动I毫米)。
[0071]控制点范围权重大小根据肌肉规律进行设值。其中，所述控制点范围权重是指控制点所控制的顶点范围内的顶点被设置的权重。优选地，对控制点控制下的顶点根据肌肉规律设置不同的权重。
[0072]如何设置权重值的公式如下:
[0073]假设某一个顶点受到的第一个控制点影响的权重为Wl，第二个控制点影响的权重为w2,第三个控制点影响的权重为w3。贝丨J {wl = l,wl+w2 = I,wl+w2+w3 = 1}，其中，w2 =w3 = 0,表示该顶点不受第二、三个控制点的影响。
[0074]步骤6:标准三维人脸模型人头顶点位置调整模块对标准三维人脸模型人头进行整体缩放，使额头最上顶点与下巴最下顶点的距离为步骤3中计算出来的H。
[0075]步骤7:标准三维人脸模型顶点位置调整模块调整步骤5区分出脸部轮廓的顶点群的XY坐标，使它们的形状与步骤4对应的人脸特征点的脸部轮廓的形状一致。
[0076]以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
【权利要求】
1.一种3D脸型自动变化方法，其特征在于，包括如下步骤: 步骤1:人脸检测，以判断输入图像中是否存在人脸，若检测到人脸，则继续执行步骤2 ； 步骤2:确定图像中人脸的面部特征点； 步骤3:加载标准三维人脸模型数据文件，以将预设的标准三维人脸模型Ml作为初始模型；将标准三维人脸模型Ml的中心点调整为鼻尖所在的顶点，得到调整后的标准三维人脸模型M2 ;标准三维人脸模型M2中人脸的额头最上顶点和下巴最下顶点在Y方向上的距离H; 步骤4:对调整后的标准三维人脸模型M2的顶点进行分组，区分出如下各个顶点群: -组成眉毛的定点群； -组成眼睛的顶点群； -组成鼻子的顶点群； -组成嘴的顶点群； -组成脸部轮廓的顶点群； 步骤5:对所述各个顶点群中的顶点分别添加权重值，权重值用于表示顶点受到控制点影响的程度，当控制点移动时，顶点根据权重值移动相应的距离，其中，每个顶点最多受到P个控制点影响； 步骤6:对调整后的标准三维人脸模型M2的人脸进行整体缩放，使额头最上顶点与下巴最下顶点在垂直方向上的距离为步骤3中得到的Η ； 步骤7:使调整后的标准三维人脸模型M2的组成脸部轮廓的顶点群所形成的脸部轮廓形状与步骤2得到的人脸的面部特征点形成的脸部轮廓的形状一致。
2.根据权利要求1所述的3D脸型自动变化方法，其特征在于，所述步骤1包括如下步骤: 步骤1.1:对图像进行预处理，包括:对图像进行光照补偿处理，并将图像中待确定的人脸图像变换到预先设定的位置以及将待确定的人脸图像的尺寸缩放到预先设定的大小; 步骤1.2:将待确定的人脸图像与人脸模板进行模板匹配，若匹配，则将从待确定的人脸图像投影到人脸子空间，通过特征子脸技术判断是否为人脸。
3.根据权利要求1所述的3D脸型自动变化方法，其特征在于，所述步骤2包括如下步骤: 步骤2.1:确定眼虹膜、鼻翼、嘴角、眉毛这些面像五官轮廓的大小、位置、距离属性；步骤2.2:计算出面像五官轮廓的几何特征量，根据几何特征量形成一描述对应人脸的特征向量； 步骤2.3:根据人脸的特征向量以及经过训练的先验比例尺关系，确定图像中人脸的面部特征点，其中，所述经过训练的先验比例尺关系包括从额头到眼睛、从眼睛到鼻孔、从鼻孔到嘴巴、从嘴巴到下颌的坐标比例关系。
4.根据权利要求1所述的3D脸型自动变化方法，其特征在于，控制点范围权重大小根据肌肉规律进行设值，其中，所述控制点范围权重是指控制点所控制的顶点范围内的顶点被设置的权重，对控制点控制下的顶点根据肌肉规律设置不同的权重；其中，权重值为0至1，权重值为ο时表示顶点不受控制点控制，权重值为1时表示顶点完全由控制点控制。
5.根据权利要求4所述的3D脸型自动变化方法，其特征在于，当控制点移动时，接受该控制点控制的顶点均相应地按照控制点的移动方向进行移动；在步骤5中，当所述各个顶点群中的顶点被分别添加权重值后，将控制点根据正面人脸图片中相同部位的点进行对齐移动。
6.一种3D脸型自动变化系统，其特征在于，包括如下装置: 人脸检测装置，用于人脸检测，以判断输入图像中是否存在人脸，若检测到人脸，则继续触发面部特征点确定装置执行； 面部特征点确定装置，用于确定图像中人脸的面部特征点； 加载调整装置，用于加载标准三维人脸模型数据文件，以将预设的标准三维人脸模型Ml作为初始模型；将标准三维人脸模型Ml的中心点调整为鼻尖所在的顶点，得到调整后的标准三维人脸模型M2 ;得到标准三维人脸模型M2中人脸的额头最上顶点和下巴最下顶点在Y方向上的距离Η ; 顶点分组装置，用于对调整后的标准三维人脸模型M2的顶点进行分组，区分出如下各个顶点群: -组成眉毛的定点群； -组成眼睛的顶点群； -组成鼻子的顶点群； -组成嘴的顶点群； -组成脸部轮廓的顶点群； 权重值添加装置，用于对所述各个顶点群中的顶点分别添加权重值，权重值用于表示顶点受到控制点影响的程度，当控制点移动时，顶点根据权重值移动相应的距离，其中，每个顶点最多受到Ρ个控制点影响； 缩放装置，用于对调整后的标准三维人脸模型M2的人脸进行整体缩放，使额头最上顶点与下巴最下顶点在垂直方向上的距离为加载调整装置得到的Η ； 脸部轮廓形状调整装置，用于使调整后的标准三维人脸模型M2的组成脸部轮廓的顶点群所形成的脸部轮廓形状与面部特征点确定装置得到的人脸的面部特征点形成的脸部轮廓的形状一致。
7.根据权利要求6所述的3D脸型自动变化系统，其特征在于，所述人脸检测装置包括如下装置: 图像预处理装置，用于对图像进行预处理，包括:对图像进行光照补偿处理，并将图像中待确定的人脸图像变换到预先设定的位置以及将待确定的人脸图像的尺寸缩放到预先设定的大小； 模板匹配装置，用于将待确定的人脸图像与人脸模板进行模板匹配，若匹配，则将从待确定的人脸图像投影到人脸子空间，通过特征子脸技术判断是否为人脸。
8.根据权利要求6所述的3D脸型自动变化系统，其特征在于，所述面部特征点确定装置包括如下装置: 五官轮廓确定装置，用于确定眼虹膜、鼻翼、嘴角、眉毛这些面像五官轮廓的大小、位置、距离属性； 人脸特征向量确定装置，用于计算出面像五官轮廓的几何特征量，根据几何特征量形成一描述对应人脸的特征向量； 人脸面部特征点确认装置，用于根据人脸的特征向量以及经过训练的先验比例尺关系，确定图像中人脸的面部特征点，其中，所述经过训练的先验比例尺关系包括从额头到眼睛、从眼睛到鼻孔、从鼻孔到嘴巴、从嘴巴到下颌的坐标比例关系。
9.根据权利要求6所述的3D脸型自动变化系统，其特征在于，控制点范围权重大小根据肌肉规律进行设值，其中，所述控制点范围权重是指控制点所控制的顶点范围内的顶点被设置的权重，对控制点控制下的顶点根据肌肉规律设置不同的权重；其中，权重值为0至1，权重值为ο时表示顶点不受控制点控制，权重值为1时表示顶点完全由控制点控制。
10.根据权利要求9所述的3D脸型自动变化系统，其特征在于，当控制点移动时，接受该控制点控制的顶点均相应地按照控制点的移动方向进行移动；在权重值添加装置中，当所述各个顶点群中的顶点被分别添加权重值后，将控制点根据正面人脸图片中相同部位的点进行对齐移动。
【文档编号】G06T17/00GK104268932SQ201410462303
【公开日】2015年1月7日 申请日期:2014年9月12日 优先权日:2014年9月12日
【发明者】徐小明, 徐宇 申请人:上海明穆电子科技有限公司