一种基于自适应形变模型的任意视角人脸三维重构方法
【专利摘要】本发明涉及一种基于自适应形变模型的任意视角人脸三维重构方法，其步骤为：1)获取人脸图像数据并筛选出清晰度较高的人脸图像作为原始数据；2)进行特征点定位；3)利用特征定位结果粗略估计人脸角度；4)建立人脸三维形变模型，并将人脸特征点通过平移、缩放操作调整到与人脸三维形变模型在同一尺度上，并抽取出与人脸特征点对应点的坐标信息形成稀疏人脸三维形变模型；5)根据人脸角度粗略估计值和稀疏人脸三维形变模型，进行微粒群算法迭代人脸三维重构，得到人脸三维几何模型；6)得到人脸三维几何模型后，采用纹理张贴的方法将输入二维图像中的人脸纹理信息映射到人脸三维几何模型，得到完整的人脸三维模型。本发明可以广泛在各种身份识别领域中应用。
【专利说明】一种基于自适应形变模型的任意视角人脸三维重构方法
【技术领域】
[0001]本发明涉及一种计算机视觉和计算机图形学，特别是关于一种基于自适应形变模型的任意视角人脸三维重构方法。
【背景技术】
[0002]在公共安全、智能安防等领域广泛应用的大规模覆盖的视频监控系统，对基于监控图像的行人身份识别技术提出了新的要求。近年来在很多公共区域发生的恶性刑事案件中都是通过视频监控系统来获取犯罪嫌疑人的人脸图像，因此如何利用获取到多视角人脸图像并迅速识别出犯罪嫌疑人，对迅速侦破案件，减少经济损失，降低社会不良影响等具有十分重要的意义。
[0003]目前常见的多视角人脸识别技术可以分为基于知识的方法和基于统计学习的方法。基于知识的方法采用人脸局部特征，如眼睛、鼻子、眉毛、嘴唇和下巴等，通过它们的形状、位置信息以及特征之间的拓扑结构信息实现人脸识别。例如，现有技术中公开的关于基于器官的人脸分块和分层次搜索技术，是将人脸特征信息表示为不同器官特征信息组合实现人脸识别。基于知识的方法对由于人脸正面方向与图像传感器感知方向存在差异而造成的人脸姿态角度形变具有一定的鲁棒性，但是当角度变化范围较大时识别成功率将大大降低。基于统计学习的方法是通过模板匹配、子空间分析等特征提取方法找出在众多人脸图像信息中能够表征人脸特异性的特征，并与数据库中人脸特征进行匹配识别的方法。该方法以大量人脸特征信息为训练样本，采用主成分分析(Principal Component Analysis,PCA)等特征约简方法发掘特征中重要性权值较大的组成部分，实现特征数据的降维，然后组成人脸识别数据库。当输入新的人脸图像时，首先采用与构建人脸识别数据库相同的人脸特征提取方法提取特征，并通过特征约简方法保留主要特征，然后将保留的人脸主要特征与人脸识别数据库中信息进行匹配，判断相似度，实现人脸识别。基于统计分析的方法通常除了考虑人脸面部特征的形状信息外，同时也考虑面部纹理信息，所以当人脸姿态角度或者照明条件发生变化时，其识别性能会显著下降。
[0004]任意视角人脸三维重构是解决多视角人脸识别问题的一条新途径。利用人脸三维模型可以投影变换得到任意视角的人脸图像，因而可以有效解决人脸姿态变化导致的人脸识别准确度下降问题。人脸三维重构是指利用图像传感器所获取的人脸二维图像数据重构出人脸三维模型，该技术可以适用于人脸识别、3D可视电话、3D游戏设计等多个领域。通常的人脸三维重构是利用单张人脸正面图像实现的，这种情况要求所获取到的人脸图像具有很好的正面性，即一张图像中包含了完整的人脸形状和纹理信息，这种要求需要在目标配合的情况时才容易完成，因此不能适用于采用视频监控数据源的人脸图像重构。基于非正面人脸图像的三维重构研究还处于起步状态，Sung等人利用一张非正面的人脸图像同时结合一个人脸3D形变模型实现了人脸三维模型的重构，其中人脸3D形变模型是利用多个人脸的3D形状数据线性组合形成的模型，改变该模型的参数理论上可以实现任意的人脸3D形状合成。JinguHeo等人利用一张正面人脸图像和一张90°侧面人脸图像的特征点计算得到一个稀疏人脸3D形状，然后将该稀疏人脸3D形状用于优化通用人脸弹性模型的参数实现人脸三维重构，其中通用弹性模型是人脸3D形变模型的一种简化模型，其假设人脸的3D形状在深度信息上具有很强的共同点，因而人脸特征点的深度信息的变化范围可以大大减小。已有的人脸三维重构方法主要着眼于解决目标比较配合的情况下的重构，所采用的人脸二维图像一般是正面的，且照明条件良好。而在视频监控的环境中，人脸图像是在目标无意识情况下获取的，可能存在视角变化很大等情况，因而现有的研究很难满足任意视角人脸三维重构的要求。
[0005]基于以上分析，任意视角人脸三维重构是智能安防领域的重要技术以及研究热点，现有的人脸三维重构方法难以满足需求。
【发明内容】
[0006]针对上述问题，本发明的目的是为了解决任意视角人脸三维重构问题，根据人脸三维形变模型、微粒群算法等理论方法，提出了一种基于自适应形变模型的任意视角人脸三维重构方法。
[0007]为实现上述目的，本发明采取以下技术方案:一种基于自适应形变模型的任意视角人脸三维重构方法，其包括以下步骤:1)利用现有技术中的视频监控系统获取人脸图像数据，并筛选出清晰度较高的人脸图像，作为任意视角人脸三维重构的原始数据；2)对步骤I)中筛选出的人脸图像进行特征点定位，采用变视角人脸特征定位方法确定不同角度人脸图像中的特征点位置；3)利用特征定位结果粗略估计人脸角度，并将粗略估计的人脸角度作为三维模型匹配过程中的初步投影角度参数；4)建立人脸三维形变模型，并将人脸特征点通过平移、缩放操作调整到与人脸三维形变模型在同一尺度上，并从人脸三维形变模型中抽取出与人脸特征点对应点的坐标信息，形成稀疏人脸三维形变模型；5)根据步骤
3)中获得的人脸角度粗略估计值以及步骤4)中获得的稀疏人脸三维形变模型，进行微粒群算法迭代人脸三维重构，得到人脸三维几何模型；其重构过程如下:采用微粒群算法对人脸角度及稀疏人脸三维形变模型参数进行优化，并判断优化结果误差是否已经收敛稳定或者是否达到预先设定的要求，是则进入步骤6);反之，返回继续进行参数优化；6)得到人脸三维几何模型后，采用纹理张贴的方法将输入二维图像中的人脸纹理信息映射到人脸三维几何模型，得到完整的人脸三维模型。
[0008]所述步骤2)中，所述变视角人脸特征定位方法确定不同角度人脸图像中特征点位置方法如下:①建立变视角主动表观模型，变视角主动表观模型由多个普通主动表观模型构成，每个普通主动表观模型由形状模型和纹理模型组成；②根据变视角主动表观模型对人脸进行特征点定位:将人脸图像输入到不同角度的普通主动表观模型中，选择特征匹配误差最小的输出，作为人脸特征定位的结果。
[0009]所述步骤①中，所述普通主动表观模型建立方法如下:(a)建立形状模型:首先，采集多个具有代表性的不同人脸图像组成训练集图像；其次，采用手动特征点标定的方法从训练集中获得每一张人脸的特征点位置，进而获取其形状向量X ;并采用现有技术PCA方法提取形状向量的主要分量，进而得到形状模型；(b)采用与步骤(a)相同的方法建立纹理模型；(C)将形状模型和纹理模型加权融合后得到普通主动表观模型。
[0010]所述步骤3)中，所述粗略估计人脸角度的体过程如下:假定人脸的形状参数与人脸姿态角度是存在线性关系的，采用变视角主动表观模型得到任意视角人脸特征定位结果后，估计该人脸图像角度信息，其估计公式为:bs = bs0+bsxcos Θ +bsysin Θ，式中，bs表示变视角主动表观模型特征定位过程中利用形状模型获得的形状参数向量；bs(l是在变视角主动表观模型的建模过程中所采用的训练集中图像的形状参数向量加权平均后得到的形状参数向量平均值；bsx和bsy是根据训练集中图像的形状参数向量和角度信息拟合得到的形状系数向量；Θ是每一张人脸训练集图像所对应的角度；由于每一张人脸训练集图像所对应的角度Θ以及形状参数bs均是已知的，因而形状参数平均值bs(Jg通过训练集图像的形状参数加权得到，于是通过最小二乘法估计出bsx和bsy的最优值，根据上式得到的人脸角度
估计为
【权利要求】
1.一种基于自适应形变模型的任意视角人脸三维重构方法，其包括以下步骤: 1)利用现有技术中的视频监控系统获取人脸图像数据，并筛选出清晰度较高的人脸图像，作为任意视角人脸三维重构的原始数据； 2)对步骤I)中筛选出的人脸图像进行特征点定位，采用变视角人脸特征定位方法确定不同角度人脸图像中的特征点位置； 3)利用特征定位结果粗略估计人脸角度，并将粗略估计的人脸角度作为三维模型匹配过程中的初步投影角度参数； 4)建立人脸三维形变模型，并将人脸特征点通过平移、缩放操作调整到与人脸三维形变模型在同一尺度上，并从人脸三维形变模型中抽取出与人脸特征点对应点的坐标信息，形成稀疏人脸三维形变模型； 5)根据步骤3)中获得的人脸角度粗略估计值以及步骤4)中获得的稀疏人脸三维形变模型，进行微粒群算法迭代人脸三维重构，得到人脸三维几何模型；其重构过程如下:采用微粒群算法对人脸角 度及稀疏人脸三维形变模型参数进行优化，并判断优化结果误差是否已经收敛稳定或者是否达到预先设定的要求，是则进入步骤6);反之，返回继续进行参数优化； 6)得到人脸三维几何模型后，采用纹理张贴的方法将输入二维图像中的人脸纹理信息映射到人脸三维几何模型，得到完整的人脸三维模型。
2.如权利要求1所述的一种基于自适应形变模型的任意视角人脸三维重构方法，其特征在于:所述步骤2)中，所述变视角人脸特征定位方法确定不同角度人脸图像中特征点位置方法如下: ①建立变视角主动表观模型，变视角主动表观模型由多个普通主动表观模型构成，每个普通主动表观模型由形状模型和纹理模型组成； ②根据变视角主动表观模型对人脸进行特征点定位:将人脸图像输入到不同角度的普通主动表观模型中，选择特征匹配误差最小的输出，作为人脸特征定位的结果。
3.如权利要求2所述的一种基于自适应形变模型的任意视角人脸三维重构方法，其特征在于:所述步骤①中，所述普通主动表观模型建立方法如下: (a)建立形状模型:首先，采集多个具有代表性的不同人脸图像组成训练集图像；其次，采用手动特征点标定的方法从训练集中获得每一张人脸的特征点位置，进而获取其形状向量X ;并采用现有技术PCA方法提取形状向量的主要分量，进而得到形状模型； (b)采用与步骤(a)相同的方法建立纹理模型； (C)将形状模型和纹理模型加权融合后得到普通主动表观模型。
4.如权利要求1或2或3所述的一种基于自适应形变模型的任意视角人脸三维重构方法，其特征在于:所述步骤3)中，所述粗略估计人脸角度的体过程如下: 假定人脸的形状参数与人脸姿态角度是存在线性关系的，采用变视角主动表观模型得到任意视角人脸特征定位结果后，估计该人脸图像角度信息，其估计公式为:
bs = bs0+bsxcos Θ +bsysin θ， 式中，bs表示变视角主动表观模型特征定位过程中利用形状模型获得的形状参数向量；bs(l是在变视角主动表观模型的建模过程中所采用的训练集中图像的形状参数向量加权平均后得到的形状参数向量平均值；bsx和bsy是根据训练集中图像的形状参数向量和角度信息拟合得到的形状系数向量；Θ是每一张人脸训练集图像所对应的角度；由于每一张人脸训练集图像所对应的角度Θ以及形状参数bs均是已知的，因而形状参数平均值bs(Jg通过训练集图像的形状参数加权得到，于是通过最小二乘法估计出bsx和bsy的最优值，根据上式得到的人脸角度估计为:
5.如权利要求1或2或3所述的一种基于自适应形变模型的任意视角人脸三维重构方法，其特征在于:所述步骤4)中，所述稀疏人脸三维形变模型的建立方法为: ①建立人脸三维形变模型:由不同人脸的三维激光扫描数据经过PCA变换降维得到人脸三维形变模型，其方法如下: 人脸三维激光扫描数据表示为:
Si (X” Yij Z” Xg，y2，Z2，...，Xn，ynJ Zn)， 其中i = 1，2，...，m,m表示人脸数量；n表示人脸面部扫描点的数量；x, y, z分别表示人脸面部扫描点的X，Y, Z坐标； PCA变换之后，人脸三维形变模型S’表示为:
S1 = S+ Pa， 其中f表示扫描得到的人脸三维数据归一化加权平均之后得到的平均形状；P表示前m个特征向量；δ表示与m个特征向量相关的人脸三维形变模型参数，α=(α,.α2,…，amf ； ②利用已有数据库中的人脸数据来构造人脸三维形变模型； ③从人脸三维形变模型中提取与人脸特征定位时采用的眼角、鼻尖、嘴唇以及轮廓各个特征点相对应的三维数据点组成稀疏人脸三维形变模型，将原人脸三维形变模型称之为稠密人脸三维形变模型；稀疏人脸三维形变模型参数能直接用于稠密人脸三维形变模型中构造人脸三维形状，则稀疏人脸三维形变模型表示为:
s; =J,+ /?,?, 其中^为稀疏人脸三维形变模型中采用的人脸特征点的平均形状，Pf表示稠密人脸三维形变模型的特征向量P中与所采用的人脸特征点对应的子特征向量，s’{则为稀疏人脸三维形变模型合成的人脸特征点形状； ④对于任意的稀疏人脸三维形变模型参数δ,将该参数确定的稀疏人脸三维形变模型投影到输入人脸图像对应的姿态角度方向上，并与步骤2)中采用变视角主动表观模型来确定的人脸特征点并进行匹配，计算对应特征点欧氏距离平方和，通过最小化特征点的欧式距离平方和确定稀疏人脸三维形变模型参数，进而形成稀疏人脸三维形变模型。
6.如权利要求1或2或3所述的一种基于自适应形变模型的任意视角人脸三维重构方法，其特征在于:所述步骤5)中，采用所述微粒群算法对人脸角度及稀疏人脸三维形变模型参数进行优化方法如下: ①考虑不同视角人脸遮挡问题，将被遮挡的特征点去除，然后构建人脸三维重构误差函数； ②采用微粒群算法优化稀疏人脸三维形变模型参数δ取值，形成自适应的人脸三维形变模型: 令Xi = [xn, xi2,..., xiN]表示粒子i的位置向量，Vi = [vn, vi2,..., viN]表示对应的速度向量，N表示待解决问题的维度；在搜索过程中，每一个粒子均保持对自身所经历的最佳位置Pi = [pn, pi2,...，piN]以及全局最优位置Gi = [pgl, pg2,...，pgN]的持续跟踪,粒子的位置和速度更新方程为:
7.如权利要求6所述的一种基于自适应形变模型的任意视角人脸三维重构方法，其特征在于:所述步骤5)的步骤①中，所述人脸三维重构误差函数构建方法为: (a)假设Sfe= (X1, Y1, X2, y2,...xk, yk)2为输入人脸图像中未产生遮挡的人脸特征点的X、Y坐标；Df = (X1, Y1, Z1 ；x2, j2, z2 ；...；xk, yk, zk)2为稀疏人脸三维模型中与Sf0对应的人脸特征点三维坐标；假定输入人脸图像主要是在相对Y轴的方向具有旋转的角度，设为θ°，则稀疏人脸三维模型对应的旋转矩阵为:
8.如权利要求1或2或3所述的一种基于自适应形变模型的任意视角人脸三维重构方法，其特征在于:所述步骤6)中，所述完整的人脸三维模型建立方法为: ①从多张输入的人脸图像中选择一张纹理质量比较高的图像作为待张贴纹理数据的来源； ②由于输入图像通常不是正面的，存在自遮挡现象，故只提取未被遮挡的一侧人脸图像纹理?目息； ③采用镜面对称的方式将提取的未被遮挡的一侧人脸图像纹理信息拓展为整张人脸纹理信息，然后以该输入人脸图像的特征点及镜面对称后的特征点作为控制点，采用三角剖分算法对控制点进行三角剖分； ④将步骤5)所生成的人脸三维几何模型投影到正面视角，形成二维的人脸形状图像，并采用与步骤③相同的方法进行三角剖分；然后采用分段仿射变换的方法将三角剖分后的三角形对齐到投影生成的二维人脸形状图像三角剖分后的三角形中； ⑤根据上一步骤的三角形对应关系，将人脸纹理信息映射到人脸形状图像对应的三角形中，得到正面人脸图像的纹理信息； ⑥人脸形状图像与人脸三维几何模型之间点的对应关系将正面人脸图像的纹理信息对应到三维几何模型上，形成完整的人脸三维模型。
【文档编号】G06T17/00GK104036546SQ201410305762
【公开日】2014年9月10日 申请日期:2014年6月30日 优先权日:2014年6月30日
【发明者】王雪, 林奎成 申请人:清华大学