专利名称：一种基于三维模型重建的人脸身份认证方法
技术领域：
本发明涉及一种计算机图形图像学技术领域的人脸模型建立及特征匹配的处理方法，具体地说是一种基于三维模型重建的人脸身份认证的方法。
背景技术：
随着计算机技术和生物医学工程技术突飞猛进的发展，利用人体生物特征来鉴别个人身份的生物识别技术成为验证的首选方式。利用人脸对身份进行认证是人们日常生活中最常用的身份确认手段，也是当前最热门的模式识别研究课题之一。虽然人脸识别的准确性要低于虹膜识别和指纹识别，但是由于它是非接触的、具有非侵犯性，因而人们对这种技术没有任何的排斥心理，所以利用人脸进行身份认证是一种最友好的生物特征识别技术。现有的人脸身份认证技术主要包括利用人脸二维特征和人脸三维特征进行人脸身份认证。其中利用人脸二维特征进行人脸身份认证主要包括单张人脸图像与单张人脸图片身份认证，视频序列图像与单张人脸图像身份认证以及视频序列图像与视频序列图像身份认证三类。其中单张人脸图像与单张人脸图像身份认证主要是指通过提取两张人脸图像的二维特征进行特征相似度匹配从而进行人脸身份认证。具有代表性的方法有中国专利 《基于部件主分量分析的多模式人脸识别方法》，公开号CN1341401，该专利将人脸分为多个部件对每个部件利用特征脸的识别方法对人脸身份进行认证；中国专利《基于切信息的人脸识别方法》，公开号CN101079104，该专利通过提取人脸图像的切信息对人脸身份进行认证；陈亮，公开号CN1013^724，一种优化的人脸识别方法和装置，该专利通过将主成分分析和线性判别分析结合起来对人脸身份进行认证。利用视频图像序列与单张人脸图像进行人脸身份认证的主要有中国专利《数字视频人脸自动识别系统》，公开号CN1403997，该专利通过隐马尔可夫模型的识别方法，实现对人脸进行身份认证；中国专利《一种人脸识别系统》，公开号CN101140620，该专利将人脸身份认证分为视频采集模块、预识别模块、触发模块、存储模块以及中心控制模块，其中中心控制模块分别与视频采集模块、预识别模块、触发模块和存储模块相连。利用视频图像序列与视频图像序列进行人脸身份认证的主要问题是对视频中人脸信息的描述方法，传统的方法主要包括利用一幅代表性图像得到的特征；利用所有图像得到的特征，如特征空间、示例等；利用概率密度函数刻画视频中的人脸分布，如高斯模型；利用动态模型刻画视频中人脸随时间的动态变化，如隐马尔科夫模型；利用流行刻画视频中的人脸分布，如分段线性PCA子空间等。以上是利用人脸二维特征来进行人脸身份认证的代表性方法，其主要缺点包括两方面一方面，由于二维人脸图像在获取时受到光照、噪声、表情以及人脸姿态等的影响较大，而只利用人脸二维特征又不能很好的消除这些影响，所以在人脸识别精度上受到了一定的影响。另一方面，这些方法进行人脸身份认证，需要事先采集认证对象的人脸图像库或者视频库，从而不利于技术的推广，在某些不具备采集条件的场合中不能运用。
利用人脸三维特征对人脸身份进行认证主要包括文献，Kwmg Ho An md Myung Jin Chung, Member, IEEE,Pose-Robust Face Recognition Based on Texture Mapping， Proceedings of the 17th IEEE International Symposium on Robot and Human Interactive Communication, Technische Univercity Munchen, Germany, August 1—3， 2008中所述二维人脸图像与三维人脸之间的匹配，主要是通过将三维人脸经过适当的投影变换到二维空间中再与人脸图像进行匹配，这种方法的局限性在于在对三维人脸进行投影时丢失了大量的信息，同时由于三维人脸没有纹理信息，所以在于二维图像的匹配过程中匹配精度也并不是很高。还有文献，Hyoungchul Shin, Kwanghoon Sohn, 3D Face Recognition with Geometrically Localized Surface Shape Indexes, Control, Automation, Robotics and Vision,2006. ICARCV' 06.9th International Conference on主要通过先获取三维人脸，然后再根据三维人脸的空间中的各种几何信息(如长度、 面积、曲率、体积、测地距等)特征对人脸进行匹配。有关专利主要包括中国专利《一种基于网格的三维人脸识别方法》，公开号CN1932842，，该专利利用三维人脸的网格特征进行人脸身份认证，此外还中国专利《一种基于密集点对应的快速三维人脸识别方法》，公开号 CN101650777,该专利利用三维人脸稀疏模型的点集距离进行人脸身份认证。而这些方法都需要先获取三维人脸，但是由于三维人脸的获取需要激光扫描仪，结构光等较为昂贵的设备，并且采集的时间比较长，所以并不适合与推广和运用。
发明内容
发明目的本发明所要解决的技术问题是针对现有技术的不足，提供一种基于三维模型重建的人脸身份认证的方法，用于将图像中的人脸与视频中的人脸进行比对，从而达到认证的目的。为了解决上述技术问题，本发明公开了一种基于三维模型重建的实时人脸身份认证技术，其特征在于，包括以下步骤步骤一，基于三维形变基的非线性优化算法由身份证照片重建三维人脸，包括以下步骤步骤11 主动形状模型(Active Shape Model，简称ASM)方法从身份证照片中定位人脸特征点从身份证照片中定位人脸区域，并在定位人脸区域的基础上定位特征点，得到身份证照片中人脸的二维形状特征点集Sid ；步骤12 非刚体形状和运动估计方法构建三维形变基利用人脸图像库中的每一幅图像分别采用步骤11中所示的方法定位人脸特征点，在此基础上建立图像库的二维跟踪矩阵W，然后最小二乘法和加入正交旋转约束求解矫正矩阵G，最后采用奇异值分解的方法构建三维形变基B;步骤12中所述的非刚体形状和运动估计方法构建三维形变基具体包括以下步骤步骤121，对人脸图像库中选取的F幅人脸图像定位人脸特征点，得到每一幅人脸图像对应的二维形状特征点集Steain ；步骤122，将人脸图像库中的F幅人脸图像上所有的二维形状特征点集Steain进行拼接，得到人脸图像库的二维跟踪矩阵W ；
步骤123，对二维跟踪矩阵W利用奇异值分解的方法得到一个姿态矩阵M及三维形状基矩阵你；步骤124，根据正交旋转约束利用最小二乘法求出矫正矩阵G ；步骤125，根据矫正矩阵G利用B=G^g求出三维形变基B。步骤13 非线性优化算法求解三维形变基参数利用步骤12中得到的三维形变基对步骤11中定位的人脸特征点集进行三维人脸重建，通过采用麦夸特二乘法 (Levenberg-Marquardt)最小化重建出的三维人脸与步骤11中定位的人脸特征点集之间的欧氏距离从而求解三维形变基参数。步骤13中非线性优化算法求解三维形变基参数过程具体包括以下步骤步骤131，通过摄像机定标获得摄像机内部矩阵A ；步骤132，非线性优化求解旋转矩阵R、平移矩阵T和形变基系数ρ ；所述步骤132包括以下步骤步骤1321，对旋转矩阵R，平移矩阵T和形变基系数ρ进行初始赋值；步骤1322，根据旋转矩阵R，平移矩阵T和形变基系数ρ计算身份证照片中人脸三维模型，并将其投影到二维平面，得到身份证照片人脸二维形状特征点集s'；步骤1323，计算二维平面投影点与步骤11从身份证照片中获取的特征点集Sid之间的欧氏距离，如果距离小于阈值σ，则非线性优化迭代算法终止输出三维形变基参数，否则转步骤1324 ；步骤1324，计算雅克比矩阵
权利要求
1.一种基于三维模型重建的人脸身份认证方法，其特征在于，包括以下步骤 步骤一，基于三维形变基的非线性优化法由身份证照片重建三维人脸模型； 步骤二，采用NSfM方法由视频重建三维人脸模型；步骤三，采用几何特征匹配进行三维人脸身份认证。
2.根据权利要求1所述的一种基于三维模型重建的人脸身份认证方法，其特征在于， 步骤一包括以下步骤步骤(11)，从身份证照片中定位人脸区域，并在定位人脸区域的基础上定位人脸特征点，得到身份证照片中人脸的二维形状特征点集Sid ；步骤(12)，采用非刚体形状和运动估计方法构建三维形变基B ； 步骤(13)，使用非线性优化算法求解三维形变基B的参数。
3.根据权利要求2所述的一种基于三维模型重建的人脸身份认证方法，其特征在于， 步骤(1 中所述的非刚体形状和运动估计方法构建三维形变基具体包括以下步骤步骤(121)，对人脸图像库中选取的F幅人脸图像定位人脸特征点，得到每一幅人脸图像对应的二维形状特征点集Steain ；步骤(122)，将人脸图像库中的F幅人脸图像上所有的二维形状特征点集Steain进行拼接，得到人脸图像库的二维跟踪矩阵W ；步骤(123)，对二维跟踪矩阵W利用奇异值分解的方法得到一个姿态矩阵M及三维形状基矩阵你；步骤(IM)，根据正交旋转约束利用最小二乘法求出矫正矩阵G ； 步骤(125)，根据矫正矩阵G利用B=G-1*^求出三维形变基B。
4.根据权利要求2所述的一种基于三维模型重建的人脸身份认证方法，其特征在于， 步骤(1 中非线性优化算法求解三维形变基参数过程具体包括以下步骤步骤(131)，通过摄像机定标获得摄像机内部矩阵A ；步骤(13 ，非线性优化求解旋转矩阵R、平移矩阵T和形变基系数ρ ；所述步骤(13 包括以下步骤步骤(1321)，对旋转矩阵R，平移矩阵T和形变基系数ρ进行初始赋值； 步骤(132 ，根据旋转矩阵R，平移矩阵T和形变基系数ρ计算身份证照片中人脸三维模型，并将其投影到二维平面，得到身份证照片人脸二维形状特征点集s'；步骤(1323)，计算二维平面投影点与步骤(11)从身份证照片中获取的特征点集Sid之间的欧氏距离，如果距离小于阈值σ，则非线性优化迭代算法终止输出三维形变基参数，否则转步骤(1324)；步骤(13Μ)，计算雅克比矩阵
5.根据权利要求2所述的一种基于三维模型重建的人脸身份认证方法，其特征在于， 步骤二包括以下步骤步骤(21)，跟踪定位视频中的人脸特征点对视频中的每一帧进行人脸区域定位，并在定位的基础上对视频中的每一帧图像跟踪定位人脸特征点，得到每一帧人脸图像对应的二维形状特征点集Svideo ‘步骤(22)，人脸模型向量化将多帧人脸视频中得到的人脸特征点用向量的方式表示，对视频中人脸进行三维人脸模型建模；步骤(23)，求解三维人脸模型参数循环迭代计算所述三维人脸模型参数。
6.根据权利要求5所述的一种基于三维模型重建的人脸身份认证方法，其特征在于， 步骤采用结合卢卡斯光流跟踪算法的主动形状模型跟踪定位视频中人脸特征点集， 具体包括以下步骤步骤011)，如果是视频的第一帧，利用主动形状模型特征点定位方法定位该帧人脸图像的二维形状特征点集，转下一帧；步骤012)，根据上一帧定位的二维形状特征点集，利用帧差法在视频中的人脸区域内寻找适合光流跟踪的特征点，得到点集S。p ；步骤013)，在当前帧中，用特征点跟踪算法，计算跟踪成功的特征点S。p ；步骤(214)，除去光流跟踪失败的点，由点集S。p和特征点S。p拟合出仿射变换参数aff 和变换参数b ；步骤(21 ，由上一帧的定位的二维形状特征点，得到当前帧在仿射变换(aff， b)作用下的对应二维形状特征点集S1 ；步骤016)，将SJt为当前帧的初始形状，根据ASM特征点定位算法得到当前帧的最后二维形状特征Svideo ‘步骤017)，判断当前帧是否为视频的最后一帧，如果是最后一帧则算法结束，否则令二维形状特征点集Svidra作为下一帧输入即&rf。re = Svide。，转步骤(212)。
7.根据权利要求2所述的一种基于三维模型重建的人脸身份认证方法，其特征在于， 步骤三包括以下步骤步骤(31)，基于特征点的人脸几何特征提取对步骤(1)和步骤中重建的三维人脸根据三维人脸模型上的特征点分别计算两个三维人脸的几何特征；步骤(32)，计算两个三维人脸几何特征的相似度Sim ；步骤(33)，比较相似度Sim与预设定阈值α的大小关系，如果相似度Sim大于阈值α 则认为两者是不同人脸，否则认为两者是相同的人脸；。
8.根据权利要求7所述的一种基于三维模型重建的人脸身份认证方法，其特征在于， 步骤三中基于特征点的人脸几何特征提取将人脸几何特征分为整体特征，五官分布特征， 鼻子特征，眼部特征，嘴部特征五个部分。
全文摘要
本发明公开了一种基于三维模型重建的人脸身份认证方法，本方法分别从身份证照片和实时视频中重建三维人脸模型并进行三维几何特征匹配的策略来实现实时人脸身份认证。包括(1)采用基于三维形变基的非线性优化算法从身份证照片中重建三维人脸模型。(2)采用从运动中恢复非刚体三维形状方法从实时视频中重建三维人脸模型。(3)采用几何特征的三维人脸匹配认证。本发明可以支持用户用第二代身份证和人脸的一段视频来进行身份认证，大大提高了比对的精确性和效率，使得使用计算机进行人像比对成为一种可行的技术。
文档编号G06K9/00GK102254154SQ201110186128
公开日2011年11月23日 申请日期2011年7月5日 优先权日2011年7月5日
发明者孙正兴, 李毅, 李骞, 杨克微 申请人:南京大学