一种基于边缘图的三维人脸重建方法及系统的制作方法
【专利摘要】本发明涉及一种基于边缘图的三维人脸重建方法及其系统，其方法包括步骤一：根据二维图像的人脸特征点，生成二维人脸边缘线；步骤二：根据规范化之后的三维人脸样本库建立三维人脸边缘图，同时对规范化之后的三维人脸样本库进行主成份分解得出各特征向量；步骤三：通过遗传算法匹配目标图像的二维人脸边缘线与三维人脸边缘图，进行寻优得到目标图像的三维重建系数序列；步骤四：综合步骤二中的各特征向量及步骤三中的三维重建系数序列重建出三维人脸模型。本方法解决了人脸姿态变换的问题，大大降低了特征点标定对重建造成误差，对稀疏形变模型对标定特征点敏感的问题得到了良好的改进。
【专利说明】一种基于边缘图的三维人脸重建方法及系统
【技术领域】
[0001] 本发明涉及计算机图形学、数字图像处理以及人工智能等领域，具体是一种通过 平面图像进行三维人脸建模的方法及系统。
【背景技术】
[0002] 人脸重建有许多经典方法，如形变模型重建的方法一直是近年的研究热点，其利 用线性组合的思想，将已有的样本分解为特征子空间，并利用特征子空间中的基表示特定 实例。然而，由于形变模型是通过迭代方法寻求全局最优解，通过三维模型的点点迭代寻 优，其寻优过程及其耗时。另外，稀疏形变模型方法，根据面部少量特征点近似求解形变参 数来恢复人脸深度信息。由于其速度快、真实度还原较好，多数三维重建算法及后续工作都 是建立在稀疏形变模型的方法之上。然而，稀疏形变模型存在两个方面的主要缺点，其一是 对人脸姿态的适应性较差，无法对有姿态变化的点进行重建，其二是对目标特征点的标定 精度要求高，特征点的标定直接影响了算法的重建精度。为了克服稀疏形变模型的这两个 缺点，提出了基于边缘图的三维人脸重建方法。
【发明内容】
[0003] 针对经典的形变模型与稀疏形变模型的主要缺点，本发明提供一种三维人脸的快 速重建方法及其系统，其对平面照片中人脸姿态变化有很好的适应性，并能减少由于特征 点标定误差所带来的影响，达到了对单张任意姿态二维人脸照片能够迅速还原出其三维形 状。这对于人脸重构、人脸识别的研究与实际应用的开发都具有重要的理论与实际意义。具 体技术方案如下：
[0004] 一种基于边缘图的三维人脸重建方法，包括如下步骤：
[0005] 步骤一：根据二维图像的人脸特征点，生成二维人脸边缘线；
[0006] 步骤二：根据规范化之后的三维人脸样本库建立三维人脸边缘图，同时对规范化 之后的三维人脸样本库进行主成份分解得出各特征向量；
[0007] 步骤三：通过遗传算法匹配目标图像的二维人脸边缘线与三维人脸边缘图，进行 寻优得到目标图像的三维重建系数序列；
[0008] 步骤四：综合步骤二中的各特征向量及步骤三中的三维重建系数序列重建出三维 人脸模型。
[0009] 优选的，所述步骤一进一步具体包括：输入二维图像，标定二维图像上的人脸特征 点，再根据特征点所在的不同特征区域将特征点相组合连接，生成描绘人脸特征部位边缘 信息的线段集，即二维人脸边缘线，每个特征区域的边缘线中的线段集将构成一个闭合的 折线，这条折线位于特征部位的边缘上，将特征部位包含在内，表达特征部位的边缘信息。 [0010] 所述步骤二中根据规范化之后的三维人脸样本库建立三维人脸边缘图进一步具 体包括：输入三维人脸模型样本库，规范化三维人脸模型样本库生成三维样本模型，将人脸 特征部位的角点、边缘用点标记，再将这些描绘人脸特征部位边缘信息的点组合连接成为 三维样本模型特征部位的3D边缘线；在三维样本模型上表示3D边缘线的闭合折线的内外 两侧选取众多点，所选取的这些点需在闭合折线附近、靠近闭合折线，并能够表示闭合折线 的（位置、形状、变化趋势等）信息，这些点集就是三维人脸边缘图。
[0011] 所述步骤三包括如下步骤：
[0012] (1)产生初始种群：
[0013] 设定每代种群包含N个三维重建系数序列：4?，…，fN，其中f = (βρ β2，… ，β m，α，Υ，δ，k) e Γ+4，（ α，γ，δ )为人脸对应三个方向，χ轴，y轴，ζ轴的旋转角度， (α，Υ，δ) e (-45°?45° )，根据三维重建系数序列中每个系数的范围，均匀选取系数， 作为初代种群；
[0014] (2)选择：
[0015] 首先定义F为每个三维重建系数序列的适应度函数，其为三维人脸边缘图上点到 其对应二维人脸边缘线的距离和：F = 1/D，
【权利要求】
1. 一种基于边缘图的三维人脸重建方法，其特征在于，包括如下步骤： 步骤一：根据二维图像的人脸特征点，生成二维人脸边缘线； 步骤二：根据规范化之后的三维人脸样本库建立三维人脸边缘图，同时对规范化之后 的三维人脸样本库进行主成份分解得出各特征向量； 步骤三：通过遗传算法匹配目标图像的二维人脸边缘线与三维人脸边缘图，进行寻优 得到目标图像的三维重建系数序列； 步骤四：综合步骤二中的各特征向量及步骤三中的三维重建系数序列重建出三维人脸 模型。
2. 根据权利要求1所述的一种基于边缘图的三维人脸重建方法，其特征在于，所述步 骤一进一步具体包括：输入二维图像，标定二维图像上的人脸特征点，再根据特征点所在的 不同特征区域将特征点相组合连接，生成描绘人脸特征部位边缘信息的线段集，即二维人 脸边缘线，每个特征区域的边缘线中的线段集将构成一个闭合的折线，这条折线位于特征 部位的边缘上，将特征部位包含在内，表达特征部位的边缘信息。
3. 根据权利要求1所述的一种基于边缘图的三维人脸重建方法，其特征在于，所述步 骤二中根据规范化之后的三维人脸样本库建立三维人脸边缘图进一步具体包括：输入三维 人脸模型样本库，规范化三维人脸模型样本库生成三维样本模型，将人脸特征部位的角点、 边缘用点标记，再将这些描绘人脸特征部位边缘信息的点组合连接成为三维样本模型特征 部位的3D边缘线；在三维样本模型上表示3D边缘线的闭合折线的内外两侧选取众多点，所 选取的这些点需在闭合折线附近、靠近闭合折线，并能够表示闭合折线的相关信息，这些点 集就是三维人脸边缘图。
4. 根据权利要求1所述的一种基于边缘图的三维人脸重建方法，其特征在于，所述步 骤三包括如下步骤： (1) 产生初始种群： 设定每代种群包含N个三维重建系数序列：f\，f2，…，fN，其中，…，βπ， α，γ，δ，k) e Γ+4,（ α，γ，δ )为人脸对应三个方向，X轴，y轴，ζ轴的旋转角度，（α， Υ，δ) e (-45°?45° )，根据三维重建系数序列中每个系数的范围，均匀选取系数，作为 初代种群； (2) 选择： 首先定义F为每个三维重建系数序列的适应度函数，其为三维人脸边缘图上点到其对 应二维人脸边缘线的距离和：F = 1/D，D = Σ?=1 I Σ?=1 η代表三维人脸边缘 图上点的总数目，k为二维人脸边缘线的总数目，0 (Pi，ip代表三维人脸边缘图上点Pi与其 对应二维人脸边缘线上直线L的点线间距离，S定义为符号函数，表示点与对应直线间的位 置关系：
然后根据适应度函数F计算种群中每个基因的适应度：匕，F2，…，FN，根据所计算出的 适应度序列将上代三维重建系数序列进行降序排列：f/，f2'，···，&'，将适应度最大的 点作为猴王点f/ ; (3) 交叉： 对（2)中产生的降序序列以猴王点f/为中心，按下式进行交叉运算得到下代种群的 新点： fl = fV ; fj = f/ +λ · (random-〇· 5) · (f/ -fj'），j = 2,3,…，N ; f/为上代猴王点；random为0-1之间的随机数；λ为变异调整系数，取3?5。 (4) 变异： 从第二代开始引入变异计算，设变异比例为rb，那么有ib = rb · Ν个变异基因；从第二 代开始，将上代升序矩阵中排在后面的ib个较劣的随机产生的三维重建系数序列替代，再 重复选择-交叉-变异过程。 通过不断的选择-交叉-变异过程，直到达到预定的最大迭代数Μ代或预先设定的适 应度阈值后，停止迭代，输出最终代的猴王点即为寻优求解的三维重建系数序列。
5. 根据权利要求1所述的一种基于边缘图的三维人脸重建方法，其特征在于，所述步 骤四所利用的重建公式为： = k* (Rotate(a,y;6) * ΣΤ=? β?5"/) ; 其中，R〇tate(a，γ，δ )表示旋转变换，Si为对规范化之后的三维人脸样本库进行主 成份分解得出的各特征向量，UY，S ) e (-45°?45° )，β i e (-3?3)，k彡2。
6. -种基于边缘图的三维人脸重建系统，其特征在于，包括初始化模块、三维重建系数 序列寻优模块及三维人脸模型重建模块； 所述的初始化模块用于根据二维图像的人脸特征点，生成二维人脸边缘线并将其输出 至三维重建系数寻优模块；根据规范化之后的三维人脸样本库建立三维人脸边缘图并将其 输出至三维重建系数寻优模块；对规范化之后的三维人脸样本库进行主成份分解得出各特 征向量并将其输出至三维人脸模型重建模块； 所述的三维重建系数序列寻优模块用于通过遗传算法匹配目标图像的二维人脸边缘 线与三维人脸边缘图，进行寻优得到目标图像的三维重建系数序列并将结果输出至三维人 脸模型重建模块； 所述的三维人脸模型重建模块用于重建出三维人脸模型。
【文档编号】G06T15/00GK104299264SQ201410521490
【公开日】2015年1月21日 申请日期:2014年9月30日 优先权日:2014年9月30日
【发明者】周大可, 曹元鹏, 方三勇 申请人:南京航空航天大学