一种虚拟人脸动画合成方法
【技术领域】
[0001] 本发明属于计算机图形学技术领域，具体地设及虚拟人脸动画合成方法。
【背景技术】
[0002] 虚拟人脸动画合成技术主要通过拍摄人脸的2D/3D视频，通过跟踪人脸的位置姿 态和表情并将运些信息映射到计算机中虚拟的=维人脸模型上，使得该虚拟=维人脸模型 也呈现相应的位置姿态和表情。由于人脸表情与动作是人类情感传递的一个重要途径，因 此上述技术在人机交互、影视广告、游戏制作、视频会议等方面都有广泛的应用。
[0003] 目前解决上述问题的技术主要分为两类:基于2D视频的技术;基于深度视频的技 术。基于2D视频的技术一般需要在普通的图像或者视频中检测人脸特征点的2D图像坐标， 然后将运些特征点的2D图像坐标与该人脸在无表情正面情况下的特征点的2D图像坐标进 行比较后转化成驱动MPEG-4S维人脸模型的FAP参数。由于通过2D图像中的特征点去估计 人脸头部姿态的问题是一个不适定问题，因此只能用于头部运动比较小，主要是人脸内部 表情变化的情况，如播音员的脸部视频等。基于深度视频的技术能够稳定的追踪人脸位置、 姿态和面部器官的细微表情。但是该类技术需要特殊的深度摄像头如微软的Kinect传感 器，因此大大限制了运类方案的使用范围。
【发明内容】
[0004] 本发明的技术解决的问题是:通过普通的摄像头拍摄人脸视频驱动计算机中的虚 拟=维人脸，使得虚拟=维人脸表现出与人脸视频相对应的位置姿态W及表情的算法合成 技术。
[0005] 为实现上述目的，本发明采用的技术方案为：（1)合成视频中人脸所对应的=维表 情基。具体来说，又分为如下两个分步骤：（1.1)通过拍摄的正面中性表情人脸图像合成= 维人脸模型。运主要通过对人脸图像运用人脸特征点检测结合=维可变形模型（3D Mo巧hable Model)技术实现S维人脸模型合成。（1.2)对S维人脸模型进行形变得到S维 表情基。运主要通过对S维人脸模型的网格顶点参考MPEG-4FAP参数的预先设置对S维人 脸模型的网格顶点进行形变来实现。（2)在输入人脸视频中的某一帖检测2D人脸特征点。为 了能够应对不同姿态下的人脸情况，运一步骤采用集成回归树技术（Ensemble Of Regression化ees)来实现。（3)结合视频中人脸所对应=维人脸模型W及2D人脸特征点估 计视频帖中人脸的3D位置和姿态。该步骤主要通过优化上述步骤得到的=维人脸模型所对 应的顶点与图像中对应特征点的误差来得到3X3的旋转矩阵R和3X 1的平移矢量t"(4)根 据步骤（1)得到的=维表情基和步骤(3)得到的人脸的3D位置和姿态计算表情混合参数。运 一步通过优化表情基线性组合后得到的=维人脸模型所对应的顶点与图像中对应特征点 的误差来得到混合参数。（5)结合事先构建好的虚拟=维人脸表情基及上述步骤估计得到 的人脸3D位置和姿态W及表情混合参数得到最终的人脸动画合成结果。运主要通过对=维 表性基模型通过上一步骤得到的混合参数进行线性组合得到。
[0006] 与现有技术相比，本发明具有的优点和效果如下：（1)本发明无需特殊的外接设 备，只需要普通的摄像头即可。（2)本发明能够应对头部运动比较剧烈的情况，应用范围较 为广泛。
【附图说明】
[0007] 图1为虚拟人脸动画合成技术的概念展示，左下角是人脸作出的表情，右边是映射 到虚拟=维人脸模型上的结果。
[0008] 图2为本发明技术方案流程图。
[0009] 图3为正面人脸图像特征点检测的例子。
[0010] 图4为虚拟=维人脸表情基的例子。
【具体实施方式】
[0011] 图1为虚拟人脸动画合成技术的概念展示。本发明的一种虚拟人脸动画合成方法 包含如下步骤：（1)合成视频中人脸所对应的=维表情基；（2)在输入人脸视频中的某一帖 检测2D人脸特征点；（3)结合视频中人脸所对应=维人脸模型W及2D人脸特征点估计视频 帖中人脸的3D位置和姿态；（4)根据步骤（1)得到的=维表情基和步骤(3)得到的人脸的3D 位置和姿态计算表情混合参数；（5)结合事先构建好的虚拟=维人脸表情基及上述步骤估 计得到的人脸3D位置和姿态W及表情混合参数得到最终的人脸动画合成结果。流程图如图 2所示。
[0012] 优选的，步骤（1)具体包括：（1.1)通过拍摄的正面中性表情人脸图像合成=维人 脸模型；（1.2)对=维人脸模型进行形变得到=维表情基。
[0013] 优选的，步骤（1.1)首先通过手机前置摄像头或电脑摄像头拍摄一张自己的正面 中性表情图像，然后通过化Ul-Viola人脸检测算法检测图像中的人脸区域，其次在人脸区 域内利用主动轮廓(ASM)技术检测特征点，如图3所示。根据上述检测到的人脸2D特征点，采 用S维可变形模型（3D Mo巧hable Model)技术获得人脸的S维模型。其中在S维可变形模 型（3D Morphable Model)的训练集构建过程中需要对S维模型进行调整，使得其符合 MPEG-4规范的要求，运可W首先用激光3D扫描仪扫描人脸S维模型然后通过3DS Max等软 件进行编辑实现。
[0014] 优选的，步骤(1.2)首先确定人脸表情动作类型，如大笑、哭泣等，然后由美工师事 先通过3DS Max软件中尝试确定每个动作所对应的MPEG-4 FAP参数，然后将该预先设定好 的MPEG-4 FAP参数根据MPEG-4推荐的方法对步骤(1.1)中生成的S维人脸模型的网格顶点 进行形变，从而得到=维表情基模型，如图4所示。
[0015] 优选的，步骤（2)为了能够应对不同姿态下的人脸情况，采用集成回归树技术 化nsemble of Regression化ees)来实现，通过分析一系列稀疏的像素处的亮度信息快速 的检测人脸特征点位置。
[0016] 优选的，步骤(3)需要确定当前帖中人脸相对于世界坐标系下的3D位置和姿态，通 过3X3的旋转矩阵R和3X1的平移矢量t来表示，其中R为正交矩阵。贝化和t通过下式的优化 来计算。
[0017 ]巧嗦 r(K(RP, +1) - p, )2
[001引上式中，Pi为步骤(2)中检测到的特征点在图像中的位置。Pi为Pi对应的图像特征 点在步骤（1)中得到的中性表情=维人脸模型中的=维坐标。K为摄像机内参数矩阵，其表 达方式如下： 7 0 U；
[0019] K= 0 / V。 0 0 1
[0020] 其中，（u〇，vo)为光屯、坐标，可W设定为图像中屯、坐标。巧TW通过事先标定得到，如 果无法进行标定，则可W取固定初始值如35mm，并在上式优化过程中同时对f进行优化。rO 为高稳健性的化ber函数，其形式如下： r / \2 Jcf X <5
[0021] r林= ISx-O \x > O
[0022] 本步骤的优化可W通过Levenberg-Marquadt算法实现。其中R可W参数化为四元 数，W提高优化过程的稳定性。R和t初始值设定方法如下:对于第一帖图像，R可W设置为单 位矩阵，t可W设置为0;对于其他情况，R和t可W设置为前一帖优化后的值。
[0023] 优选的，步骤(4)首先对步骤(1)中得到的每一个=维表情基模型心进行如下几何 变换：
[0024] M/ =RMj+t
[0025] 然后优化下式来计算表情混合参数：
[0027] 其中門/为Pi对应的图像特征点在M/中的S维坐标。k非P为所求的表情混合参数， 上式同样可W通过Levenberg-Ma巧Uadt算法进行优化，其中kj的初始值可W设为不为负的 随机值。
[0028] 优选的，步骤(5)首先通过下式得到当前帖对应的人脸=维模型： M
[0029] M = Sw 7 = 1
[0030] k非P为步骤(4)得到的优化后的表情混合参数。然后通过计算机图形学的擅染技 术得到最终的人脸动画合成结果。
[0031] W上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依 据本发明的技术实质对W上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明 技术方案的保护范围。
【主权项】
1. 一种虚拟人脸动画合成方法，其特征在于包括如下步骤： (1) 合成视频中人脸所对应的三维表情基； (2) 在输入人脸视频中的某一帧检测2D人脸特征点； (3) 结合视频中人脸所对应三维人脸模型以及2D人脸特征点估计视频帧中人脸的3D位 置和姿态； (4) 根据步骤（1)得到的三维表情基和步骤(3)得到的人脸的3D位置和姿态计算表情混 合参数； (5) 结合事先构建好的虚拟三维人脸表情基及上述步骤估计得到的人脸3D位置和姿态 以及表情混合参数得到最终的人脸动画合成结果。2. 根据权利要求1所述的合成视频中人脸所对应的三维表情基，其特征在于包括如下 步骤： (1) 通过拍摄的正面中性表情人脸图象合成三维人脸模型； (2) 对三维人脸模型进行形变得到三维表情基。3. 根据权利要求1所述的在输入人脸视频中的某一帧检测2D人脸特征点，其特征在于 采用集成回归树技术(Ensemble ofRegression Trees)从而能够应对不同姿态下的人脸情 况。4. 根据权利要求1所述的结合视频中人脸所对应三维人脸模型以及2D人脸特征点估计 视频帧中人脸的3D位置和姿态，其特征在于通过优化如下函数得到：5. 根据权利要求1所述的计算表情混合参数，其特征在于通过优化如下函数得到：6. 根据权利要求1所述的结合事先构建好的虚拟三维人脸表情基及上述步骤估计得到 的人脸3D位置和姿态以及表情混合参数得到最终的人脸动画合成结果，其特征在于通过表 情混合参数对三维人脸表情基进行线性组合后调整到相应3D位置和姿态得到。7. 根据权利要求2所述的合成三维人脸模型，其特征在于该合成方法利用正面图像结 合三维可变形模型（3D Morphable Model)技术实现。8. 根据权利要求2所述的对三维人脸模型进行形变得到三维表情基，其特征在于通过 预先设定好的MPEG-4FAP参数对三维人脸模型的网格顶点进行形变。
【专利摘要】本发明涉及一种用人脸视频驱动虚拟三维人脸，使得虚拟人脸表现出与视频对应的位置姿态以及表情的算法技术。本发明包括以下步骤：(1)合成视频中人脸所对应的三维表情基；(2)在输入视频中某一帧检测2D特征点；(3)结合视频中人脸所对应三维模型以及2D特征点估计视频中人脸3D位置和姿态；(4)根据步骤(1)得到的三维表情基和步骤(3)得到的人脸3D位置和姿态计算表情混合参数；(5)结合事先构建好的虚拟三维人脸表情基和估计到的人脸3D位置和姿态以及表情混合参数得到人脸动画合成结果。对于上述步骤(1)还包括：(1.1)拍摄正面中性表情人脸图像合成三维人脸模型；(1.2)对三维人脸模型形变得到三维表情基。
【IPC分类】G06T13/40
【公开号】CN105528805
【申请号】CN201511004020
【发明人】许奇明
【申请人】苏州丽多数字科技有限公司
【公开日】2016年4月27日
【申请日】2015年12月25日