专利名称：一种基于gpu的三维人脸表情合成方法
技术领域：
本发明涉及一种人脸表情的合成方法，更具体地，本发明涉及一种基于GPU的三 维人脸表情合成方法，尤其涉及一种以建立表情模型和表残差模型、基于统计建模的三维 人脸表情合成方法。
背景技术：
在社会交往中，人脸表情能够传达重要、丰富的信息。随着计算机技术的快速发 展，表情合成技术在图形图像处理、计算机辅助设计等领域受到越来越多研究人员的关注。 它在游戏娱乐、媒体制作、虚拟现实设计、远程虚拟通讯、远程医疗服务、虚拟视频会议、虚 拟角色交互应用等方面有着重要的用途。基于三维形状数据的表情合成是目前新兴的一个研究方向。随着三维扫描设备的 成熟，三维形状数据作为一类新型数据日益普及，如何对三维人脸形状进行有效的表情合 成正成为新的研究热点。
发明内容
本发明的目的在于提供一种基于GPU的三维人脸表情合成方法，其步骤如下(1)三维人脸模型非刚性变形对齐将通用模型G向每一个三维人脸模型0进行 非刚性对齐，并用变形后的通用模型代替原来的三维人脸模型；步骤(1)采用的变形方法是基于能量最小化的迭代变形方法。定义了两个能量函 数，分别是平滑误差函数
权利要求
一种基于GPU的三维人脸表情合成方法，步骤如下1)三维人脸模型非刚性变形对齐将一个通用人脸网格模型向每一个待处理的三维人脸模型进行非刚性变形对齐，变形后的通用网格模型在形状上与原来的模型保持一致；用变形后的网格模型代替原来的三维人脸模型，用于后续步骤；2)GPU加速的测地法向空间计算经过步骤1)处理后，选取某类中性表情模型若干个组成训练样本集，其中每个模型分别对应不同的人；利用GPU并行处理技术对该训练集中样本的法向量特征进行主测地分析，得到主测地子空间的投影矩阵，以及该训练样本集中的模型经投影后，在主测地子空间中的表示；从而完成GPU加速的测地法向空间计算；3)GPU加速的表情残差空间计算按照步骤2)中的样本选取方法，将表情模型训练样本集中的每个情感模型和对应的中性表情模型，组成一个样本对；所有样本对组成表情残差模型训练样本集；对该样本集中的每个样本对，使用GPU并行计算它的两个三维人脸模型之间的表情残差向量；所有样本对的表情残差向量组成表情残差空间；4)基于GPU的表情模型训练经过步骤2)和步骤3)的计算后，得到样本集在表情空间和表情残差空间中的表示；继而利用GPU的并行计算方法对上述两个空间进行径向基函数回归分析，从而实现基于GPU的表情模型训练；5)表情残差推导及表情合成对每个测试的中性模型，首先按照步骤2)中方法计算其在表情子空间中的低维表示；其次利用步骤4)中得到的空间映射关系，推导出其表情残差；最后，利用变形技术将推导出的表情残差作用于测试中性模型，确定出向导，经过基于向导的梯度场计算，从而达到表情合成的目的。
2.根据权利要求1所述的基于GPU的三维人脸表情合成方法，其特征是步骤(1)采 用的变形方法是基于能量最小化的迭代变形方法，即定义了式(1)和(2)所示的两个能量 函数，分别是平滑误差函数
3.根据权利要求1所述的基于GPU的三维人脸表情合成方法，其特征是步骤2)的 GPU加速的测地法向空间计算是使用GPU并行地对训练集中样本的法向量特征进行主测地分析，得到训练样本在主测地子空间中的表示，该子空间即为表情空间。
4.根据权利要求1所述的基于GPU的三维人脸表情合成方法，其特征是步骤3)中的 GPU加速的表情残差空间计算用于度量同一个人的情感模型和中性模型之间的变化差异， 表情残差空间用于定量描述某种的表情变化规律，使用GPU并行计算同一个人的情感模型 和中性模型之间表情残差。
5.根据权利要求1或4所述的基于GPU的三维人脸表情合成方法，其特征是步骤3) 中的GPU加速的表情残差空间计算采用GPU多线程并发执行的方式，每一个GPU线程计算 对应三角面片的表情残差。
6.根据权利要求1所述的基于GPU的三维人脸表情合成方法，其特征是步骤4)的基 于GPU的表情模型训练是采用径向基函数回归的方法建立表情空间和表情残差空间之间 的映射关系，利用GPU的并行计算方法对上述两个空间进行径向基函数回归分析，从而实 现基于GPU的表情模型训练。
7.根据权利要求6所述的基于GPU的三维人脸表情合成方法，其特征是步骤(4)中 使用的径向基函数如下式(4)所示
8.根据权利要求1所述的基于GPU的三维人脸表情合成方法，其特征是步骤(5)中 采用的变形技术是基于泊松方程的变形技术，其线性系统的建立如下式
9.根据权利要求1所述的基于GPU的三维人脸表情合成方法，其特征是步骤(5)中 采用的变形技术是用推导出的表情残差为变形向导。
10.根据权利要求9所述的基于GPU的三维人脸表情合成方法，其特征是步骤(5)中 基于向导的梯度场计算是对每个三角面片建立局部坐标系，然后用推导出的表情残差进行 变换。
全文摘要
本发明公开了一种基于表情建模的三维人脸表情合成方法，步骤如下(1)三维人脸模型的非刚性对齐；(2)建立表情空间；(3)表情残差空间的计算；(4)建立表情空间和表情残差空间的映射关系；(5)表情残差推导和表情合成。本发明可有效地在中性三维人脸模型上进行三维人脸表情合成，并且本发明采用GPU的方法可以更加快捷准确地合成人脸表情。
文档编号G06T17/00GK101976453SQ20101029677
公开日2011年2月16日 申请日期2010年9月26日 优先权日2010年9月26日
发明者傅俊康, 吴朝晖, 潘纲, 韩松 申请人:浙江大学