基于特征点的人脸表情合成方法
【技术领域】
[0001] 本发明涉及一种基于特征点的人脸表情合成方法，属于图像处理技术领域。
【背景技术】
[0002] 传统的人机交互方式是基于鼠标和键盘，随着计算机图形学及计算机硬件技术的 发展，真实感人脸动画技术为人机交互提供了更为方便的接口。在娱乐领域中，真实感的虚 拟人已经越来越多地被应用到各种影视作品中。在教育领域，由于虚拟人脸可以产生各种 逼真的人脸表情，更容易集中学生的注意力。虚拟人脸同样可以在客户关系管理中发挥作 用。此外，人脸动画技术还可以应用到医疗、新闻广播、广告以及心理学等领域。在计算机 动画研究领域中，人脸表情动画一直是一个极具挑战性的问题，越来越多的学者和研究人 员也不断的提出各种人脸建模方案和表情动画方法。因此，人脸动画技术的提高，对于推动 计算机动画领域的发展及其相关应用领域的技术革新具有重要意义。
[0003] 1972年，Parke提出了一个人脸动画的解决方案，此后出现了各种人脸动画技术。 形状融合方法是一种常见的人脸表情动画技术，它通过对精心挑选的人脸形状进行插值获 得各种面部表情。一些商业上使用的三维动画软件也为形状融合动画方法提供了特定的工 具箱。形状融合方法有两个关键点，一个是融合形状的构建，另一个是相应权重的计算，后 者对于最终的动画效果有着直接的影响。融合形状的构建主要是从一系列的表情形状中挑 选一些关键表情，需要解决两个方面的工作，一个是关键表情的选取问题，挑选的关键表情 必须能够覆盖整个表情空间，另一个问题是选取方式，也就是在选取这些关键表情时尽可 能的自动化，而不需要过多的手工干预。然而，当前很多的动画解决方案中，关键表情的选 取依然费时、费力，甚至对于专业的动画人员也需要花费时间去熟悉不同系统的操作。对于 融合权重的计算，一些处理办法是将原模型的融合权重直接应用到了目标模型。这样，势必 要求原始模型和目标模型的形态之间不能有太大的差异，否则目标模型产生的表情可能会 失真。形状融合方法的最主要问题在于用线性融合形状方法合成高度非线性的人脸表情。
[0004] 此外，几何变形方法在人脸表情动画中使用的也比较多，根据所建立的模型差异， 主要有两类方法。一类是基于人脸物理结构的方法，是通过预先设计的面部肌肉或者皮肤 组织模仿人脸产生表情时相应组织的动作。其中，模拟肌肉运动的方法关键在于肌肉参数 的求解。然而由于人脸的生理结构极其复杂，精确的肌肉参数求解并不是一件容易的事情。 也有研究人员建立了弹性人脸皮肤模型，通过皮肤点的受力分析研究其位移的变化，但是 也存在弹性皮肤参数的求解难度。另一类是基于特征点的方法，是根据人脸网格中特征点 和周围顶点的关系，通过特征点的运动估计所有顶点的运动情况。线性壳模型是一种常见 的基于特征点的动画方法，它是通过偏微分方程的离散化求解顶点的位移。但是，由于线性 壳模型的计算量较大，在实时动画的效率方面并不占优势。
[0005] 在形状融合插值方法中，为了得到关键形状，常用主成分分析法将人脸分割成不 同的区域。然而，这种区域分割的方法在人脸动画中会破坏不同区域之间运动的关联性。因 此，本发明提出了一种混合人脸变形方法，可以自适应地将人脸划分成不同的区域，根据不 同的捕捉序列，人脸区域的划分也会有差异。首先，通过一个邻近加权策略对整个面部进行 区域划分，并且求解人脸模型上顶点的局部变形。假定人脸网格上顶点的局部运动情况主 要受到其邻近特征点运动的影响，这样，只要获得了每个邻近特征点对顶点运动的影响权 重，顶点的运动情况即可求出。在求解特征点对顶点的影响权重时，需要计算顶点和特征点 之间的距离信息。由于人脸是一个具有开放区域的曲面结构，很多涉及求解人脸面部上两 点间距离的问题都近似成求解连接两个顶点的边的长度，这种近似方法没有充分考虑人脸 网格的特殊结构。本发明采用精确的测地距求解人脸面部上两个顶点之间的距离。而且， 求解特征点权重时，使用了更加符合肌肉运动机理的余弦函数。然后，为了使动画过程中人 脸网格更加光顺，使用基于径向基函数的插值方法来实现全局变形。最终的表情动画是通 过将全局变形和局部变形融合在一起得到的。
【发明内容】
[0006] 本发明针对以上问题的提出，而研制基于混合变形策略的人脸动画合成方法，该 方法通过基于邻近特征点加权的局部变形方法，解决人脸动画过程中的区域分割问题，通 过全局变形策略解决人脸网格的光顺问题，从而有效避免了动画过程中的失真情况，并且 该方法相对简单，计算量较小，可以有效地保证动画的效率。
[0007] 本发明采取的技术方案是：本发明包括如下几步骤，
[0008] 第一步：表情空间的转换。
[0009] 第二步：基于邻近特征点加权的局部变形策略，其有以下几个步骤。
[0010] 步骤1 :确定顶点的邻近区域。
[0011] 步骤2 :基于邻近特征点的加权方法。
[0012] 步骤3:局部变形的计算。
[0013] 第三步：基于径向基函数的全局变形策略。
[0014] 第四步：局部变形与全局变形的混合。
[0015] 第五步：重复第二步到第四步，即可求出所有帧中目标人脸模型上每个顶点的位 置，实时更新每个顶点的空间坐标位置，这样就可产生人脸表情动画。
[0016] 本发明原理：对于人脸表情空间转换过程，使用基于测地距的RBFs方法，建立首 帧运动捕捉数据标记点和目标人脸模型标记点之间的运动关联，并将这种运动关联运用到 其他帧的捕捉数据，从而得到目标人脸模型所有帧的标记点运动情况。对于人脸表情合成 过程，使用一个混合人脸变形策略，根据邻近特征点加权求出顶点的局部位移，使用径向基 函数插值求出顶点的全局位移，将全局位移和局部位移进行融合即形成顶点的位移，实时 更新每一帧中顶点的位置可实现对整个人脸网格的变形。
[0017] 本发明与现有技术相比具有以下优点：
[0018] 1.基于邻近特征点加权的方法求解顶点的局部位移，使用测地距充分考虑了人脸 的生理结构，求解人脸网格上两个顶点之间的距离更加精确。使用余弦函数计算特征点权 重的方式，更加符合人脸表情运动的机理。
[0019] 2.采用将局部变形和全局变形结合起来的混合变形策略，既充分利用了局部特征 点蕴藏的丰富运动信息，考虑到了人脸表情运动的区域性问题，又从全局角度对网格进行 平滑，防止不同运动区域之间的出现运动不连续的情况。
[0020] 由于采用了上述技术方案，本发明提供的基于混合变形策略的人脸表情动画方 法，通过同时考虑局部变形和全局变形，可快速的生成真实感的人脸表情动画，计算量相对 较小，可满足实时动画的需求，利用运动捕捉数据也节约了动画制作的成本。
【附图说明】
[0021] 图1本发明算法流程图。
[0022] 图2标记点的设定方式示意图。
[0023] 图3基于邻近特征点的加权方法示意图。
[0024] 图4本发明实现结果示意图。
【具体实施方式】
[0025] 图1所示为本发明的算法流程图，其具体包括以下步骤：
[0026] 第一步：表情空间的转换
[0027] 建立首帧运动捕捉数据与目标人脸模型标记点之间的映射关系，映射关系可以表 示如下：
[0028]
【主权项】
1. 一种基于特征点的人脸表情合成方法，其特征在于：包括如下步骤： 第一步：表情