一种人脸表情克隆方法
【专利摘要】本发明一种人脸表情克隆方法，涉及三维(3D)图像的加工，是一种基于运动捕捉数据的人脸表情克隆方法，一、预先捕捉一系列人脸面部运动序列；二、人脸面部生气、厌恶、恐惧、高兴、悲伤和吃惊六个基本表情信息的运动捕捉；三、对运动捕捉到的人脸面部六个基本表情信息进行处理；四、构建源面部和目标面部关键模型；五、选取四十一个人脸面部特征点；六、人脸表情的转移；七、生成人脸克隆表情。本发明克服了现有技术中均一权值保真度低和余切权值计算不稳定的问题以及运动捕捉设备有较高的要求和处理速度较慢的缺陷。
【专利说明】一种人脸表情克隆方法
【技术领域】
[0001]本发明的技术方案涉及三维(3D)图像的加工，具体地说是一种人脸表情克隆方法。
【背景技术】
[0002]人脸表情克隆技术是将人脸的表情克隆到与源模型具有不同拓扑结构的目标模型上，目标模型可以是不同性别不同种族的人，也可以是与人脸拓扑结构有很大差异的动物。基于数据驱动的人脸表情克隆技术充分利用已有的顶点运动数据可以快速合成真实和自然的克隆表情。近年来，该技术广泛的应用于计算机动画、计算机游戏和计算机视觉领域。
[0003]从人的视觉要求出发，总是希望克隆的人脸表情能够尽可能地达到逼真，但由于受模型和计算机能力的限制，合成的图像总是与人们的要求有一定的差距。在克隆表情工作后期经常需要对眼睛和牙齿这些脸部凹陷的区域作后期处理，而且变形过程中往往需要融合多种方法，制作要求较高。现有技术中的一些研究人员曾利用已有顶点的动画数据，提出了一种基于径向基函数(RBF)的表情克隆方法(参见Junyong Noh and UlrichNeumann.Expression cloning.1n Proceedings of ACM SIGGRAPHjpages277 - 288，NewYork, USA, 2001)。这种方法仅仅转移了运动矢量，而对于稀疏的源数据，将会丢失源模型的部分表情细节。还有一些研究人员通过预先记录的人脸运动捕捉数据库，提出一种基于人脸面部特征点的人脸表情动画方法来合成真实的表情动画，然而动画的质量严重依赖于庞大的数据库(参见 Zhigang Deng and Ulrich.Expressive speech animation synthesiswith phoneme-level control.Computer Graph Forum, 27:2096 - 2113,2008)。另有一些研究人员通过增加边界约束条件，将重定义问题用泊松方程来表示，利用贝叶斯公式产生与源运动一致的目标动画，这种方法仅集中于大规模的脸部变形，没有考虑现实的皱纹这些小尺度细节(参见 Yeongho Seol, J.P.Lewis, Jaewoo Seo, Byungkuk Choi, Ken Aniyoand Junyong Noh.Spacetime expression cloning for blendshapes.ACM Transactions onGraphics, 31:1-12, 2012)。最近，Bhat和Goldenthal等人又提出了一种基于人脸重要轮廓特征的表演捕捉方法，该方法主要是对眼睛和嘴部这些人脸表情的关键区域进行表情匹配处理来得到高质量的克隆表情，这种方法对运动捕捉设备有较高的要求(参见Kiran
S.Bhat, Rony Goldenthal, Yuting Ye, Ronald Mallet and Michael Koperwas.High fidelityfacial animation capture and retargeting with contours.1n Proceedings of the ACMSIGGRAPH, pages7-14, New York, USA, 2013)。CN101944238A 公开了一种基于拉普拉斯变换的数据驱动人脸表情合成方法，首先将采集表演者的脸部运动数据分解为脸部表情运动和头部刚体运动，计算载入的中性目标人脸模型中各顶点的拉普拉斯坐标，然后将脸部表情运动迁移到中性目标人脸模型上，使得中性目标人脸模型具有与表演者一致的表情，最后将头部刚体运动迁移到具有与表演者一致表情的目标人脸模型上，使得最终的目标人脸模型具有与表演者一致的面部表情和姿态。此方法的缺点是:对于顶点数目较多的模型，该方法的处理速度较慢，同时没有考虑复杂的眼睛和牙齿运动。
【发明内容】
[0004]本发明所要解决的技术问题是:提供一种人脸表情克隆方法，是一种基于运动捕捉数据的人脸表情克隆方法，首先使用摄像机捕捉人脸六种基本表情数据，并对数据进行处理，然后分别构建与源面部和目标面部模型对应的关键模型，并在表现人脸表情的关键区域选取四十一个人脸面部特征点，通过采用凸权值的拉普拉斯变形算法将人脸表情转移到目标模型上，很好保留了人脸表情的细节，克服了现有技术中均一权值保真度低和余切权值计算不稳定的问题以及运动捕捉设备有较高的要求和处理速度较慢的缺陷。
[0005]本发明解决该技术问题所采用的技术方案是:一种人脸表情克隆方法，是一种基于运动捕捉数据的人脸表情克隆方法，步骤如下:
[0006]第一步，预先捕捉一系列人脸面部运动序列:
[0007]先利用运动捕捉设备捕捉表演者的面部肌肉活动，收集人脸面部特征点的原始数据，即特征点的位置关系；
[0008]第二步，人脸面部六个基本表情信息的运动捕捉:
[0009]利用运动捕捉设备记录表演者的人脸面部六个基本表情的信息，即生气、厌恶、恐惧、闻兴、悲伤和吃惊的?目息；
[0010]第三步，对运动捕捉到的人脸面部六个基本表情信息进行处理:
[0011](I)原始数据标记标号:对人脸面部特征点的原始数据进行标记标号，生成统一的人脸面部特征点模板，进而在每个人脸面部特征点附近生成局部坐标的相关信息；
[0012](2)数据清理:上述(I)中的统一的人脸面部特征点模板提供了相邻人脸面部特征点的位置、坐标以及单个人脸面部特征点的活动范围信息，利用上述(I)中的局部坐标关系对丢失的人脸面部特征点进行数据清理；
[0013](3)间隙填充:上述(I)中生成的局部坐标相对人脸的前额、鼻尖或者下巴的位置关系不变，将局部坐标看作静止参考点，根据三点确定一个平面的定理，通过静止参考点以及局部三个人脸面部特征点，四个标记作为一组坐标来估计和确定丢失人脸面部特征点的间隙位置信息；
[0014](4)数据归一化:在捕捉过程中，对于丢失的人脸面部特征点，通过上面的数据清理和间隙填充达到数据归一化；
[0015]第四步，构建源面部和目标面部关键模型:
[0016]首先确定一组源模型的生气、厌恶、恐惧、高兴、悲伤和吃惊这六种强烈表情为关键表情，然后通过变形源人脸模型和目标模型各自带有的中性表情的基本模型来产生它们的各自带有的关键表情的关键模型；
[0017]第五步，选取四十一个人脸面部特征点:
[0018]按照MPEG-4标准，在人脸关键表情区域标记四十一个人脸面部特征点，其中四十一个人脸面部特征点需要在人脸表情突出部位周围选取，就是在前额、左眉、左上眼睑、右眉、右上眼睑、左下眼睑、左脸、鼻子、右下眼睑、右脸、上嘴唇、下巴和下嘴唇这些表现人脸表情的关键特征区域进行选点；
[0019]第六步，人脸表情的转移[0020](I)对第四步中确定的每一种关键表情通过计算源模型人脸面部特征点的位移来参数化目标模型人脸面部特征点的位移向量:
[0021]在源基本模型上交互地选择四十一个人脸面部特征点，然后提取它们到生气、厌恶、恐惧、高兴、悲伤和吃惊这六个源关键模型的位移，连接这些位移，形成每个源关键模型的位移向量来参数化对应的目标关键模型，标记人脸面部特征点时，只在源基本模型上标记，其它关键模型的这些人脸面部特征点可以根据它们与源基本模型的顶点对应关系来自动确定，当参数空间的维数远远高于目标关键模型的维数时，要采用主成分分析方法，即PCA方法，进行降维；
[0022](2)将全局坐标变成拉普拉斯坐标:
[0023]全局坐标是位于全局坐标系中的坐标，拉普拉斯坐标为顶点与其邻接顶点坐标加权和的差，对每个i = 1，2，...，11，定义叭1)为顶点Vi所有邻接点的集合，Cli为集合N(i)中元素的个数，拉普拉斯坐标可以表示为:
[0024]
【权利要求】
1.一种人脸表情克隆方法，其特征在于:是一种基于运动捕捉数据的人脸表情克隆方法，步骤如下: 第一步，预先捕捉一系列人脸面部运动序列: 先利用运动捕捉设备捕捉表演者的面部肌肉活动，收集人脸面部特征点的原始数据，即特征点的位置关系； 第二步，人脸面部六个基本表情信息的运动捕捉: 利用运动捕捉设备记录表演者的人脸面部六个基本表情的信息，即生气、厌恶、恐惧、高兴、悲伤和吃惊的信息； 第三步，对运动捕捉到的人脸面部六个基本表情信息进行处理: (1)原始数据标记标号:对人脸面部特征点的原始数据进行标记标号，生成统一的人脸面部特征点模板，进而在每个人脸面部特征点附近生成局部坐标的相关信息； (2)数据清理:上述(I)中的统一的人脸面部特征点模板提供了相邻人脸面部特征点的位置、坐标以及单个人脸面部特征点的活动范围信息，利用上述(I)中的局部坐标关系对丢失的人脸面部特征点进行数据清理； (3)间隙填充:上述(I)中生成的局部坐标相对人脸的前额、鼻尖或者下巴的位置关系不变，将局部坐标看作静止参考点，根据三点确定一个平面的定理，通过静止参考点以及局部三个人脸面部特征点，四个标记作为一组坐标来估计和确定丢失人脸面部特征点的间隙位置信息； (4)数据归一化:在捕捉过程中，对于丢失的人脸面部特征点，通过上面的数据清理和间隙填充达到数据归一化； 第四步，构建源面部和目标面部关键模型: 首先确定一组源模型的生气、厌恶、恐惧、高兴、悲伤和吃惊这六种强烈表情为关键表情，然后通过变形源人脸模型和目标模型各自带有的中性表情的基本模型来产生它们的各自带有的关键表情的关键模型； 第五步，选取四十一个人脸面部特征点: 按照MPEG-4标准，在人脸关键表情区域标记四十一个人脸面部特征点，其中四十一个人脸面部特征点需要在人脸表情突出部位周围选取，就是在前额、左眉、左上眼睑、右眉、右上眼睑、左下眼睑、左脸、鼻子、右下眼睑、右脸、上嘴唇、下巴和下嘴唇这些表现人脸表情的关键特征区域进行选点； 第六步，人脸表情的转移 (1)对第四步中确定的每一种关键表情通过计算源模型人脸面部特征点的位移来参数化目标模型人脸面部特征点的位移向量: 在源基本模型上交互地选择四十一个人脸面部特征点，然后提取它们到生气、厌恶、恐惧、高兴、悲伤和吃惊这六个源关键模型的位移，连接这些位移，形成每个源关键模型的位移向量来参数化对应的目标关键模型，标记人脸面部特征点时，只在源基本模型上标记，其它关键模型的这些人脸面部特征点可以根据它们与源基本模型的顶点对应关系来自动确定，当参数空间的维数远远高于目标关键模型的维数时，要采用主成分分析方法，即PCA方法，进行降维； (2)将全局坐标变成拉普拉斯坐标:全局坐标是位于全局坐标系中的坐标，拉普拉斯坐标为顶点与其邻接顶点坐标加权和的差，对每个i = 1，2，...，η,定义N(i)为顶点Vi所有邻接点的集合，(Ii为集合N(i)中元素的个数，拉普拉斯坐标可以表示为:
2.根据权利要求所述一种人脸表情克隆方法，其特征在于:所述运动捕捉设备是Motion Analysis公司的运动捕捉设备。
3.根据权利要求所述一种人脸表情克隆方法，其特征在于:所述拉普拉斯坐标的基于凸权值拉普拉斯变形算法流程是如下:开始一导入人脸面部特征点数据一目标模型参数化—计算拉普拉斯坐标一计算每个顶点的权重一计算目标模型变形坐标一人脸克隆表情。
【文档编号】G06T13/40GK104008564SQ201410269983
【公开日】2014年8月27日 申请日期:2014年6月17日 优先权日:2014年6月17日
【发明者】张满囤, 葛新杰, 霍江雷, 肖智东, 游理华, 张建军 申请人:河北工业大学