基于单张人脸图像自动合成三维表情的方法及装置制造方法
【专利摘要】一种基于单张人脸图像自动合成三维表情的方法，包括：步骤1，对于输入的单张图像，使用ASM进行人脸形状定位；步骤2，根据定位的人脸形状，利用三维人脸参考模型采用散点插值完成人脸的形状建模并进行纹理映射，得到图像中目标人脸的三维人脸模型；步骤3，计算该表情集相对于三维人脸参考模型和目标人脸的三维人脸模型的人脸表情运动矩阵；步骤4，根据步骤3中得到的目标人脸的三维人脸模型的人脸表情运动矩阵，计算表情集中每个表情的线形运动模型；步骤5，使用聚类方法获得人脸面部区域划分结果；步骤6，进行人脸表情合成。本发明有助于系统合成更加灵活丰富的人脸表情。
【专利说明】基于单张人脸图像自动合成三维表情的方法及装置
【技术领域】
[0001] 本发明属于计算机视觉与计算机图形学相关领域，特别涉及一种基于单张人脸图 像自动合成三维表情的方法及装置。
【背景技术】
[0002] 三维人脸表情合成是应用于诸多领域的计算机图形学技术，包括电影游戏、人机 交互和人脸识别等。而从单幅图像中合成三维人脸表情则是计算机视觉与计算机图形学技 术的结合。其目的是从一副包含人脸的图像中提取人脸信息，然后合成出图像中人脸的各 种三维表情。
[0003] 已有的人脸表情合成方法大多数是基于人脸参数标准的方法，使用的是 MPEG-4 人脸动画标准（参见 Raouzaiou, Amaryllis and Tsapatsoulis, Nicolas and Karpouzis,Kostas and Kollias,Stefanos. Parameterized facial expression synthesis based on MPEG-4. EURASIP Journal on Applied Signal Processing, vol. 2002 ，1,1021-1038, 2002.)或者面部动作编码系统（Facial Action Coding System. FACS)(参见 Roesch,Etienne B and Tamarit, Lucas and Reveret, Lionel and Grandjean, Didier and Sander, David and Scherer, Klaus R. FACSGen:A tool to synthesize emotional facial expressions through systematic manipulation of facial action units. Journal of Nonverbal Behavior，vol. 35, l，pp. 1-16, 2011.)。在这些标准的基础之上为人脸模型设计 特征与运动单元，根据参数来调整人脸模型以合成三维表情。
[0004] 已有的基于单幅图像的表情合成技术大多是二维的表情合成，合成的人脸表情 缺乏真实感，也不能进行三维多姿态观察；而三维的表情合成技术往往需要一个人脸的 多幅输入图像（参见 Fr ' ed' eric Pighin，Jamie Hecker，Dani Lischinski，Richard Szeliski, and David HSalesin. Synthesizing realistic facial expressions from photographs. In ACMSIGGRAPH2006Courses，pagel9.ACM，2006.)，或者输入图像中的人脸 特征选取需要人工操作（Fr' ed/ eric Pighin，Jamie Hecker，Dani Lischinski，Richard Szeliski,and David HSalesin. Synthesizing realistic facial expressions from photographs. In ACMSIGGRAPH2006Courses，pagel9. ACM，2006.)等；已有的人脸面部 区域划分的方法也大多数是手工完成的（参见Qingshan Zhang，Zicheng Liu，Gaining Quo, Demetri Terzopoulos, and Heung-Yeung Shum. Geometry-driven photorealistic facial expression synthesis. Visualizationand Computer Graphics, IEEE Transactions on，12 (1):48 - 60, 2006.)。
【发明内容】
[0005] 为了克服现有技术中存在的上述缺陷，本发明提出了一种自动的由单幅图像合成 三维人脸表情的方法和装置，其中无需人工标注图像中的人脸特征点，并且实现自动的人 脸区域划分，有助于系统合成更加灵活丰富的人脸表情。
[0006] 根据本发明的一个方面，提出了一种基于单张人脸图像自动合成三维表情的方 法，该方法包括步骤：步骤1，对于输入的单张图像，使用ASM进行人脸形状定位；步骤2,根 据定位的人脸形状，利用三维人脸参考模型采用散点插值完成人脸的形状建模，在形状建 模的基础上进行纹理映射，得到图像中目标人脸的三维人脸模型；步骤3,利用包含有限表 情模型的表情集，计算三维人脸参考模型和目标人脸的三维人脸模型的运动矩阵，所述表 情集中各表情模型所包含的顶点与三维人脸参考模型以及目标人脸的三维人脸模型中的 顶点一一对应；步骤4,根据步骤3中得到的目标人脸的三维人脸模型的运动矩阵，计算表 情集中每个表情的线形运动模型；步骤5,在三维人脸参考模型和表情集的基础上，使用聚 类方法获得人脸面部区域划分结果；步骤6,利用目标人脸的三维人脸模型、、运动模型以 及人脸面部区域划分结果，进行人脸表情合成。
[0007] 根据本发明的另一方面，提出了一种基于单张人脸图像自动合成三维表情的装 置，该装置包括：人脸形状定位单元，对于输入的单张图像，使用ASM进行人脸形状定位；人 脸形状建模单元，根据定位的人脸形状，利用三维人脸参考模型采用散点插值完成人脸的 形状建模，在形状建模的基础上进行纹理映射，得到图像中目标人脸的三维人脸模型；运动 矩阵计算单元，利用包含有限表情模型的表情集，计算三维人脸参考模型和目标人脸的三 维人脸模型的运动矩阵；线性运动模型计算单元，根据得到的目标人脸的三维人脸模型的 运动矩阵，计算表情集中每个表情的线形运动模型；面部区域划分单元，在三维人脸参考模 型和表情集的基础上，使用聚类方法获得自动的人脸面部区域划分结果；人脸表情合成单 元，利用上述目标人脸的三维人脸模型、运动模型以及人脸面部区域划分结果，进行人脸表 情合成。
[0008] 使用本发明的基于单张人脸图像自动合成三维表情的方法和装置，具有以下优 点：1)本发明利用了主动形状模型定位人脸特征，以及基于聚类的面部区域划分，实现了自 动的人脸表情合成；2)本发明采用了局部空间变换对表情运动矩阵依照输入人脸的三维建 模结果进行变换，使得表情合成结果更加符合输入人脸的形状；3)本发明利用了面部区域 划分的结果，通过区域组合的方式丰富了表情合成结果，使得合成的表情种类不局限于输 入的表情集中的有限表情；4)本发明利用了线性的表情运动模型，能够合成出多种强度的 表情，丰富了表情合成结果，而且线性模型计算速度快，使得表情能够实时地合成。
【专利附图】
【附图说明】
[0009] 图1示出了本发明的基于单张人脸图像自动合成三维表情的方法原理图；
[0010] 图2是对一张含有正面人脸的图像使用主动形状模型（ASM)进行人脸定位的结果 图；
[0011] 图3是三维人脸参考模型上三维ASM关键点示意图，其中的浅色斑点代表三维ASM 占.
[0012] 图4a、4b和4c是纹理映射示意图，其中图4a是输入图像，图4b是形状重建的结 果，图4c是纹理映射后的结果；
[0013] 图5是顶点的局部坐标定义示意图；
[0014] 图6是局部空间变换不意图；
[0015] 图7是人脸模型的区域运动活跃程度示意图；
[0016] 图8是聚类得到的面部区域划分结果；
[0017] 图9是一部分人脸重建的结果，其中最左侧的一列是输入图像和ASM定位的结果， 右侧是合成的三维人脸表情；
[0018] 图10示出了本发明的由单张正面人脸图像自动合成三维人脸表情的装置结构框 图。
【具体实施方式】
[0019] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明进一步详细说明。
[0020] 本发明针对现有的基于单幅图像的表情合成技术中的特征标注于面部划分需要 人工参与等问题，提出了一种全自动化的合成方法。
[0021] 根据本发明的由单张人脸图像自动合成三维表情的方法，针对单张正面人脸图 像进行三维表情的自动合成，首先将图像中描述人脸特征的特征点的选择由以往的多 幅图像上的人工选择简化为单幅图像上的自动定位，使用主动形状模型（Active Shape Model，ASM)来实现单幅图像中的人脸形状获取。在一个包含有限表情模型的表情集的基础 上，生成线性表情模型以及使用聚类方法自动进行人脸面部区域的划分。
[0022] 本发明对于输入的图像，使用ASM进行人脸形状定位，在自动形状获取的基础上 利用一个三维人脸参考模型采用散点插值技术(散点插值技术是在一组已知空间点的变换 的前提下求得一个符合该变换的插值函数，利用该函数对于一组变换未知的空间点进行变 换的技术。）完成人脸的形状建模，在形状建模的基础上进行纹理映射即完成了人脸的三维 建模。然后利用一个包含有限表情模型的表情集，计算人脸表情运动矩阵，对矩阵使用局部 坐标变换，然后计算能够实时合成不同程度人脸表情的线性表情运动模型。同时，利用表情 集中的数据，使用聚类方法获得自动的人脸面部区域划分结果。最后，使用三维人脸模型、 表情运动模型与划分结果共同作用，能够实时合成出具有真实感的多种三维人脸表情。
[0023] 图1示出了本发明的由单张正面人脸图像自动合成三维人脸表情的方法原理图。 下面参照图1详细描述本发明的方法，如图1所示，该方法包括以下各步骤：
[0024] 步骤1，根据输入的图像获取人脸形状。
[0025] 在该步骤，对于输入的图像，使用主动形状模型ASM (参见P. Xiong, L. Huang,and C.Liu. Initialization and pose alignment in active shape model. In 2010International Conference on Pattern Recognition, pages3971 - 3974. IEEE，2010.)获取人脸形状，该形状使用一组特征点连接而成，使用S进行表示：
[0026] S = (p1; p2, ...pk，...pN) (1)
[0027] 其中，pk = (xk, yk), k = (1，2,--?，N)是构成S的N个特征点。如图2所示。
[0028] 步骤2,根据所确定的人脸形状，获得图像中目标人脸的三维人脸模型。
[0029] 在该步骤，使用一个三维人脸参考模型，该三维人脸参考模型上具有与步骤1中 所使用的人脸形状相对应的三维关键点，对该三维人脸参考模型进行散点插值，得到三维 人脸参考模型的形状变换，然后对形状变换后的模型使用直接纹理映射，得到图像中目标 人脸的三维人脸模型如图3所示，该三维关键点是线下根据步骤1中获得的二维人脸形状 人工确定的，使用S Mf表示：
[0030]Sref = (q"q2,…，qk，…，qN) (2)
[0031] 其中qk，k= (1，2,…，N)是三维人脸参考模型中的三维点坐标。
[0032] 对于SMf，本发明使用正交图像投影，得到它在图像平面上的二维投影结果为 S、f:
[0033] S'ref = (q' "q' 2,…，q'k，…，q' N) (3)
[0034] 其中q'k是qk在平面图像上的二维投影，并经过了尺度和平移变换。在确定了 点对应关系后，使用径向基插值函数RBF对三维人脸参考模型进行散点插值，插值函数是：
[0035] f(p) = EiAjv(|p-pj|) +Ap+t(4)
[0036] 其中p和Pi分别是已知的空间点在变换后目标位置坐标和变换前原位置坐标，i 的取值范围取决于已知变换的点的数目，例如本发明中已知的ASM点为81个，故i取值为0 到80 (或1到81)，^为基函数系数，A和t为仿射成分。本发明使用的"散点插值"方法 是根据一系列"位置变换已知的点"的位置变换来求解同空间中其他"位置变换未知的点" 的位置变换，"已知的空间点"指的就是"位置变换已知的点"，而P是这些点在位置变换后 的坐标，Pi是这些点在位置变换前的坐标。
[0037] 函数V(r)为径向对称基函数，径向对称基函数有多种，高斯核函数是其中一种， 也是广泛应用的一种，本发明使用高斯核函数：
【权利要求】
1. 一种基于单张人脸图像自动合成H维表情的方法，该方法包括步骤： 步骤1，对于输入的单张图像，使用ASM进行人脸形状定位； 步骤2,根据定位的人脸形状，利用H维人脸参考模型采用散点插值完成人脸的形状建 模，在形状建模的基础上进行纹理映射，得到图像中目标人脸的H维人脸模型； 步骤3,利用包含有限表情模型的表情集，计算该表情集相对于H维人脸参考模型的运 动矩阵和目标人脸的H维人脸模型的人脸表情运动矩阵，所述表情集中各表情模型所包含 的顶点与H维人脸参考模型W及目标人脸的H维人脸模型中的顶点一一对应； 步骤4,根据步骤3中得到的目标人脸的H维人脸模型的人脸表情运动矩阵，计算表情 集中每个表情的线性运动模型； 步骤5,在H维人脸参考模型和表情集的基础上，使用聚类方法获得人脸面部区域划分 结果； 步骤6,利用目标人脸的H维人脸模型、表情集中每个表情的线性运动模型W及人脸面 部区域划分结果，进行人脸H维表情合成。
2. 根据权利要求1所述的方法，其特征在于，步骤2进一步包括，使用一个H维人脸参 考模型，该H维人脸参考模型上具有与步骤1中所使用的人脸形状相对应的H维关键点， 对该H维人脸参考模型进行散点插值，得到H维人脸参考模型的形状变换，然后对形状变 换后的模型使用直接纹理映射，得到图像中目标人脸的H维人脸模型。
3. 根据权利要求2所述的方法，其特征在于，步骤3进一步包括，通过W下方式来获取 目标人脸的H维人脸模型的人脸表情运动矩阵；对于表情集中中性表情模型的任意一个顶 点，构造其位于H维人脸参考模型中的源局部空间W及位于目标人脸的H维人脸模型中的 目标局部空间，利用所述顶点的局部空间、源局部空间W及目标局部空间之间的对应关系， 求得该顶点相对于H维人脸参考模型顶点坐标的运动向量，使用局部空间变换，获得该运 动向量适用于目标人脸的H维人脸模型的变换形式，利用该变换形式W及H维人脸参考模 型的运动矩阵，来获得目标人脸的H维人脸模型的运动矩阵。
4. 根据权利要求3所述的方法，其特征在于，步骤5进一步包括；利用表情集中每个H 维模型所包含的顶点，构造一个矩阵来代表顶点在表情集中的运动方式相关特征，利用顶 点的运动方式相关特征W及顶点的空间位置特征，构造顶点的特征向量，对该特征向量进 行K均值聚类，聚类的结果为面部划分的结果。
5. 根据权利要求4所述的方法，其特征在于，在聚类过程中，对于目标人脸的H维人脸 模型中的m个顶点，使用K均值聚类的方法将其分成r类，每一类中的顶点个数不是一定 的，认为同一类的顶点代表脸部的同一区域，不同类顶点代表不同区域，聚类结果就是Ru， Ry是第i个表情的第j个区域，通过聚类获得每一类中所有顶点的标号，使用该些标号和 Ai构建r个Ru，其中Ai是第i个表情的运动模型，m、r、i和j都是大于等于1的整数。
6. -种基于单张人脸图像自动合成H维表情的装置，该装置包括： 人脸形状定位单元，对于输入的单张图像，使用ASM进行人脸形状定位； 人脸形状建模单元，根据定位的人脸形状，利用H维人脸参考模型采用散点插值完成 人脸的形状建模，在形状建模的基础上进行纹理映射，得到图像中目标人脸的H维人脸模 型； 运动矩阵计算单元，利用包含有限表情模型的表情集，计算H维人脸参考模型和目标 人脸的H维人脸模型的运动矩阵； 线性运动模型计算单元，根据得到的目标人脸的H维人脸模型的运动矩阵，计算表情 集中每个表情的线形运动板型； 面部区域划分单元，在H维人脸参考模型和表情集的基础上，使用聚类方法获得自动 的人脸面部区域划分结果； 人脸表情合成单元，利用上述目标人脸的H维人脸模型、运动模型W及人脸面部区域 划分结果，进行人脸表情合成。
7. 根据权利要求6所述的装置，其特征在于，人脸形状建模单元使用一个H维人脸参 考模型，该H维人脸参考模型上具有与人脸形状定位单元所确定的人脸形状相对应的H维 关键点，对该H维人脸参考模型进行散点插值，得到H维人脸参考模型的形状变换，然后对 形状变换后的模型使用直接纹理映射，得到图像中目标人脸的H维人脸模型。
8. 根据权利要求7所述的装置，其特征在于，运动矩阵计算单元通过W下方式来获取 目标人脸的H维人脸模型；对于表情集中一个中型表情模型的任意一个顶点，构造其位于 H维人脸参考模型中的源局部空间W及位于目标人脸的H维人脸模型中的目标局部空间， 利用所述顶点的局部空间、源局部空间W及目标局部空间之间的对应关系，求得该顶点相 对于H维人脸参考模型顶点坐标的运动向量，使用局部空间变换，获得该运动向量适用于 目标人脸的H维人脸模型的变换形式，利用该变换形式W及H维人脸参考模型的运动矩 阵，来获得目标人脸的H维人脸模型的运动矩阵。
9. 根据权利要求8所述的装置，其特征在于，面部区域划分单元利用表情集中每个H 维模型所包含的顶点，构造一个矩阵来代表顶点在表情集中的运动方式相关特征，利用顶 点的运动方式相关特征W及顶点的空间位置特征，构造顶点的特征向量，对该特征向量进 行K均值聚类，聚类的结果为面部划分的结果。
10. 根据权利要求9所述的装置，其特征在于，在聚类过程中，对于目标人脸的H维人 脸模型中的m个顶点，使用K均值聚类的方法将其分成r类，每一类中的顶点个数不是一定 的，认为同一类的顶点代表脸部的同一区域，不同类顶点代表不同区域，聚类结果就是Ru， Ry是第i个表情的第j个区域，通过聚类获得每一类中所有顶点的标号，使用该些标号和Ai 即可构建r个Ru，其中Ai是第i个表情的运动模型，m、r、i和j都是大于等于1的整数。
【文档编号】G06T15/00GK104346824SQ201310347091
【公开日】2015年2月11日 申请日期:2013年8月9日 优先权日:2013年8月9日
【发明者】黄磊, 舒之昕 申请人:汉王科技股份有限公司