三维人脸模型的建模方法、人脸跟踪方法以及设备的制作方法
【专利摘要】提供一种三维人脸模型的建模方法、人脸跟踪方法以及设备。提供一种三维人脸模型的建模方法，包括：将预设的标准三维人脸模型作为工作模型，并且将指定起始帧设为第一帧，基于工作模型从连续输入的多个视频帧的指定起始帧开始进行人脸跟踪，从跟踪的视频帧提取人脸特征点、表情参数以及头部姿态参数，并且根据预定条件生成与预定数目的视频帧相应的跟踪结果；基于生成的跟踪结果更新工作模型，其中，如果在更新工作模型时，确定更新的工作模型的外貌参数与更新前的外貌参数之差不小于预定的限值，继续对后面的视频帧继续执行人脸跟踪，直到完成全部视频帧的跟踪；输出工作模型。
【专利说明】三维人脸模型的建模方法、人脸跟踪方法以及设备
【技术领域】
[0001]本申请涉及一种三维人脸模型的建模方法、人脸跟踪方法以及用于执行所述建模方法和人脸跟踪方法的设备，尤其涉及一种从连续输入的人脸视频帧并行地进行人脸跟踪和三维人脸模型的建模，从而提供更接近用户人脸的三维人脸模型，以及/或者输出高精度的人脸表情信息。
【背景技术】
[0002]以连续视频为输入，现有人脸跟踪/建模技术能够输出不同复杂程度的结果，例如:表情参数的类别以及其强度、人脸二维形状、低解析度的人脸三维形状或高解析度的人脸三维形状。
[0003]人脸跟踪/建模的基础技术大体分为三类:基于识别的技术、基于拟合的技术和基于重建的技术。
[0004]但是，现有的人脸跟踪/建模技术存在以下几个问题:首先，一些技术需要依赖额外的设备，如双目摄像机，深度摄像机；其次，大部分技术需要用户的配合，例如手工标记关键点、使用前进行用户注册、在建模时保持无表情或者固定表情等；此外，一些技术不能输出高解析度的跟踪结果，也不能够避免外貌、姿态对表情参数精度的影响。
【发明内容】
[0005]本发明的目的在于提供一种个性化的三维人脸模型的建模方法，从连续输入的人脸视频帧迭代地进行人脸跟踪，并 且在人脸跟踪结果的基础上更新三维人脸模型，从而提供更接近用户人脸的三维人脸模型。
[0006]本发明的另一目的在于提供一种人脸跟踪方法，从连续输入的人脸视频帧迭代地进行人脸跟踪，基于跟踪结果更新三维人脸模型，从而输出高精度的人脸表情信息。
[0007]根据本发明的一方面，提供一种三维人脸模型的建模方法，所述三维人脸模型包括三维形状、外貌参数、表情参数以及头部姿态的信息，所述建模方法包括以下步骤:将预设的标准三维人脸模型作为工作模型，并且将指定起始帧设为第一帧，执行如下操作:a)基于工作模型从连续输入的多个视频帧的指定起始帧开始进行人脸跟踪，从跟踪的视频帧提取人脸特征点、表情参数以及头部姿态参数，并且根据预定条件生成与预定数目的视频帧相应的跟踪结果，所述跟踪结果包括跟踪的各视频帧以及从跟踪的各视频帧提取的人脸特征点、表情参数以及头部姿态参数山)基于生成的跟踪结果更新工作模型，其中，如果在更新工作模型时，确定更新的工作模型的外貌参数与更新前的外貌参数之差不小于预定的限值，并且所述预定数目的视频帧后的视频帧不是连续输入的多个视频帧中的最后一帧，则将所述预定数目的视频帧后的第一个视频帧作为指定起始帧，执行步骤a);和c)输出工作模型。
[0008]所述三维人脸模型可被表示为
[0009]
【权利要求】
1.一种三维人脸模型的建模方法，所述三维人脸模型包括三维形状、外貌参数、表情参数以及头部姿态的信息，所述建模方法包括以下步骤: 将预设的标准三维人脸模型作为工作模型，并且将指定起始帧设为第一帧，执行如下操作: a)基于工作模型从连续输入的多个视频帧的指定起始帧开始进行人脸跟踪，从跟踪的视频帧提取人脸特征点、表情参数以及头部姿态参数，并且根据预定条件生成与预定数目的视频帧相应的跟踪结果，所述跟踪结果包括跟踪的各视频帧以及从跟踪的各视频帧提取的人脸特征点、表情参数以及头部姿态参数； b)基于生成的跟踪结果更新工作模型，其中，如果在更新工作模型时，确定更新的工作模型的外貌参数与更新前的外貌参数之差不小于预定的限值，并且所述预定数目的视频帧后的视频帧不是连续输入的多个视频帧中的最后一帧，则将所述预定数目的视频帧后的第一个视频帧作为指定起始帧，执行步骤a)； c )输出工作模型。
2.如权利要求1所述的建模方法，其中，所述三维人脸模型被表示为
3.如权利要求2所述的建模方法，其中，所述标准三维人脸模型包括:平均形状S°、外貌分量Sf表情分量以及标准头部姿态q°， 其中，i=l:N，Sf表示人脸外貌的一种变化，j=l:M，Sf表示人脸表情的一种变化。
4.如权利要求3所述的建模方法，还包括: 预先在线下使用一系列三维人脸数据训练出所述标准三维人脸模型。
5.如权利要求2所述的建模方法，其中，并行地执行步骤a)和步骤b)。
6.如权利要求3所述的建模方法，其中，步骤b)中所述基于生成的跟踪结果，更新工作模型的处理包括: 在生成的跟踪结果当中，将最接近中性表情的视频帧选择为中性表情帧； 根据中性表情帧中的人脸特征点从中性表情帧提取人脸剪影； 基于中性表情帧中的特征点和提取的人脸剪影更新工作模型。
7.如权利要求6所述的建模方法，其中，在选择中性表情帧的处理中，从与预定数目为T的视频帧相应的跟踪结果当中，如下选择中性表情帧: 为每个跟踪的视频帧计算表情参数e^t= l:T,k= 1: K)，其中，K为表情参数的种类数量； 将每种表情参数中出现频率最高的表情参数值斤作为中性表情值； 选择全部K个表情参数与相应的中性表情值的偏差均小于预定的每个门限值的视频帧作为中性表情帧。
8.如权利要求7所述的建模方法，其中，使用主动轮廓模型算法从中性表情帧提取人脸剪影。
9.如权利要求8所述的建模方法，其中，所述基于中性表情帧中的特征点和提取的人脸剪影更新工作模型的处理包括: 将工作模型的头部姿态q更新为中性表情帧的头部姿态； 将工作模型的表情分量e设置为O ; 通过将工作模型S(a，e, q)与中性表情帧的特征点位置进行匹配，并且将工作模型S (a, e, q)计算的人脸剪影与从中性表情帧提取的人脸剪影匹配来校正工作模型的外貌分量a。
10.如权利要求2所述的建模方法，其中，使用多个建模单元交替地进行不同迭代的步骤b)的处理，并且将不同迭代的处理进行融合。
11.如权利要求1所述的建模方法，其中，在步骤a)中，还通过输入/输出接口输出生成的跟踪结果。
12.如权利要求1所述的建模方法，其中，在步骤b)，当完成工作模型的更新时，还通过输入/输出接口输出更新的工作模型。
13.如权利要求2所述的建模方法，其中，在步骤a)，根据连续输入的多个视频帧的输入速率、噪声质量或跟踪的精度要求确定所述预定数目，并且所述预定数目是常量或可变量。
14.如权利要求2所述的建模方法，其中，在步骤a)，使用以下方法之一基于工作模型获取人脸特征点、表情参`数和头部姿态参数:主动外观模型方法(AAM)、主动形状模型方法(ASM)和复合约束主动外观模型(Composite Constraint AAM)。
15.如权利要求13所述的建模方法，其中，如果在步骤a)，所述人脸跟踪的处理返回失败的结果，则将重置工作模型的外貌分量a为0，并且返回到步骤a)的开始。
【文档编号】G06T7/20GK103530900SQ201210231897
【公开日】2014年1月22日 申请日期:2012年7月5日 优先权日:2012年7月5日
【发明者】沈晓璐, 冯雪涛, 张辉, 金培亭, 金智渊 申请人:北京三星通信技术研究有限公司, 三星电子株式会社