一种无监督的实时面部表情捕捉方法
【专利摘要】本发明是一种无监督的实时面部表情捕捉方法。该方法可以在无监督的条件下分析面部特征点，并将特征点转换为具有语义信息的表情单元系数。本发明具有如下特点：算法无需对特定用户做表情采集，可以无监督的学习用户面部表情，因此基于本发明算法的系统具有较强的普适性和易用性。
【专利说明】一种无监督的实时面部表情捕捉方法
【技术领域】
[0001]本发明属于计算机视觉【技术领域】，具体地说是一种无监督的实时面部表情捕捉方法。
【背景技术】
[0002]实时面部表情捕捉技术是计算机视觉领域的热点问题之一。该问题的解决方法通常是从面部提取关键特征点，然后建立特征点和表情语义信息之间的关联，前一步称为特征点提取，后一步称为表情映射。Thibaut Weise等人在文章Realtime Performance-BasedFacial Animation中,通过采集用户的特殊表情,建立精确的表情先验,然后根据面部特征点和表情先验完成表情映射。后续方法基本均延续此技术路线，然而这种依赖于监督式训练的方法具有以下缺点:(1)训练工作需要用户配合进行，不但花费时间，而且训练质量难以把控；(2)训练需要采集不同的表情，过程繁琐，对于用户来说不便使用。
[0003]为解决此问题，本发明提出了一种无监督的实时面部表情捕捉方法，该方法不依赖于上述训练过程，可在捕捉过程中自发的学习用户表情信息，从而使系统具备较强的普适性和易用性。
【发明内容】
[0004]本发明的目的是解决现有的实时面部表情捕捉算法依赖于监督式的训练，从而导致系统的普适性和易用性较差的问题。
[0005]本发明提出了一种无监督的实时面部表情捕捉方法，该方法可以在实时捕捉的过程中自发学习用户的表情，不需要任何人工干预。本发明的方法首先从面部特征点中提取与FACS表情单元相对应的几何特征，然后将几何特征加入几何特征样本集。样本集进行样本分布分析，从而计算出各个表情单元的变化区间。根据当前样本及表情单元变化区间，可以计算出表情单元系数。这一过程在完全无监督的条件下进行。
[0006]与现有技术相比，本发明的有益效果是:算法无需用户相关的表情采集训练，因此基于本发明算法的系统具备较强的普适性和易用性。
【专利附图】
【附图说明】
[0007]图1为本发明的算法的整体流程图；
[0008]图2为本发明的算法所用的表情表示方法示意图；
[0009]图3为面部关键特征点和几何特征示意图；
[0010]图4为表情单元的变化区间；
[0011]图5为最近邻样本合并算法的伪代码；
[0012]图6为几何特征样本的值及表情单元变化区间的节点。
【具体实施方式】[0013]本发明具体的说是一种无监督的实时面部表情捕捉的方法。
[0014]本发明使用的表情表示方法为Blendshape，对于某个用户，其任意表情可以表示为该用户的自然表情加上一系列表情基的线性组合，如图2所示。表情基是带有特定语义的表情单元，如张嘴、抬眉毛等，本发明使用FACS定义的表情单元作为表情基。由于表情基的精确数值与具体用户相关，因此现有的表情捕捉方法几乎都需要对特定用户做表情采集从而获知该组表情基，这就造成系统普适性较低且不易使用。
[0015]本发明所用的算法不依赖于对特定用户做表情采集，因此系统具备较强的普适性和易用性。具体来说，所述的算法分为以下几个步骤:
[0016](I)从面部关键特征点中提取与FACS表情单元相对应的几何特征，图3所示为面部特征点及一些重要的几何特征。几何特征是可以代表表情单元的几何度量值，如嘴巴宽度、嘴巴高度、眉眼间距、双眼内眼角间距等。这些特征中，有些为恒定量，如双眼内眼角间距，有些则随着表情的变化而改变，如嘴巴宽度、嘴巴高度等。为防止误差带来的绝对数值的缩放，需要对几何特征进行归一化，具体的做法是用各个特征的值除以双眼内眼角间距，相除的结果作为最终的几何特征值，所有的几何特征值共同构成一个几何特征样本，该样本能够代表多个表情单元组合出的表情。
[0017](2)按照一定策略将几何特征加入几何特征样本集。被加入样本集的样本带有一个权重属性，该属性用来标识这个样本在样本集中的影响因子。样本的权重大小与潜在误差成负相关的关系。权重最大为1，最小为O。若样本权重过低，则说明潜在误差过大，此时样本集须丢弃这类不可靠样本。对于可靠样本，本发明算法假定误差为高斯误差，真实样本服从以观测值为期望，以某一与权重相关的值为方差的高斯分布:
[0018]Sv，u?N(y，o2) (3)
[0019]其中，sv, ω衷示观测值为V,权重为ω的样本的真实值，μ =ν, σ =_1ηω。为了补全因误差缺失的信月，需要从该样本观测值的左右两侧各取一个补偿样本，使其权重为(1-ω)/2，然后将补偿样本一起加入到样本集。设补偿样本的值为V’，则有:
[。_点⑷
[0021]其中f为高斯分布的概率密度函数。通过求解(3)可以计算出V'的值。
[0022]由于样本集容量不可能无限增长，因此当样本集已满时必须采取措施处理新加入的样本。具体措施如下:对某个新加入的几何特征样本，在样本集中找到其最近邻样本，然后对这两个样本进行加权合并以形成一个新样本。合并后样本集中的样本总数保持不变。
[0023](3)几何特征样本集根据样本分布计算表情单元变化区间。每个表情单元的变化区间由三个节点数值确定，分别是负极限、无表情和正极限，如图4所示。三个节点对应的表情单元的系数分别是_1，0和I。本发明的算法采用最近邻样本合并方法计算中间节点的值，算法伪代码如图5所示。当合并至只剩下三个样本时，中间样本的值为“无表情”节点。该节点将整个表情区间划分为两个单向的区间，这两个区间的另一端点分别是“负极限”节点和“正极限”节点，本发明算法使用离群样本移除算法计算“负极限”和“正极限”节点。以寻找“负极限”节点为例，算法步骤如下:
[0024]从最左侧样本开始依次向右扫描并计数，
[0025]I)若相邻样本距离大于负向样本集宽度的I %，则移除左侧样本并重新计数；[0026]2)若计数达到负向样本总数的k%，或已扫描的样本数达到，则终止算法。
[0027]图6所示为某几何特征样本的值及用上述算法求得的表情单元区间节点。
[0028](4)根据当前几何特征样本和表情变化区间计算表情单元系数。表情单元的变化区间由三个关键节点确定,分别是gmin、grest和gmax,当这三个节点已知后，根据几何特征值g?可求得组合系数w:
[0029]
【权利要求】
1.一种无监督的实时面部表情捕捉方法，其特征在于如下步骤: (O从面部图像特征点中提取与FACS表情单元相对应的几何特征； (2)将几何特征添加至几何特征样本集； (3)几何特征样本集根据样本分布计算表情单元变化区间； (4)根据当前几何特征样本和表情单元变化区间计算表情单元系数。
2.根据权利要求1所述的方法，其特征在于:所述步骤(2)进一步包括以下子步骤: (2.1)根据潜在误差大小为几何特征样本设置权重，权重值最高为1，最低为O ; (2.2)为待添加的几何特征样本增加补偿样本。假设样本的真实值服从高斯分布:
Sv, ω ~Ν(μ，σ 2) (I) 其中，sv, ω衷示观测值为V,权重为ω的样本的真实值，μ =ν, σ = -Ιηω ；为了补全因误差缺失的信月，需要从观测样本的左右两侧各取一个权重为(1_ω)/2的补偿样本，然后一起添加到样本集。设补偿样本的值为V,，则有:
3.根据权利要求1所述的方法，其特征在于:所述步骤(3)进一步分为以下子步骤: (3.1)定义表情单元变化区间；每个表情单元变化区间由三个节点值确定，分别是负极限、无表情和正极限，对应的表情单元的系数分别是-1，0和I ; (3.2)用最近邻样本合并方法求中间节点。具体方法为:不断进行最近邻样本加权合并，直到样本集仅剩三个样本，此时中间样本即为表情单元变化区间的中间节点，即“无表情”节点； (3.3)用离群点剔除方法分别求出左右节点；寻找左节点(即“负极限”节点)算法步骤如下: 从最左侧样本开始依次向右扫描并计数， 1)若相邻样本距离大于负向样本集宽度的I%，则移除左侧样本并重新计数； 2)若计数达到负向样本总数的k%,或已扫描的样本数达到m%,则终止。
4.根据权利要求1所述的方法，其特征在于:所述步骤(4)的具体方法为:表情单元变化区间的三个节点对应的几何特征分别记为gmin、grest和gmax，已知几何特征g可求得其对应的表情单元系数w:
【文档编号】G06K9/00GK103679143SQ201310642644
【公开日】2014年3月26日 申请日期:2013年12月3日 优先权日:2013年12月3日
【发明者】周忠, 刘少龙, 石峰 申请人:北京航空航天大学