基于最小化误差的面部微表情序列特征抽取方法
【技术领域】
[0001] 本发明属于计算机视觉技术领域，具体涉及基于最小化误差的面部表情特征表示 方法。
【背景技术】
[0002] 当前微表情的识别主要通过一些传统的、通用的计算机视觉技术，进行特征提取 和模式识别，但尚没有形成针对性的高效率、高精度算法。
[0003] 本发明提出一种新的视频特征提取技术，主要用于微表情识别，属于计算机视觉、 图像处理和模式识别领域。该方法将微表情序列分割为小的时空块，使用最小化误差的原 则提取时空块的运动模式，作为微表情序列的特征表达。在实验中展示了该方法在识别能 力、识别速度上均优于现有方法。同时，改方法可以结合可视化技术，对微表情的运动模式 进行分析，对微表情的提供了深层的理解。
[0004] 由于本方法并没有对表情视频作特殊假设，因此也适用于普通表情的特征表达。
[0005] 微表情的文献记录最早可以追述到1969年，心理学家Ekman在分析抑郁症病人的 谈话录像时发现病人一直试图作出微笑的表情，但是有几帧画面中出现极端痛苦的表情 [1 ]。他将这种表情命名为微表情。
[0006] 与普通的表情类似，微表情传达了人内心的心绪;与普通表情不同的是，微表情是 无法主观控制的，即人既无法"作出"一个微表情，也无法抑制住一个微表情。因此，微表情 可以作为判断人心理情绪的有力证据，在刑侦、审讯、心理疾病诊断、反恐、教学质量测试等 方面有着潜在的应用价值。目前已经受到业界相当的关注。
[0007] 然而微表情的识别也面临着技术难点。微表情持续时间短、动作幅度小，即使受过 专业训练的心理专家识别准确率也不高。因此，采用基于计算机的识别方式可以提供快速、 稳定的识别效果，节省人力成本，并将微表情的应用推广到更大的应用场景下。但是，当前 微表情的识别主要通过一些传统的、通用的计算机视觉技术，进行特征提取和模式识别，尚 没有形成针对性的高效率、高精度算法。
[0008]目前已经有大量的学者对其进行了研究，见参考文选。
[0009] 当前学术界对微表情的研究可以大致分为两个技术方向。有Oulu大学 Pietikainen领导的研究小组致力于使用纹理特征描述微表情的时空结构。如Pfister使用 LBP-T0P特征提取微表情的时空纹理表达[2LLBP-T0P是一种通用的视频特征提取算子，它 在X-Y，X-T，Y-T三个平面上提取局部二值模式(Local Binary Pattern)。其中局部二值模 式对于每一个像素点，使用二进制编码表达其与周围像素值的大小关系，并统计这种编码 的频率直方图，作为一维特征向量。
[0010] 中科院心理所的研究人员从自空间学习理论入手，将视频数据视作三维张量，使 用类间距离最小化原则优化子空间投影[7] [8]。对于新的待标记微表情序列，使用学习到 的投影函数进行变换，在变换后的空间使用简单的神经网络进行分类。
【发明内容】
[0011] 本发明的目的在于提供一种有效、快速的面部微表情序列特征抽取方法。
[0012] 本发明提出的面部微表情序列特征抽取方法，首先，把微表情序列分割为较小的 时空块，在每个时空块中以最小误差为原则寻找一个两维的主方向向量;然后，将所有分块 中的主方向拼接，得到两倍于分块数量维度的向量，因此表达整个微表情序列。这种方法规 避了传统算法中对统一帧数的要求，因此不必引入插值算法。同时，本方法的提取速度非常 快，为实时高精度微表情检测提供了可能。其流程如图1所示，具体步骤为：
[0013] 1、给定一段维度为又Xfxf的人脸表情序列，其中f是微表情序列的帧数叉xf 是图像的尺寸，把图像等分为XXY个图像块，每个图像块的尺寸为X |_丨，其中U符号表示 向下取整；同时，在时间轴上把整个序列分割为T份，由此得到X X Y X T个时空块，每个时空 块的维度是丨X: [^7丨.X yj;.
[0014] 对于每个时空块，希望寻找一个两维的方向向量u= [u，v]T，以此来表征每个视频 块的主要运动方向；
[0015] 2、对于特定视频块，将其记作CUdW;其中代??,…，|j}!y e ??,.",動h
[0016] 定义方程：Su = T
[0017] 其中：
[0018]
[0019]
[0020]
[0021] 3、上述方程是一过定方程或病态问题，即给定的限制多于唯一解需要的条件数 量。这样的方程无法完全满足，但是可以基于此定义具体的目标函数。本发明提出两种具体 的目标函数，称为本发明两种变体：
[0022] (a)l2变体：玛2 = |_ -?1|2
[0023] 最小化此目标函数有闭式解，即：|u=(STS)-STT
[0024] (b)li 变体：? = IlSu-fl^
[0025] 最小化目标函数没有闭式解，但是可以使用Nelder-Mead单纯形算法迭代求解；
[0026] 4、由上述步骤得到的特征可以用来描述一个微表情序列，这样的特征可以被利用 到机器学习算法中，对待标记的微表情序列进行分类识别。具体地，使用监督算法(如支持 向量机Support Vector Machine)对已有数据集进行训练并得到模型。对于待标记的微表 情序列，使用上述方法抽取特征，再利用已有模型即可进行分类识别。
【附图说明】
[0027] 图1基于光流场的微表情识别方法流程图。
[0028] 图2本发明提出特征的可视化结果。上排是一个微表情样例，此处截取了当中的三 帧。下排左边两幅是该微表情序列提取特征的可视化结果;右边是代表颜色意义的色轮。在 下排左边两幅图中，颜色的色调代表运动向量的方向，颜色的深浅代表运动的强度。从颜色 较深的区域可以看到眼睛睁开、闭上的动态过程。
[0029]图3数据集样例，第一行来自SMIC2-VIS，是一个消极的微表情;第二行来自SMIC2-NIR，是一个积极的微表情;第三行来自SMIC2-HS，是一个惊讶的微表情;第四行来自SMIC， 这是一个非微表情样本，用于检测任务;第五行来自CASME I，是一个恶心的微表情;第六行 来自CASME II，是一个消沉的微表情。
【具体实施方式】
[0030]本发明的主要贡献包括两点：
[0031 ] -、提出了一种有效的微表情特征的提取方法；
[0032] 二、提出了该特征的两种变体。
[0033] 下面分别详细介绍这两点。
[0034] -、微表情特征的提取方法
[0035] 将人脸分割为较小的时空块，这是基于如下假设：
[0036] (1)在足够小的空间范围内，微表情动态受到肌肉尺度限制，其运动模式(包括方 向、大小)可以看作不变；
[0037] (2)在足够小的时间范围内，微表情动态受到肌肉运动灵活度限制，其运动模式可 以看作不变。
[0038] 对于特定视频块，我们将其记作C(x，y，t)。由于时空块尺度较小，可以认为其内部 像素的运动模式是趋同的，为此，我们在视频块中寻找偏移量使得下式成立：
[0039] C(X，y，t)=C(X+Ax，y+Ay，t+At)
[0040] 进行泰勒展开，得到：
[0041]
[0042] 忽略其高阶无穷小后，得到
[0043] 令
[0044] 上式需要对视频块中所有点成立，因此，联立得到方程:Su = T;
[0045] 其中：
[0046]
[0047] -
[0048]
[0049] 有目标方程推导目标函数，解得主方向，即可很好的表征整个微表情序列。图2展 示了本特征一个可视化结果。
[0050] 二、对该表达的两种实现方法 [0051 ]本发明提出了两种目标函数，即：
[0052] (a)l2 变体：? = |Pu-n|2
[0053] (b)li变体：A = 。
[0054] 其主要区别在于，12变体有简单得闭式解，计算效率高；1:变体没有闭式解，需要迭 代优化，但是对图像中得异常值噪声更鲁棒。
[0055] 下面介绍了实施方案中的一些技术细节之后，下面详细说明本发明的实验效果。
[0056] 实验一
[0057] 关于本发明的两种变体，作为对比，我们实现了基于LBP-T0P的方法，和基于DTSA 的子空间学习法。实验在CASME I，CASME II，SMIC2-HS，SMIC2-VIS，SMIC2-NIR，SMIC六个数 据集上进行。
[0058]其中，中科院的CASME I数据集包含8中情绪，分别是恶心（disgust)、快乐 (happiness)、鄙视（contempt)、恐惧（fear)、低沉（repression)、悲伤（sadness)、惊讶 (surprise)和紧张(tense)。其帧率是60帧/秒。
[0059]中科院的C A S Μ E 11数据集包含7种情绪，分别是低沉（r e p r e s s i ο η )、恶心 (disgust)、恐惧（fear)、悲伤（sadness)、快乐（happiness)、惊讶（surprise)和其他 (other)。其帧率是200帧/秒。
[0060] 由于CASME I和CASME II中包含的一些情绪类别只有非常少的样例，因此实验中 通常包含这些类。具体的，我们使用CASME