一种基于多尺度采样的微表情自动识别方法
【专利摘要】本发明提供了一种基于多尺度采样的微表情自动识别方法，包括微表情图像序列预处理、微表情特征提取和微表情识别。本发明为减小人脸自然位移和无效区域对微表情识别的影响，本发明采用了一种人脸自动对齐和面部区域有效分块的方法，提高了识别结果的鲁棒性；针对已有特征描述子的不足，本发明提出了一种新颖的微表情特征描述算子CPTOP，CPTOP算子具有和LBP?TOP算子等数量的采样点数，但使用了多尺度采样的策略，在同等时间复杂度和空间复杂度下获得了更好的描述信息。
【专利说明】
一种基于多尺度采样的微表情自动识别方法
技术领域
[0001]本发明涉及一种基于多尺度采样的微表情自动识别方法，属于机器学习和模式识 别的技术领域。
【背景技术】
[0002] 人类的面部表情研究起源于19世纪达尔文[1]，最近，Ekman和Erika[2]进行了面 部测绘行为的研究，验证了微表情(micro expression)可提供更全面的隐蔽情感的泄露。 微表情是一种快速表情，虽然持续时间短，但是能揭露人内心的真实情感，从而为判断人内 在的精神状态提供了可靠的依据[3]，因此在司法系统、临床诊断等方面具有重要的应用。 国外针对微表情的研究起步较早，提出并且定义了微表情，在协助司法机关诊断案情、商业 谈判、心理咨询等领域多有建树，开始得到一些应用。傅小兰教授主持的2011 - 2013年国家 自然科学基金面上项目"面向自动谎言识别的微表情表达研究"推动了国内对于微表情研 究的发展。与宏观表情不同，微表情最大的特点是持续时间短、强度小，所以仅凭人眼识别 微表情是一个巨大的挑战。利用计算机视觉实现微表情自动识别是必然的趋势，但准确识 别的前提是找到有效的特征描述方式。尽管研究人员在人脸识别、宏观表情识别中提出了 一些优秀的特征描述符，并且取得了不错的效果，但针对微表情的时空特性和计算复杂度， 直接将上述描述符拓展到微表情识别中是不可行的。
[0003]为此，针对微表情自动识别面临的诸多挑战，本专利提供了一种基于多尺度采样 的微表情自动识别方法。
[0004] [1]Darwin C. The expression of the emotions in man and animals[M] .University of Chicago Press,1965。
[0005] [2]Ekman P,and Erika L R. What the face reveals : basic and applied studies of spontaneous expression using the facial action coding system(FACS) [M].OxfordUniversity Press,1997〇
[0006] [3]贲晛烨，杨明强，张鹏，等.微表情自动识别综述[J].计算机辅助设计与图形学 学报，2014,26(9): 1385-1395。
【发明内容】
[0007] 针对现有技术的不足，本专利提供了一种基于多尺度采样的微表情自动识别方 法。为减小人脸自然位移和无效区域对微表情识别的影响，本发明采用了一种人脸自动对 齐和面部区域有效分块的方法，提高了识别结果的鲁棒性;针对已有特征描述子的不足，本 发明提出了一种新颖的微表情特征描述算子CPT0P，CPT0P算子具有和LBP-T0P算子等数量 的采样点数，但使用了多尺度采样的策略，在同等时间复杂度和空间复杂度下获得了更好 的描述信息。
[0008] 本发明的技术方案如下：
[0009] -种基于多尺度采样的微表情自动识别方法，包括微表情图像序列预处理、微表 情特征提取和微表情识别；
[0010] 所述微表情图像序列预处理，依次包括人脸特征点检测、人脸对齐和面部分块;所 述面部分块是指对微表情图像首帧根据特征点进行分块，形成子块；
[0011] 所述微表情特征提取包括，在每个子块，使用CPT0P算子在灰度化的表情序列XY、 XT和YT三个平面上提取直方图特征向量，然后级联成一个高维的特征向量作为CPT0P的特 征向量;将上述各子块的高维特征向量级联成更高维的特征向量，作为微表情的描述； [00 12] 微表情识别:通过支持向量机(Support Vector Machine，SVM)构建多个二元分类 器实现多分类，通过上述已知类别的高维特征向量有监督地训练支持向量机参数，实现对 未知类别微表情的分类。
[0013]根据本发明优选的，在所述微表情图像序列预处理中，所述人脸特征点检测是指 对单个表情序列，使用人脸特征点检测方法检测到每一帧的所有特征点，使用其中不易受 到微表情动作影响的特征点；所述人脸对齐是指将后续帧对齐到首帧;所述面部分块是指 是指根据首帧的特征点，将面部划分成互不重叠的多个子块。
[0014] 根据本发明优选的，所述人脸特征点检测是利用Discriminative Response Map F i 11 i n g (D RMF)方法检测到微表情图像的特征点：
[0015]选择一段微表情序列每帧图像中受微表情影响最小的3个非共线的特征点 ei?_xl，.p = 1，…，p，j = 1，2，3，P为帧数，4(1，】)为点坐标的X分量，％(2，1)为点坐标的y分 量，利用
[0017] 计算后续帧ρ = 2，···Ρ对齐到首帧的变换矩阵
[0018] 根据本发明优选的，所述人脸对齐是指根据微表情序列两帧图像之间对应点的坐 标计算出仿射变换矩阵，由该仿射变换矩阵将其中一帧图像对齐到另一帧图像：
[0019] ΓΡ(χ' ,y,) = IP(x,y) ⑵
[0020] IP(x，y)为原图像像素点的取值，I'P(x'，y'）为对齐图像像素点的取值，其中
[0022] 首帧图像与后续帧对齐的图像组成新的微表情序列，后续操作均在此序列上进 行。
[0023] 根据本发明优选的，所述CPT0P算子，是将微表情图像序列划分为XY、XT和YT三个 正交平面，在各正交平面中使用纹理描述算子产生统计直方图，形成微表情特征的表示。所 述CPT0P算子在各正交平面中的采样模式如图5，CPT0P在每个平面的采样点数目同LBP(8个 采样点）一致，但是在每个采样方向上选择位于不同半径的两个采样点，因此扩大了采样的 尺度，使得不同尺度的信息能够有效地融合。
[0024]本发明的优势在于：
[0025] 1、本发明提供的一种基于多尺度采样的微表情自动识别方法利用稳定的特征点 对表情序列进行对齐，增强了微表情特征对面部自然抖动的鲁棒性。
[0026] 2、本发明提供的一种基于多尺度采样的微表情自动识别方法采用了一种新颖的 面部分块方式，增强了微表情特征对噪声的鲁棒性。
[0027] 3、本发明提供的一种基于多尺度采样的微表情自动识别方法采用了一种新颖的 纹理特征描述算子，使用了多尺度采样的策略，在同等时间复杂度和空间复杂度下获得了 更好的描述信息，增强了微表情特征的描述能力，提高了识别率。
【附图说明】
[0028]图1本发明的整体流程图；
[0029] 图2 (a)定位出的人脸特征点；
[0030] 图2(b)用于图像对齐的特征点；
[0031]图3面部分块；
[0032]图4微表情图像序列XY、XT和YT三个正交平面；
[0033] 图5 CPT0P三维视图；
[0034] 图6(a)是在ΧΥ平面半径为RXYin、RXYex两个圆形邻域的四个方向（0
_.)上 分别采样图；
[0035] 图6(b)是在XT平面半径为RXTin、RXTex两个圆形邻域的四个方向<
-}上分别采样图；
[0036] 图6(c)是在YT平面半径为RYTin、RYTex两个圆形邻域的四个方向（
}上分别采样图。
【具体实施方式】
[0037] 下面结合附图和实施例对本发明进行详细的描述，但不限于此。
[0038] 如图1-5所示。
[0039] 实施例、
[0040] -种基于多尺度采样的微表情自动识别方法，如图1所示，包括微表情图像序列预 处理、微表情特征提取和微表情识别；
[0041] 所述微表情图像序列预处理，依次包括人脸特征点检测、人脸对齐和面部分块;所 述面部分块是指对微表情图像首帧根据特征点进行分块，形成子块；
[0042] 所述微表情特征提取包括，在每个子块，使用CPT0P(Cross Patterns on three orthogonal planes)算子在灰度化的表情序列XY、XT和YT三个平面上提取直方图特征向 量，然后级联成一个高维的特征向量作为CPT0P的特征向量;将上述各子块的高维特征向量 级联成更高维的特征向量，作为微表情的描述；
[0043] 微表情识别:通过支持向量机(Support Vector Machine，SVM)构建多个二元分类 器实现多分类，通过上述已知类别的高维特征向量有监督地训练支持向量机参数，实现对 未知类别微表情的分类。
[0044] 在所述微表情图像序列预处理中，所述人脸特征点检测是指对单个表情序列，使 用人脸特征点检测方法检测到每一帧的所有特征点，使用其中不易受到微表情动作影响的 特征点;所述人脸对齐是指将后续帧对齐到首帧;所述面部分块是指是指根据首帧的特征 点，将面部划分成互不重叠的多个子块。
[0045] 所述人脸特征点检测是利用Discriminative Response Map Fitting(DRMF)方法 检测到微表情图像的66个特征点，如图2所示：
[0046] 选择一段微表情序列每帧图像中受微表情影响最小的3个非共线的特征点 ￡^#1,1) = 1，"_，？，」=1，2,3，？为帧数，％(1，1)为点坐标的1分量，^(2，1)为点坐标的3^分 量，利用
[0048] 计算后续帧ρ = 2，···Ρ对齐到首帧的变换矩阵
[0049] 所述人脸对齐是指根据微表情序列两帧图像之间对应点的坐标计算出仿射变换 矩阵，由该仿射变换矩阵将其中一帧图像对齐到另一帧图像：
[0050] ΓΡ(χ' ,y，) = IP(x,y) (2)
[0051] IP(x，y)为原图像像素点的取值，I'P(x'，y'）为对齐图像像素点的取值，其中
[0053]首帧图像与后续帧对齐的图像组成新的微表情序列，后续操作均在此序列上进 行。
[0054] 所述面部分块，是参考Facial Action Coding System(FACS)对面部动作单元的 描述，并依据人脸特征点坐标将人脸划分出独立的、包含有效微表情信息的11个子块，如图 3〇
[0055]所述CPT0P算子，是将微表情图像序列划分为XY、XT和YT三个正交平面，在各正交 平面中使用纹理描述算子产生统计直方图，形成微表情特征的表示。所述CPT0P算子在各正 交平面中的采样模式如图5，CPT0P在每个平面的采样点数目同LBP(8个采样点）一致，但是 在每个采样方向上选择位于不同半径的两个采样点，因此扩大了采样的尺度，使得不同尺 度的信息能够有效地融合。
[0056] CPT0P算子在各正交平面中的采样模式如图5，CPT0P在每个平面的采样点数目同 LBP(8个采样点）一致，但是在每个采样方向上选择位于不同半径的两个采样点，因此扩大 了采样的尺度，使得不同尺度的信息能够有效地融合。
[0057] 对于微表情图像序列中任一像素点0,在XY平面半径为RXYin、RXYex两个圆形邻域 的四个方向（〇，f π，^)上分别采样，如图6(a)，采用如下编码方式，I是对应点的灰度值； ^ A
[0060] 在XT平面半径为RXTin、RXTex两个圆形邻域的四个方向(|，^，￥，#)上分 4 4 4 4 别采样，如图6(b)，采用如下编码方式；
jr ^)7Γ ι ΤΤ
[0062] 在ΥΤ平面半径为RYTin、RYTex两个圆形邻域的四个方向(ι，ι，$,1)上分别 采样，如图6(c)，采用如下编码方式；
[0064]在各平面分别产生CPXY、CPXT和CPYT的统计直方图，然后三者级联形成较高维的向 量，作为CPT0P的特征向量。
[0065]所述微表情特征的表示，是在上述各子块序列中分别提取CPT0P特征向量，然后级 联成高维的特征向量，作为对微表情的描述。
[0066]所述多分类是利用LIBSVM工具箱实现，假设有m类微表情，那么总共生成m(m-l)/2 个二元分类器，即m(m-l)/2个判别函数，每一个二元分类器都是通过两类数据训练得到的。 待识别微表情样本送入到已经训练好的分类器，就可以进行判别分类。
[0067]上述虽然结合附图对本发明的【具体实施方式】进行了描述，但并非对本发明保护范 围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不 需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
[0068]为了验证所提出方法的有效性，我们在CASMEII微表情库上进行实验，CASMEII包 含了在可控实验条件下，从大量样本中筛选出来的246个自发微表情样本。为避免太多的参 数组合，我们令〇?1'(^的内外圆采样半径的差值为2，1?1111 = 1^1111;1^?-1'(^1? = 1^ = RXYin，RT = RXTin，实验从两个方面说明了CPT0P的性能。分类器使用线性支持向量机 (Support Vector Machine，SVM)，其分类性能主要受到惩罚系数C的影响。以下实验都采用 10-fold交叉验证。
[0069] 1)固定SVM参数
[0070] CPT0P的不同半径组合代表了不同的采样尺度，在固定分类器参数情况下，对 CPT0P的不同半径组合进行了实验。
[0071]表1 C=1情况下，不同尺度CPT0P特征提取能力对比（％ )
[0073] 从表1可以发现CPT0P在不同尺度上的特征提取能力是不同的，但都优于同尺度的 LBP-T0P算子，说明CPT0P在不同半径尺度下优秀的特征描述能力。
[0074] 2)固定CPT0P参数
[0075] 由于SVM的分类性能受到惩罚系数C的影响，在不同惩罚系数下比较微表情识别率 能说明特征描述符的普适性。我们取C = 2-^2^23…213,215,对RXYin = 3、RXTin(=RYTin) =2的情况进行实验。
[0076] 表2相同尺度特征对不同参数SVM的适应能力对比（％ )
[0078] 从表2中可以看出，CPT0P的正确识别率会随着SVM的性能改变而发生变化，但是一 直保持着对LBP-T0P的优势，说明CPT0P对分类器的普适能力更强。
【主权项】
1. 一种基于多尺度采样的微表情自动识别方法，其特征在于，该方法包括微表情图像 序列预处理、微表情特征提取和微表情识别； 所述微表情图像序列预处理，依次包括人脸特征点检测、人脸对齐和面部分块;所述面 部分块是指对微表情图像首帖根据特征点进行分块，形成子块； 所述微表情特征提取包括，在每个子块，使用CPTOP算子在灰度化的表情序列ΧΥ、ΧΤ和 ΥΤΞ个平面上提取直方图特征向量，然后级联成一个高维的特征向量作为CPTOP的特征向 量;将上述各子块的高维特征向量级联成更高维的特征向量，作为微表情的描述； 微表情识别：通过支持向量机构建多个二元分类器实现多分类，通过上述已知类别的 高维特征向量有监督地训练支持向量机参数，实现对未知类别微表情的分类。2. 根据权利要求1所述的一种基于多尺度采样的微表情自动识别方法，其特征在于，在 所述微表情图像序列预处理中，所述人脸特征点检测是指对单个表情序列，使用人脸特征 点检测方法检测到每一帖的所有特征点，使用其中不易受到微表情动作影响的特征点；所 述人脸对齐是指将后续帖对齐到首帖;所述面部分块是指是指根据首帖的特征点，将面部 划分成互不重叠的多个子块。3. 根据权利要求2所述的一种基于多尺度采样的微表情自动识别方法，其特征在于，所 述人脸特征点检测是利用Discriminative Response Map Fitting(DRMF)方法检测到微表 情图像的特征点： 选择一段微表情序列每帖图像中受微表情影响最小的3个非共线的特征点4 = l，L，P，j = l，2,3，P为帖数，为点坐标的X分量，与，口山为点坐标的y分量，利用(1) 计算后续帖P = 2，L P对齐到首帖的变换矩闻4. 根据权利要求3所述的一种基于多尺度采样的微表情自动识别方法，其特征在于，所 述人脸对齐是指根据微表情序列两帖图像之间对应点的坐标计算出仿射变换矩阵，由该仿 射变换矩阵将其中一帖图像对齐到另一帖图像： I 'p(x' ,y') = ip(x,y) (2) Ip(x，y)为原图像像素点的取值，I'p(x'，y'）为对齐图像像素点的取值，其中(3) 首帖图像与后续帖对齐的图像组成新的微表情序列，后续操作均在此序列上进行。5. 根据权利要求4所述的一种基于多尺度采样的微表情自动识别方法，其特征在于，所 述CPT0P算子，是将微表情图像序列划分为ΧΥ、ΧΤ和ΥΤΞ个正交平面，在各正交平面中使用 纹理描述算子产生统计直方图，形成微表情特征的表示。
【文档编号】G06K9/00GK106096537SQ201610402404
【公开日】2016年11月9日
【申请日】2016年6月6日
【发明人】贲晛烨, 李传烨, 杨明强, 庞建华, 冯云聪, 任亿
【申请人】山东大学