一种基于时空局部描述子的真假笑识别方法
【专利摘要】本发明提供一种真假笑识别方法，考虑脸部的不同区域对识别真假笑做出不同的贡献，提出了一种柔性面部子区域分割方法。考虑笑容过程中不同状态对真假笑做出的不同贡献，提出了一种笑容时间域分割方法。考虑真笑和假笑的局部特征信息并真笑假笑各自的共同特点，提出了一种具有判别信息的局部时空描述子。运用基于外观的特征提取方法，克服了基于几何特征的真假笑识别方法过度依赖于面部几何特征的弱点，充分挖掘真笑和假笑各自提取的局部特征的共性，使得两类笑容的类间差距增大，类内差距缩小，从而提高识别的精确度。
【专利说明】一种基于时空局部描述子的真假笑识别方法
【技术领域】
[0001]本发明涉及信息【技术领域】，尤其涉及应用在人机交互，心理、行为分析领域的自动表情识别技术，具体涉及一种基于时空局部描述子的真假笑识别方法。
【背景技术】
[0002]人脸表情在日常交流中起着非常重要的作用，心理学研究表明，如果把人们交流时传递的信息进行分析，人们所说的话语信息占了 7%，语调信息占了 38%，而表情信息占到了 55%。笑容是人类最常见的情感表露方式，因其多样性，一个笑容常暗示着人的不同内心状态——高兴、感谢、礼貌、满意等等。笑容含有丰富的人体行为信息，是人类情感和智能重要的载体，因此，运用计算机或机器人自动理解和识别笑容，会大大提高人机交互能力和机器智能水平。
[0003]在以往表情识别的研究工作中，大多数表情识别都是基于实验室环境下的，也就是说，表情识别所用的数据库是在特定条件下所建立，并且数据库中的表情不是由人类内心情感触发自然而然所产生，而是实验环境下摆出来的。目前研究表明，实验环境下人为摆出来的表情的识别难度远小于人类自然流露出的表情的识别难度。
[0004]真假笑识别即识别所发出的笑容是自发的还是摆出的，隶属于人脸表情识别领域。人脸表情识别分为两种:一种是基于静态图片的，另一种是基于动态视频序列的。基于动态视频序列的表情识别不仅提取空间信息，同时也可以提取其中随时间变化的动态信息，而此动态信息对于真假笑识别来说常常是至关重要的。因此通常真假笑的识别都是基于动态视频序列的。
[0005]目前真假笑识别的方法大致分为基于几何特征的方法和基于外观特征的方法以及两种方法的混合。前一种方法主要检测和跟踪面部的基准点，再通过计算这些基准点之间的距离、角度以及相邻帧之间对应基准点的运动速度，变化幅度等等来提取特征。后一种方法一种是全局外观特征方法，另一种是局部外观特征的方法，这两种方法都是直接从图像灰度数据出发。基于全局外观特征的方法，将整个面部图像看作一个整体来提取特征，如，主分量分析(PCA)离散余弦变换(DCT)等，而基于局部的外观特征方法可以描述图像在时空域的局部变化，在整体面部区域上分别提取局部特征信息，再将这些局部特征信息相拼接，就不仅可以得到局部特征信息，也能得到整体的特征信息。基于外观特征的方法不同于基于几何特征的方法，因其不依赖与初始的面部特征点的跟踪和检测，对光照、背景变化等更为鲁棒。
[0006]总的来说，目前大多数自动真假笑识别的方法是基于几何特征的方法，如前面所述，这类方法非常依赖于面部或唇部特征的精确检测和跟踪，导致这个方法很难适应实际环境的光照变化及复杂背景等等。
【发明内容】
[0007]为克服前述缺憾，本发明考虑脸部的不同区域对识别真假笑做出不同的贡献，提出了一种柔性面部子区域分割方法。考虑笑容过程中不同状态对真假笑做出的不同贡献，提出了一种笑容时间域分割方法。考虑真笑和假笑的局部特征信息并真笑假笑各自的共同特点，提出了一种具有判别信息的局部时空描述子。运用基于外观的特征提取方法，克服了基于几何特征的真假笑识别方法过度依赖于面部几何特征的弱点，充分挖掘真笑和假笑各自提取的局部特征的共性，使得两类笑容的类间差距增大，类内差距缩小，从而提高识别的精确度。
[0008]如上述，本发明提供一种基于具有判别信息的时空局部描述子的真假笑识别方法，其中，具有判别信息的时空局部描述子为DisCLBP-TOP(discriminative completedlocal binary patterns from three orthogonal panels,简称 DisCLBP-TOP),即具有判别信息的三正交平面完全局部二值模式，是在三正交平面完全局部二值模式(completedlocal binary patterns from three orthogonal panels,简称CLBP-TOP)的基础上完成；
[0009]其步骤包括:
[0010]I)对笑容视频序列进行可调节的面部子区域分割，得到面部子区域卷，所述面部子区域卷包括5个子区域卷，分别是左眼子区域卷，右眼子区域卷，左面颊子区域卷，右面颊子区域卷以及唇部子区域卷；
[0011]2)将以上得到的各个子区域卷进行时间域的划分，将各个子区域卷划分为起始过程段块，保持过程段块以及衰减过程段块；
[0012]2-1)用OpenCV中的笑容检测器检测每一帧的笑容强度，并将每一帧的笑容强度作归一化；
[0013]2-2)根据设定的强度阈值Θ，划分出笑容的起始过程段，保持过程段以及衰减过程段，得到起始过程段块，保持过程段块以及衰减过程段块；
[0014]3)在以上经过时空划分的块上通过具有判别信息的时空局部描述子DisCLBP-TOP得到真笑和假笑的特征向量，
[0015]3-1)计算CLBP-TOP的主模式集合；
[0016]3-2)分别对真笑类和假笑类中各个样本的主模式集合取交集；
[0017]3-3)对真笑类和假笑类主模式集合交集取并集，得到真笑和假笑的特征向量；
[0018]4)将步骤3)中的得到的特征向量输入SVM分类器训练；
[0019]5)待识别的笑容输入已通过步骤I)至3)得到特征向量训练的SVM分类器，得到识别结果。
[0020]更进一步，步骤I)分以下6个分步骤完成:
[0021]1-1)检测并跟踪面部区域的5个基准点，分别是左眼中心点SI，右眼中心点S2，左唇角S3，右唇角S4，鼻尖点S5 ；
[0022]1-2)计算左眼中心点SI和右眼中心点S2连线的中点S6，左眼中心点SI和左唇角S3连线的中点Cl以及右眼中心点S2和右唇角S4连线的中点C2 ；
[0023]1-3)计算左眼中心点SI与右眼中心点S2的距离I1 = | S1-S2 |以及点S6与鼻尖点S5之间的距离12=|S6-S5 ；
[0024]1-4)分别裁剪出左眼子区域R1，右眼子区域R2，左面颊子区域R3，右面颊子区域R4以及唇部子区域R5 ；
[0025]1-5)分别形成左眼子区域卷V1，右眼子区域卷V2，左面颊子区域卷V3，右面颊子区域卷V4以及唇部子区域卷V5;
[0026]1-6)分别分割左眼子区域卷V1，右眼子区域卷V2，左面颊子区域卷V3，右面颊子区域卷V4以及唇部子区域卷V5;
[0027]更进一步，步骤1-4)中分别以S1、S2为中心点，α山为宽，α 212为高，a ^a2=0.8，裁剪出子区域Rl和子区域R2 ;分别以C1、C2为中心点，^1I1为宽，β212为高，β !=0.6，β 2=0.8，裁剪处子区域R3和子区域R4 ;以S3，S4和S5点为基准裁剪出子区域R5。
[0028]更进一步，步骤1-5)中子区域卷Vj的形成方式为-.Vj = !/?；|/ = K.?,Aj, j=l,...，5，
其中k表示整个笑容序列所具有的帧数。[0029]更进一步，步骤1-6)中将子区域卷V1，子区域卷V2,子区域卷V3和子区域卷V4分别分割为2X2的子区域卷:IVpIr=I,...，4，j=l,4}，将子区域卷V5分割为2X4的子区域卷:lv5，11 t=l,...，4}。
[0030]更进一步，步骤2-1)中每一帧的笑容强度作归一化的计算方法为:
【权利要求】
1.一种基于时空局部描述子的真假笑识别方法，包括如下步骤: 1)对笑容视频序列进行可调节的面部子区域分割，得到面部子区域卷，所述面部子区域卷包括5个子区域卷，分别是左眼子区域卷，右眼子区域卷，左面颊子区域卷，右面颊子区域卷以及唇部子区域卷； 2)将以上得到的各个子区域卷进行时间域的划分，将各个子区域卷划分为起始过程段块，保持过程段块以及衰减过程段块； 2-1)用笑容检测器检测每一帧的笑容强度，并将每一帧的笑容强度作归一化； 2-2)根据设定的强度阈值θ，划分出笑容的起始过程段，保持过程段以及衰减过程段，得到起始过程段块，保持过程段块以及衰减过程段块； 3)在以上经过时空划分的块上通过具有判别信息的时空局部描述子得到真笑和假笑的特征向量， 3-1)计算时空局部描述子的主模式集合； 3-2)分别对真笑类和假笑类中各个样本的主模式集合取交集； 3-3)对真笑类和假笑类主模式集合交集取并集，得到真笑和假笑的特征向量； 4)将步骤3)中的得到的特征向量输入SVM分类器训练； 5)待识别的笑容输入已通过步骤1)至3)得到特征向量训练的SVM分类器，得到识别结果。
2.如权利要求1所述的方法，其特征在于，步骤1)分以下6个分步骤完成: 1-1)检测并跟踪面部区域的5个基准点，分别是左眼中心点SI，右眼中心点S2，左唇角S3，右唇角S4，鼻尖点S5 ； 1-2)计算左眼中心点SI和右眼中心点S2连线的中点S6，左眼中心点SI和左唇角S3连线的中点Cl以及右眼中心点S2和右唇角S4连线的中点C2 ； 1-3)计算左眼中心点SI与右眼中心点S2的距离I1=ISl-SZl以及点S6与鼻尖点S5之间的距离12=|S6-S5 ； 1-4)分别裁剪出左眼子区域R1，右眼子区域R2，左面颊子区域R3，右面颊子区域R4以及唇部子区域R5 ； 1-5)分别形成左眼子区域卷V1，右眼子区域卷V2，左面颊子区域卷V3，右面颊子区域卷V4以及唇部子区域卷V5; 1-6)分别分割左眼子区域卷V1，右眼子区域卷V2，左面颊子区域卷V3，右面颊子区域卷V4以及唇部子区域卷v5。
3.如权利要求2所述的方法，其特征在于，步骤1-4)中分别以S1、S2为中心点，Ci1Ii为宽，Q2I2为高，Q1=Q2=0.8，裁剪出子区域Rl和子区域R2 ;分别以C1、C2为中心点，β山为宽，β212为高，P1=0.6，β2=0.8，裁剪处子区域R3和子区域R4 ;以S3，S4和S5点为基准裁剪出子区域R5。
4.如权利要求2所述的方法，其特征在于，步骤1-5)中子区域卷'的形成方式为:6={$|/ = 1,...，幻，j=l,5，其中k表示整个笑容序列所具有的帧数；步骤1-6)中将子区域卷V1,子区域卷V2,子区域卷V3和子区域卷V4分别分割为2X2的子区域卷:(Vj-Jr=1,..., 4, j=l,...，4},将子区域卷 V5 分割为 2X4 的子区域卷:{V5，t | t=l,...，4}。
5.如权利要求1所述的方法，其特征在于，步骤2-1)中每一帧的笑容强度作归一化的计算方法为:
6.如权利要求1所述的方法，其特征在于，步骤2-2)中所述强度阈值θ=0.9。
7.如权利要求1所述的方法，其特征在于，步骤3-1)中时空局部描述子用以表达中心像素点与领域内像素点的符号比较S，并添加与领域内像素点的幅度比较M以及与全部像素点均值的比较C。局部不同dp=gp-g。，P为邻域的像素个数，R为半径，g。为窗口内中心像素的灰度值，dp分解为符号和幅度内容如下:
dp=sp*mp,
sp=sgn (dp)，
mp= I dp符号比较S，幅度比较M以及全部像素点均值的比较C三个算子的计算公式如下:
8.如权利要求1或7任一项所述的方法，其特征在于，步骤3-1)中计算主模式集合的公式为:
9.如权利要求1所述的方法，其特征在于，步骤3-2)中分别对真笑类和假笑类中各个样本的主模式集合取交集的公式如下:
10.如权利要求1所述的方法，其特征在于，步骤3-3)对真笑类和假笑类主模式集合交集取并集的公式如下:
【文档编号】G06K9/62GK103886304SQ201410133803
【公开日】2014年6月25日 申请日期:2014年4月3日 优先权日:2014年4月3日
【发明者】刘宏, 吴平平 申请人:北京大学深圳研究生院