一种用于描述人脸特征变化的计算机视觉方法与流程

本发明涉及计算机视觉的图像分析处理
技术领域：
，具体是一种用于描述人脸特征变化的计算机视觉方法。
背景技术：
：人脸表情随着人们对表情信息的日益重视而受到关注，成为目前研究的热点方向。研究指出，在人们的交流过程中语言传递的信息占7％，而通过面部表情传递的信息量却占到55％，正是由于人脸表情含有丰富的行为信息，对人脸表情的识别可以更好的了解人们的心理状态，并且在人机交互，情感机器人等有很广泛的应用。人脸表情识别是指利用计算机对人脸的表情信息进行特征提取，按照人的认识和思维方式加以分类，归为已知的表情分类，从而可以识别出人脸表情图像序列中的人脸表情，进而从人脸信息中去分析理解人的情绪。一般将表情分为6个种类为：高兴、悲伤、惊奇、愤怒、厌恶、恐惧。传统的对人脸表情图像序列的特征提取会有时域特征提取冗余，算子对噪声敏感等问题。技术实现要素：本发明的目的是提供一种用于描述人脸特征变化的计算机视觉方法，以解决现有技术对于人脸表情图像序列特征提取存在的问题。为了达到上述目的，本发明所采用的技术方案为：一种用于描述人脸特征变化的计算机视觉方法，其特征在于：提取视频图像序列的LDP特征和SIP特征，并将LDP特征和SIP特征进行结合得到描述视频整体的视频特征向量，然后用已知表情视频特征进行SVM训练得到训练模型，最后将待检测视频用训练模型分类，得到检测结果，具体过程如下：(1)、选取8个对象的300个面部表情视频图像序列作为训练数据库，其中300个面部表情视频图像序列须包括6种基本面部表情视频的视频图像序列；(2)、将每个视频图像序列中每帧图像取出并灰度化，然后分成等大小的方块，作为训练样本；(3)、使用LDP算子提取所有视频图像序列的空间特征，以像素Z0为中心的8个相邻像素，在α＝0°、45°、90°和135°四个方向提取相邻像素灰度差值作为一阶特征提取定义为I′α(Z)，在α方向上的二阶LDP特征提取定义为LDPα2(Z0)={f(Iα′(Z0),Iα′(Z1)),f(Iα′(Z0),Iα′(Z2)),...,f(Iα′(Z0),Iα′(Z3))}---(1),]]>公式(1)中，α＝0°、45°、90°、135°，f(，)是一个二值编码函数，当同方向上的两组灰度值变化方向一致时，相对应的二值编码函数结果等于0，否则为1，则可以得到一个8位的二进制数，由于二进制数在统计时不方便，我们将此8位二进制数转化为十进制数作为一个方向上的特征，具体定义如下：f(Iα′(Z0),Iα′(Zi))={0ifIα′(Z0)Iα′(Zi)>01ifIα′(Z0)Iα′(Zi)≤0---(2),]]>公式(2)中，i＝1，2，，8，最终获得的二阶LDP特征就是四个方向上的特征进行级联，重复步骤(3)的工作直至计算到视频中的所有像素，将每个像素的二阶LDP特征都保存下来作为整个视频特征向量；(4)、使用SIP算子提取每个视频图像序列的时间变化特征，将视频分成宽度X、高度Y、时间T三个轴，可得到描述视频的XY、XT、YT三个正交平面，三个正交平面产生了三条独特的交线、六个独特的交点围绕着中心点C，定义如下：XY∩XT∩YT＝{AB，DF，EG}(3)，公式(3)中，AB为XT平面与YT平面的交线，DF为XY平面与YT平面的交线，EG为XY平面与XT平面的交线，A、B两点分别为AB交线与XY平面的交点，D、F两点分别为DF交线与XT平面的交点，E、G两点分别为EG交线与YT平面的交点；由于空间特征提取是使用LDP算子，这里仅对时间特征提取，使用SIP中在时间轴上的交点E、G作为相邻点来进行二值特征提取，并将其与LDP算子结合起来作为描述该视频整体的视频特征向量；(5)、将视频特征向量使用SVM训练，得到训练模型；(6)、使用相同的方法提取待检测视频的LDP特征及SIP特征并将其结合，作为测试样本；(7)、将测试样本放入训练模型中分类，依据分类结果识别该视频中出现的是哪一类表情。所述的一种用于描述人脸特征变化的计算机视觉方法，其特征在于：提取视频图像序列的LDP特征和SIP特征，并将两者结合得到一个能够更好描述视频整体特征的特征向量，进而用于人脸表情的识别。本发明的有益效果是：首次将LDP算子与SIP算子结合起来用于人脸表情特征提取，从而进一步进行人脸表情识别，提高了对人脸表情识别的效率，减少了特征提取的冗余量。附图说明图1是本发明的实现流程框架图。图2是本发明的SIP算子描述示意图。具体实施方式如图1所示，一种用于描述人脸特征变化的计算机视觉方法，提取视频图像序列的LDP特征和SIP特征，并将LDP特征和SIP特征进行结合得到描述视频整体的视频特征向量，然后用已知表情视频特征进行SVM训练得到训练模型，最后将待检测视频用训练模型分类，得到检测结果，具体过程如下：(1)、选取8个对象的300个面部表情视频图像序列作为训练数据库，其中300个面部表情视频图像序列须包括6种基本面部表情视频的视频图像序列；(2)、将每个视频图像序列中每帧图像取出并灰度化，然后分成等大小的方块，作为训练样本；(3)、使用LDP算子提取所有视频图像序列的空间特征，以像素Z0为中心的8个相邻像素，在α=0°、45°、90°和135°四个方向提取相邻像素灰度差值作为一阶特征提取定义为I′α(Z)，在α方向上的二阶LDP特征提取定义为LDPα2(Z0)={f(Iα′(Z0),Iα′(Z1)),f(Iα′(Z0),Iα′(Z2)),...,f(Iα′(Z0),Iα′(Z3))}---(1),]]>公式(1)中，α＝0°、45°、90°、135°，f(，)是一个二值编码函数，当同方向上的两组灰度值变化方向一致时，相对应的二值编码函数结果等于0，否则为1，则可以得到一个8位的二进制数，由于二进制数在统计时不方便，我们将此8位二进制数转化为十进制数作为一个方向上的特征，具体定义如下：f(Iα′(Z0),Iα′(Zi))={0ifIα′(Z0)Iα′(Zi)>01ifIα′(Z0)Iα′(Zi)≤0---(2),]]>公式(2)中，i＝1，2，，8，最终获得的二阶LDP特征就是四个方向上的特征进行级联，重复步骤(3)的工作直至计算到视频中的所有像素，将每个像素的二阶LDP特征都保存下来作为整个视频特征向量；(4)、使用SIP算子提取每个视频图像序列的时间变化特征，将视频分成宽度X、高度Y、时间T三个轴，可得到描述视频的XY、XT、YT三个正交平面，三个正交平面产生了三条独特的交线、六个独特的交点围绕着中心点C，如图2所示，定义如下：XY∩XT∩YT={AB，DF，EG}(3)，公式(3)中，AB为XT平面与YT平面的交线，DF为XY平面与YT平面的交线，EG为XY平面与XT平面的交线，A、B两点分别为AB交线与XY平面的交点，D、F两点分别为DF交线与XT平面的交点，E、G两点分别为EG交线与YT平面的交点。由于空间特征提取是使用LDP算子，这里仅对时间特征提取，使用SIP中在时间轴上的交点E、G作为相邻点来进行二值特征提取，并将其与LDP算子结合起来作为描述该视频整体的视频特征向量；(5)、将视频特征向量使用SVM训练，得到训练模型；(6)、使用相同的方法提取待检测视频的LDP特征及SIP特征并将其结合，作为测试样本；(7)、将测试样本放入训练模型中分类，依据分类结果识别该视频中出现的是哪一类表情。提取视频图像序列的LDP特征和SIP特征，并将两者结合得到一个能够更好描述视频整体特征的特征向量，进而用于人脸表情的识别。本发明中，选取已知人脸表情视频的每帧图像构成数据库，对数据库中每幅图像进行灰度化后分割成等大小的方块，对每一方块用LocalDerivativePattern(LDP)算子和SixIntersectionPoints(SIP)算子相结合的LDP-SIP算子提取时间和空间特征构成直方图统计特征，将一幅图中所有的直方图统计特征结合成一个直方图统计特征作为这幅图像的特征。然后使用SVM进行训练得出训练模型，将待检测的图像特征使用训练好的模型进行分类，识别出待检测图像序列中的表情是哪类表情。LDP算子是以LBP算子为基础在相邻像素之间从四个方向进行二阶差分后通过计算得到二值模式。先给定一个像素，结合其周围8个相邻像素点确定一个图像邻域I(Z)。Ｚ0为中心像素，Zi，i＝1，…，8是Z0的8个相邻像素。在α＝０°、45°、90°和135°四个方向上提取相邻像素灰度差值作为一阶提取定义为I′α(Z)。在α方向上的二阶LDP提取，被定义为：LDPα2(Z0)={f(Iα′(Z0),Iα′(Z1)),f(Iα′(Z0),Iα′(Z2)),...,f(Iα′(Z0),I---(1)]]>f(·，·)是一个二值编码函数，当同方向上的两组灰度值变化方向一致时，相应的二进制赋值为“0”，否则为“1”，后转化为十进制数。具体定义如下：f(Iα′(Z0),Iα′(Zi))=0ifIα′(Z0)·Iα′(Zi)>01ifIα′(Z0)·Iα′(Zi)≤0---(2)]]>最终获得的二阶LDP特征就是四个方向上的二阶变换值进行级联。LDP算子作为一种灰度范围内的纹理描述算子能提取精细的局部纹理特征，提供很强的分辨性能，保存了图像局部梯度方向的变换信息，降低了算子本身对噪声的敏感性。SIP算子描述了视频的动态纹理特征，将视频分成X(宽度)、Y(高度)、T(时间)三个轴，可得到描述视频的XY、XT、YT三个正交平面，3个平面产生了3条独特的交线、6个独特的交点围绕着中心点，定义如下：XY∩XT∩YT＝{AB，DF，EG}(3)将6个交点用作中心像素点的相邻点来进行二值模式特征提取，具有高压缩，高效率，高鲁棒性等优点。将两种算子进行结合，在空间平面特征中使用LDP算子进行提取，在时间特征中使用SIP中在时间轴上的交点E、G作为相邻点来进行二值特征提取，这样可更好地来提取视频的整体特征，使SVM分类能获取更高的准确性。SVM是一个有监督的学习模型，通常用来进行模式识别、分类、以及回归分析，其学习策略便是间隔最大化。本发明使用将LDP算子与SIP算子相结合的方法，首先在XY平面使用LDP算子提取空间特征，然后在时间轴上使用SIP算子提取时间特征。该方法在保留时空特征的同时，减少了冗余特征的计算，降低了噪声对算子的影响，减小了计算量的同时并保存了有效特征。当前第1页1 2 3