基于模拟生物视觉神经网络的人脸表情识别方法及系统的制作方法
【专利摘要】本发明提出一种基于模拟生物视觉神经网络的人脸表情识别方法及系统，其中方法包括以下步骤：构造表情图像库，并对表情图像库中的原始人脸图像进行归一化以得到表情图像；提取表情图像的局部二值化直方图特征和梯度直方图描述子；分别根据表情图像和局部二值化直方图特征以及表情图像和梯度直方图描述子构造第一分类器和第二分类器；以及对第一分类器的分类结果和第二分类器的分类结果进行融合以识别表情图像的表情。根据本发明实施例的方法，通过表情图像的二值化直方图特征和梯度直方图描述子构造两个分类器，并对两个分类器的分类结果进行融合对表情图像进行精确的识别，提高了识别的准确率和鲁棒性，同时识别结果的融合增加了识别的可扩展性。
【专利说明】基于模拟生物视觉神经网络的人脸表情识别方法及系统
【技术领域】
[0001]本发明涉及图像识别【技术领域】，特别涉及一种基于模拟生物视觉神经网络的人脸表情识别方法及系统。
【背景技术】
[0002]人脸表情识别技术能够让计算机做到看人的脸色行事，从而营造真正和谐的人机环境。表情识别方法主要包含两个步骤:特征提取和分类器构建。常用的特征提取方法为:Haar特征、LBP特征、Gabor特征、SIF。常用的分类器构建方法为:神经网络、支持向量机、Adaboost、主成分分析、隐马尔科夫模型。传统的表情识别方法在人脸表情识别中得到了广泛的应用，尤其在识别干净人脸图像时可以达到非常好的效果。但是在实际的识别过程中人脸表情图像可能存在遮挡和噪声，例如，在照相的过程中后排人脸很容易被前排人的肩膀或者手部分遮挡；相机在采集人脸图像由于受到光学设备影响会产生马赛克等噪声。因此研究出一种鲁棒的人脸表情识别方法成为一个难题。近年来，针对这一难题有许多的文献和专利提出了鲁棒的表情分类方法，其主要流程为对人脸表情图像进行分区，对每个小的分区提取常用特征，然后将这些局部特征与传统的分类方法结合构成新的表情识别方法，由于提取了大量的面部局部特征，传统的分类器能够通过人脸中非遮挡部位的特征信息对表情进行分类，因此对遮挡具有一定的鲁棒性。但是这一流程仍然只是传统模式识别方法的一种扩展，并且存在以下两种缺陷:(I)局部特征提取的方法非常多样且缺乏理论依据；(2)传统的模式识别方法依赖局部特征提供的信息达到对遮挡的鲁棒，而其本身并不能够对遮挡和噪声鲁棒。
[0003]由于人眼的视觉神经系统能够非常轻易的消除表情识别中的遮挡与噪声的影响，因此模拟生物视觉系统的表情识别方法不但提出了一种有别于传统表情识别方法的理论框架，而且解决了一些经典模式识别方法中容易受到噪声和遮挡影响的固有缺陷，提出了一套解决表情识别中能够对遮挡和噪声的鲁棒的新方法和新技术。辐射编码模型为模拟生物对刺激图像的视网膜到视觉皮层的映射过程，因此采用辐射编码模型来提取人脸表情图像的局部特征解决了传统鲁棒表情识别方法中局部特征提取方法缺乏理论依据的缺陷；而基于稀疏编码的分类方法是一种模拟生物视觉感知系统的分类器，稀疏编码认为每幅图像都可以看成是多个基函数的线性组合，当图像在某一频率和方向上有最明显的特征时，与之对应的神经元会有最大的响应，因此基于稀疏编码的分类方法具有人眼视觉系统的特性能够对部分遮挡鲁棒。
【发明内容】
[0004]本发明的目的旨在至少解决上述的技术缺陷之一。
[0005]为此，本发明的一个目的在于提出一种基于模拟生物视觉神经网络的人脸表情识别方法。所述人脸表情识别方法具有识别的准确率高的优点。
[0006]本发明的另一目的在于提出一种基于模拟生物视觉神经网络的人脸表情识别系统。
[0007]为达到上述目的，本发明一方面的实施例提出一种基于模拟生物视觉神经网络的人脸表情识别方法，包括以下步骤:构造表情图像库，并对所述表情图像库中的原始人脸图像进行归一化以得到表情图像；提取所述表情图像的局部二值化直方图特征和梯度直方图描述子；分别根据所述表情图像和所述局部二值化直方图特征以及所述表情图像和所述梯度直方图描述子构造第一分类器和第二分类器；以及对所述第一分类器的分类结果和所述第二分类器的分类结果进行融合以识别所述表情图像的表情。
[0008]根据本发明实施例的方法，通过表情图像的二值化直方图特征和梯度直方图描述子构造两个分类器，并对两个分类器的分类结果进行融合对表情图像进行精确的识别，提高了识别的准确率和鲁棒性，同时识别结果的融合增加了识别的可扩展性。
[0009]在本发明的一个实施例中，所述提取所述表情图像的局部二值化直方图特征，具体包括:通过二值化算子计算所述表情图像的二值化特征；将所述表情图像分割成多个图像块，并使相邻图像块部分重叠；以及连接所述多个图像块的二值化特征，以获得局部二值化直方图特征。
[0010]在本发明的一个实施例中，所述提取所述表情图像的梯度直方图描述子，具体包括:将所述表情图像转化为灰度图，并计算所述灰度图的梯度；将所述灰度图分割成多个单元格，并选择在单元格梯度投影中梯度直方图的方向，其中，所述多个单元格的相邻单元格部分重叠；以及对所述多个单元格的梯度进行归一化，并根据所述梯度直方图的方向获得梯度直方图描述子。
[0011]在本发明的一个实施例中，所述第一分类器和第二分类器分别根据稀疏编码系数对所述表情图像进行分类。
[0012]在本发明的一个实施例中，所述表情图像的表情包括:愤怒、厌恶、恐惧、高兴、悲伤和惊讶。
[0013]为达到上述目的，本发明的实施例另一方面提出一种基于模拟生物视觉神经网络的人脸表情识别系统，包括:归一化模块，用于构造表情图像库，并对所述表情图像库中的原始人脸图像进行归一化以得到表情图像；提取模块，用于提取所述表情图像的局部二值化直方图特征和梯度直方图描述子；构造模块，用于分别根据所述表情图像和所述局部二值化直方图特征以及所述表情图像和所述梯度直方图描述子构造第一分类器和第二分类器；以及识别模块，用于对所述第一分类器的分类结果和所述第二分类器的分类结果进行融合以识别所述表情图像的表情。
[0014]在本发明的一个实施例中，所述提取模块进一步包括:计算单元，用于通过二值化算子计算所述表情图像的二值化特征；第一分割单元，用于将所述表情图像分割成多个图像块，并使相邻图像块部分重叠；以及第一获取单元，用于连接所述多个图像块的二值化特征，以获得局部二值化直方图特征。
[0015]根据本发明实施例的系统，通过表情图像的二值化直方图特征和梯度直方图描述子构造两个分类器，并对两个分类器的分类结果进行融合对表情图像进行精确的识别，提高了识别的准确率和鲁棒性，同时识别结果的融合增加了识别的可扩展性。
[0016]在本发明的一个实施例中，所述提取模块进一步还包括:转化单元，用于将所述表情图像转化为灰度图，并计算所述灰度图的梯度；第二分割单元，用于将所述灰度图分割成多个单元格，并选择在单元格梯度投影中梯度直方图的方向，其中，所述多个单元格的相邻单元格部分重叠；以及第二获取单元，用于对所述多个单元格的梯度进行归一化，并根据所述梯度直方图的方向获得梯度直方图描述子。
[0017]在本发明的一个实施例中，所述构造模块还用于根据稀疏编码系数对所述表情图像进行分类。
[0018]在本发明的一个实施例中，所述表情图像的表情包括:愤怒、厌恶、恐惧、高兴、悲伤和惊讶。
[0019]本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
【专利附图】
【附图说明】
[0020]本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中:
[0021]图1为根据本发明一个实施例的基于模拟生物视觉神经网络的人脸表情识别方法的流程图；
[0022]图2为根据本发明一个实施例的基于模拟生物视觉神经网络的人脸表情识别的示意图；
[0023]图3为根据本发明一个实施例的通过辐射编码模型和稀疏编码模拟生物视觉处理表情图像的不意图；
[0024]图4为根据本发明一个实施例的提取表情图像LBP特征所采用的LBP算子的示意图；以及
[0025]图5为根据本发明一个实施例的基于模拟生物视觉神经网络的人脸表情识别系统结构框图。
【具体实施方式】
[0026]下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0027]在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0028]在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。[0029]图1为根据本发明一个实施例的基于模拟生物视觉神经网络的人脸表情识别方法的流程图。图2为根据本发明一个实施例的基于模拟生物视觉神经网络的人脸表情识别的示意图。如图1和图2所示，根据本发明实施例的基于模拟生物视觉神经网络的人脸表情识别方法包括以下步骤:
[0030]步骤101，构造表情图像库，并对表情图像库中的原始人脸图像进行归一化以得到表情图像。
[0031]在本发明的一个实施例中，由于亚洲人的表情比较内敛而欧美人的表情比较夸张，因此对于亚洲人采用JAFFE表情图像库，对于欧美人采用Cohn-Kanade表情图像库。
[0032]步骤102，提取表情图像的局部二值化直方图特征和梯度直方图描述子。
[0033]在本发明的一个实施例中，首先通过二值化算子计算表情图像的二值化特征。然后将表情图像分割成多个图像块，并使相邻图像块部分重叠。之后连接多个图像块的二值化特征，以获得局部二值化直方图特征。
[0034]图3为根据本发明一个实施例的通过辐射编码模型和稀疏编码模拟生物视觉处理表情图像的示意图。通过对表情图像进行处理以提取表情图像的LBP特征(即二值化特征)。逐行扫描表情图像库的原始人脸图像，并采用LBP算子对图像中的每一个像素点进行计算二值化图像，即以该点的灰度作为阈值，对其周围3X 3的8邻域进行二值化，按照一定的顺序将二值化的结果组成一个8位二进制数，并以该二进制数的值作为该点的响应。其中，所选取的LBP算子如图4所示。
[0035]使用LBP算子计算后得到的LBP特征(即二值化特征)作为表情图像的一阶统计特征。由于一阶统计特征无法描述图像的结构信息，而图像各个区域的局部特征往往差异较大，如果仅对整个图像生成一个LBP直方图，这些局部的差异信息就会丢失。因此，需要采用辐射编码模型提取局部分区的LBP特征。具体地，将图像分割成4X4的小块，并将相邻小块之间具有25%的重叠，并对每个小块统计其灰度直方图，最后再将所有块的二值化直方图特征链接成一个复合的特征向量作为代表整个图像的LBP直方图特征。
[0036]在本发明的一个实施例中，将表情图像转化为灰度图，并计算灰度图的梯度。之后将灰度图分割成多个单元格，并选择在单元格梯度投影中梯度直方图的方向，其中，多个单元格的相邻单元格部分重叠。再对多个单元格的梯度进行归一化，并根据梯度直方图的方向获得梯度直方图描述子。
[0037]具体地，提取HOG特征主要包括以下几步:
[0038]第一步，标准化Gamma空间和颜色空间。
[0039]为了减少光照因素的影响，首先需要将整个图像进行规范化。在图像的纹理强度中，局部的表层曝光贡献的比重较大，所以，这种压缩处理能够有效地降低图像局部的阴影和光照变化。因为颜色信息作用不大，通常先转化为灰度图。Gamma压缩公式为，I (X，y)=I (χ, y)gamma，其中，I (x, y)为图像中位于x，y位置处的灰度值，x, y分别为图像的横坐标和纵坐标，单位为像素，gamma为一个系数可以按照需求设定。
[0040]第二步，计算梯度。
[0041]在这里我们采用3X3的Sobel算子来计算梯度。Sobel算子是一阶导数的边缘检测算子，在算法实现过程中，通过3X3模板作为该图像中的每个像素点做卷积和运算，然后选取合适的阈值以提取边缘。[0042]Sobel算子主要包含两组3X3的矩阵，分辨为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。如果以A表示原始图像，G5^P Gy分别表示经横向及纵向边缘检测的图像，其公式如下:
【权利要求】
1.一种基于模拟生物视觉神经网络的人脸表情识别方法，其特征在于，包括以下步骤: 构造表情图像库，并对所述表情图像库中的原始人脸图像进行归一化以得到表情图像； 提取所述表情图像的局部二值化直方图特征和梯度直方图描述子； 分别根据所述表情图像和所述局部二值化直方图特征以及所述表情图像和所述梯度直方图描述子构造第一分类器和第二分类器；以及 对所述第一分类器的分类结果和所述第二分类器的分类结果进行融合以识别所述表情图像的表情。
2. 如权利要求1所述的基于模拟生物视觉神经网络的人脸表情识别方法，其特征在于，所述提取所述表情图像的局部二值化直方图特征，具体包括: 通过二值化算子计算所述表情图像的二值化特征； 将所述表情图像分割成多个图像块，并使相邻图像块部分重叠；以及 连接所述多个图像块的二值化特征，以获得局部二值化直方图特征。
3.如权利要求1所述的基于模拟生物视觉神经网络的人脸表情识别方法，其特征在于，所述提取所述表情图像的梯度直方图描述子，具体包括: 将所述表情图像转化为灰度图，并计算所述灰度图的梯度； 将所述灰度图分割成多个单元格，并选择在单元格梯度投影中梯度直方图的方向，其中，所述多个单元格的相邻单元格部分重叠；以及 对所述多个单元格的梯度进行归一化，并根据所述梯度直方图的方向获得梯度直方图描述子。
4.如权利要求1所述的基于模拟生物视觉神经网络的人脸表情识别方法，其特征在于，所述第一分类器和第二分类器分别根据稀疏编码系数对所述表情图像进行分类。
5.如权利要求1所述的基于模拟生物视觉神经网络的人脸表情识别方法，其特征在于，所述表情图像的表情包括:愤怒、厌恶、恐惧、高兴、悲伤和惊讶。
6.一种基于模拟生物视觉神经网络的人脸表情识别系统，其特征在于，包括: 归一化模块，用于构造表情图像库，并对所述表情图像库中的原始人脸图像进行归一化以得到表情图像； 提取模块，用于提取所述表情图像的局部二值化直方图特征和梯度直方图描述子； 构造模块，用于分别根据所述表情图像和所述局部二值化直方图特征以及所述表情图像和所述梯度直方图描述子构造第一分类器和第二分类器；以及 识别模块，用于对所述第一分类器的分类结果和所述第二分类器的分类结果进行融合以识别所述表情图像的表情。
7.如权利要求6所述的基于模拟生物视觉神经网络的人脸表情识别系统，其特征在于，所述提取模块进一步包括: 计算单元，用于通过二值化算子计算所述表情图像的二值化特征； 第一分割单元，用于将所述表情图像分割成多个图像块，并使相邻图像块部分重叠；以及 第一获取单元，用于连接所述多个图像块的二值化特征，以获得局部二值化直方图特征。
8.如权利要求6所述的基于模拟生物视觉神经网络的人脸表情识别系统，其特征在于，所述提取模块进一步还包括: 转化单元，用于将所述表情图像转化为灰度图，并计算所述灰度图的梯度； 第二分割单元，用于将所述灰度图分割成多个单元格，并选择在单元格梯度投影中梯度直方图的方向，其中，所述多个单元格的相邻单元格部分重叠；以及 第二获取单元，用于对所述多个单元格的梯度进行归一化，并根据所述梯度直方图的方向获得梯度直方图描述子。
9.如权利要求6所述的基于模拟生物视觉神经网络的人脸表情识别系统，其特征在于，所述构造模块还用于根据稀疏编码系数对所述表情图像进行分类。
10.如权利要求6所述的基于模拟生物视觉神经网络的人脸表情识别系统，其特征在于，所述表情图像的表情包括`:愤怒、厌恶、恐惧、高兴、悲伤和惊讶。
【文档编号】G06K9/00GK103488974SQ201310419079
【公开日】2014年1月1日 申请日期:2013年9月13日 优先权日:2013年9月13日
【发明者】桑农, 欧阳琰, 高常鑫 申请人:南京华图信息技术有限公司