一种基于可见光与红外图像融合的笑脸识别方法与流程

本发明涉及图象处理领域，具体的来说是涉及一种基于可见光与红外图像融合的笑脸识别方法。

背景技术：

表情识别是一个交叉性的研究课题，涉及了心理学、生理学、神经学、医学、计算机视觉等领域。笑容是人与人交流中一种比较常见和重要的表情,人们通常用笑容表示其内心的喜悦、激动、满足、幸福等情感。笑脸识别在生活中具有非常重要的实际应用价值，例如在自闭儿童情感研究中，可通过笑脸识别获知自闭儿童高兴等积极情绪；在电影评价分析系统中，可通过笑脸识别获得观影者的喜悦情绪，进而分析电影的喜剧效果；在摄影设备或应用软件中，可通过笑脸识别实现自动拍照功能；在视频会议中，可通过笑脸识别获取参会人员的笑脸，从而统计会议的满意度。笑脸识别的发展在很大程度上能推动表情识别的发展。

目前，关于笑脸识别的研究逐渐受到广泛关注。2011年，郭礼华发明了一种改进线性鉴别分析降维的笑脸识别方法，提取人脸的gabor特征，然后改进线性鉴别分析对所提取的gabor特征矢量进行降维，最后使用支持向量机进行分类识别。2012年，王俊艳等人发明了一种笑脸图像的识别方法和识别装置，该方法将人脸区域划分为n个互相嵌套的几分区域，将每个几分区域进行横向积分投影，将投影向量和峰谷点作为特征向量，最后使用支持向量机进行分类识别。2015年，黄永祯等人发明了一种人脸图像的笑脸识别方法及其装置，该发明使用卷积神经网络对人脸表情特征进行训练和识别。2016年，于力等人发明了基于唇部特征和深度学习的笑脸识别方法，该发明方法将唇部作为训练样本，并对其提取特征，用深度神经网络对特征向量进行训练分类，但该方法只考虑了嘴巴变化，实际上，人们在微笑时，除了嘴部运动外，还有很多其他的变化。

综上，目前关于笑脸识别的研究大多是在可见光环境下进行的，而可见光笑脸识别的结果容易受环境、复杂的背景、以及光照的变化等因素的影响。如何降低光照对识别率的影响，是有待解决的问题。

技术实现要素：

本发明提供一种基于可见光与红外图像融合的笑脸识别方法，解决现有技术中光照对笑脸识别结果的不良影响的问题

本发明通过以下技术方案解决上述问题：

一种基于可见光与红外图像融合的笑脸识别方法，

包括如下步骤：

步骤1：对可见光训练样本图片和红外训练样本图片分别进行人脸检测和分割，获得可见光人脸区域图和红外脸区域图；

步骤2：将可见光人脸区域图和红外人脸区域图进行配准，得到配准后的可见光人脸区域图和红外人脸区域图；

步骤3：应用对比度金字塔原理对配准后的可见光人脸区域图和红外人脸区域图进行图像融合处理，得到融合图像；

步骤4：对融合图像进行特征值提取，得到局部二值模式(lbp)特征矢量和局部方向模式(ldp)特征矢量；

步骤5：把局部二值模式(lbp)特征矢量和局部方向模式(ldp)特征矢量和训练集的标签输到支持向量机中进行训练学习，得到lbp特征训练的支持向量机分类器和ldp特征训练的支持向量机分类器；

步骤6：将测试集的可见光图像和红外图像根据步骤1-步骤4的原理进行处理得到测试集融合图像的局部二值模式(lbp)特征矢量和局部方向模式(ldp)特征矢量；

步骤7：将测试集的局部二值模式(lbp)特征矢量和局部方向模式(ldp)特征矢量分别输入到lbp特征训练的支持向量机分类器和ldp特征训练的支持向量机分类器进行分类识别，得到分类结果；

步骤8：把分类结果与测试集原标签进行对比，即可计算出笑脸识别率，最终完成测试；

上述方案中，优选的是步骤1中可见光训练样本图片和红外训练样本图片分别进行人脸检测和分割的过程为：

步骤1.1：对可见光训练样本图片进行直方图均衡化、图像旋转和缩放处理，然后采用基于haar特征和adaboost算法对处理后的可见光图像进行人脸检测，获取可见光人脸区域图；

步骤1.2：对红外训练样本图片进行二值化，并对二值化的图像进行腐蚀和膨胀操作，获得完整的人物轮廓，然后再进行边缘检测，获得人物的轮廓边缘，最后进行水平投影和垂直投影，根据投影确定人脸区域范围，并对此范围进行分割，最终获得红外人脸图像。

上述方案中，优选的是步骤2中将可见光人脸区域图和红外训人脸区域图进行配准的过程为：分别在可见光人脸区域图和红外人脸区域图中选取7个特征点，并将7个特征点按顺序一一匹配，完成可见光人脸图像与红外人脸图像的配准。

上述方案中，优选的是选取7个特征点的过程为：对于戴眼镜的人脸区域图分别选取左眼镜框的左右边框两个点，右眼镜框左右边框的两个点、鼻翼一个点和嘴角两个点；对于不戴眼镜的人脸图像分别选取左右眼睛的眼角和眼尾的四个点、鼻翼一个点和嘴角两个点。

上述方案中，优选的是步骤3中应用对比度金字塔原理对配准后的可见光人脸区域图和红外人脸区域图进行融合处理的过程为：

步骤3.1：分别对配准后的可见光人脸区域图和红外人脸区域图进行高斯(gauss)分解，得到可见光图像的高斯(gauss)金字塔和红外图像的高斯(gauss)金字塔，分别由可见光图像和红外图像的高斯(gauss)金字塔建立可见光图像的对比度金字塔和红外图像的对比度金字塔；

步骤3.1.1：设置配准后的可见光人脸区域图的高斯(gauss)金字塔和红外人脸区域图的高斯(gauss)金字塔。可见光人脸区域图像和红外人脸区域图像的高斯(gauss)金字塔的层数都为n+1层，g0表示高斯(gauss)金字塔的第0层(最底层)，即为原图像，gn表示高斯(gauss)金字塔的最顶层，g0,g1,...,gn构成的金字塔就是图像的高斯(gauss)金字塔，其中，n为正整数，gx表示高斯(gauss)金字塔的第x层；

高斯(gauss)金字塔第x层gx的数学表达式为：

其中，0＜x≤n,0＜i≤cx，0＜j≤rx，其中gx和rx分别表示高斯(gauss)金字塔的第x层图像的列数和行数，w(m,n)为5x5的高斯卷积核，即权函数表达式为：

步骤3.1.2：由可见光图像和红外图像的高斯(gauss)金字塔分别建立可见光图像的对比度金字塔和红外图像的对比度金字塔。首先将高斯(gauss)金字塔第x层的gx内插放大，使gx的尺寸与gx的一层gx-1的尺寸相同，记为的表达式为：

其中，0＜x≤n,0＜i≤cx，0＜j≤rx，x、n、i和j均为正整数，

c为图像对比度上式中gx表示图像x处的灰度值，gb表示该处的背景灰度值，ig表示单位灰度值图像；

用cpx表示图像第x层的对比度金字塔，数学表达式为：

其中，x、n为正整数，ig表示单位灰度值图像，cp0,cp1,...,cpn构成的金字塔即为图像的对比度金字塔；

步骤3.2：将可见光对比度金字塔和红外对比度金字塔相应的每一层图像采用像素灰度平均法进行融合，得到融合对比度金字塔；

步骤3.2.1：融合对比度金字塔的第x层图像fpx的表达式为：

其中，x、n、i和j均为正整数，0＜x≤n,0＜i≤cx，0＜j≤rx，cpvx(i,j)表示可见光图像第x层的对比度金字塔，cpix(i,j)表示红外图像第x层的对比度金字塔表达式；

步骤3.3：利用金字塔生成的逆运算对融合对比度金字塔重构出融合图像，金字塔的逆运算的数学表达式为：

其中，x和n均为正整数，依次令x＝n,n-1,...,0；逐层由上而下依次计算对应的融合高斯(gauss)金字塔，当x＝0时，fg0为融合高斯(gauss)金字塔的第0层(最底层)，即fg0为融合图像。。

上述方案中，优选的是步骤4中提取融合图像的局部二值模式(lbp)特征和提取局部方向模式(ldp)特征的过程为：

步骤4.1：提取融合图像的lbp特征，通过lbp编码的数学表达式如下：

其中，

上式中p,r表示在半径为r的邻域内，中心像素点相邻采样点个数为p个，r的邻域尺寸为(8,1)；(xc,yc)表示中心像素点的坐标；s(ii,ic)为逻辑判断函数，其中ii表示第i个采样点的灰度值，ic表示中心像素点的灰度值，从而获得局部二值模式(lbp)特征lbpp,r(xc,yc)；

步骤4.2：提取融合图像的局部方向模式(ldp)特征，具体过程为：通过计算每个像素位置上的八个方向上的边缘响应值，并根据响应相对强度的大小进行编码，使用kirsch算子计算边缘响应，8个方向的kirsch算子掩膜为：

上式中，m0～m7分别表示东，东北，北，西北，西，西南，南，东南8个方向的kirsch算子。融合图像i(x,y)的中心像素为ic，中心像素与其八个方向上的像素可构成一个3x3的矩阵：

i0～i7分别表示中心像素的东，东北，北，西北，西，西南，南，东南8个方向的像素，8个方向的边缘响应用{mi}表示，其中i＝0,1,2,...,7，

中心像素八个方向的边缘响应{mi}值取决于每个方向上的kirsch算子，mi的值可用下式计算：

其中，表示矩阵i中各行各列中的元素与矩阵mi^t中对应的元素分别相乘后得到新的矩阵，再对新的矩阵中所有元素进行求和，

ldp编码为将前k个最大响应值编码为1，其余响应编码为0，其中，k＝3，从东南方向为开始方向，进行逆时针，即m7为起始方向，具体表达式为：

其中，

mk是前k个最大响应值的第k个最大响应值，m、i和k均为正整数，得到融合图像的局部方向模式(ldp)特征值ldpk。

本发明的优点与效果是：

1、本发明考虑到可见光图像对光照变化的敏感问题，而红外图像对光照变化具有很强的鲁棒性，本发明将可见光与红外图像进行融合，弥补了可见光图像对光照敏感的缺陷，解决了光照对识别率影响的问题。

2、先融合后提取特征的方法，不但提取表面纹理特征，还对人脸表情的温度特征进行统计，实现了内外结合，较单一光源图像而言，本发明提出的基于可见光与红外图像融合的笑脸识别方法的笑脸识别的准确率明显提高。

附图说明

图1为本发明的具体流程图；

图2为本发明对比度金字塔分解的可见光与红外图像融合的流程图；

图3为本发明八个方向的边缘响应位置图。

具体实施方式

以下结合实施例对本发明作进一步说明。

一种基于可见光与红外图像融合的笑脸识别方法，如图1所示，包括如下步骤：

步骤1：对可见光训练样本图片和红外训练样本图片分别进行人脸检测和分割，获得可见光人脸区域图和红外人脸区域图。

分别对可见光训练样本图片和红外训练样本图片进行人脸检测和分割的过程为：

步骤1.1：对可见光训练样本图像进行直方图均衡化、图像旋转、缩放等预处理，然后采用基于haar特征和adaboost算法对预处理后的可见光图像进行人脸检测，获取可见光人脸区域图像；

步骤1.2：对红外训练样本图像进行二值化，并对二值化的图像进行腐蚀和膨胀操作，获得完整的人物轮廓，然后再进行边缘检测，获得人物的轮廓边缘，最后进行水平投影和垂直投影，根据投影确定人脸区域范围，并对此范围进行分割最终获得红外人脸区域图像。

步骤2：将可见光人脸区域图和红外人脸区域图进行配准，得到配准后的可见光人脸区域图和红外人脸区域图。将可见光人脸区域图和红外人脸区域图进行配准的过程为：分别在可见光人脸区域图和红外人脸区域图中选取7个特征点，并将7个特征点按顺序一一匹配，完成可见光人脸图像与红外人脸图像的配准。选取7个特征点的过程为：对于戴眼镜的人脸区域图分别选取左眼镜框的左右边框两个点，右眼镜框左右边框的两个点、鼻翼一个点和嘴角两个点；对于不戴眼镜的人脸图像分别选取左右眼睛的眼角和眼尾的四个点、鼻翼一个点和嘴角两个点。

步骤3：应用对比度金字塔原理对配准后的可见光人脸区域图和红外人脸区域图进行融合处理，得到融合图像。

应用对比度金字塔原理对配准后的可见光人脸区域图和红外人脸区域图进行融合处理的过程为：

步骤3.1：分别对配准后的可见光人脸区域图和红外人脸区域图高斯(gauss)分解，得到可见光图像的高斯(gauss)金字塔和红外图像的高斯(gauss)金字塔，分别由可见光图像和红外图像的高斯(gauss)金字塔建立可见光图像的对比度金字塔和红外图像对比度金字塔；

步骤3.1.1：设置配准后的可见光人脸区域图的高斯(gauss)金字塔和红外人脸区域图的高斯(gauss)金字塔。如图2所示，可见光人脸区域图像和红外人脸区域图像的高斯(gauss)金字塔的层数都为n+1层，g0表示高斯(gauss)金字塔的第0层(最底层)，即为原图像，gn表示高斯(gauss)金字塔的最顶层，g0,g1,...,gn构成的金字塔就是图像的高斯(gauss)金字塔，其中，n为正整数，gx表示高斯(gauss)金字塔的第x层；

高斯(gauss)金字塔第x层gx的数学表达式为：

其中，0＜x≤n,0＜i≤cx，0＜j≤rx，其中gx和rx分别表示高斯(gauss)金字塔的第x层图像的列数和行数，w(m,n)为5x5的高斯卷积核，即权函数，表达式为：

步骤3.1.2：由可见光图像和红外图像的高斯(gauss)金字塔分别建立可见光图像的对比度金字塔和红外图像的对比度金字塔。首先将高斯(gauss)金字塔第x层gx内插放大，使gx的尺寸与gx的一层gx-1的尺寸相同，记为的表达式为：

其中，0＜x≤n,0＜i≤cx，0＜j≤rx，x、n、i和j均为正整数，

图像对比度c定义为：

上式中gx表示图像x处的灰度值，gb表示该处的背景灰度值，ig表示单位灰度值图像；

用cpx表示图像第x层的对比度金字塔，数学表达式为：

其中，x、n为正整数，ig表示单位灰度值图像，cp0,cp1,...,cpn构成的金字塔即为图像的对比度金字塔；

步骤3.2：将可见光对比度金字塔和红外对比度金字塔的每一层图像进行融合，得到融合对比度金字塔，融合规则为像素灰度平均法；

步骤3.2.1：融合对比度金字塔的第x层图像fpx的表达式为：

其中，x、n、i和j均为正整数，0＜x≤n,0＜i≤cx，0＜j≤rx，cpvx(i,j)表示可见光图像第x层的对比度金字塔，cpix(i,j)表示红外图像第x层的对比度金字塔；

步骤3.3：利用金字塔生成的逆运算对融合对比度金字塔重构出融合图像，金字塔的逆运算的数学表达式为：

其中，x和n均为正整数，依次令x＝n,n-1,...,0；逐层由上而下依次计算对应的融合高斯(gauss)金字塔，当x＝0时，fg0为融合高斯(gauss)金字塔的第0层(最底层)，即fg0为融合图像。

可见光人脸图像具有较为清晰的纹理特征，而红外人脸图像的纹理特征较为模糊，但其图像的灰度变化能反映人脸表面温度的分布情况，经过对比度金字塔分解融合后的融合人脸图像，不仅保留了可见光人脸图像表面纹理特征，同时还保留了红外人脸图像反映面部温度分布的特征，即实现了可见光与红外图像的互补。

步骤4：对融合图像进行特征值提取，本发明选用局部二值模式(lbp)特征和局部方向模式(ldp)特征作为表情特征。

提取融合图像局部二值模式(lbp)特征和局部方向模式(ldp)特征的提取过程为：

步骤4.1：提取融合图像的局部二值模式(lbp)特征，lbp编码的数学表达式如下：

其中，

上式中p,r表示在半径为r的邻域内，中心像素点相邻采样点个数为p个，r的邻域尺寸为(8,1)；(xc,yc)表示中心像素点的坐标；s(ii,ic)为逻辑判断函数，其中ii表示第i个采样点的灰度值，ic表示中心像素点的灰度值。由上式获得融合图像的局部二值模式(lbp)特征lbpp,r(xc,yc)；

步骤4.2：提取融合图像局部方向模式(ldp)特征，具体过程为：通过计算每个像素位置上的八个方向上的边缘响应值，并根据响应相对强度的大小进行编码。ldp中使用kirsch算子计算边缘响应。8个方向的kirsch算子掩膜为：

上式中，m0～m7分别表示东，东北，北，西北，西，西南，南，东南8个方向的kirsch算子。融合图像i(x,y)的中心像素为ic，中心像素与其八个方向上的像素可构成一个3x3的矩阵：

i0～i7分别表示中心像素的东，东北，北，西北，西，西南，南，东南8个方向的像素。如图3所示，8个方向的边缘响应用{mi}表示，其中i＝0,1,2,...,7，

中心像素八个方向的边缘响应{mi}值取决于每个方向上的kirsch算子，mi的值可用下式计算：

上式中，表示矩阵a中各行各列中的元素与矩阵b中对应的元素分别相乘后得到新的矩阵，再对新的矩阵中所有元素进行求和。

ldp编码就是将前k个最大响应值编码为1，其余响应编码为0，其中，k＝3，从东南方向为开始方向，进行逆时针，即m7为起始方向，具体表达式为：

其中，

mk是前k个最大响应值的第k个最大响应值，m、i和k均为正整数，由上式得到融合图像的局部方向模式(ldp)特征值ldpk。

步骤5：对步骤4提取的局部二值模式(lbp)特征矢量和局部方向模式(ldp)特征矢量和训练集的标签输到支持向量机中进行训练学习，最终得到两组训练好的支持向量机分类器，分别是由lbp特征训练的支持向量机分类器和由ldp特征训练的支持向量机分类器；

本发明使用支持向量机(svm)分类方法实现二分类问题，即将表情分为笑脸和非笑脸，考虑到rbf函数具有参数少，复杂程度低，数值计算困难度相对于多项式核函数小等优点，且在笑脸识别中映射效果比较好，本发明选择rbf核函数作为svm的核函数。

支持向量机是由vapnik等人提出的用于解决模式分类与非线性映射问题的分类方法，其核心思想是建立一个最优决策平面，使得该平面两侧距离平面最近的两类样本之间的距离最大。支持向量机是一种有监督学习方法，即训练集中数据的类别为已知，通过训练，求训练集数据与类别之间的对应关系，最后将训练集数据按照类别进行分类，从而达到预测新的数据对应的类别。

步骤6：测试阶段，将测试集的可见光图像和红外图像根据步骤1-步骤3的原理进行预处理、图像配准和图像融合，根据步骤4的特征提取方法，提取测试集融合图像的局部二值模式(lbp)特征和局部方向模式(ldp)特征。

步骤7：将测试集的局部二值模式(lbp)特征矢量和局部方向模式(ldp)特征矢量分别输入到由lbp特征训练的支持向量机分类器和由ldp特征训练的支持向量机分类器进行分类识别，得到分类结果。标签为指的是类别，训练分类器就是把大量已知的数据送进去训练学习，得到特征与类别的某种关系。测试就是将测试的用前面训练好的分类器预测类别。

步骤8：把步骤7的测试分类结果与测试集原标签进行对比，对比为相除比对模式或其他的比对模式，即可计算出笑脸识别率，最终完成测试。

为了说明本发明的笑脸识别效果，本发明根据上述步骤进行了实验仿真验证，实验在visualstudio2012开发软件中完成，调用opencv视觉库，使用c++语言进行编程。实验数据库选用ustc-nvie(naturalvisibleandinfraredfacialexpressions)自发表情库。从ustc-nvie自发表情数据库中随机挑选120个不同个体在不同光照条件下的表情图片，每人每种表情选5-10张不等。其中笑脸集包含1160张笑脸，非笑脸集中包含了生气、厌恶、惊讶、悲伤、恐惧以及中性表情，一共1045张。所有表情图像都归一为100x100大小。实验分别对可见光、红外、融合图像做基于lbp与svm的笑脸识别以及基于ldp与svm的笑脸识别实验。随机选取每个样本集的1/5作为测试集，剩余的4/5作为训练集，每组实验分别做5次实验，取平均识别率。本文用总体识别率(笑脸与非笑脸识别正确率)和笑脸识别率来统计实验结果。表1和表2分别给出了三种图像的lbp特征和ldp特征的笑脸识别率和总体识别率的对比结果。

表1

表2

由表1和表2可看出，在提取lbp特征的笑脸识别实验中，使用本发明的基于可见光与红外图像融合的笑脸识别方法比单独使用红外图像的笑脸识别率提高了约5.2％，总体识别率比红外图像提高了约8.3％，而比单独使用可见光的笑脸识别率提高了约1％，总体识别率比可见光提高了约1.4％。在提取ldp特征的实验中，使用本发明的基于可见光与红外图像融合的笑脸识别方法比单独使用红外图像的笑脸识别率提高了约5.6％，总体识别率比红外图像提高了约6％，而比单独使用可见光的笑脸识别率提高了约1％，总体识别率比可见光提高了约1.6％。这说明本发明的基于可见光与红外图像融合的笑脸识别方法具有很好的泛化能力。

以上已对本发明创造的较佳实施例进行了具体说明，但本发明并不限于实施例，熟悉本领域的技术人员在不违背本发明创造精神的前提下还可以作出种种的等同的变型或替换，这些等同的变型或替换均包含在本申请的范围内。