专利名称：基于拉普拉斯金字塔的人脸图像融合方法
技术领域：
本发明涉及一种基于拉普拉斯金字塔的人脸图像融合方法，属于人脸识别技术。
背景技术：
在某些情况下，可见光传感器采集的图像会严重受到光照条件的影响，这给图像的 进一步处理和分析造成了很大的不便，例如人脸检测和识别。而近红外传感器采集的图 像有对光照影响不敏感的优点。因此可以应用多传感器图像融合技术在一定程度上消除 光照对于图像的影响。
随着新的图像传感器技术的发展，多传感器图像融合技术也得到了蓬勃的发展。至 今为止，出现了许多性能优良的融合技术，如简单加权融合技术，基于主分量分析的融 合技术，假彩色融合技术，基于神经网络的融合技术和多分辨率分解融合技术等。其中 多分辨率融合技术处于佼佼者的地位。
作为一种新兴的图像处理技术，多传感器图像融合技术涉及了多个领域，例如模式 识别，人工智能，图像处理等各个方面。并因为其强大的图像处理功能在遥感，计算机 视觉，医学图像处理和军事方面有着广阔的应用前景。虽然利用两幅或多幅图像进行图 像融合的技术已经取得显著得成果，但是如何得到更精确、更清晰稳定、带有更多有用 信息的图像仍然是多传感器图像融合技术亟待解决的问题。 发明 内 容
本发明的内容在于建立一种基于拉普拉斯金字塔的人脸图像融合方法，用于获得一 幅高清晰度、便于人眼观察、对光照鲁棒性好的图像，为直接应用或者进一步的处理提 供优秀的图像源。为了达到上述目的，本发明的技术解决方案提供了一种基于拉普拉斯 金字塔的人脸图像融合方法，本发明在基于拉普拉斯金字塔分解的基础上，将改进的局 部二值模式(Local Binary Pattern,简称LBP)算子应用于融合规则，从而对红外和 可见光人脸图像进行有效融合得到细节信息丰富、清晰稳定、便于人眼观察的融合图像。 如图1所示，该方法包含如下步骤步骤一分别用近红外摄像头和可见光摄像头采集近红外人脸图像和可见光人脸图
像；
步骤二拉普拉斯金字塔分解；
将步骤一得到的近红外人脸图像和可见光人脸图像分别进行拉普拉斯金字塔分解； 步骤三融合近红外人脸图像和可见光人脸图像；
基于局部二值模式，即基于简称为LBP算子的融合规则，将从步骤二中得到的近红 外拉普拉斯金字塔人脸图像和可见光拉普拉斯金字塔人脸图像进行融合； 步骤四逆拉普拉斯金字塔分解；
将从步骤三中得到的融合结果进行逆拉普拉斯金字塔分解，得到融合人脸图像； 步骤五融合人脸图像f俞出； 将从步骤四中得到的融合人脸图像输出。 本发明的优点在于
(1) 在基于拉普拉斯金字塔分解基础上，将改进的局部二值模式(Local Binary Pattern,简称LBP)算子应用于融合规则；
(2) 对红外和可见光人脸图像进行有效融合可以得到细节信息丰富，清晰稳定， 便于人眼观察的融合图像；
(3) 与可见光图像和近红外图像相比较，融合图像的信息熵更大，而平均交叉熵 和均方根交叉熵更小，融合图像的效果就更明显。
图1为本发明基于拉普拉斯金字塔的人脸图像融合方法示意图2为本发明采用的LBP算子的不变一致性模式；
图3为本发明与现有技术的实验效果对比图。
具体实施例方式
下面结合附图和具体实施方式
对本发明做进一步详细说明。
图1所示为本发明基于拉普拉斯金字塔的人脸图像融合方法示意图，本发明所述方 法包含如下步骤
步骤一分别用近红外摄像头和可见光摄像头采集近红外人脸图像和可见光人脸图
像；图像釆集由」台近红外摄像头、 一台可见光摄像头、 一块图像釆集卡和一台计箅机 来完成。近红外摄像头和可见光摄像头之间的距离经过调试确定之后，调整目标人物与 摄像头之间的距离以获取两张像素上比较相近的图像，达到初步配准两幅图像的目的， 之后再通过最大相关性原则对两幅图像进行精确配准并将其归一化为60乘60的大小。
步骤二拉普拉斯金字塔分解；
将步骤一得到的近红外人脸图像和可见光人脸图像分别进行拉普拉斯金字塔分解， 具体过程如下
首先,构建高斯金字塔，以釆集的图像为金字塔的第0层，第/层的图像通过对第/-1 层图像进行隔行降采样获得，
G/ = S S "X ,一j (2/ +附，2_/ + w)
其中，N为金字塔的总层数，C,和i ,分别代表第/层金字塔的列数和行数， 称为权函数或者生成核，具体采用数值如下
256
14641
41624164
62436246
41624164
14641
这个过程称为"REDUCE算子"，记做G,i^DL/CE[(^]，由于金字塔各层图像
均为低通图像，故称之为"高斯金字塔"。
然后，由髙斯金字塔构建拉普拉斯金字塔
构建的关键步骤是对高斯金字塔的各层图像进行内插放大，该过程称为EXPAND 算子，记做C^,EXPAND[G,]，具体计算步骤如下
2
2
2
2
2
2
0
当，^为整数时 2 2 其它
最后，拉普拉斯金字塔的第/层图像由A-G,-^^MA^[G,J获得。其中Z,为拉普 拉斯金字塔的第/层图像，《和《+1分别为高斯金字塔第/和/+1层图像。 步骤三融合近红外人脸图像和可见光人脸图像；
7基于局部二值模式，即基于简称为LBP算子的融合规则，将从步骤二中得到的近红 外拉普拉斯金字塔人脸图像和可见光拉普拉斯金字塔人脸图像进行融合； 融合方法设计如下
,首先，将要融合的同一层拉普拉斯金字塔图像的对应像素点扩展到5x5的区域，然 后用旋转不变性的一致性模式Z朋算子M《f对这个区域提取Z朋特征，其中上标
r!'"2代表旋转不变的一致性模式，下标8,1代表着以某像素为中心，在半径为1的范围 内比较周围8个像素与该中心像素间的关系。丄万《;"2算子总共有256个模式，在这256 个模式中一共有9类旋转不变的一致性模式，如图2所示。
除了采用图2所示的9个模式外，将其余的247个模式都归到第10类，得到一 个lxlO维的统计直方图向量，统计直方图向量的元素值代表各个类的总数。由于单纯
的丄SP值所能携带的信息量有限，并不能充分表达区域特征，因此在丄5户值的基础上丄.
引入平均梯度的概念^ = 4^^-&|，其中&为中心像素的灰度值，gp为周围像素
点的灰度值，将原有的1x10维统计直方图向量扩展到了 lxll维统计直方图向量，并
力r
设定了一个Salience值5 = ^来代表特征，其中^G为平均梯度，SD为图像直方图
的标准差。至于两个向量间的匹配度，采用Chi平方统计相似性测度来测量，定义如下 r (A,-/f2,)2
M = XW ^ +// ， bO,l，....lO， M代表了近红外图像统计直方图向量//,，,
和可见光图像统计直方图向量//2,,的匹配程度，权值w在此处取值为1。
融合后的图像像素点的灰度值由红外和可见光图像对应像素点的灰度值加权得到
F(/,yXM,(/,力+ ^/M2(/,_/)，其中F(/，力为融合图像(i,j)点的灰度值，/M々，/)和
/似2(/,刀分别为近红外和可见光相应像素点的灰度值，^和^为各自的权值。当
M20.75时，存在较小的权值w^ =^^和较大的权值"_ =l-wmin ，其中"=0.75 ;
2(1-")
其他情况fi^n =0 fl""Wmax =1。然后比较两个像素点的5 =:值，假设S1为近红外图
像的Salience值，S2为可见光图像的Salience值，如果S12S2 ，则 A = wmax "wJ 2 = wmin ，反之贝U w2 = max am/q = wmin 。遍历所有像素点之后，从而得
到融合后的图像。
步骤四逆拉普拉斯金字塔分解；将从步骤三中得到的融合结果进行逆拉普拉斯金字塔分解，得到融合人脸图像。 步骤五融合人脸图像输出；
将从步骤四中得到的融合人脸图像输出。
为了证明本发明所述方法的有效性，将发明所述方法与另外两种方法进行比较，一 种是简单的选大方法，即将灰度值较大的像素点选为融合图像的相应像素点，另一种是
经典的Burt方法，在Burt的方法中，先计算两幅图像对应的中心像素点3x3区域的 局部能量，然后根据局部能量的匹配度来确定加权融合中的权值。并用信息熵，平均交 叉熵和均方根交叉熵对三种方法进行定量比较。
如图3结果所示(A)为可见光图像，(B)为近红外图像，(C)为单纯选大的融 合图像，(D)为Burt方法的融合图像，(E)为本发明的方法。
下表1显示了定量比较的结果
表l
融合方法信息熵平均交叉熵均方根交叉熵
选大方法4.73620.230650.25941
Burt方法4.84970.215990.24383
本发明方法4.85050.174760.22293
信息熵越大说明图像携带的有用信息含量就越多，而平均交叉熵和均方根交叉熵越 小说明融合图像与可见光图像和近红外图像的关联就越小，融合的效果就越明显。从表 1可见本发明方法的信息熵最大，而平均交叉熵和均方根交叉熵最小，因此本发明的方 法要优于另外两种方法。
权利要求
1、基于拉普拉斯金字塔的人脸图像融合方法，该方法包括如下步骤步骤一分别用近红外摄像头和可见光摄像头采集近红外人脸图像和可见光人脸图像；图像采集由一台近红外摄像头、一台可见光摄像头、一块图像采集卡和一台计算机来完成；首先，调试确定近红外摄像头和可见光摄像头之间的距离；然后，调整目标人物与摄像头之间的距离，获取两张像素上比较相近的图像；最后，通过最大相关性原则对两幅图像进行精确配准，并将其归一化为60乘60的大小；步骤二拉普拉斯金字塔分解；将步骤一得到的近红外人脸图像和可见光人脸图像分别进行拉普拉斯金字塔分解，具体过程如下首先，构建高斯金字塔，以采集的图像为金字塔的第0层，第l层的图像通过对第l-1层图像进行隔行降采样获得，0<l≤N，0≤i<Cl，0≤j<Rl其中，N为金字塔的总层数，Cl和Rl分别代表第l层金字塔的列数和行数，ω(m，n)称为权函数或者生成核，具体采用数值如下上述过程为REDUCE算子，记做Gl＝REDUCE[Gl-1]；上述金字塔为高斯金字塔；然后，由该高斯金字塔构建拉普拉斯金字塔；构建的关键步骤是对高斯金字塔的各层图像进行内插放大，该过程称为EXPAND算子，记做，具体计算步骤如下最后，拉普拉斯金字塔的第l层图像由Ll＝Gl-EXPAND[Gl+1]获得；其中Ll为拉普拉斯金字塔的第l层图像，Gl和Gl+1分别为高斯金字塔第l和l+1层图像；步骤三融合近红外人脸图像和可见光人脸图像；基于局部二值模式，即基于简称为LBP算子的融合规则，将从步骤二中得到的近红外拉普拉斯金字塔人脸图像和可见光拉普拉斯金字塔人脸图像进行融合；融合方法设计如下首先，将要融合的同一层拉普拉斯金字塔图像的对应像素点扩展到5×5的区域；然后，用旋转不变性的一致性模式LBP算子对这个区域提取LBP特征；其中，上标riu2代表旋转不变的一致性模式，下标8，1代表着以某像素为中心，在半径为1的范围内比较周围8个像素与该中心像素间的关系；算子总共有256个模式，在这256个模式中一共有9类旋转不变的一致性模式；除了采用该9类旋转不变的一致性模式外，将其余的247个模式都归到第10类，得到一个1×10维的统计直方图向量，统计直方图向量的元素值代表各个类的总数；在LBP值的基础上引入平均梯度的概念；其中，gc为中心像素的灰度值，gp为周围像素点的灰度值，将原有的1×10维统计直方图向量扩展到了1×11维统计直方图向量，并设定了一个Salience值来代表特征，其中AG为平均梯度，SD为图像直方图的标准差；两个向量间的匹配度，采用Chi平方统计相似性测度来测量，其定义如下其中，i＝0，1，....10，M代表了近红外图像统计直方图向量H1，i和可见光图像统计直方图向量H2，i的匹配程度，权值w在此处取值为1；融合后的图像像素点的灰度值由红外和可见光图像对应像素点的灰度值加权得到F(i，j)＝ω1IM1(i，j)+ω2IM2(i，j)；其中，F(i，j)为融合图像(i，j)点的灰度值，IM1(i，j)和IM2(i，j)分别为近红外和可见光相应像素点的灰度值，ω1和ω2为各自的权值；当M≥0.75时，存在较小的权值和较大的权值ωmax＝1-ωmin，其中a＝0.75；其他情况ωmin＝0 and ωmax＝1；接着，比较两个像素点的值；假设S1为近红外图像的Salience值，S2为可见光图像的Salience值，如果S1≥S2，则ω1＝ωmaxand ω2＝ωmin；反之，则ω2＝ωmax and ω1＝ωmin；最后，在遍历所有像素点之后，得到融合后的图像；步骤四逆拉普拉斯金字塔分解；将从步骤三中得到的融合结果进行逆拉普拉斯金字塔分解，得到融合人脸图像；步骤五融合人脸图像输出；将从步骤四中得到的融合人脸图像输出。
全文摘要
本发明涉及一种基于拉普拉斯金字塔的人脸图像融合方法，本发明在基于拉普拉斯金字塔分解的基础上，将改进的局部二值模式算子应用于融合规则，对于拉普拉斯金字塔各层的红外和可见光人脸图像，利用图像的平均梯度、图像直方图的标准差和Chi平方统计相似性测度来决定红外和可见光图像各自加权系数的选择，并利用确定的加权系数进行有效融合，从而得到细节信息丰富、清晰稳定、便于人眼观察的融合图像。与可见光图像和近红外图像相比较，本发明提供的融合图像的信息熵更大，平均交叉熵和均方根交叉熵更小，融合图像的效果更明显。
文档编号G06T5/50GK101425137SQ20081022641
公开日2009年5月6日 申请日期2008年11月10日 优先权日2008年11月10日
发明者王一丁, 王蕴红, 邵春水 申请人:北方工业大学;北京航空航天大学