专利名称：基于余弦调制滤波器组的图像融合方法
技术领域：
本发明涉及一种基于余弦调制滤波器组的图像融合方法，用以融合同一场景的多传感器图像，在光学成像、目标监视、安全检查等系统中均有广泛应用。
背景技术：
图像融合技术是多传感器信息融合中可视信息的融合，它利用各种成像传感器不同的成像方式，为不同的影像提供互补信息，增加图像信息量，减少原始图像数据量，提高对环境的适应性，以获得更可靠、更准确的有用信息供观察或进一步处理。它是一门综合了传感器、信号处理、图像处理和人工智能等的新兴技术。近年来，图像融合已成为一种十分重要和有用的图像分析与计算机视觉技术。它在自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域有着广泛的应用前景。
自80年代以来，发展了多种图像融合方法，其中，多分辨率图像融合算法是一类非常重要的融合算法。目前在灰度图像融合领域中，大多采用的是多分辨率结构进行相应的图像融合处理。对于典型的塔型变换和小波变换来说，它们都具有多分辨率分析特性，能够很好地提供信号的细节信息和概貌信息。和塔型变换相比，小波变换具有更加紧凑的特点，能够提供水平，垂直和对角方向上的信息，但二者的分解方式是一样的，它们只对低频段进行进一步的分解，而不对高频段进行分解。这样的分解方式对于在高频段包含大量信息的信号而言，其分解性能不是很好，融合效果并不十分理想。而对于多速率滤波器组来说，其分析滤波器组能够进行多通道的信号分解，可获得多个不同频带上的子带信号，它可实现整频带的均等分解，通过调节滤波器组的通道个数，可改变频带的划分。但多速率滤波器组目前尚未用于图像融合领域。
发明内容
本发明的目的在于针对现有技术存在的不足，提供一种基于余弦调制滤波器组的图像融合方法，能够提高融合后的图像质量，达到理想的实用效果。
为实现这样的目的，本发明利用余弦调制分析滤波器组将原输入图像分解成为多个不同频带的子带信号，采用基于局部对比度的量测指标来计算各子带图像的融合量测指标，按照选取最大融合量测指标的融合规则对这些子带信号进行融合运算以得到一组新的融合后子带信号并利用服从多数原则对融合后的子带图像进行一致性验证，最后利用综合滤波器组得到融合后的图像。
本发明的一种基于方向滤波器组的图像融合方法包括如下具体步骤1.利用余弦调制分析滤波器组将两幅输入原图像分解为多个不同频带上的带通子图像和一个低通子图像。
2.采用基于局部对比度的量测指标来计算各子带图像的融合量测指标。考虑人类视觉系统对图像的局部对比度敏感这一事实以及考虑各频带子图像选取保持一致性，采用以带通子图像与低通子图像的比值作为图像的局部对比度，选取各频带局部对比度之和作为融合量测指标。
3.按照最大融合量测指标原则，选取两幅原图像中对应位置融合量测指标大的子带图像的像素值来构成融合后的像素值，以获得融合后的子带图像。
4.利用服从多数原则对融合后的子带图像进行一致性验证。融合结果的一致性验证是为了避免出现某一像素与其邻域的像素分别来源于不同原图像的情况。所谓的一致性验证就是如果融合后的某一子带图像像素来自于第一幅原图像的子带图像，而它的邻域中其他大多数像素来自于第二幅原图像的子带图像，则将该像素改成第二幅原图像的子带图像所对应的像素。
5.将一致性验证后的子带图像通过余弦调制综合滤波器组得到融合后图像。
本发明的图像融合方法具有如下有益效果余弦调制的分析滤波器组能够进行多通道的信号分解，可获得多个不同频带上的子带信号，它可实现整频带的均等分解，通过调节滤波器组的通道个数改变频带的划分。这对图像的高频段可实现更精确的划分。对高频段包含大量信息的图像融合是有利的。采用基于余弦调制滤波器组的图像融合方法可提高融合后图像质量，对于应用系统的后续处理和图像显示具有重要意义和实用价值。
图1为本发明基于余弦调制滤波器组的图像融合方法示意图。
图2为本发明方法与基于拉普拉斯金字塔融合方法和基于小波变换融合方法的融合结果比较。
其中，(a)为多聚焦图像1；(b)为多聚焦图像2；(c)为基于拉普拉斯金字塔融合方法的融合结果；(d)基于小波变换融合方法的融合结果；(e)本发明方法的融合结果。
具体实施例方式
为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。
本发明基于余弦调制滤波器组的图像融合方法如图1所示，首先分别对两幅原图像X1、X2进行分析滤波器组分解，可得到多个不同频带的子带信号，然后选取各频带局部对比度之和作为融合量测指标，并按照选取最大融合量测指标原则对两组子带图像进行融合运算，以得到一组新的融合后子带信号，最后利用综合滤波器组得到融合后的图像。
本发明实施例针对图2(a)、(b)中的多聚焦图像X1、X2进行融合处理，采用二次约束的最小二乘(QCLS)算法来设计原型滤波器，通过余弦调制得到分析滤波器组和相应的综合滤波器组。融合处理方法具体实施如下1.利用分析滤波器组Hi(z)分别将输入原图像x1(n)和x2(n)，如图2(a)和(b)所示，分解为多个不同频带上的M*M子带图像DXij1(z1，z2)和DXij2(z1，z2)。
DXij1(z1,z2)=1M2Σl1=0M-1Σl2=0M-1Ht(z11/MWl1)Hj(z21/MWl2)X1(z11/MWl1,z21/MWl2)---(1)]]>DXij2(z1,z2)=1M2Σl1=0M-1Σl2=0M-1Ht(z11/MWl1)Hj(z21/MWl2)X2(z11/MWl1,z21/MWl2)---(2)]]>其中，0≤i，j≤M；M为通道个数；W＝e-j2π/M。
2.分别对两组子带图像dxij1(n1，n2)和dxij2(n1，n2)计算融合量测指标A1(n1，n2)和A2(n1，n2)。考虑人类视觉系统对图像的局部对比度敏感这一事实以及考虑各频带选取保持一致性，选取各频带局部对比度之和作为量测指标。
A1(n1,n2)=Σi=1M-1Σj=0M-1|dxij1(n1,n2)|Σs∈S,t∈Tω(s,t)|dxij1(n1+s,n2+t)|--(3)]]>A2(n1,n2)=Σi=1M-1Σj=0M-1|dxij2(n1,n2)|Σs∈S,t∈Tω(s,t)|dxij2(n1+s,n2+t)|---(4)]]>其中，w(s，t)为一权系数，∑s∈S，t∈Tω(s，t)＝1；S，T为窗口的大小，一般为3×3或5×5。
3.进行融合运算以得到融合后子带图像fxij(n1，n2)。
4.对融合后子带图像fxij(n1，n2)进行一致性验证得到xij(n1，n2)。融合结果的一致性验证是为了避免出现某一像素与其邻域的像素分别来源于不同原图像的情况。所谓的一致性验证就是如果融合后某一子带图像的像素来自于图像X1的子带图像，而它的邻域中其他大多数像素来自于图像X2的子带图像，那么该点将被改成图像X2的子带图像所对应的像素。
5.将一致性验证后的子带图像xij(n1，n2)通过余弦调制综合滤波器组得到融合后图像，如图2(e)所示。
X(z1,z2)=Σi=0MΣj=0MFi(z1)Fj(z2)Xij(z1,z2),0≤i,j≤M---(6)]]>将本发明所得的融合结果，与其他融合方法所得的融合结果进行了对比，图2(c)为基于拉普拉斯金字塔融合方法的融合结果；(d)基于小波变换融合方法的融合结果；(e)本发明方法的融合结果。融合评价结果对照如表1所示。融合结果的评价指标分别为均方根误差RSME和共有信息MI，从评价结果可以看出，本发明方法所得融合结果与理想融合结果之间的RSME要小于基于拉普拉斯金字塔的融合方法及基于小波变换的融合方法，而MI要大于基于拉普拉斯金字塔的融合方法及基于小波变换的融合方法。这表明本发明方法所得融合结果更接近理想融合结果，使得融合后图像的质量得以较大的提高。
表1图像融合结果指标评价RSME MI拉普拉斯金字塔方法4.77014.0993离散小波变换方法 4.96323.7229本发明方法4.38014.703权利要求
1.一种基于余弦调制滤波器组的图像融合方法，其特征在于包括如下具体步骤1)利用余弦调制分析滤波器组将两幅输入原图像分解为多个不同频带上的带通子图像和一个低通子图像；2)以带通子图像与低通子图像的比值作为图像的局部对比度，选取各频带局部对比度之和作为图像的融合量测指标；3)按照最大融合量测指标原则，选取两幅原图像中对应位置融合量测指标大的子带图像的像素值来构成融合后的像素值，以获得融合后的子带图像；4)利用服从多数原则对融合后的子带图像进行一致性验证，如果融合后的某一子带图像像素来自于第一幅原图像的子带图像，而它的邻域中其他大多数像素来自于第二幅原图像的子带图像，则将该像素改成第二幅原图像的子带图像所对应的像素；5)将一致性验证后的子带图像通过余弦调制综合滤波器组得到融合后图像。
全文摘要
本发明涉及一种基于余弦调制滤波器组的图像融合方法，首先利用余弦调制分析滤波器组将原输入图像分解成为多个不同频带的子带信号，然后采用基于局部对比度的量测指标来计算各子带图像的融合量测指标，按照选取最大融合量测指标的融合规则对这些子带信号进行融合运算以得到一组新的融合后子带信号并利用服从多数原则对融合后的子带图像进行一致性验证，最后利用综合滤波器组得到融合后的图像。本发明使融合后的图像质量得到大幅度地提高，对于各种应用系统的后续处理和图像显示具有重要意义和实用价值。
文档编号G06T5/00GK1588446SQ20041005303
公开日2005年3月2日 申请日期2004年7月22日 优先权日2004年7月22日
发明者敬忠良, 王宏, 李建勋 申请人:上海交通大学