专利名称：基于最优小波滤波器组的多传感器图像融合方法
技术领域：
本发明涉及一种基于最优小波滤波器组的多传感器图像融合方法，是信息融合领域中一项多尺度和统计方法结合的图像融合方法，在光学成像、目标监视、安全检查等系统中均可有广泛应用。
背景技术：
图像融合技术是多传感器信息融合中可视信息的融合，它利用各种成像传感器不同的成像方式，为不同的影像提供互补信息，增加图像信息量，减少原始图像数据量，提高对环境的适应性，以获得更可靠、更准确的有用信息供观察或进一步处理。图像融合技术是一门综合了传感器、信号处理、图像处理和人工智能等的新兴技术，近年来已成为一种十分重要和有用的图像分析与计算机视觉技术，在自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域有着广泛的应用前景。
目前具有代表性的方法有塔形变换的方法、子波变换等基于多尺度的方法。多尺度图像融合的过程是首先将配准后图像经多尺度分解，分解方法包括拉普拉斯、梯度金字塔以及小波分解等方法；分解后图像的每层看作为图像在这一尺度或波段的特征，根据这些特征所反应的能量测度进行加权平均或选择，以达到融合的目的。由于离散小波变换在提取图像低频信息的同时，又获得了三个方向的高频细节信息，在理论上，与传统的基于塔型变换的融合方法相比，具有更好的分解效果。因此，基于小波变换的多分辨率分解的关键性问题是小波滤波器组的设计问题。目前存在的滤波器组设计方法都集中在如何设计具有精确重构的双正交滤波器组上，一个良好的精确重构特性能够保证滤波器组不给信号带来任何误差。然而，目前还没有一种针对于图像融合问题的滤波器设计方法，在图像融合的应用中，融合图像的信息不需要将原图像中的所有信息都包含进来，小的重构误差的介入对融合性能的影响不大。本发明介绍一种适用于图像融合的最优小波滤波器组设计方法，并将其应用到多聚焦图像，多传感器图像的融合中。
发明内容
本发明的目的在于针对现有基于小波的多分辨率图像融合技术存在的不足，提供一种设计最优小波滤波器组的方法，从而找到一种更适合于图像融合的小波变换方式，以提高融合后的图像质量，达到理想的实用效果。
为实现这样的目的，本发明的技术方案是一种基于最优小波滤波器组的多传感器图像融合方法，其特征在于，包括如下具体步骤1)采用传统的9/7小波滤波器组对待融合的原图像进行多分辨率展开将原始图像信号输入小波基函数构造的两个滤波器进行分解，得到多个高频分量和一个低频分量；2)采用边缘特征幅值和边缘连接概率特征融合图像的高频部分融合；采用加权平均方法融合图像的低频分量；3)由以上步骤得到图像高频部分和低频部分的融合结果，通过小波反变换可以得到融合结果；4)采用最小均方根误差的方法对融合后图像进行评价，整个融合算法的评价结果以及滤波器性能参数即通带能量和阻带能量作为优化的目标函数，优化参数为小波系数，进行小波滤波器组的设计，以使均方根误差达到最小，得到融合图像所采用的小波滤波器组系数；5)采用自适应模拟退火方法优化小波滤波器组系数优化方法采用自适应模拟退火的方法在优化空间中搜索小波滤波器组系数，将优化空间限制在一个很小的范围内进行搜索，最终得到最优的小波滤波器组系数；6)采用对称改进率的方法来确定这种全局最优的滤波器组；7)最后利用这种最优化设计的滤波器组来融合多分辨率图像、多传感器图像，得到融合结果。
本发明的图像融合方法具有如下有益效果
图像的最优小波域多分辨率分析方法具有提取图像最有效特征的能力，由于小波滤波器组的设计是以图像融合为目标函数，使得所设计的滤波器组能够提取图像的有效特征，并将这些特征表现在图像的不同频段，即多分辨率层次上，对这些特征的选取有利于改善图像融合结果。在高频部分进行基于视觉特征的图像融合方法，使得在融合过程中可以尽量提取具有边缘特征的信息，而避免由于噪声干扰情况下产生的错误决策。采用自适应模拟退火方法对设计最优滤波器能够使得优化结果为全局最优点，避免落入局部极小值点。基于以上三点原因，本发明的基于最优小波滤波器组的多传感器图像融合方法能够充分提高图像的融合性能，使融合后的图像质量得到大幅度地提高，对于各种应用系统的后续处理和图像显示具有重要意义和实用价值。
图1为本发明的基于最优小波滤波器组的多传感器图像融合方法流程示意图；图2为本发明方法实施例的待融合图像和理想的融合结果示意图；图3为不同融合方法对红外与可见光图像融合结果的对照示意图。
具体实施例方式
以下结合附图和实施例对本发明的技术方案作进一步描述。
一种基于最优小波滤波器组的多传感器图像融合方法按图1所示流程进行。由图1所示，图1中，待融合图像为A和B。首先分别对图像A、B进行小波变换，将图像信号以多尺度的形式表示出来。信号的多尺度表示有两部分，一部分是反映信号突变的高频部分，也就是信号的细节部分，另一部分是反映信号概貌的低频部分。对高频部分采用基于视觉特性的选择方法进行融合，对低频部分采用加权平均算法进行融合。最后将得到的高频和低频部分经小波反变换就可以得到融合图像。融合后图像通过最小均方根误差评价得到融合的评价结果，将其作为优化过程的输入，对小波系数进行优化选取，得到优化结果反馈给小波变换过程，优化多分辨率分解和重构过程。如此反复，得到最优小波滤波器组系数。然后采用对称改进率的方法来确定这种全局最优的滤波器组，最后利用这种最优化设计的滤波器组来融合多分辨率图像、多传感器图像，可以得到较为理想的融合结果。
具体实施步骤为1、采用传统的9/7小波滤波器组对待融合的原图像进行多分辨率展开在对图像进行离散小波变换的时，需要将通过小波变换的高频和低频滤波器的输出进行降采样。具体的叠代变换过程如公式(1)和公式(2)wi+1(n)=Σkg(k)·si(n-k2)----(1)]]>si+1(n)=Σkh(k)·si(n-k2)----(2)]]>g(k)是小波的分解高频滤波器，h(k)是小波的分解低频滤波器。
通过公式(1)和公式(2)得到小波的高频分量w0，w1，…，wN和最低频分量sN；N为小波变换的层数。
2、采用基于视觉特性的特征提取方法对图像的高频部分进行融合首先定义一个大小适当的扫描窗口，如3*3，就是在一个像素位置包含其相邻的8个像素一起进行处理。
视觉特性主要考虑了两部分PIX(m，n)＝C(m，n)·I(m，n) (3)PIX(m，n)是指视觉特性，下标X表示待融合图像，C(m，n)是信号变化的幅度，也就是图像信号的高频部分的绝对值，本发明利用小波的高频部分的绝对值作为信号变化的幅度；I(m，n)是图像信号变化的拓扑性，通过如下公式计算sign＝sign(CX(m，n)) (4)I(m，n)＝pX(m，n)·(1-pX(m，n)) (5)
如果小波的高频部分为大于等于零，则sign为1；如果小于零，则sign为0。pX(m，n)为与中心位置的符号sign值相同的周围的像素点个数的概率值。
融合策略如下 对图像的低频分量直接进行加权平均的方法，其权值分别为1/2。
3、由以上步骤得到图像高频部分和低频部分的融合结果，通过小波反变换可以得到最终的融合结果。
si(n)=Σkh~(n-k)·si+1(2i·n)+Σkg~(n-k)·wi+1(2i·n).----(7)]]>公式(7)表示的是小波的反变换过程(信号重构)。 是小波的重构高频滤波器， 是小波的重构低频滤波器。得到融合图像。
4、采用最小均方根误差(RMSE)的方法对融合后图像进行评价。整个融合算法的评价结果以及滤波器性能参数(通带能量和阻带能量)作为优化的目标函数，优化参数为小波系数，从而进行小波滤波器组的设计。
第一个目标函数均方根误差的如定义式(8)RMSE=1M·NΣi=1MΣj=1N(R(i,j)-F(i,j))2,----(8)]]>其中M，N为图像的行数和列数；F(i，j)为算法融合结果在(i，j)处的像素灰度值；F(i，j)为标准参考融合图像在(i，j)处的像素灰度值。P值越小，融合结果越优；反之，P值越大，融合结果越差。
一个奇数长度且对称的低通滤波器h0(n)，n＝1，2，…，N0的傅立叶变换H0(z)为
F0(ejω)=H0(ω)e-jN0-12ω,----(9)]]>其中H0(ω)=h0((N0+1)/2)+Σn=1N0-122h0(n)cos(N0+12-n)ω.----(10)]]>截止频率为ωs的阻带能量Es(h0)为Es(h0)=∫ωsπH02(ω)dω]]>=h02((N0+1)/2)(π-ωs)-4h0((N0+1)/2)Σn=1(N0-1)/2h0(n)sin(N0+12-n)ωsN0+12-n]]>+2Σn=1(N0-1)/2h0(n)2[(π-ωs)-sin(N0+1-2n)ωsN0+1-2n]]]>-2Σn=1(N0-1)/2Σm=1,m≠n(N0-1)/2h0(n)h0(m)[sin(n-m)ωsn--m+sin(N0+1-n-m)ωsN0+1-n-m]]]>(11)设截止频率为ωp的通带能量Ep(h0)为Ep(h0)=∫0ωp(H0(ω)-1)2dω]]>=(h0((N0+1)/2)-1)2ωp+4(h0((N0+1)/2)-1)Σn=1(N0-1)/2h0(n)sin(N0+12-n)ωpN0+12-n]]>+2Σn=1(N0-1)/2h0(n)2[ωp-sin(N0+1-2n)ωpN0+1-2n]]]>+2Σn=1(N0-1)/2Σm=1,m≠n(N0-1)/2h0(n)h0(m)[sin(n-m)ωpn-m+sin(N0+1-n-m)ωpN0+1-n-m]]]>(12)第二个目标函数以阻带和通带能量的和来表示minh0,h1E(h0,h1),----(13)]]>其中E(h0，h1)＝Es(h0)+Es(h1)+Ep(h0)+Ep(h1)是所有滤波器通带和阻带的总能量，这样设计最优小波滤波器的目标函数就可写为如下形式
minh0,h1-w(RMSE(A,R,F))+(1-w)E(h0,h1),----(14)]]>其中0≤w≤1是权值，A表示是图像融合算法，R是标准参考图像，F是融合后图像。注意到当w＝1时，目标函数变为均方根误差(Root Mean SquareError缩写为RMSE)。
5、采用自适应模拟退火方法得到最优的小波滤波器组系数。
从选定的传统小波系数即初始解开始，在借助于控制参数t递减时产生的一系列Markov链中，利用一个新解产生装置和接受准则，重复进行包括“产生新解——计算目标函数差——判断是否接受新解——接受(或舍弃)新解”这四个任务的试验，不断对当前解迭代，从而达到使目标函数最优的执行过程。针对上述图像融合过程，对模拟退火过程中的关键步骤说明如下a)新解产生装置。在1～m之间随机选取i和j，当前解中若第i个和第j个滤波器组所获得的图像融合指标相同则改变第i个解的状态；若不同则交换其状态，即Xi＝1-Xi若Xi＝XjXi＝1-Xi且Xj＝1-Xj，若Xi≠Xjb)关于初始点的调整。由于模型约束条件中上下限的限制严格，若L＜Lb(融合指标未达到最低指标要求)则依次选取其他指标所对应的滤波器组系数，改变其对应的优化状态，使其成为当前最优解，重复这一过程直到符合条件。
c)接受准则。采取扩充的Metropolis接受准则判断是否接受新解，若新解可行且优于当前解则接受；否则按exp(ΔW/t)或0的概率接受新解，即 d)停止准则。当控制参数t递减至设定值E时停止算法。
6、采用对称改进率的方法来确定这种全局最优的滤波器组。
对称改进率是一种非线性方法，是为了避免在优化参数设计时的异常取值。对于两个假设A和B，其性能值分别为(A1，…，Am)和(B1，…，Bm)。对称改进率S为Si=Ai/Bi-1ifAi≥Bi1-Ai/BiifAi≤Bi,----(15)]]>S‾=1mΣi=1mSi.----(16)]]>在我们的方法中，(A1，…，Am)是某个滤波器组设计结果应用于m组图像所得到的融合结果，对称改进率用于整体评估滤波器组在不同训练图像组所得到的性能。这里，我们采用最大的对称改进率值的滤波器组作为最终的优化结果。
7、最后利用这种最优化设计的滤波器组来融合多分辨率图像、多传感器图像，可以得到较为理想的融合结果。
本发明的实施见图2、图3，分别按图2的图像对小波系数进行优化，以及将优化后的小波滤波器组用于对图3(a)表示的红外图像和图3(b)表示的可见光图像进行融合。图2用于优化小波滤波器组，最上面的四行图像是多聚焦“clock”图像的四个部分，最下面一行是“cameraman”图像，最右边列的图像是前两列的标准参考图像；图3(c)为基于拉普拉斯金字塔多分辨率方法融合的结果；图3(d)为传统小波多分辨率图像融合方法的融合结果；图3(e)为基于离散小波的多分辨率图像融合结果；图3(f)为采用本发明中所提及的最优小波滤波器组的多分辨率方法的融合结果。
表1为可见光/红外图像的融合结果指标评价指标。从表中可以看出，当采用本发明提出的方法时，融合性能已经超过了传统小波方法，拉普拉斯金字塔方法，甚至超过了传统的小波框架的方法。
表1
权利要求
1.基于最优小波滤波器组的多传感器图像融合方法，其特征在于包括如下具体步骤1)采用传统的9/7小波滤波器组对待融合的原图像进行多分辨率展开将原始图像信号输入小波基函数构造的两个滤波器进行分解，得到多个高频分量和一个低频分量；2)采用边缘特征幅值和边缘连接概率特征融合图像的高频部分融合；采用加权平均方法融合图像的低频分量；3)由以上步骤得到图像高频部分和低频部分的融合结果，通过小波反变换可以得到融合结果；4)采用最小均方根误差的方法对融合后图像进行评价，整个融合算法的评价结果以及滤波器性能参数即通带能量和阻带能量作为优化的目标函数，优化参数为小波系数，进行小波滤波器组的设计，以使均方根误差达到最小，得到融合图像所采用的小波滤波器组系数；5)采用自适应模拟退火方法优化小波滤波器组系数优化方法采用自适应模拟退火的方法在优化空间中搜索小波滤波器组系数，将优化空间限制在一个很小的范围内进行搜索，最终得到最优的小波滤波器组系数；6)采用对称改进率的方法来确定这种全局最优的滤波器组；7)最后利用这种最优化设计的滤波器组来融合多分辨率图像、多传感器图像，得到融合结果。
全文摘要
一种基于最优小波滤波器组的多传感器图像融合方法，首先采用小波将待融合图像进行多尺度分解，得到小波的一系列高频分量和一个最低频分量，然后对图像的高频部分采用基于视觉特性的特征提取方法进行融合，对图像的低频部分采用加权平均的方法进行融合，最后将高频部分的融合结果和低频部分的融合结果，通过小波反变换得到融合图像。然后采用最小均方根误差的办法评价融合后图像，结合小波滤波器组系数的通带能量和阻带能量作为目标函数对小波系数进行优化搜索。从而得到最优的小波滤波器组设计。本发明使融合后的图像质量得到大幅度地提高，对于各种应用系统的后续处理和图像显示具有重要意义和实用价值。
文档编号G06T5/00GK1794300SQ20051011168
公开日2006年6月28日 申请日期2005年12月20日 优先权日2005年12月20日
发明者刘刚, 靳希, 符阳 申请人:上海电力学院