专利名称：：一种双色中波红外图像融合方法
技术领域：
：本发明涉及图像融合技术，具体为一种双色中波红外图像融合方法。
背景技术：
：由于大气窗口中不同波段的透过率及传输特性不同、目标辐射特性不同，且各种传感器的性能具有差异性，不同波段的红外图像在描述目标或场景信息时有不同的优势，所以，对多源图像进行融合可以提高最终成像的质量，是当前的研究热点。有代表性的研究包括可见光图像与红外图像融合、长波与中波图像的融合、中波与中波图像的融合，也有一些文献提及紫外图像研究的。这些研究涉及红外细分中波段上成像研究的具体技术内容不多。实际上，仔细分析红外大气窗口可以发现红外中波段(3飞μπι)可以进一步分为更细的波段，如3.4μπΓ4.1μm和4.5μπΓ5.3μm,在两个不同细分波段上光谱透过率、对应的峰值温度探测范围、受太阳辐射的影响不同、加上目标的辐射特性和探测器的响应特性不同，所以两个细分中波段上的成像特性也不同，研究表明二者具有较强的互补性。利用这种互补性实现双色中波红外成像，可以减少大气辐射衰减的影响，获得更好的成像效果，同时还可以利用目标在不同细分波段的辐射特性和各个细分波段的特点分别成像，获得各自信噪比高的信号，再通过后处理获取比没有细分的中波段成像效果更好的图像。因此，研究细分中波段成像并通过融合提高中波图像质量对于目标识别具有重要意义。但是，具有代表性的研究中关于细分中波红外成像的研究主要集中在探测器的研发、焦平面材料的研发、利用滤光片进行成像试验、地面目标在各细分波段成像辐射特性的比较等方面。关于细分中波段图像的融合，个别文献对其重要性和可行性进行了说明，给出少量融合结果。但总体来说，对细分中波红外图像融合的研究较少。而中波段的成像有其特殊性，比如由于光谱透过率不同，在前一个细分波段成像受大气影响较小，在后一个波段成像受大气影响较大；由于受太阳辐射影响不同，在第一个细分波段的成像中具有太阳的较多辐射和反射，在第二细分波段中更多的是自身的辐射和对其它辐射的反射等等，尤其是不对第一细分波段的成像中过强的太阳辐射和反射进行处理就融合，就使得用现有的融合方法并不一定能得到理想的融合效果。红外成像是由红外成像仪来完成的。红外成像仪通常由热成像镜头、红外探测器和放大器加上适当的信号处理与显示部分组成。有代表性的研究内容涉及红外材料的研制、红外设备的制冷、红外设备向更多波段发展、红外焦平面阵列器件的研制和红外设备与数据处理设备的结合等方面，集成化、长线列、大面阵、小型化、双色多光谱、耐高温和智能化是红外成像仪的发展趋势。不可否认，这些技术的发展确实极大地提高了红外图像的质量，但是一个不容忽视的事实是通常由于各种原因多色成像仪输出的视频图像还不能直接用于识别与决策，还需要进行图像融合得到高质量的图像才更有实用价值。其过程如下首先把多色图像分别输入PC机中、再在软件系统平台上通过编程运行相关算法才能完成图像融合。目前细分中波图像的融合用的也是同样的过程。这样一方面，在实际使用中成像仪和PC机通常是分离分体的，有时甚至距离很远，图像处理的实时性难以保证；另一方面，成像仪需要对初步预处理后的图像进行视频编码才能输出视频图像，输入计算机后又需要视频解码才能进行图像融合，使融合过程繁琐，但这种重复工作对于融合结果本身意义并不大。综合考虑以上两方面情况可以看出，需要有一种方法来既专门用于红外中波细分波段上高质量的图像融合，又能直接在双色中波成像仪中实现，使得成像仪可以直接输出融合后的中波图像，这样才能提高双色中波红外成像的实时性、实用性，保证方便快捷地完成中波图像的采集与融合。
发明内容本发明解决现有的双色中波红外图像融合方法因第一个细分波段的成像受太阳辐射影响严重，因而融合效果不甚理想的问题，以及不能直接在双色中波成像仪中实现的问题，提供一种双色中波红外图像融合方法，该融合方法可去除因较多太阳辐射和反射在第一个细分波段的成像中造成的影响，而提高融合后的图像效果；同时，该融合方法简单，可容易地在FPGA、DSP等模块中实现，使实现该方法所基于的硬件简化、可容易地嵌入双色中波成像仪中。本发明是采用如下技术方案实现的一种双色中波红外图像融合方法，在红外中波分为第一细分波段和第二细分波段的基础上，按如下步骤进行第一步、对第一细分波段图像分割，以选择面积大的饱和区1、采用均值滤波对第一细分波段图像进行平滑处理，以滤掉噪声；2、利用公式(1)、(2)求出高低阈值\和T1，用于图像的二值化处理；Th=αAfflax(1)T1=μ+βσ(2)式中Amax、μ和ο为第一细分波段图像像素值的最大值、均值和标准偏差，系数α为实验值，在0.85、.95之间取值，系数β为实验值，在1.(Γ3.0之间取值；3、利用高阈值Th对滤波后的第一细分波段图像二值化，得到面积大的饱和区；4、种子点选取在得到的面积大的饱和区中心选取种子点(坐标)；5、采用低阈值T1对原来的第一细分波段图像重新二值化；6、选择滤波保留含有种子点的饱和区，其它的饱和区均过滤掉；这时得到的是面积较大的、根据低阈值划分出的饱和区。这样做的目的是对第一细分波段图像进行分割，分为饱和区和非饱和区。饱和区有两类一类是太阳照射饱和区，使景物模糊了，需要改善或消除；另一类是非太阳照射饱和区(如自身辐射引起)，使得景物清楚了，需要保留。二者需要区别对待。第二步、区分太阳照射饱和区和非太阳照射饱和区1、求出第一细分波段图像上按第一步所得的各饱和区(即面积较大的、根据低阈值划分出的饱和区)在第二细分波段图像上对应的各个区域的像素值的标准偏差；2、求出第二细分波段图像上对应的各个区域的像素值的标准偏差的均值；3、第一细分波段图像中标准偏差大于均值的所选饱和区作为太阳照射饱和区；把第一细分波段图像上按第一步所得的各饱和区在第二细分波段图像上对应的各个区域的像素值的标准偏差，作为特征量来区分是太阳照射饱和区，还是非太阳照射饱和区。原因是太阳照射饱和区在第二细分波段图像对应区域的像素值具有较大的标准偏差；而非太阳照射饱和区在第二细分图像对应区域的像素值具有较小的标准偏差。第三步对第一细分波段图像中的所选太阳照射饱和区进行融合像素值替换1、根据(3)式求得融合像素值Fi<formula>formulaseeoriginaldocumentpage6</formula>式中Fi为第i个饱和区的融合像素值，ApBi表示第i个饱和区分别在第一细分波段图像、第二细分波段图像上的对应区域的像素值，N为按第一步所确定的饱和区的总数；Wi是第i个饱和区的权值，按(4)式确定，<formula>formulaseeoriginaldocumentpage6</formula>式中的σi为第i个饱和区在第二细分波段图像中对应区域的标准偏差，。min和Omax为第二细分波段图像中各个(即N个)对应区域标准偏差中的最小值和最大值；Cl和C2为非太阳照射饱和区的最小融合权值和太阳照射饱和区最大的融合权值，C1和C2为实验值，C1取值为0.20.5，C2取值为0.600·95；2、替代用融合像素值Fi替代第一细分波段图像中的相应太阳照射饱和区的像素值，得到处理后的第一细分波段图像。这时候，第一细分波段图像太阳照射饱和区的问题得到了较好的解决，但第一细分波段图像其他部分还仍然是第一细分波段的，还需要融合处理。第四步、将处理后的第一细分波段图像和第二细分波段图像，采用支持度变换法(SVT法)进行融合。所述的支持度变换法(SVT法)是一种公知的图像融合变换方法，参见实质审查参考资料。支持度变换是一种非采样的二值冗余变换，是在最小二乘支持向量机(leastsquaressupportvectormachine,LS-SVM)基础上提出的一种新的图像多尺度变换方法。支持度变换后得到的图像的支持度矩阵是与图像显示相关的信息，可以很好地表征图像的细节特征信息，且同小波变换(另一种现有的图像融合变换方法)相比具有平移不变性、不会产生振铃效应、运算速度快的优点，因而成为一种很有前途的图像多尺度分析工具。具体过程参见实质审查参考资料——杨长才、郑胜等的基于支持度变换的几何活动轮廓模型轮廓提取方法。由于本方法主要用矩阵运算实现，所以，运算简单、便于硬件实现，特别是便于在FPGA、DSP等模块中实现。本发明所述的融合方法简单，可容易地在FPGA和DSP芯片或单一的FPGA芯片上实现。当在FPGA和DSP芯片上实现时，该融合方法的第一步、第二步、第三步在FPGA芯片上完成，第四步在DSP芯片上完成。使用FPGA+DSP更有利于发挥两种芯片各自的长处。这样，基于实现该融合方法的硬件形成了双色中波红外图像融合器，该融合器可嵌入双色中波成像仪中，该融合器嵌入在双色中波红外成像仪的图像和视频信号输出与显示模块之前，完成双色中波图像的预处理、特征提取、融合，然后再输出到显示器。本融合器主要包括预处理模块、细分中波特征提取模块(这两步在FPGA中实现，具体算法见上述第一、二、三步)、DSP图像融合模块(融合方法见上述第四步)。其工作过程是对两幅来自焦平面的细分波段上的中波图像分别进行预处理(包括校正和配准)，再进行图像的特征提取，之后传入DSP图像融合模块通过SVT法进行图像融合，最后对融合后的图像进行视频编码输出至显示器寸。本发明所述的双色中波红外图像融合方法创新性地解决了第一细分波段图像上的太阳照射饱和区的问题，通过对第一细分波段图像上的太阳照射饱和区的选择、区分、替换的处理过程，改善了太阳辐射、反射对第一细分波段图像的影响，进而提高了融合图像的效果。采用支持度变换法(SVT法)进行融合，使融合方法的运算简单、便于硬件实现，特别是便于在FPGA、DSP等芯片上实现，实现融合方法的硬件可容易地嵌入双色中波成像仪中，直接在双色中波成像仪中实现图像融合，使得成像仪可以直接输出融合后的中波图像，从而提高了双色中波红外成像的实时性、实用性，保证方便快捷地完成中波图像的采集与融合。附图2-5为红外图像的实例(以第一细分波段3.4μπΓ4.1μm和第二细分波段4.5μπΓ5.3μm为例)，其中，图2为第一细分波段图像，图3为第二细分波段图像，图4为未细分中波图像，图5为融合后的图像；实验的运行环境为计算机CPU奔腾4、2.66GHz,内存1GB,windowsXPprofessional，编程语言为Matlab7.1。从图中可以看出，图5融合后的图像在整体效果上明显优于图2、图3、图4所示的第一细分波段图像、第二细分波段图像、未细分中波图像。附图2-5中各红外图像的相关数据对比如下表<table>tableseeoriginaldocumentpage7</column></row><table>从表中可以看出第一中波细分图像的太阳影响参数明显高于第二中波细分图像和未细分中波图像；而采用本发明所述融合方法所得的融合图像的太阳影响参数大幅度降低，低于第一中波细分图像、未细分中波图像，从而证明了融合后的图像克服了过强太阳辐射、反射的影响；从算法运行时间上看，本发明所述的支持分割度算法的运行时间大大低于小波包变换算法，证明本发明所述的融合方法运算简单、便于硬件实现。图1为实现本发明所述融合方法的硬件(融合器)的结构示意图；图2为第一细分波段图像实例；图3为第二细分波段图像实例；图4为未细分图像实例；图5为融合后图像实例；具体实施例方式—种双色中波红外图像融合方法，在红外中波分为第一细分波段和第二细分波段的基础上(以第一细分波段3.4μπΓ4.1μm和第二细分波段4.5μπΓ5.3μm为例)，按如下步骤进行第一步、对第一细分波段图像分割，以选择面积大的饱和区1、采用均值滤波对第一细分波段图像进行平滑处理，以滤掉噪声；2、利用公式(1)、(2)求出高低阈值\和！\，用于图像的二值化处理；Th=aAfflax(1)Tx=u+^o(2)式中Amax、U和o为第一细分波段图像像素值的最大值、均值和标准偏差，系数a为实验值，在0.85、.95之间取值，系数0为实验值，在1.(T3.0之间取值；具体实施时，系数a、系数0可在取值范围内任意选择，同时可根据图像融合效果，在取值范围由进行调节，以调整图像融合效果，达到最优的融合图像。3、利用高阈值Th对滤波后的第一细分波段图像二值化，得到面积大的饱和区；4、种子点选取在得到的面积大的饱和区中心选取种子点(坐标)；5、采用低阈值对原来的第一细分波段图像重新二值化；6、选择滤波保留含有种子点的饱和区，其它的饱和区均过滤掉；第二步、区分太阳照射饱和区和非太阳照射饱和区1、求出第一细分波段图像上按第一步所得的各饱和区(即面积较大的、根据低阈值划分出的饱和区)在第二细分波段图像上对应的各个区域的像素值的标准偏差；2、求出第二细分波段图像上对应的各个区域的像素值的标准偏差的均值；3、第一细分波段图像中标准偏差大于均值的所选饱和区作为太阳照射饱和区；第三步对第一细分波段图像中的所选太阳照射饱和区进行融合像素值替换1、根据(3)式求得融合像素值&<formula>formulaseeoriginaldocumentpage8</formula>式中&为第i个饱和区的融合像素值，A”B,表示第i个饱和区分别在第一细分波段图像、第二细分波段图像上的对应区域的像素值，N为按第一步所确定的(所选的)饱和区的总数％是第i个饱和区的权值，按(4)式确定，<formula>formulaseeoriginaldocumentpage8</formula>式中的0i为第i个饱和区在第二细分波段图像中对应区域的标准偏差，。_和o_为第二细分波段图像中各个(即N个)对应区域标准偏差中的最小值和最大值；Cl和C2为非太阳照射饱和区的最小融合权值和太阳照射饱和区最大的融合权值，Cl和c2为实验值，Cl取值为0.2^0.5，c2取值为0.60、.95；具体实施时，Cl和c2可在取值范围内任意选择，同时可根据图像融合效果，在取值范围由进行调节，以调整图像融合效果，达到最优的融合图像。2、替代用融合像素值&替代第一细分波段图像中的相应太阳照射饱和区的像素值，得到处理后的第一细分波段图像；第四步、将处理后的第一细分波段图像和第二细分波段图像，采用支持度变换法(SVT法)进行融合。本发明所述的融合方法简单，可容易地在FPGA和DSP芯片或单一的FPGA芯片上实现。当在FPGA和DSP芯片上实现时，该融合方法的第一步、第二步、第三步在FPGA芯片上完成，第四步在DSP芯片上完成。权利要求一种双色中波红外图像融合方法，在红外中波分为第一细分波段和第二细分波段的基础上，按如下步骤进行第一步、对第一细分波段图像分割，以选择面积大的饱和区1、采用均值滤波对第一细分波段图像进行平滑处理，以滤掉噪声；2、利用公式(1)、(2)求出高低阈值Th和Tl，用于图像的二值化处理；Th＝αAmax(1)Tl＝μ+βσ(2)式中Amax、μ和σ为第一细分波段图像像素值的最大值、均值和标准偏差，系数α为实验值，在0.85~0.95之间取值，系数β为实验值，在1.0~3.0之间取值；3、利用高阈值Th对滤波后的第一细分波段图像二值化，得到面积大的饱和区；4、种子点选取在得到的面积大的饱和区中心选取种子点；5、采用低阈值Tl对原来的第一细分波段图像重新二值化；6、选择滤波保留含有种子点的饱和区，其它的饱和区均过滤掉；第二步、区分太阳照射饱和区和非太阳照射饱和区1、求出第一细分波段图像上按第一步所得的各饱和区在第二细分波段图像上对应的各个区域的像素值的标准偏差；2、求出第二细分波段图像上对应的各个区域的像素值的标准偏差的均值；3、第一细分波段图像中标准偏差大于均值的所选饱和区作为太阳照射饱和区；第三步对第一细分波段图像中的所选太阳照射饱和区进行融合像素值替换1、根据(3)式求得融合像素值FiFi＝(1-wi)Ai+wiBii＝1，2，3……N(3)式中Fi为第i个饱和区的融合像素值，Ai、Bi表示第i个饱和区分别在第一细分波段图像、第二细分波段图像上的对应区域的像素值，N为按第一步所确定的饱和区的总数；wi是第i个饱和区的权值，按(4)式确定，<mrow><msub><mi>w</mi><mi>i</mi></msub><mo>=</mo><mfrac><mrow><msub><mi>σ</mi><mi>i</mi></msub><mo>-</mo><msub><mi>σ</mi><mi>min</mi></msub></mrow><mrow><msub><mi>σ</mi><mi>max</mi></msub><mo>-</mo><msub><mi>σ</mi><mi>min</mi></msub></mrow></mfrac><mrow><mo>(</mo><msub><mi>c</mi><mn>2</mn></msub><mo>-</mo><msub><mi>c</mi><mn>1</mn></msub><mo>)</mo></mrow><mo>+</mo><msub><mi>c</mi><mn>1</mn></msub><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>4</mn><mo>)</mo></mrow></mrow>式中的σi为第i个饱和区在第二细分波段图像中对应区域的标准偏差，σmin和σmax为第二细分波段图像中各个对应区域标准偏差中的最小值和最大值；c1和c2为非太阳照射饱和区的最小融合权值和太阳照射饱和区最大的融合权值，c1和c2为实验值，c1取值为0.2~0.5，c2取值为0.60~0.95；2、替代用融合像素值Fi替代第一细分波段图像中的相应太阳照射饱和区的像素值，得到处理后的第一细分波段图像；第四步、将处理后的第一细分波段图像和第二细分波段图像，采用支持度变换法进行融合。2.根据权利要求1所述的一种双色中波红外图像融合方法，其特征为所述的融合方法在FPGA和DSP芯片上实现，该融合方法的第一步、第二步、第三步在FPGA芯片上完成，第四步在DSP芯片上完成。3.根据权利要求1所述的一种双色中波红外图像融合方法，其特征为所述的融合方法在单一的FPGA芯片上实现。4.根据权利要求1或2或3所述的一种双色中波红外图像融合方法，其特征为第一细分波段为3.4ynT4.1um，第二细分波段为4.5unT5.3um。全文摘要本发明涉及图像融合技术，具体为一种双色中波红外图像融合方法。解决现有的双色中波红外图像融合方法因第一个细分波段的成像受太阳辐射影响严重，因而融合效果不甚理想的问题，以及不能直接在双色中波成像仪中实现融合的问题。把红外中波分为第一细分波段和第二细分波段两个波段，按如下步骤进行对第一细分波段图像分割，以选择面积大的饱和区；区分太阳照射饱和区和非太阳照射饱和区对第一细分波段图像中的所选太阳照射饱和区进行融合像素值替换；将处理后的第一细分波段图像和第二细分波段图像，采用支持度变换法(SVT法)进行融合。该方法在FPGA和DSP芯片或单一的FPGA芯片上实现，可嵌入双色中波成像仪中。文档编号G06T5/00GK101799915SQ20101011806公开日2010年8月11日申请日期2010年2月26日优先权日2010年2月26日发明者杨风暴,王肖霞,蔺素珍,郝晋萍申请人:中北大学