专利名称：红外与微光图像融合方法
技术领域：
本发明涉及图像融合处理技术领域，特别是一种红外与微光图像融合方法。
背景技术：
红外/微光图像融合技术已经广泛地应用于军事领域，它将微光图像场景细节丰富、红外图像目标和背景对比度强的优点综合到一幅图像中，从而使观察者能够得到某一场景更准确、全面、可靠的图像信息而大受重视。从上世纪九十年代起，各国军方以及科研机构对红外/微光图像融合技术进行着深入细致的研究，取得了丰硕的成果。在此期间涌现出了一大批实用且优秀的算法，如:算术平均融合算法、主成分分析融合算法、多分辨率图像融合算法、小波变换融合算法、NRL方法、TNO融合方法、MIT融合方法等等。然而，在融合运算过程中，由于图像所有像素需要进行多次相乘以及累加操作，且单幅图像具有庞大的信息量，这样大大限制了融合运算的速度，所以在有限的时间内，融合图像质量不变的条件下，提高图像融合运算的效率是一个亟待解决的问题。红外/微光图像融合的质量和融合速度是一对相互矛盾的指标。在战场上，光有好的图像质量而不顾系统的运算速度将会给我方带来毁灭性的打击(如:导弹跟踪系统、火控系统)，同样，提高了系统的运算速度，而降低图像质量将会使我方不能获得敌方全面的情报(如:侦察系统)。但是，在已有算法基础上和现有融合系统平台上，想兼顾二者是一个相当困难的问题。专利1:压缩感知框架下的多策略图像融合方法(CN102096913B，申请日2011.01.25)采用傅里叶系数低频全采的变密度采样模型，减少了需要传输的数据量，降低了融合的复杂度，缩短了融合时间，但是存在信息损失的问题。专利2:图像融合方法及设备(CN101887581B，申请日2010.06.17)对传统PCA(Principal ComponentAnalysis)变换图像融合方法进行了改进,通过对源图像分块处理，使融合后的图像能够充分反映源图像各自的主要信息，但是该方法主要用于医学图像领域，处理过程不具备实时性。综上所述，目前这些算法多运用与遥感和医学领域，对图像的融合时间没有要求，无法使图像的融合满足实时性，从而阻碍对图像进行实时融合侦察。
发明内容
本发明的目的在于提供一种融合质量高、速度快的红外与微光图像融合方法，从而实现红外与微光图像的实时融合。实现本发明目的的技术解决方案为:一种红外与微光图像融合方法，包括以下步骤:步骤一:利用红外摄像头采集原红外图像，利用微光摄像头采集原微光图像；步骤二:对采集到的原红外图像和原微光图像分别进行分块，将原红外图像和原微光图像分割成N个相互对应的原图像子块；
步骤三:在并行处理系统中，使用图像融合算法，将原红外图像和原微光图像中各个相互对应的原图像子块同时进行图像融合，得到融合后图像子块；步骤四:将融合后图像子块组合生成最终的融合图像。本发明与现有技术相比，其显著优点:(1)使用小波融合或拉普拉斯金字塔图像融合算法等多分辨率图像融合算法进行分块加速，确保了图像融合的质量；(2)采用并行融合系统，而且可以大大缩短图像融合的时间，从而对图像进行实时侦查；(3)有很好的工程运用价值，为红外/可见光融合系统的改进提供参考，有效地改进了红外/微光图像融合系统。
图1是本发明红外与微光图像融合方法的流程图。图2是本发明红外与微光图像融合方法的原图像分块个数估计流程图。图3是本发明红外与微光图像融合方法的图像分块示意图。图4是本发明红外与微光图像融合方法的小波分块融合流程图。图5是本发明红外与微光图像融合方法的拉普拉斯金字塔分块融合流程图。图6是本发明红外与微光图像融合方法的融合后图像子块的重组示意图。图7是本发明实施例中场景I的小波融合法图像融合结果。图8是本发明实施例中场景2的小波融合法图像融合结果。图9是本发明实施例中场景I的拉普拉斯金字塔融合法图像融合结果。图10是本发明实施例中场景2的拉普拉斯金字塔融合法图像融合结果。图11是本发明实施例中小波融合法图像分块个数和运算时间的关系曲线图。图12是本发明实施例中拉普拉斯金字塔融合法图像分块个数和运算时间的关系曲线图。
具体实施例方式下面结合附图对本发明做进一步详细的说明。结合图1，本发明的图像融合分块加速算法包括以下步骤:步骤一:利用红外摄像头采集原红外图像，利用微光摄像头采集原微光图像；步骤二:对采集到的原红外图像和原微光图像分别进行分块，将原红外图像和原微光图像分割成N个相互对应的原图像子块；结合图2，步骤二中所述原图像子块的数量N通过以下方法确定: (I)对图像融合所用的时间T进行估计:
权利要求
1.一种红外与微光图像融合方法，其特征在于，所述方法包括以下步骤: 步骤一:利用红外摄像头采集原红外图像，利用微光摄像头采集原微光图像； 步骤二:对采集到的原红外图像和原微光图像分别进行分块，将原红外图像和原微光图像分割成N个相互对应的原图像子块； 步骤三:在并行处理系统中，使用图像融合算法，将原红外图像和原微光图像中各个相互对应的原图像子块同时进行图像融合，得到融合后图像子块； 步骤四:将融合后图像子块组合生成最终的融合图像。
2.根据权利要求1所述的红外与微光图像融合方法，其特征在于，步骤二中所述对采集到的原红外图像和原微光图像分别进行分块，具体为: 将原微光图像记为A、原红外图像记为B，把原红外图像A和原微光图像B分割成N个相互对应的原图像子块，每个原图像子块的大小均为mXn并将原红外图像A和原微光图像B相互对应的原图像子块做相同的标记,按顺序标记为1，2，3，…，N,则: A = {AmnlI，B = {Bmnl} (I = 1，2，3，…，N) 式中，Amnl为原微光图像A的第I个原图像子块，Bnml为原红外图像B的第I个原图像子块。
3.根据权利要求1所述的红外与微光图像融合方法，其特征在于，步骤三所述的图像融合算法为小波融合法或拉普拉斯金字塔融合法。
4.根据权利要求3所述的红外与微光图像融合方法，其特征在于，所述小波融合法包括以下步骤: 第一、建立小波分解公式，对原红外图像和原微光图像中各个原图像子块同时进行小波分解，得到各个原图像子块的低频分量与高频分量:设H为低通滤波器算子、G为高通滤波器算子，r和c分别对应图像的行和列，即民为行方向上的高通算子、H。为列方向上的高通算子、4为行方向上的低通算子、G。为列方向上的低通算子，则小波分解公式如下:SCa = HcHrSCij -1 5D] =GcHrSCn^ IJJK SDjj =HcG,SCij-1SDfj=GcGrSQj-1 式中，δ表示原红外图像A或原微光图像B，SCf1表示第I个原图像子块的第j-Ι层小波分解图像，S Cu表示SC1H的低频分量即第I个原图像子块的第j层小波分解图像，叫表示S CljH的垂直方向上的高频分量，表示SCf1的水平方向上的高频分量，谷1 表示δ C1jm的对角方向上的高频分量，j表示小波分解层数，j的最大值取3或4 ; 第二、将原红外图像子块的各层低频分量与对应的原微光图像子块的同层低频分量融合、原红外图像子块的各层高频分量与对应的原微光图像子块的同层高频分量融合，得到原图像子块的高频融合分量和低频融合分量； 第三、将每个原图像子块的高频融合分量和低频融合分量进行重构，得每个融合后图像子块，重构公式如下:
5.根据权利要求3所述的红外与微光图像融合方法，其特征在于，所述拉普拉斯金字塔融合法包括以下步骤: 第一、将A= (Anml)1B= (BnmlI (I = 1，2，3，...，Ν)中所有原图像子块同时作隔行隔列降采样，并将每个原图像子块均分解成共包含k+Ι个图层的高斯金字塔层，具体过程为:采用一个具有低通特性的窗口函数λ (u，V)对原微光图像A的第I个原图像子块的第P-1层Anmllri和原红外图像B的第I个原图像子块的第p- 层Bmnllri进行卷积，得到原微光图像A的第I个原图像子块的第P层Anmlp和原红外图像B的第I个原图像子块的第P层Bnmlp，公式如下:
6.根据权利要求1所述的红外与微光图像融合方法，其特征在于，步骤四所述将融合后图像子块组合生成最终的融合图像，具体为:按照原图像子块所标记1，2，3，...，N的顺序，对融合后图像子块进行拼接重构，生成最终的融合图像，并且将该融合图像输出显示。
全文摘要
本发明公开了一种红外与微光图像融合方法。该方法包括以下步骤(1)利用红外摄像头采集原红外图像，利用微光摄像头采集原微光图像；(2)对采集到的原红外图像和原微光图像分别进行分块，将原红外图像和原微光图像分割成N个相互对应的原图像子块；(3)在并行处理系统中，使用图像融合算法，将原红外图像和原微光图像中各个相互对应的原图像子块同时进行图像融合，得到融合后图像子块；(4)将融合后图像子块组合生成最终的融合图像。本发明中所得到的融合图像不仅具有高的图像质量，还有较高的融合速度，从而在夜视侦察、安防监控等军事和民事领域有着广阔的应用前景。
文档编号G06T5/50GK103177433SQ20131012188
公开日2013年6月26日 申请日期2013年4月9日 优先权日2013年4月9日
发明者张俊举, 孙斌, 杨锋, 韩博, 杨文彬, 李宁, 陶媛媛, 陈云川, 王文治 申请人:南京理工大学