低分辨率红外图像重建高分辨率红外图像的方法
【专利摘要】本发明公开了一种低分辨率红外图像重建高分辨率红外图像的方法，主要包括：采用双线性插值法对低分辨率红外图像进行上采样，得到高频细节模糊的高分辨率红外图像；分别提取同场景的高频细节模糊的高分辨率红外图像和可见光图像的边缘；将提取的红外图像和可见光图像的边缘分类为相关边缘和非相关边缘；建立红外图像和可见光图像的二次仿射变换关系模型，对红外图像进行高频估计，得到红外图像的高频细节；将红外图像高频细节与边缘模糊的高分辨率红外图像相加作为重建高分辨率红外图像的初始估计值，以此进行多次反向投影迭代，得到重建的高分辨率红外图像。本发明的方法通过实验表明，重建的图像视觉效果更好，接近于原始高分辨率红外图像。
【专利说明】低分辨率红外图像重建高分辨率红外图像的方法
【技术领域】
[0001]本发明涉及红外图像处理【技术领域】，具体涉及一种将低分辨率红外图像转变成高分辨率红外图像的方法。
【背景技术】
[0002]红外图像反映场景的辐射特性，这种特性能为多个应用领域提供有价值的信息，如监视和远程控制等，但与可见光图像相比，红外图像的质量不令人满意，主要表现在边缘模糊和缺少纹理，空间分辨率有限，所以从红外图像中直接提取足够的信息比较困难。因此提高红外图像的空间分辨率是一个亟待解决的问题。
[0003]为了解决红外图像存在的上述问题，人们首先是从硬件方面着手进行研究，试图通过制作高密度小像元尺寸的红外焦平面器件来解决上述问题，但在现有技术条件下，制作高密度小像元尺寸的红外焦平面器件还有一定困难，且成本较高。鉴于此，科技人员改变研究方向，从算法理论方面进行探索，通过软件提高红外图像的分辨率。在软件研究方面，一种具有前景的方法是利用信号处理的方式从单帧或者多帧低分辨图像中获得高分辨图像，称这种方法为超分辨(Super-Resolution, SR)的技术。目前的超分辨技术主要分为两大类:1)基于重建的超分辨，该技术主要是通过对图像的退化过程进行建模，利用低分辨率图像和特定的图像退化模型对高分辨率图像的重建进行约束，得到高分辨率图像。该方法存在先验知识少、重建效果改进潜力不大等问题。2)基于学习的超分辨，是指在高分辨率样本图像的辅助下，对单幅低分辨率图像进行重建，恢复出高分辨率图像。这两种传统的图像重建方法多是利用同一个传感器得到的图像，然而单个传感器获取的图像信息有限，不能提供更加丰富的可利用的图像信息，因此，基于此所重建的红外图像空间分辨率仍不高。
【发明内容】
[0004]针对低分辨率红外图像重建高分辨率红外图像技术的现状与不足，本发明的目的旨在提供一种基于多传感器的低分辨率红外图像重建高分辨率红外图像的新方法，以清晰红外图像边缘，丰富红外图像纹理，提高红外图像的分辨率。
[0005]可见光(CXD)图像与红外(IR)图像之间存在很强的相关性和互补性，可见光图像边缘清晰，并且可见光成像系统所成图像分辨率较高，这些正是红外图像很难具备重要特征。本发明的基本思想是借助高分辨率可见光图像来提高红外图像分辨率，基于本发明的基本思想，提出一种利用高分辨率的可见光图像边缘信息提高红外图像分辨率的方法，即基于多传感器的红外图像超分辨方法。
[0006]本发明利用高分辨率可见光图像提高红外图像分辨率的主要技术路线为，首先根据纹理掩蔽的自适应边缘提取算法分别提取红外图像和可见光图像的边缘，并根据相似性将提取的边缘分类为相关边缘和非相关边缘，其次利用红外图像与可见光图像在边缘上的二次仿射变换关系对红外图像高频细节进行估计，最后利用迭代反向投影法(IBP)优化得到重建的高分辨率红外图像。[0007]本发明提供的基于多传感器的低分辨率红外图像重建高分辨率红外图像的方法，具体内容主要包括以下步骤:
[0008](I)采用双线性插值法对由红外传感器得到的低分辨率红外图像进行上采样，得到高频细节模糊的高分辨率红外图像；
[0009](2)根据自适应边缘提取算法，分别提取同场景由步骤(1)得到的高频细节模糊的高分辨率红外图像和由可见光传感器得到的可见光图像的边缘；
[0010](3)将步骤(2)提取的同场景红外图像和可见光图像的边缘，根据相关系数分类为相关边缘和非相关边缘；
[0011](4)在步骤(3)得到的相关边缘基础上建立红外图像和可见光图像的二次仿射变换关系模型，根据所建模型结合可见光图像和红外图像的相关边缘对红外图像进行高频估计，得到红外图像的高频细节；
[0012](5)将步骤(4)得到的红外图像高频细节与步骤(1)得到的边缘模糊的高分辨率红外图像相加作为重建高分辨率红外图像的初始估计值，以此为基础进行多次反向投影迭代，得到重建的高分辨率红外图像。
[0013]在本发明的上述技术方案中，步骤(1)采用双线性插值法对由红外传感器得到的低分辨率红外图像进行不少于2倍的上采样。上采样的倍数越多越好，但计算的工作量会增大。
[0014]在本发明的 上述技术方案中，步骤(2)采取下述自适应边缘提取算法提取图像的边缘:
[0015]I)分别计算可见光图像和红外图像像素的梯度加权平均值的最大值；
[0016]2)由得到的梯度加权平均值的最大值分别计算可见光图像和红外图像边缘强度。
[0017]在本发明的上述技术方案中，步骤(3)中用于对图像边缘进行相关性分类的所述相关系数可采用归一化互相关算法来测定。归一化互相关算法具体可采取下述公式进行计算:
【权利要求】
1.一种低分辨率红外图像重建高分辨率红外图像的方法，其特征主要包括以下步骤: (1)采用双线性插值法对由红外传感器得到的低分辨率红外图像进行上采样，得到高频细节模糊的高分辨率红外图像； (2)根据自适应边缘提取算法，分别提取同场景由步骤(1)得到的高频细节模糊的高分辨率红外图像和由可见光传感器得到的可见光图像的边缘； (3)将步骤(2)提取的同场景红外图像和可见光图像的边缘，根据相关系数分类为相关边缘和非相关边缘； (4)在步骤(3)得到的相关边缘基础上建立红外图像和可见光图像的二次仿射变换关系模型，根据所建模型结合可见光图像和红外图像的相关边缘对红外图像进行高频估计，得到红外图像的高频细节； (5)将步骤(4)得到的红外图像高频细节与步骤(1)得到的边缘模糊的高分辨率红外图像相加作为重建高分辨率红外图像的初始估计值，以此为基础进行多次反向投影迭代，得到重建的高分辨率红外图像。
2.根据权利要求1所述的低分辨率红外图像重建高分辨率红外图像的方法，其特征在于，步骤⑴采用双线性插值法对由红外传感器得到的低分辨率红外图像进行不少于2倍的上采样。
3.根据权利要求1所述的低分辨率红外图像重建高分辨率红外图像的方法，其特征在于，步骤(2)采取下述自适应边缘提取算法提取图像的边缘: . 1)分别计算可见光图像和红外图像像素的梯度加权平均值的最大值；. 2)由得到的梯度加权平均值的最大值分别计算可见光图像和红外图像边缘强度。
4.根据权利要求1所述的低分辨率红外图像重建高分辨率红外图像的方法，其特征在于，步骤(3)中用于对图像边缘进行相关性分类的所述相关系数采用归一化互相关算法来测定。
5.根据权利要求4所述的低分辨率红外图像重建高分辨率红外图像的方法，其特征在于，所述归一化互相关算法公式如下:
6.根据权利要求5所述的低分辨率红外图像重建高分辨率红外图像的方法，其特征在于，同场景红外图像和可见光图像的边缘相关性判断条件为:当对应的红外图像和可见光图像以边缘像素点为中心的图像块相关系数S大于Ts，且提取的对应图像块的边缘强度T大于?；，两个条件同时满足，则认为两幅图像对应的边缘图像块相关，否则不相关，其中Ts为相关度常数，Te为强度常数。
7.根据权利要求6所述的低分辨率红外图像重建高分辨率红外图像的方法，其特征在于，建立红外图像和可见光图像二次仿射变换关系模型的条件为:对应的红外图像和可见光图像以边缘像素点为中心的图像块相关系数大于0.05，且提取的图像块的边缘强度大于.0.05，则对应的红外图像和可见光图像的边缘图像块之间进行二次仿射变换。
8.根据权利要求1所述的低分辨率红外图像重建高分辨率红外图像的方法，其特征在于，步骤(4)采取下述方法确定红外图像的高频细节: 1)确定估算平方误差函数； 2)根据平方误差函数的近似形式来计算相关边缘二次仿射变换的参数； 3)由相关边缘二次仿射变换的参数计算红外图像的高频细节。
9.根据权利要求8所述的低分辨率红外图像重建高分辨率红外图像的方法，其特征在于，所述估算平方误差函数为:
10.根据权利要求1所述的低分辨率红外图像重建高分辨率红外图像的方法，其特征在于，步骤(5)中所述的多次反向投影迭代过程如下: 1)将估计值的高频htl累加到边缘模糊的高分辨率红外图像作为高分辨图像初始估计值/ ; 2)模拟低分辨率图像产生过程:
If =(Dk(hin))*-q)i 式中h(n)为第η次迭代后的高分辨图像；P为通过h(n)产生的第K幅模拟低分辨率图像；Dk表示第K幅图像的运动矩阵；丨是下采样过程；q是前向投影算子，将4°>带入上式进行第一次迭代； 3)迭代生成高分辨率图像:
【文档编号】G06T5/50GK103971354SQ201410212397
【公开日】2014年8月6日 申请日期:2014年5月19日 优先权日:2014年5月19日
【发明者】吴炜, 王美洁, 李智, 苏冰山, 严斌宇, 杨晓敏 申请人:四川大学