基于总广义变分的红外图像多传感器超分辨率重建方法
【专利摘要】本发明公开了一种基于总广义变分的红外图像多传感器超分辨率重建的方法，主要包括：将低分辨率红外图像投射到高分辨率可见光图像的坐标空间，得到稀疏红外图像，由此稀疏红外图像求出数据项加权系数；归一化处理稀疏红外图像，得到归一化红外图像；由相位一致性算法求得高分辨率可见光图像的边缘信息；由数据项加权系数和归一化红外图像构造数据项；由可见光图像边缘信息对一阶梯度算子改进的TGV正则项加权，构造正则约束项；将数据项和正则约束项相加构造目标函数，以归一化红外图像为初始值，采用主-对偶优化算法迭代求解目标函数，得到重建的高分辨率红外图像。实验表明，采用本发明方法重建的图像质量更高，接近原始高分辨率红外图像。
【专利说明】基于总广义变分的红外图像多传感器超分辨率重建方法
【技术领域】
[0001] 本发明涉及一种红外图像处理技术，具体涉及一种利用高分辨率可见光图像引导 低分辨率红外图像进行超分辨率重建的方法，属于红外图像超分辨【技术领域】。
【背景技术】
[0002] 红外图像反映场景的辐射特性，这种特性能为多个应用领域提供有价值的信息， 如军事侦察和远程控制等，但与可见光图像相比，红外图像边缘模糊并且缺少纹理信息，直 接由红外传感器获取的红外图像空间分辨率有限，因而从红外图像中直接提取足够的信息 比较困难。提高红外图像的空间分辨率是一个亟待解决的问题。
[0003] 为了解决红外图像存在的上述问题，人们首先是从硬件方面进行研究，试图通过 研制高密度小像元尺寸的红外焦平面器件来解决上述问题，但在现有技术条件下，研制高 密度小像元尺寸的红外焦平面器件还有一定困难，且研制成本较高、研制效率低。鉴于此， 科研人员从算法理论方面进行探索，通过软件提高红外图像的分辨率。软件研究方面，一种 具有前景的方法是利用信号处理技术由低分辨率图像获得高分辨率图像，称这种方法为超 分辨率技术。目前的超分辨率技术主要分为三大类：1)基于插值的超分辨率技术，即利用己 知邻近像素的灰度值来产生待插值像素的灰度值，以此获得高分辨率图像。该技术重建的 高分辨率图像在边缘等不连续处质量较差。2)基于重构的超分辨率技术，该技术对图像的 退化过程建模，利用低分辨率图像和特定的图像退化模型对高分辨率图像的重建过程进行 约束，得到高分辨率图像。该技术存在先验知识少、重建图像的效果改进潜力不大等问题。 3)基于学习的超分辨率技术，该技术构造低分辨率和高分辨率图像样本库，通过学习样本 库得到低分辨率图像和高分辨率图像的内在联系，从而指导图像的超分辨率重建过程，获 得高分辨率图像。该技术中样本库的训练过程计算复杂度较大。以上传统的图像超分辨率 重建方法本身存在缺点，并且多是利用同一种传感器获得的图像进行重建，然而同一种传 感器获得的图像信息有限，不能提供更加全面的可利用的图像信息，因此基于传统方法所 重建的高分辨率红外图像的质量欠佳。
【发明内容】
[0004] 针对软件方面由低分辨率红外图像重建高分辨率红外图像技术的现状与不足，本 发明的目的旨在提供一种基于多传感器技术的红外图像超分辨率新方法，以此改善传统图 像超分辨率技术的缺点，并且使得重建获取的高分辨率红外图像的边缘细节清晰，从一定 程度上弥补红外图像自身固有的缺陷。
[0005] 同场景可见光图像与红外图像之间存在很强的相关性和互补性，可见光图像边缘 细节清晰，并且可见光成像系统获得的图像分辨率较高，这些正是红外图像很难具备重要 特征。超分辨率技术方面，正则化方法因其解决由低分辨率图像重建高分辨率图像时有效 求得优化解而得到广泛关注。本发明的基本思想是利用高分辨率可见光图像引导低分辨率 红外图像进行超分辨重建，并且结合正则化方法获取优化的高分辨率红外图像。基于此基 本思想，本发明提出一种基于多传感器技术和图像正则化超分辨率技术来获取高分辨率红 外图像的新方法。
[0006] 本发明结合相同场景的两种不同传感器获得的图像，利用正则化方法获取高分辨 率红外图像的技术方案为：首先利用红外图像来构造数据项；其次由相位一致性算法提取 可见光图像边缘信息，利用一阶梯度算子改进总广义变分（TGV)正则化模型，得到改进的 TGV正则项；然后利用可见光图像的边缘信息对改进的TGV正则项加权，得到最终的正则约 束项；最后采用一阶主-对偶优化算法求得最优解，最优解即为优化重建的高分辨率红外 图像。
[0007] 本发明提供的基于多传感器技术的红外图像超分辨率方法，具体内容主要包括以 下步骤： (1) 将低分辨率红外图像的像素点均匀扩散到高分辨率可见光图像的坐标空间，得到 稀疏的红外图像，并由此稀疏的红外图像求出数据项的加权系数； (2) 对步骤（1)得到的稀疏红外图像进行归一化处理，得到归一化的红外图像； (3) 依据相位一致性算法提取高分辨率可见光图像的边缘，获得高分辨率可见光图像 的高频边缘信息； (4) 由步骤（1)得到的数据项加权系数和步骤（2)得到的归一化红外图像构造数据项； (5) 将步骤（3)得到的边缘信息对一阶梯度算子改进的TGV正则项加权，得到正则约束 项； (6) 将步骤（4)得到的数据项和步骤（5)得到的正则约束项相加作为本发明获取高分 辨率红外图像的目标函数，利用步骤（2)得到的归一化红外图像作为初始值，采用主-对偶 优化算法迭代求解目标函数，获得高分辨率红外图像。
[0008] 本发明的上述技术方案中，步骤（1)由稀疏的红外图像求出数据项加权系数的具 体规则为：在稀疏的红外图像没有像素点覆盖的坐标点处系数值为〇,否则为1。
[0009] 本发明的上述技术方案中，步骤（2)采取下述方法计算出归一化的红外图像： 1) 求出步骤（1)得到的稀疏红外图像像素灰度值大于0的集合，然后求出此集合中像 素灰度值的最小值和最大值； 2) 依据上述像素灰度值的最小值、最大值和稀疏红外图像求得归一化红外图像。
[0010] 本发明的上述技术方案中，步骤（3)利用相位一致性算法求可见光图像边缘信息 P的计算公式如下：
【权利要求】
1. 一种基于总广义变分的红外图像多传感器超分辨率重建的方法，其特征主要包括以 下步骤： (1) 将低分辨率红外图像的像素点均匀扩散到高分辨率可见光图像的坐标空间，得到 稀疏的红外图像，并由此稀疏的红外图像求出数据项的加权系数； (2) 对步骤（1)得到的稀疏红外图像进行归一化处理，得到归一化的红外图像； (3) 依据相位一致性算法提取高分辨率可见光图像的边缘，获得高分辨率可见光图像 的高频边缘信息； (4) 由步骤（1)得到的数据项加权系数和步骤（2)得到的归一化红外图像构造数据 项； (5) 将步骤（3)得到的边缘信息对一阶梯度算子改进的总广义变分（TGV)正则项加权， 得到正则约束项； (6) 将步骤（4)得到的数据项和步骤（5)得到的正则约束项相加作为获取高分辨率红 外图像的目标函数，利用步骤（2)得到的归一化红外图像作为初始值，采用主-对偶优化算 法迭代求解目标函数，获得高分辨率红外图像。
2. 根据权利要求1所述的基于总广义变分的红外图像多传感器超分辨率重建方法，其 特征在于，步骤（1)由稀疏的红外图像求出数据项加权系数的具体规则为：在稀疏的红外 图像没有像素点覆盖的坐标点处系数值为〇,否则为1。
3. 根据权利要求1所述的基于总广义变分的红外图像多传感器超分辨率重建方法，其 特征在于，步骤（2)采取下述方法计算出归一化的红外图像： 1) 求出步骤（1)得到的稀疏红外图像像素灰度值大于0的集合，然后求出此集合中像 素灰度值的最小值和最大值； 2) 依据上述像素灰度值的最小值、最大值和稀疏红外图像求得归一化红外图像。
4. 根据权利要求1所述的基于总广义变分的红外图像多传感器超分辨率重建方法，其 特征在于，步骤（3)依据相位一致性算法提取可见光图像边缘的计算公式如下：
上式中Θ e [〇, π]，表示角度；φη(χ，Θ)表示信号在x处第n个傅里叶分量的相位 值；
是使得上式在X处取最大值时其傅里叶各分量局部相角的加权平均；Ρ表示 信号在X处的相位一致性的值；W(x，Θ )为频率传播加权量；Αη(χ，Θ )为信号在χ处第η个 傅里叶分量的幅度值；ε是一个避免分母为〇的很小的常量；Τ为噪声阈值；I」是一个数 学运算，当所求值为正时最终结果取自身，否则为0。
5. 根据权利要求1所述的基于总广义变分的红外图像多传感器超分辨率重建方法，其 特征在于，步骤（4)所构造数据项的表达式为：
上式中U为每次迭代计算后的高分辨率红外图像运算结果，In为步骤（2)得到的归一 化红外图像，ω为步骤（1)得到的数据项加权系数，C为高分辨率可见光图像的坐标空间。
6. 根据权利要求1所述的基于总广义变分的红外图像多传感器超分辨率重建方法，其 特征在于，步骤（5)构造正则约束项的方法如下： 1) 利用一阶梯度算子改进TGV正则项，所得表达式如下：
上式中常数α 2、a i和α ^为权重参数，ν为TGV正则化算法中的对称矩阵； 2) 利用步骤（3)求得的边缘信息Ρ对改进的TGV正则项进行加权，所得表达式为：
上式即为最终的正则约束项。
7. 根据权利要求1所述的基于总广义变分的红外图像多传感器超分辨率重建方法，其 特征在于，步骤（6)所述获取高分辨率红外图像Ι Η的目标函数的表达式为：
上式由数据项和正则约束项相加构成。
8. 根据权利要求7所述的基于总广义变分的红外图像多传感器超分辨率重建方法，其 特征在于，对目标函数采用一阶主-对偶优化算法迭代计算，将目标函数转化为下述表达 式：
其中P，q为主-对偶优化算法中的双变量，其所在集合分别如下：
9. 根据权利要求8所述的基于总广义变分的红外图像多传感器超分辨率重建方法，其 特征在于，采用一阶主-对偶优化算法结合梯度下降法具体迭代计算时将主变量选为u和 V，步长0p和Θ q为大于〇的常数，第一次迭代时，u取为In，取V，p, q, IV να均为0,包括 以下步骤： 1)对偶变量通过梯度上升迭代更新：
上式中1?和V(l为迭代计算的中间结果； 2) 主变量通过梯度下降迭代更新：
上式中ku、kv为步长，其取值随输入图像的不同而变化； 3) 主变量进一步优化，计算公式如下：
上式中μ的值在每次迭代时都进行特定的更新； 4) 本发明设定迭代次数上限，当前后两次迭代运算的结果满足以下条件时输出计算结 果：
上式中e为误差阈值，所求高分辨率红外图像的分辨率为ΜΧΝ，若不满足上述条件，则 循环如上迭代优化算法的1)?3)步骤直到上限次数，然后输出高分辨率红外图像的计算 结果。
【文档编号】G06T5/50GK104252704SQ201410477298
【公开日】2014年12月31日 申请日期:2014年9月18日 优先权日:2014年9月18日
【发明者】吴炜, 苏冰山, 杨晓敏, 刘凯, 陈雨 申请人:四川大学