基于分块自适应特征跟踪的多传感器图像融合方法
【专利摘要】本发明提供一种基于分块自适应特征跟踪的多传感器图像融合方法，该方法由如下步骤构成：1将待融合的两幅源图像都划分成图像块，并将每块图像块的像素表示成列向量，得到源图像的块像素矩阵表示；2将像素矩阵去直流分量后进行稀疏分解，得到每块图像块的稀疏分解系数；3对图像块的稀疏分解系数进行融合，得到融合图像块系数矩阵；4对图像块的融合图像块系数矩阵进行重构，再加上直流分量，得到融合图像块像素矩阵；5还原所有位置的图像块的融合图像块像素矩阵，得到最终的融合图像；其中，稀疏分解中采用一种复合迭代终止策略，对系统残差、系统残差迭代收敛速率和系统稀疏度进行综合控制，从而更为快捷地得到质量更好的融合图像。
【专利说明】基于分块自适应特征跟踪的多传感器图像融合方法
【技术领域】
[0001]本发明涉及图像处理【技术领域】，包括图像融合、匹配追踪和信号稀疏分解等，具体涉及一种基于分块自适应特征跟踪的多传感器图像融合方法。
【背景技术】
[0002]通常来讲，图像融合的目的是将来源于多通道设备或多传感器所获得的关于同一物体的图像数据信息经过图像处理的相关技术，尽可能的从中提取有用的信息进行融合，最终得到一幅高质量的合成图像。从而提高图像信息的利用率，改善原始图像的空间分辨率和光谱分辨率，为后续的分析和处理提供方便。图像融合技术在不同领域都有着广泛应用，大致可分为三种:多聚焦图像融合、遥感多谱段图像融合和多模态医疗影像图像融合。
[0003]对于多聚焦图像，为了获得一个三维场景的清晰的图像，通常希望通过一次拍摄保留在焦平面上的信息越详细越好。然而，由于摄像装置景深的物理限制，这样的一次拍摄是很难实现的。但是关于同一场景的一组不同焦点的图像是容易获得的，通过特定的融合规则将不同焦点位置上的聚焦图像融合，就可以产生“全聚焦”的图像。这类图像融合通常应用在于监视系统、军事分析、机器视觉和视觉系统增强等方面。
[0004]另外，在航空航天、气象和地形测绘、水利建设、城市规划和实时监控等领域，通常需要将从红外摄像机获得的红外光谱图像和从数字摄像机上获得的可见光图像进行融合。实际上，红外图像包含目标检测和定位信息，可见光图像往往提供被调查区域的背景信息。通过多光谱图像融合，可以获得进一步的数据完整性分析和场景的准确表示。
[0005]针对图像融合，研究者提出了各种各样的融合规则。最简单的方法是直接对输入图像在空间域进行加权平均，但是这样无法避免地造成细节特征损失和对比度下降等问题。在众多的信号处理方法中，人们希望找到一种稀疏的信号表示方式，采用稀疏逼近取代原始数据表示可从实质上降低信号处理的成本，提高压缩效率。近年，超完备的信号稀疏表示理论得到了长足的发展和应用，1993年Mallat和Zhang首次提出了应用超完备冗余字典对信号进行稀疏分解的思想，并引入了匹配追踪(marching pursuit, MP)算法。和传统的多尺度变换的信号分解方法相比，基于冗余字典的信号分解是将信号映射到一个经过训练的过完备(冗余)的字典上，通过一定的迭代从字典中挑选出最佳原子，然后选择这些原子的线性组合来描述信号。字典的构成没有任何限制，原则是尽可能好的符合被逼近信号的结构。过完备表示字典中的基准原子数目超过信号的维数，这样的字典包含丰富的变换基，保证信号更稳定，更有意义的表示。正交匹配追踪算法(OMP)在MP算法的基础上，在分解的每一步对所选择的全部原子进行正交化处理，提高迭代算法的收敛速度。但是，无论是MP算法，还是OMP算法，在处理复杂图像过程中，不可避免的存在误差和计算量过大，操作时间过长，效率不高等问题，影响算法的实时性和可操作性。
[0006]对于源图像的各个图像块而言，其包含的纹理信息是不相同的，有的可能比较平滑，低频分量多，高频分量少，有的可能细节比较丰富；如果仅仅采用一种控制机制进行图像块的稀疏分解是不合适的。举例而言，对于误差控制机制，即在给定逼近误差下进行稀疏分解，对于图像细节丰富的图像块，为了到达给定误差，需要分配越来越多的原子函数，特别是在图像块的纹理信息和所采用的字典不是太符合的情况下，问题尤其突出，无法获得稀疏表示，因为即使再增加新的原子函数，对逼近误差的下降带来的贡献也很低。另外，对于稀疏度的控制机制，是指在给定稀疏度要求下的稀疏分解，对于上述图像细节丰富的图像块，它能够很好的控制其稀疏度，避免使用过多的原子函数进行表示。但是对于平滑的图像块就不太合适的，因为对于这类图像块稀疏度很低，本来只需要很少量的原子函数就可以完成稀疏表示，但是现在却浪费了过多的原子函数，影响了算法的执行效率。综上所述，采用单一的稀疏分解控制机制无法提供高效的图像稀疏表示的方案。
[0007]由于上述原因，本发明人对现有的图像融合技术，尤其是OMP算法进行了深入研究，以期待研制出能够克服上述问题的图像融合方法。
【发明内容】
[0008]为了克服上述问题，本发明人进行了锐意研究，结果发现通过改变OMP算法的迭代终止条件，采用一种复合迭代终止策略，对系统残差、系统残差迭代收敛速率和系统稀疏度进行综合控制的方式来改进OMP算法，同时运用该改进的OMP算法对两幅待融合的源图像分割成的图像块进行稀疏度分解，再依次进行系数融合、系数矩阵的重构和像素矩阵的还原，得到最终的融合图像，从而完成本发明。
[0009]具体来说，本发明的目的在于提供以下方面:
[0010](I) 一种基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，在对图像块像素矩阵进行稀疏分解的过程中，在下述情况下，迭代过程终止:
[0011]迭代次数大于或等于预定的系统稀疏度值；
[0012]或者，系统残差的迭代收敛速率小于或等于预定的迭代收敛速率阈值，并且系统残差范数小于或等于预定系统残差阈值的平方。
[0013](2)根据上述(I)所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，
[0014]预定系统残差阈值为:误差噪声的方差、常数C和列向量维数的算术平方根三者的乘积；
[0015]预定的系统稀疏度值为:图像块按行扫描生成的列向量的维数与数值3的比值；
[0016]预定的迭代收敛速率阈值为给定的O~I范围的常数。
[0017](3)根据上述(I)所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，
[0018]预定系统残差阈值为
【权利要求】
1.一种基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，在对图像块像素矩阵进行稀疏分解的过程中，在下述情况下，迭代过程终止: 迭代次数大于或等于预定的系统稀疏度值； 或者，系统残差的迭代收敛速率小于或等于预定的迭代收敛速率阈值，并且系统残差范数小于或等于预定系统残差阈值的平方。
2.根据权利要求1所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，预定系统残差阈值为:误差噪声的方差、常数C和列向量维数的算术平方根三者的乘积； 预定的系统稀疏度值为:图像块按行扫描生成的列向量的维数与数值3的比值； 预定的迭代收敛速率阈值为给定的O~I范围的常数。
3.根据权利要求2所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于， 预定系统残差阈值为f = (7.σ.、/--"； 预定的系统稀疏度值为.K = 了, 预定的迭代收敛速率阈值为Crtl ； 其中，ε表示预定系统残差阈值，C表示取值为1.15的常数，σ表示误差噪声的方差，σ取值为1，N为图像块按行扫描生成的列向量的维数，所述；Κ表示预定的系统稀疏度值，cr0取值为0.15。
4.根据权利要求1所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，对图像块像素矩阵进行稀疏分解通过利用遵循自适应终止策略的OMP算法进行，包括如下子步骤: 子步骤1，初始化系统残差阈值、预定的迭代收敛速率阈值和系统稀疏度值，令rl = Vm，縣纖H軒動龍雛，m絲細:t弓丨齡錄;财，r:穌Urn块图像块在第O次迭代后的系统残差，Vm表示第m块图像块的列向量； 子步骤2，计算出第i次迭代的系统残差和字典矩阵的列之间的内积中最大值所对应的脚标Xi ;其中，i是自然数，用于表示迭代的次数； 子步骤3，利用脚标Xi更新索引集，Ai= Ah U {λ J，并记录选择的字典矩阵中重建原子的集合Di, Di =\D ,,其中，Ai表示新的索引集即第i次迭代后的索引集，Ai^1为第1-Ι次迭代后的索引集，{λ J是字典索引的集合，Dp1是第1-Ι次迭代后的原子的集合，&是由字典索引对应的原子函数； 子步骤4，由最小二乘法得到第i次迭代后，稀疏矩阵系数的估计变量$所述稀疏矩阵系数的估计变量.即为利用已选择的原子集合Di对Vm进行最优表示得到的系数值； 子步骤5，更新第i次迭代的残差r = r;_1 -DiXi,并更新迭代次数i = i+1;其中，是指第i次迭代后的系统残差，IV1是指第1-Ι次迭代后的系统残差； 子步骤6，判断系统残差、系统残差的迭代收敛速率和迭代次数是否满足迭代过程的终止迭代条件，如果满足，迭代终止，得到稀疏分解系数；如果不满足，返回子步骤2，继续进行后续子步骤。
5.根据权利要求1所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，该方法包括如下步骤 步骤1，将待融合的两幅源图像都划分成图像块，每块图像块大小一致，任何相邻的两块图像块都具有重叠部分；并将每块图像块的像素表示成列向量，得到每块图像块的像素矩阵，即得到源图像的块像素矩阵表示； 步骤2，将每块图像块的像素矩阵去直流分量后进行稀疏分解，得到每块图像块的稀疏分解系数； 步骤3，根据能量最大原则对对应位置的每块图像块的稀疏分解系数进行融合，得到该位置的图像块的融合图像块系数矩阵； 步骤4，对该位置的图像块的融合图像块系数矩阵进行重构，再加上直流分量的重构值，得到该位置的 图像块的融合图像块像素矩阵； 步骤5，还原所有位置的图像块的融合图像块像素矩阵，得到最终的融合图像； 其中，待融合的两幅源图像是针对同一场景在不同焦距位置处获得的两幅图像，或者针对同一场景在不同照射光波长的光谱条件下的两幅光谱图像； 所述去直流分量包括计算各个图像块的平均像素值，然后从各个图像块的像素值中减去该平均值，即直流分量是各个图像块的平均像素值； 能量最大原则是将两幅源图像的对应位置图像块的稀疏分解系数绝对值最大者作为融合后图像块对应位置的稀疏分解系数； 重构是重新构成各个图像块的空间像素表示，即将图像块的一维表示还原为二维表/Jn ο
6.根据权利要求5所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，具有重叠部分的相邻两块图像块通过滑动窗口技术获得，每次平移两个像素点，即滑动步长为2。
7.根据权利要求5所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，重构的方法为:由融合后的稀疏系数值恢复出图像块的空间像素表示，对于相邻图像块间的重叠部分，计算其同一位置的像素值平均值作为最终像素矩阵的计算结果。
8.根据权利要求5所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，还原融合图像块像素矩阵包括还原融合图像块重叠部分的像素矩阵和直流分量部分的像素矩阵；其中，对于重叠部分的像素矩阵，通过取其像素矩阵平均值的方式获得融合图像的重叠分量像素矩阵，对于直流分量部分的像素矩阵，通过对源图像块的直流分量进行加权操作的方式获得融合图像的直流分量像素矩阵。
9.根据权利要求5所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，该方法中所用到的字典为过完备字典，该字典是固定的训练字典， 或者是混合字典，所述混合字典是由小波域字典和DCT冗余字典混合得到的。
【文档编号】G06T5/00GK104008533SQ201410271445
【公开日】2014年8月27日 申请日期:2014年6月17日 优先权日:2014年6月17日
【发明者】廖斌, 沈静, 刘文召 申请人:华北电力大学