基于两步稀疏编码和小波变换全色与多光谱图像融合方法与流程
本发明涉及图像融合领域，尤其涉及基于两步稀疏编码和小波变换全色与多光谱图像融合方法。
背景技术：
由于受传感器技术的限制，通常情况下全色图像传感器只能采集到空间分辨率高且光谱分辨率低的全色图像，其细节与纹理信息极为丰富，但是欠缺光谱信息；而多光谱传感器只能采集光谱分辨率高且空间分辨率低的多光谱图像，其光谱信息极为丰富，但欠缺细节信息；将全色图像与多光谱图像进行融合，可以充分利用其信息的互补性，更加全面、准确地描述场景信息，在军事、地质、国防、航空、遥感等领域有着重要应用。
现有的全色与多光谱图像的融合方法可总结为两类：一类是经典的融合方法，如ihs变换、pca变换、小波变换、基于高通滤波的融合方法等，此类方法计算简洁，图像细节信息丰富，但会存在光谱畸变现象；另一类是基于稀疏表示的图像融合方法，此类方法的思路可总结为两类：即传统的基于稀疏表示的思路和基于稀疏重构的思路，作为基于传统稀疏表示的方法之一，现有的基于稀疏表示和小波变换相结合的图像融合方法能有效丰富空间细节信息，因而可以取得较优的融合效果，但是传统稀疏表示方法需要训练字典，且对两幅图分别求解稀疏系数，因而计算复杂，时间消耗较大，另外，当小波分解的层数较多时，基于传统稀疏表示和小波变换相结合的图像融合方法会出现光谱畸变。因此，本发明提出基于两步稀疏编码和小波变换全色与多光谱图像融合方法，以解决现有技术中的不足之处。
技术实现要素：
针对上述问题，本发明通过两步稀疏编码算法可以提高算法效率，同时通过两步稀疏编码进行稀疏系数的求解，提高了稀疏表示的精度，改善了光谱畸变的问题，通过绝对值最大的原则进行融合可以提高融合结果，融合结果图像清晰、细节信息丰富，且光谱信息与原图一致性最高，运行时间较短。
本发明提出基于两步稀疏编码和小波变换全色与多光谱图像融合方法，包括以下步骤：
步骤一：基于两步稀疏编码的图像融合方法
s1：数据预处理：首先对大小为1024*1024的全色图像hrp进行采样，采样至全色图像hrp和多光谱图像ms同样大小的低分辨率大小为256*256的全色图像lrp一样；
s2：高低分辨率字典：先构建全色图像高分辨率字典hrd，然后通过构造hrd的方法进行构造lrp，最后以lrd字典构造的方式构造多光谱图像数据矩阵m；
s3：一步稀疏编码：求解多光谱数据第i列m(i)的稀疏系数a(i)，完成第一步稀疏编码，再根据公式(1)求解该过程后的信号残差r(i)；
r(i)＝m(i)-a(i)×lrd(i)(1)
s4：两步稀疏编码：通过omp算法再根据公式(2)求解出信号残差r(i)的稀疏表示系数b(i)，完成第二步稀疏编码；
r(i)＝lrd·b(i)(2)
s5：合并两步稀疏系数：将第i个元素加上a(i)，再根据公式(3)求解出信号m(i)在lrd上的完整稀疏表示系数c(i)；
s6：重构稀疏系数得到融合图像：根据公式(4)求解出x(i)，然后给x(i)的每一列加上hrd中对应的每一列的均值，最后进行块还原重构，得到融合后该通道的图像；
x(i)＝hrd·c(i)(4)
s7：对多光谱图像的每一通道图像进行s2到s6操作，然后得到每一通道的融合图像，最后得到高分辨率的融合多光谱图像；
步骤二：基于小波变换的融合方法
先通过小波变换将高分辨率的融合多光谱图像分解到一个低频图像和三个不同方向的高频图像，再按照不同级数又可以将高频子带分解到三个层次，三个层次分别是水平、垂直和对角，得到低频分量，再将得到的低频分量作为源图像的近似分量，然后对该分量基于冗余字典求解稀疏系数，再通过绝对值取大的原则对高频分量进行融合；
t1：小波变换：将ms与pan分别进行小波变换，然后得到低频分量和高频分量，并将得到的低频分量依次标记为a1、a2，将对应的高频分量依次标记为h1、v1、d1和h2、v2、d2；
t2：高频分量融合：将h2、v2、d2分别降采样至与h1、v1、d1相等大小，记作h3、v3、d3，再通过绝对值最大的原则，分别比较对应位置的h1、v1、d1和h3、v3、d3，最后根据h1、v1、d1和h3、v3、d3确定融合后对应的高频分量hf、vf、df；
t3：低频分量融合：将ms对应的低频分量a1和pan的低频分量a2进行两步稀疏编码，获得融合后的低频分量a3，再根据原始数据的大小，将a3降采样，得到与a1大小相等的低频分量af；
t4：逆变换：将融合后的低频分量af和融合后的高频分量hf、vf、df进行小波逆变换，得到该通道的融合图像，再通过按照上述t1到t4的操作对每个通道进行融合，得到最终的融合图像。
进一步改进在于：所述步骤一s2中全色低分辨率字典lrd的构造过程为：所述步骤一s2中全色图像高分辨率字典hrd的构建过程为：先对高分辨率全色图像hrp以
进一步改进在于：所述步骤一s2中全色低分辨率字典lrd的构建过程为：为了保证对hrp和lrp通过滑窗策略得到相同的图像块数，在构造全色低分辨率字典lrd时，选择大小为
进一步改进在于：所述步骤一s2中多光谱图像数据矩阵m构造过程为：由于多光谱图像ms和lrp图像大小一样最后通过lrd字典构造的方式，选择大小为
进一步改进在于：所述步骤二s3中先求解出多光谱数据第i列m(i)基于全色低分辨率字典中的第i个原子lrd(i)的稀疏系数a(i)，由于只在一个原子上进行稀疏分解，所以a(i)是一个常数，完成第一步稀疏编码，再根据公式(1)r(i)＝m(i)-a(i)×lrd(i)，求解第一步稀疏编码过程后的信号残差r(i)。
进一步改进在于：所述步骤二s4中先通过omp算法求解一步稀疏编码后信号残差r(i)基于低分辨率字典lrd的稀疏表示系数b(i)，b(i)的求解公式(2)为r(i)＝lrd·bi()，此时将残差在整个字典上进行分解，易知b(i)是一个列向量，然后完成第二步稀疏编码。
进一步改进在于：所述步骤二s5中由于m(i)首先在lrd(i)这个原子上进行了一步分解，所以首先进行更新b(i)中第i个元素系数值，即先将第i个元素加上a(i)，再保持其余位置不变，然后根据公式(3)
进一步改进在于：所述步骤二中高频分量融合时，由于高频分量的小波系数大多数接近于0，视作为是稀疏的，再通过一定的融合规则直接融合，无需进一步稀疏表示。
进一步改进在于：所述步骤二中绝对值取大的原则的数学表达如公式(5)所示：
其中，
本发明的有益效果为：通过两步稀疏编码算法直接对全色图像对应的低频分量和其降采样后的分量进行滑窗分块、去均值等处理来构造耦合字典对可以提高算法效率，同时通过两步稀疏编码进行稀疏系数的求解，提高了稀疏表示的精度，改善了光谱畸变的问题，通过绝对值最大的原则进行融合进行高频分量融合，边缘信息得到了充分保留，可以提高融合结果，本发明方法与传统的小波变换、传统稀疏表示等方法在主观视觉效果和客观评价指标方面具有更优的融合效果，融合结果图像清晰、细节信息丰富，且光谱信息与原图一致性最高，且运行时间较短,通过对全色与多光谱图像分别进行小波变换，对其高频分量采取绝对值最大原则进行融合，对其低频分量借鉴两步稀疏编码的相关思路进行重构，最终将融合后的低频分量和高频分量进行小波逆变换，即可得到最终的融合图像，是一种快速且高效有效的融合方法。
附图说明
图1为本发明方法中两步稀疏编码技术路线框架示意图。
图2为本发明方法中小波变换分层结构示意图。
图3为本发明方法技术路线框图。
具体实施方式
为了使发明实现的技术手段、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
根据图1、2、3所示，本实施例提出基于两步稀疏编码和小波变换全色与多光谱图像融合方法，包括以下步骤：
步骤一：基于两步稀疏编码的图像融合方法
s1：数据预处理：首先对大小为1024*1024的全色图像hrp进行采样，采样至全色图像hrp和多光谱图像ms同样大小的低分辨率大小为256*256的全色图像lrp一样；
s2：高低分辨率字典：对高分辨率全色图像hrp以
s3：一步稀疏编码：先求解出多光谱数据第i列m(i)基于全色低分辨率字典中的第i个原子lrd(i)的稀疏系数a(i)，由于只在一个原子上进行稀疏分解，所以a(i)是一个常数，完成第一步稀疏编码，再根据公式(1)求解该过程后的信号残差r(i)；
r(i)＝m(i)-a(i)×lrd(i)(1)
s4：两步稀疏编码：先通过omp算法求解一步稀疏编码后信号残差r(i)基于低分辨率字典lrd的稀疏表示系数b(i)，b(i)的求解公式如公式(2)所示，此时将残差在整个字典上进行分解，易知b(i)是一个列向量，然后完成第二步稀疏编码；
r(i)＝lrd·b(i)(2)
s5：合并两步稀疏系数：由于m(i)首先在lrd(i)这个原子上进行了一步分解，所以首先进行更新b(i)中第i个元素系数值，即先将第i个元素加上a(i)，再保持其余位置不变，然后根据公式(3)求解出信号m(i)在lrd上的完整稀疏表示系数c(i)，其中j表示b(i)中第j个元素
s6：重构稀疏系数得到融合图像：根据公式(4)求解出x(i)，然后给x(i)的每一列加上hrd中对应的每一列的均值，最后进行块还原重构，得到融合后该通道的图像；
x(i)＝hrd·c(i)(4)
s7：对多光谱图像的每一通道图像进行s2到s6操作，然后得到每一通道的融合图像，最后得到高分辨率的融合多光谱图像；
步骤二：基于小波变换的融合方法
先通过小波变换将高分辨率的融合多光谱图像分解到一个低频图像和三个不同方向的高频图像，再按照不同级数又可以将高频子带分解到三个层次，三个层次分别是水平、垂直和对角，得到低频分量，再将得到的低频分量作为源图像的近似分量，然后对该分量基于冗余字典求解稀疏系数，再通过绝对值取大的原则对高频分量进行融合，高频分量融合时，由于高频分量的小波系数大多数接近于0，视作为是稀疏的，再通过一定的融合规则直接融合，无需进一步稀疏表示，绝对值取大的原则的数学表达如公式(5)所示：
其中，
t1：小波变换：将ms与pan分别进行小波变换，然后得到低频分量和高频分量，并将得到的低频分量依次标记为a1、a2，将对应的高频分量依次标记为h1、v1、d1和h2、v2、d2；
t2：高频分量融合：将h2、v2、d2分别降采样至与h1、v1、d1相等大小，记作h3、v3、d3，再通过绝对值最大的原则，分别比较对应位置的h1、v1、d1和h3、v3、d3，最后根据h1、v1、d1和h3、v3、d3确定融合后对应的高频分量hf、vf、df；
t3：低频分量融合：将ms对应的低频分量a1和pan的低频分量a2进行两步稀疏编码，获得融合后的低频分量a3，再根据原始数据的大小，将a3降采样，得到与a1大小相等的低频分量af；
t4：逆变换：将融合后的低频分量af和融合后的高频分量hf、vf、df进行小波逆变换，得到该通道的融合图像，再通过按照上述t1到t4的操作对每个通道进行融合，得到最终的融合图像。
保持光谱信息的前提下，对本发明方法的融合效果与与传统的pca、hpf、dwt、sr以及dwt-sr方法的融合效果进行客观评价对比得出表1：
表1不同方法的客观评价指标
其中：ag为平均梯度,cc，q0、qw、qe与qab为光谱相关系数，通过表1可以得出本文方法pca、hpf、dwt、sr以及dwt-sr等经典方法的运行时间长，但从表1的主客观评价指标来看，本文方法的融合效果明显占优，与基于传统稀疏表示和小波变换相结合的方法相比，其运行时间明显缩短，并且融合效果得到改善。
通过两步稀疏编码算法直接对全色图像对应的低频分量和其降采样后的分量进行滑窗分块、去均值等处理来构造耦合字典对可以提高算法效率，同时通过两步稀疏编码进行稀疏系数的求解，提高了稀疏表示的精度，改善了光谱畸变的问题，通过绝对值最大的原则进行融合进行高频分量融合，边缘信息得到了充分保留，可以提高融合结果，本发明方法与传统的小波变换、传统稀疏表示等方法在主观视觉效果和客观评价指标方面具有更优的融合效果，融合结果图像清晰、细节信息丰富，且光谱信息与原图一致性最高，且运行时间较短,通过对全色与多光谱图像分别进行小波变换，对其高频分量采取绝对值最大原则进行融合，对其低频分量借鉴两步稀疏编码的相关思路进行重构，最终将融合后的低频分量和高频分量进行小波逆变换，即可得到最终的融合图像，是一种快速且高效有效的融合方法。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
- 还没有人留言评论。精彩留言会获得点赞！