基于全局结构和自相似性约束的高光谱与多光谱图像融合

本发明属于图像融合领域，具体涉及一种基于全局结构和光谱自相似性约束的高光谱与多光谱图像融合方法。

背景技术：

1、图像融合是将两幅或以上的相同场景下的不同模式的图像融合到一起获得一幅信息更为全面的图像，以此来提高图像的利用率。高光谱成像技术能够同步采集光谱及目标图像，有效地区分物体表面物质，给军事、食品安全和天文等领域带来了极大便捷。然而其成像系统工作的波带较为狭窄，同时又需要达到较高的信噪比，因此传感器往往要尽可能的多收集空间内的光子，这就会降低高光谱图像的分辨率。而多光谱图像具有较高的空间分辨率，但其光谱信息不够丰富。因此选择恰当的融合方法将红外图像跟可见光图像进行融合即可集二者的优点于一张图，使其具有分辨率和光谱信息都较高的特点。融合后的图像可被应用在天文学、食品安全和农业等领域，可有效提高各方面的工作效率。

2、高光谱图像超分辨率方法有两大类：基于融合的超分辨率方法和基于单图像的高光谱图像超分辨率算法。基于单图像的高光谱图像超分辨率算法因为没有辅助图像，往往会因为丢失某部分信息而使得结果图不完整，无法达到预期目标。而主流的图像融合超分辨率方法有矩阵分解、张量分解和深度学习等方法，其中张量分解方法即把高光谱图像作为一个三维张量，对hrhs图像进行分割、聚类和集合的操作。深度学习则是利用神经网络等对图像进行特征学习和提取。而矩阵分解法具有泛化能力强，空间复杂度低以及具备更好的扩展性和灵活性等优点，因此被广泛用于解决高光谱与多光谱图像融合问题。但目前大多数融合方法只利用多光谱图像的空间信息或光谱中的某一个信息来优化高光谱与多光谱图像的融合。如 nssr算法只利用了多光谱图像空间相关性；cnmf算法只利用了多光谱图像的光谱信息，导致重构的高光谱图像存在一定的扭曲，丢失了部分结构细节。

技术实现思路

1、本发明旨在现有技术中存在的上述技术问题。为此，本发明提出一种基于全局结构和光谱自相似性约束的高光谱与多光谱图像融合方法，能够提高融合图像的质量并将更多的有用信息继承到融合图像中去。

2、根据本发明的第一方面实施例，提供了一种高光谱图像融合重建分辨率方法，包括如下步骤：

3、s1.获取低分辨率高光谱图像lrhs，以及对应的高分辨率多光谱图像hrms，从而构成训练数据；

4、s2.对低空间分辨率高光谱图像lrhs进行光谱字典学习得到过完备字典d；

5、s3.从高空间分辨率多光谱图像hrms中提取全局结构和光谱自相似性矩阵，构造自相似约束；

6、s4.采用步骤s2得到的过完备字典和步骤s3中的自相似性约束矩阵，求解全局凸优化得到预估计的高空间分辨率高光谱图像hrhs。

7、步骤s2所述的光谱字典学习会避免由于不同材料的高光谱反射率差异大，学习通用高光谱字典应用于不同场景往往造成的很大程度光谱失真。

8、所述的光谱字典学习是通过在线字典方式直接从观察到的lrhs图像中学习高光谱字典，以建立更好的表示场景光谱的高光谱字典。

9、所述的lrhs图像中像素的稀疏矩阵的稀疏编码a和字典d都应具有非负性，对稀疏编码a和字典d增加非负约束。

10、所述的非负约束采用acmm技术，将受约束的字典学习问题转换为不受约束优化问题。

11、步骤s3中的自相似性约束即对稀疏系数a进行优化。利用hrms图像中的结构和光谱信息作为估计hrhs图像的先验知识，指导优化问题，获得预估真实图像。

12、所述的全局结构自相似性，对hrms图像每个像素为中心的局部正方形窗口进行采样，获取带结构的像素块，像素之间的结构相似性由以其为中心的像素块之间的相似性来衡量，这适用于整个图像平面中的邻近块和非相邻块。结构相似的像素共享相似的高光谱信息，因此，每个像素可以用与其结构相似的其他邻近和非邻近像素表达。

13、所述的全局光谱自相似性：在相同物质(同质)区域，像素之间在同一光谱段具有相似的值，即光谱相似性，因此每个像素可以用与其光谱相似的像素表达。在整个图像平面，在不同的区域可能存在相同物质，这些物质在像素上表现为相似的光谱，并且像素可以用与其光谱相似的像素线性组合表示。

14、步骤s4中的凸优化求解由admm框架解决。

15、所述的admm框架可以将约束和目标函数分开，将优化问题分解为几个可以被有效解决的子问题。

16、本发明的优势将在下面的描述中部分给出：

17、(1)本申请所述方案为基于融合的高光谱图像超分辨率方法，与基于单图像的高光谱图像超分辨率方法相比，本申请方案可以获得质量更好的高分辨率高光谱图像，避免了单图像的高光谱图像超分辨率产生的信息扭曲，丢失结构细节的问题。

18、(2)本申请所述方案提出的一种基于全局结构和光谱自相似性约束的高光谱与多光谱图像融合方法，其基于矩阵分解中的稀疏表示方法，具有泛化能力强，空间复杂度低以及具备更好的扩展性和灵活性等优点。

19、(3)本申请所述方案充分利用了多光谱图像的空间结构信息和高光谱图像的光谱信息，解决了以往方法中单一利用空间信息或光谱信息的问题，减少了信息损失，使融合结果信息更丰富。

技术特征：

1.一种基于全局结构和光谱自相似性约束的高光谱与多光谱图像融合方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于全局结构和光谱自相似性约束的高光谱与多光谱图像融合方法，其特征在于主要是稀疏系数模型的设计，通过最小化低空间分辨率高光谱图像lrhs和高空间分辨率多光谱图像hrms的重建误差来计算。

3.根据权利要求1所述的基于全局结构和光谱自相似性约束的高光谱与多光谱图像融合方法，其特征在于充分利用了多光谱图像的空间结构信息和高光谱图像的光谱信息，减少了信息损失，使融合结果信息更丰富。

4.根据权利要求1所述的基于全局结构和光谱自相似性约束的高光谱与多光谱图像融合方法，其特征在于步骤1所述的光谱字典学习会避免由于不同材料的高光谱反射率差异大，学习通用高光谱字典应用于不同场景往往造成的很大程度光谱失真。

5.根据权利要求4所述的基于全局结构和光谱自相似性约束的高光谱与多光谱图像融合方法，其特征在于采用在线学习方式直接从观察到的低空间分辨率高光谱图像中学习高光谱字典，以建立更好地表示场景光谱的高光谱字典。

6.根据权利要求1所述的基于全局结构和光谱自相似性约束的高光谱与多光谱图像融合方法，其特征在于步骤2中对全局结构自相似性矩阵获取包括：对高分辨率多光谱图像hrms每个像素为中心的局部正方形窗口进行采样，获取带结构的像素块，像素之间的结构相似性由以其为中心的像素块之间的相似性来衡量，这适用于整个图像平面中的邻近块和非相邻块。结构相似的像素共享相似的高光谱信息，因此，每个像素可以用与其结构相似的其他邻近和非邻近像素表达。

7.根据权利要求1所述的基于全局结构和光谱自相似性约束的高光谱与多光谱图像融合方法，其特征在于步骤2中对全局光谱自相似性矩阵获取包括：在相同物质(同质)区域，像素之间在同一光谱段具有相似的值，即光谱相似性，因此每个像素可以用与其光谱相似的像素表达。在整个图像平面，在不同的区域可能存在相同物质，这些物质在像素上表现为相似的光谱，并且像素可以用与其光谱相似的像素线性组合表示。

8.根据权利要求1所述的基于全局结构和光谱自相似性约束的高光谱与多光谱图像融合方法，其特征在于步骤3稀疏系数优化问题通过交替方向乘法器(admm)有效解决。

9.根据权利要求8所述的基于全局结构和光谱自相似性约束的高光谱与多光谱图像融合方法，其特征在于admm框架可以将约束和目标函数分开，将稀疏系数a的优化问题被分解为几个子问题，并将其有效解决。

10.根据权利要求1所述的基于全局结构和光谱自相似性约束的高光谱与多光谱图像融合方法，其特征在于采用耦合稀疏表示策略，同时最大程度降低高光谱图像和多光谱图像的重建误差，重建的高空间分辨率高光谱图像hrhs更接近参考图像。

技术总结
本发明公开了一种基于全局结构和光谱自相似性约束的高光谱与多光谱图像融合方法，本发明包括获取低分辨率高光谱图像和高分辨率多光谱图像构成训练数据；通过将高光谱图像进行光谱学习得到完备字典，其次把多光谱图像的全局结构和光谱自相似性作为约束条件，实现空间结构信息和光谱信息的充分利用，最后进行全局凸优化求解得到高质量融合图像。本发明得到的融合结果有效保留了高光谱图像的光谱信息和多光谱图像的空间结构信息且起到了最小化重建误差的作用，有良好的融合效果，提高了融合性能。

技术研发人员：杨琳琳,廖斌
受保护的技术使用者：华北电力大学
技术研发日：
技术公布日：2024/1/16