一种可见光图像与多光谱图像的图像融合方法及系统

本发明涉及图像处理，特别是涉及一种可见光图像与多光谱图像的图像融合方法及系统。

背景技术：

1、作物各种指标的监测对于指导农业生产和提高农业产量至关重要，可以促进疾病的早期防治、产量预测和自动收获。但是传统的监测方法存在一些缺点，包括由人工监测和通过单个传感器进行监测，人工监测农作物的检测精度较高，但费时费力，特别是农业信息获取的延迟会严重影响农产品的产量和质量；使用单个传感器的监测方法不准确，存在光谱分辨率和空间分辨率的平衡问题，因此改进作物和牲畜监测方法的研究至关重要。

2、图像融合技术可以帮助从两幅或多幅图像中提供重要信息，从而获得综合的农业信息。图像融合分为像素级、特征级和决策级三个不同的处理级别。像素级图像融合涉及在严格配准的条件下直接合成每个传感器的输出信号，它是图像融合的最低层次，可以产生准确和丰富的细节，但处理的信息量大，需要很长时间。特征级图像融合涉及从多个传感器的图像中提取纹理、形状、边缘、轮廓和其他与特征相关的信息，并对其进行合成和处理。这是一种中间级别的图像融合，保留尽可能多的有用信息，并可以压缩它，这有利于实时处理。决策级图像融合是最高级信息表示的融合处理。首先，对每个传感器获得的图像分别进行预处理、特征处理、识别或判断，建立对同一目标的初步判断和结论。然后，通过关联(配准)处理每个传感器的决策。最后进行决策级融合处理，得到最终的联合决策。它具有一定的容错性，但需要进行更多的图像预处理，可能会导致图像相关信息的丢失。特征级和决策级融合存在信息损失，像素级融合数据变化相对较小。与特征级和决策级融合技术相比，像素级融合技术计算量较大，导致像素级图像融合速度慢。

技术实现思路

1、本发明的目的是提供一种可见光图像与多光谱图像的图像融合方法及系统，提高了图像融合效率。

2、为实现上述目的，本发明提供了如下方案：

3、本发明公开了一种可见光图像与多光谱图像的图像融合方法，包括：

4、采集农田区域的可见光图像与多光谱图像；

5、基于轮廓的匹配方法对所述可见光图像与所述多光谱图像进行图像配准；

6、基于配准后的所述可见光图像与所述多光谱图像，采用改进后的约束非负矩阵分解方法分别对所述多光谱图像和所述可见光图像进行分解，得到所述多光谱图像的图像端元矩阵和图像丰度矩阵，以及所述可见光图像的图像端元矩阵和图像丰度矩阵，所述改进后的约束非负矩阵分解方法为引入l1/2正则化子稀疏性扩展非负矩阵分解方法；

7、采用l1/2正则化子稀疏性扩展非负矩阵分解方法的迭代估计算法，对当前多光谱图像的图像端元矩阵和图像丰度矩阵，以及当前可见光图像的图像端元矩阵和图像丰度矩阵进行更新，直到满足迭代停止条件；

8、将满足迭代停止条件时，当前多光谱图像的端元矩阵和当前可见光图像的丰度矩阵进行融合得到融合图像。

9、可选地，采集农田区域的可见光图像与多光谱图像，具体包括：

10、通过农业无人机搭载禅思p1和rededge-m分别采集农田区域的可见光图像与多光谱图像。

11、可选地，基于轮廓的匹配方法对所述可见光图像与所述多光谱图像进行图像配准，具体包括：

12、采用边缘检测器分别对所述可见光图像和所述多光谱图像进行轮廓提取，得到可见光图像轮廓和多光谱图像轮廓；

13、基于局部曲率和全局曲率的曲率尺度空间角点检测器提取所述多光谱图像轮廓中的第一特征点，提取所述可见光图像轮廓中的第二特征点；

14、分别从所述第一特征点和所述第二特征点中提取改进的尺度不变特征变换描述子，得到第一描述子和第二描述子；提取所述改进的尺度不变特征变换描述子时，对提取了第一特征点或者第二特征点的图像进行梯度幅度分段归一化，从进行了梯度幅度分段归一化的图像中提取尺度不变特征变换描述子；

15、基于所述第一描述子和第二描述子，利用旋转角度估计和连接线一致性理论进行双边匹配，得到第一匹配结果；

16、采用随机样本一致性算法对所述第一匹配结果进行多次迭代，得到第二匹配结果；

17、根据所述第二匹配结果中每对特征点的投影矩阵和投影矩阵对应的拟合点进行匹配优化，得到最终匹配结果。

18、可选地，所述迭代停止条件为达到预设迭代次数或者达到收敛条件，所述收敛条件为每次迭代更新后的多光谱图像与原始多光谱图像之差小于阈值，且更新后的可见光图像与原始可见光图像之差小于阈值。

19、可选地，所述多光谱图像的波段包括红光波段、绿光波段、蓝光波段、红边光波段和近红外光波段。

20、可选地，利用所述融合图像进行农作物分割。

21、本发明还公开了一种可见光图像与多光谱图像的图像融合系统，包括：

22、图像采集模块，用于采集农田区域的可见光图像与多光谱图像；

23、图像配准模块，用于基于轮廓的匹配方法对所述可见光图像与所述多光谱图像进行图像配准；

24、图像分解模块，用于基于配准后的所述可见光图像与所述多光谱图像，采用改进后的约束非负矩阵分解方法分别对所述多光谱图像和所述可见光图像进行分解，得到所述多光谱图像的图像端元矩阵和图像丰度矩阵，以及所述可见光图像的图像端元矩阵和图像丰度矩阵，所述改进后的约束非负矩阵分解方法为引入l1/2正则化子稀疏性扩展非负矩阵分解方法；

25、图像更新模块，用于采用l1/2正则化子稀疏性扩展非负矩阵分解方法的迭代估计算法，对当前多光谱图像的图像端元矩阵和图像丰度矩阵，以及当前可见光图像的图像端元矩阵和图像丰度矩阵进行更新，直到满足迭代停止条件；

26、图像融合模块，用于将满足迭代停止条件时，当前多光谱图像的端元矩阵和当前可见光图像的丰度矩阵进行融合得到融合图像。

27、本发明还公开了一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据所述的可见光图像与多光谱图像的图像融合方法。

28、本发明还公开了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现所述的可见光图像与多光谱图像的图像融合方法。

29、根据本发明提供的具体实施例，本发明公开了以下技术效果：

30、本发明改进传统cnmf方法，引入l1/2正则化子稀疏性扩展nmf解混方法，使用该方法分别对当前多光谱图像和当前可见光图像进行分解，采用用于l1/2-nmf的迭代估计算法对当前多光谱图像和当前可见光图像的分解端元矩阵和丰度矩阵更新，分别得到更新后的多光谱图像和可见光图像的图像端元矩阵和图像丰度矩阵，不断迭代直到满足迭代停止条件；将满足迭代停止条件时，当前多光谱图像的端元矩阵和当前可见光图像的丰度矩阵进行融合得到融合图像。融合方法优化图像解混问题的稀疏解，提高迭代估计算法收敛到局部最小值的速度与稳定性，从而极大提高cnmf图像融合的速度，操作简单，提高了图像融合效率。