一种基于交互优化策略的红外与可见光图像融合检测方法

本发明涉及图像融合检测，尤其涉及一种基于交互优化策略的红外与可见光图像融合检测方法。

背景技术：

1、图像融合是一种将不同光谱信息相结合的技术。这种融合方法旨在利用不同光谱下的独特信息内容，避免了其他因素的影响。融合后的单一图像能够更全面地表达目标，为后续的图像目标检测提供更可靠的基础。因此，融合检测技术在军事、安防、医学等领域得到了广泛的应用。

2、在众多的红外与可见光图像融合检测方法中，基于两步式的红外与可见光融合检测方法已取得了显著的成果，具有很多优点。例如：可以很好地平衡红外的强度信息和可见光纹理信息，提升检测模型的准确度。然而，基于两步式的融合检测方法中，融合模型与检测模型是开环优化，即融合模型无法得知其输出的图像是否能够提高检测模型的准确率，从而易于融合无关特征信息，丢失利于检测的特征信息，降低了检测模型的准确度。因此，开发出融合与检测模型闭环优化，特征内容相关性强的红外与可见光图像融合检测方法有助于红外与可见光融合检测的应用与发展。

技术实现思路

1、针对红外与可见光图像融合检测方法中开环优化，所融合的特征存在干扰检测的问题，本发明提供了一种基于交互优化策略的红外与可见光图像融合检测方法，该方法解决了融合检测模型开环优化问题，增强了相关性高的特征信息，削弱相关性低的特征信息，提高了检测模型的检测精度。

2、为实现上述目的，本发明提供了一种基于交互优化策略的红外与可见光图像融合检测方法，包括：

3、将待检测的可见光图像与红外图像输入神经网络中进行融合检测，获得融合图像，基于所述融合图像获取目标的类别和位置；

4、其中，所述神经网络通过交互优化策略进行处理，所述交互优化策略包括融合阶段和检测阶段，所述融合阶段用于形成融合图像，所述检测阶段用于检测所述融合图像中的目标物；所述神经网络通过训练数据集训练获得，所述训练数据集包括处理后的可见光图像和红外图像。

5、优选地，所述神经网络包括融合模型和检测模型，所述融合模型用于提取特征信息，输出所述融合图像，所述检测模型用于检测所述融合图像中的目标物并输出反馈因子，所述反馈因子用于调整所述融合模型的优化步长。

6、优选地，所述融合模型包括特征过滤提取模块和特征重建转化模块，所述特征重建转化模块用于重建出灰度融合图像以及将灰度融合图像转化为彩色融合图像，所述特征过滤提取模块用于增强所述彩色融合图像中相关性强的特征信息，削弱相关性弱的特征信息，输出利于检测的融合图像。

7、优选地，所述特征重建转化模块的处理过程包括：

8、将红外强度特征和可见光细节特征输入到通道进行拼接操作后，输入若干层卷积中，重建融合图像的y通道；

9、采用转化因子，将可见光图像的cb通道、可见光图像的cr通道和所述融合图的y通道转为rgb空间领域的所述彩色融合图像。

10、优选地，获取所述红外强度特征iint和可见光细节特征itext的方法为：

11、iint＝ffe(iinf)itext＝ffe(iy)式中，ffe(·)表示为特征过滤提取模块的抽象函数，iinf为红外图像，iy为可见光图像的y通道，iint为红外强度特征，itext为可见光细节特征。

12、优选地，所述特征过滤提取模块的处理过程包括：

13、通过卷积提取红外图像或可见光图像的特征信息，基于协方差计算特征信息中各通道间的相关性，当协方差的绝对值越大，则表示所述特征信息中通道间的相关性越强；

14、使用双曲正切函数将协方差值映射至预设区间，得到特征过滤权重，将所述特征过滤权重进行缩放，增强相关性强的特征，削弱相关性弱的特征。

15、优选地，提取所述红外图像或可见光图像的特征信息的方法为：

16、it_a＝cbr(cbr(iinf))

17、式中，it_a为特征信息，cbr(·)为归一化和激活函数的联合抽象函数，iinf为输入的红外图像或可见光图像；

18、所述特征过滤权重的计算方法为：

19、

20、式中，tanh(·)表示双曲正切函数，it_f为特征过滤权重，it_t为特征内容，为it_t的转置矩阵，h为通道的高度，w为通道的宽度。

21、优选地，所述融合模型的损失函数包括：

22、内容损失函数：用于通过最小化灰度融合图像与源图像的平方差值，初步融合和恢复源图像的纹理信息；

23、颜色损失函数：用于使彩色融合图像与彩色可见光图像保持相似；

24、反馈损失函数：用于调整融合网络优化图像的平均结构相似性损失大小。

25、优选地，所述内容损失函数为：

26、

27、式中，为内容损失函数，||·||2表示二范数，和表示平衡权重，n为总迭代次数，n∈[1，n]，为灰度融合图像，为红外图像，为可见光图像的y通道；

28、所述颜色损失函数为：

29、

30、式中，为颜色损失函数，为彩色融合图像，为可见光图像；

31、所述反馈损失函数为：

32、

33、

34、式中，为反馈损失函数，mssim(·)表示平均结构相似性的抽象函数，εn为反馈因子，为本次迭代数的检测损失值，为上一次迭代数的检测损失值。

35、优选地，所述训练数据集包含若干子图像集，生成所述子图像集的过程包括：

36、将拍摄的可见光图像和红外图像进行空间配准与对齐，在可见光图像和红外图像上对目标物的类别和位置进行标注，得到检测的标注数据；

37、最后经过剪切与随机翻转旋转方式扩充数据之后，形成若干训练样本，即所述子图像集。

38、与现有技术相比，本发明具有如下优点和技术效果：

39、(1)本发明采用了交互优化策略训练优化融合检测神经网络，有效地解决了融合检测方法开环优化问题，提升了检测模型的检测精度；

40、(2)本发明采用了特征过滤提取模块，增强相关性强的特征内容，削弱相关性弱的特征内容，融合出利于检测的融合图像，采用迭代优化后的转化因子，有效地输出更高质量的彩色融合图像，通过反馈损失函数，增强融合图像质量，提高检测精度；本发明有利于红外与可见光图像融合检测方法的应用研究。

技术特征：

1.一种基于交互优化策略的红外与可见光图像融合检测方法，其特征在于，包括：

2.根据权利要求1所述的基于交互优化策略的红外与可见光图像融合检测方法，其特征在于，所述神经网络包括融合模型和检测模型，所述融合模型用于提取特征信息，输出所述融合图像，所述检测模型用于检测所述融合图像中的目标物并输出反馈因子，所述反馈因子用于调整所述融合模型的优化步长。

3.根据权利要求2所述的基于交互优化策略的红外与可见光图像融合检测方法，其特征在于，所述融合模型包括特征过滤提取模块和特征重建转化模块，所述特征重建转化模块用于重建出灰度融合图像以及将灰度融合图像转化为彩色融合图像，所述特征过滤提取模块用于增强所述彩色融合图像中相关性强的特征信息，削弱相关性弱的特征信息，输出利于检测的融合图像。

4.根据权利要求3所述的基于交互优化策略的红外与可见光图像融合检测方法，其特征在于，所述特征重建转化模块的处理过程包括：

5.根据权利要求4所述的基于交互优化策略的红外与可见光图像融合检测方法，其特征在于，获取所述红外强度特征iint和可见光细节特征itext的方法为：

6.根据权利要求3所述的基于交互优化策略的红外与可见光图像融合检测方法，其特征在于，所述特征过滤提取模块的处理过程包括：

7.根据权利要求6所述的基于交互优化策略的红外与可见光图像融合检测方法，其特征在于，提取所述红外图像或可见光图像的特征信息的方法为：

8.根据权利要求2所述的基于交互优化策略的红外与可见光图像融合检测方法，其特征在于，所述融合模型的损失函数包括：

9.根据权利要求8所述的基于交互优化策略的红外与可见光图像融合检测方法，其特征在于，所述内容损失函数为：

10.根据权利要求1所述的基于交互优化策略的红外与可见光图像融合检测方法，其特征在于，所述训练数据集包含若干子图像集，生成所述子图像集的过程包括：

技术总结
本发明公开了一种基于交互优化策略的红外与可见光图像融合检测方法，包括：将待检测的可见光图像与红外图像输入神经网络中进行融合检测，获得融合图像，基于融合图像获取目标的类别和位置；其中，神经网络通过交互优化策略进行处理，交互优化策略包括融合阶段和检测阶段；神经网络通过训练数据集训练获得，训练数据集包括处理后的可见光图像和红外图像。本发明采用了交互优化策略训练优化融合检测神经网络，有效地解决了融合检测方法开环优化问题，提升了检测模型的检测精度。

技术研发人员：吴衡,陈炳鑫,罗劭娟
受保护的技术使用者：广东工业大学
技术研发日：
技术公布日：2024/4/24