一种基于特征自适应融合的红外可见光跨模态目标检测方法

本发明属于基于深度学习的图像处理，涉及一种基于特征自适应融合的红外可见光跨模态目标检测方法。

背景技术：

1、经济的快速发展导致车辆呈现逐年增多的趋势，出行安全成为越来越重要的问题，高鲁棒性的目标检测可以极大的提升出行的安全。传统的目标检测算法大多是基于单类型传感器，比如可见光相机，但是其效果在夜间或者其他光线不良的条件下不理想，然而红外相机在夜间或者光线不良的条件下可以充分发挥出优势。因此，近年来许多学者对基于可见光和红外图像的跨模态目标检测做出研究，通过将两种传感器所得图像的优势进行结果，提高全天候目标检测的鲁棒性。

2、然而目前基于可见光和红外图像的跨模态目标检测算法大多是在各自的特征提取网络进行特征提取，随后级联生成融合特征，其并没有考虑模态间的相互关系和高低层特征的联系。

3、因此，基于模态间关系和高低层特征的联系考虑不充分的问题，有必要提出一种基于特征自适应融合的红外可见光跨模态目标检测方法，以实现模态间和高低层特征自适应融合的问题。

技术实现思路

1、本发明的发明目的是实现模态间和高低层特征自适应融合，为此提供了一种基于特征自适应融合的红外可见光跨模态目标检测方法。

2、本发明采用以下技术方案达到上述目的。

3、一种基于特征自适应融合的红外可见光跨模态目标检测方法，具体步骤为：

4、step1:将可见光图像和红外图像输入到图像预处理模块进行预处理，随后输入到特征提取模块，提取可见光和红外图像特征。

5、step2:将step1提取的特征输入到模态间权重自适应模块，使模态间更多有用信息被保留。

6、step3:将step2中所得的高低层融合特征输入到高低层特征权重自学习模块，保留更多不同层级间有用信息。

7、step4：将step3所得的融合特征输入到检测模块进行目标检测。

8、进一步的，step1中所述预处理过程中将红外图像的单通道复制成三个通道，特征提取模块为基于resnet-50的前4个卷积模块作为卷积层构成的，并将其复制成双支特征提取网络，分别用于提取可见光图像特征和红外图像特征，卷积层操作具体为：

9、fv＝res′(v_images)  (1)

10、ft＝res′(t_images)  (2)

11、式中，res′表示resnet-50算法的部分特征提取网络，共包含四个特征层，分别对应resnet-50的conv1、conv2_x、conv3_x和conv4_x，v_images和t_images分别表示图像预处理后的可见光图像和红外图像，fv和ft分别表示提取到的可见光图像和红外图像特征。

12、进一步的，step1中所述特征提取模块中插入注意力机制算法，位置在卷积层之后数量一共也为4，注意力机制包括通道注意力和空间注意力，分别对通道信息和空间信息赋权，使得对特征融合和目标检测有用的信息得到更多的保留，无用信息被抑制，具体为：

13、fav＝att(fv)  (3)

14、fat＝att(ft)  (4)

15、式中，fav表示可见光图像经过通道和空间注意力机制计算后输出的特征图，fat表示可见光图像经过通道和空间注意力机制计算后输出的特征图，att表示注意力机制算法，fv表示卷积之后的可见光图像特征，ft表示卷积之后的红外图像特征。

16、进一步的，step2中所述权重自学习模块通过模态间特征学习的方式，赋予可见光图像和红外图像特征不同的权重，保留更多模态间有用信息。其输入为权利要求3中双支特征提取网络输出的注意力加权后的可见光和红外特征，将可见光图像和红外图像特征进行级联堆叠，对堆叠特征通过卷积层和sigmoid函数后进行加权获得加权的权重矩阵，然后将权重矩阵分别和可见光图像和红外图像特征相乘得到加权后的可见光图像和红外图像特征，最后将加权后的可见光图像和红外图像特征进行级联得到模态间加权融合的特征，具体为：

17、

18、

19、fi＝φ[fav,fat]  (8)

20、式中，σ(x)表示sigmoid函数，x表示sigmond函数的输入，即卷积之后的特征，wv和wt是两个权重矩阵，分别表示可见光图像和红外图像各模态对网络的贡献，cv和ct表示卷积核的权重，表示通道堆叠的级联特征，bv和bt表示卷积核的偏差,fi表示模态间权重自适应模块的输出。

21、进一步的，step3中所述高低层特征权重自学习模块的输入为多次特征提取和模态间权重自适应后并尺寸归一化的四级高低层特征，通过自学习的方法对不同高低层的特征图进行赋权，从而保留更多不同层级特征间的有用信息。具体为：

22、fi＝{γi(fi)}  (9)

23、wi＝σ(ci*fi+bi)  (10)

24、fo＝φ[fi,wi]  (11)

25、式中γi表示特征尺寸归一化操作，对模态间权重自适应模块的四个输出特征进行特征尺寸归一化，fi表示未经过特征尺寸归一化的特征，fi表示尺寸归一化后的四个特征，wi表示四个层级特征的权重矩阵，σ表示sigmoid函数操作，ci和bi分别表示卷积核的权重和偏差，φ表示特征图赋权操作，fo表示高低层特征权重自适应模块的输出。

26、进一步的，step4中所述检测模块包括特征金字塔及其前向传播检测头和非极大值抑制，特征金字塔和检测头用于目标的分类和回归，非极大值抑制用于结果框的确定。

27、本发明的有益效果在于针对跨模态信息融合问题，引入模态间权重自适应模块使模态间更多有用信息被保留，无用信息被抑制。与此同时，针对高低层特征融合不充分问题，引入高低层特征权重自适应模块对高低层特征赋权，保留更多不同层级的有用信息。最后通过对网络进行多次训练，提高跨模态目标检测的鲁棒性和算法的精度。

技术特征：

1.一种基于特征自适应融合的红外可见光跨模态目标检测方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的方法，其特征在于：step1中所述预处理过程中将红外图像的单通道复制成三个通道，特征提取模块为基于resnet-50的前4个卷积模块作为卷积层构成的，并将其复制成双支特征提取网络，分别用于提取可见光图像特征和红外图像特征，卷积层具体操作为：

3.根据权利要求1所述的方法，其特征在于：step1中所述特征提取模块中插入注意力机制算法，位置在卷积层之后数量一共也为4，注意力机制包括通道注意力和空间注意力，分别对通道信息和空间信息赋权，使得对特征融合和目标检测有用的信息得到更多的保留，无用信息被抑制，具体为：

4.根据权利要求2所述的方法，其特征在于：step2中所述权重自适应模块通过模态间特征学习的方式，赋予可见光图像和红外图像特征不同的权重，保留更多模态间有用信息；其输入为双支特征提取网络输出的注意力加权后的可见光和红外特征，将可见光图像和红外图像特征进行级联堆叠，对堆叠特征通过卷积层和sigmoid函数后进行加权获得加权的权重矩阵，然后将权重矩阵分别和可见光图像和红外图像特征相乘得到加权后的可见光图像和红外图像特征，最后将加权后的可见光图像和红外图像特征进行级联得到模态间加权融合的特征，具体为：

5.根据权利要求1所述的方法，其特征在于：step3中所述高低层特征权重自学习模块的输入为多次特征提取和模态间权重自适应后并尺寸归一化的四级高低层特征，通过自学习的方法对不同高低层的特征图进行赋权，从而保留更多不同层级特征间的有用信息；具体为：

6.根据权利要求1所述的方法，其特征在于：step4中所述检测模块包括特征金字塔及其前向传播检测头和非极大值抑制，特征金字塔和检测头用于目标的分类和回归，非极大值抑制用于结果框的确定。

技术总结
本发明涉及一种基于特征自适应融合的红外可见光跨模态目标检测方法，属于基于深度学习的图像处理技术领域。首先将可见光图像和红外图像输入到特征提取模块提取可见光图像和红外图像的特征。再将特征输入到模态间权重自适应模块中，使更多对特征融合有益的模态间互补信息被保留。之后将各层融合特征输入到高低层特征权重自学习模块，保留更多不同层级间有用信息。最后输入到检测模块进行目标检测。本发明能够充分利用模态内通道间的重要信息和可见光图像与红外图像模态间的互补信息，并且有效融合高低层特征，增强全天侯目标检测的鲁棒性。

技术研发人员：殷春芳,孙玉飞,李祎承,李春,汪少华
受保护的技术使用者：江苏大学
技术研发日：
技术公布日：2024/1/14