1.一种基于多模态图像融合的微光夜视场景理解方法,其特征在于,步骤如下:
2.根据权利要求1所述的一种基于多模态图像融合的微光夜视场景理解方法,其特征在于,s32中,将s31中前三个阶段不同尺度的可见光特征和热图像特征并行输入到跨模态全局特征描述模块,从跨模态全局特征描述模块的局部多头关系聚合器得到浅层可见光局部描述特征和浅层热图像局部描述特征,从跨模态全局特征描述模块的输出层得到浅层可见光校准特征和浅层热图像校准特征;并将前三个阶段得到的浅层可见光校准特征和浅层热图像校准特征分别与相应阶段相同尺度的浅层可见光特征和浅层热图像特征进行相加,并传输到特征提取网络的下一个阶段进行下一个尺度特征信息的提取;将s32中第四个阶段得到的深层可见光特征与深层热图像特征并行输入到跨模态全局特征描述模块,从跨模态全局特征描述模块的局部多头关系聚合器得到深层可见光局部描述特征和深层热图像局部描述特征,从跨模态全局特征描述模块的输出层得到深层校准可见光图像特征和深层校准热图像特征,具体如下:
3.根据权利要求2所述的一种基于多模态图像融合的微光夜视场景理解方法,其特征在于,s33中,将s32中的前三个阶段得到的浅层可见光局部描述特征和浅层热图像局部描述特征,分别并行输入到浅层特征聚合模块提取到前三个阶段不同尺度的浅层聚合特征,将前三个阶段的不同尺度的浅层聚合特征通过跳跃连接的方式传输到解码网络,并对不同尺度的特征信息进行上采样,得到像素大小为(h/4)×(w/4)的浅层解码特征,具体如下:
4.根据权利要求3所述的一种基于多模态图像融合的微光夜视场景理解方法,其特征在于,s34中,将s32中第四个阶段得到的深层可见光局部描述特征和深层热图像局部描述特征,并行输入到深层特征聚合模块得到深层聚合特征,将深层聚合特征和步骤4中的深层校准可见光图像特征和深层校准热图像特征进行相加,并输入到解码网络进行上采样得到像素尺度大小为(h/4)×(w/4)的深层解码特征,具体如下:
5.根据权利要求4所述的一种基于多模态图像融合的微光夜视场景理解方法,其特征在于:a=4。
6.根据权利要求4所述的一种基于多模态图像融合的微光夜视场景理解方法,其特征在于,s35中,将s33、s34中输出的浅层解码特征和深层解码特征进行拼接并经过一个多层感知网络进行通道降维操作,计算得到的输出特征与标签间的交叉熵损失,并以此对此网络的网络参数进行更新,最终获得训练好的网络,具体如下:
7.根据权利要求1所述的一种基于多模态图像融合的微光夜视场景理解方法,其特征在于:d={1、2、3}。