一种基于多模态图像融合的微光夜视场景理解方法

文档序号:37599836发布日期:2024-04-18 12:40阅读:来源:国知局

技术特征:

1.一种基于多模态图像融合的微光夜视场景理解方法,其特征在于,步骤如下:

2.根据权利要求1所述的一种基于多模态图像融合的微光夜视场景理解方法,其特征在于,s32中,将s31中前三个阶段不同尺度的可见光特征和热图像特征并行输入到跨模态全局特征描述模块,从跨模态全局特征描述模块的局部多头关系聚合器得到浅层可见光局部描述特征和浅层热图像局部描述特征,从跨模态全局特征描述模块的输出层得到浅层可见光校准特征和浅层热图像校准特征;并将前三个阶段得到的浅层可见光校准特征和浅层热图像校准特征分别与相应阶段相同尺度的浅层可见光特征和浅层热图像特征进行相加,并传输到特征提取网络的下一个阶段进行下一个尺度特征信息的提取;将s32中第四个阶段得到的深层可见光特征与深层热图像特征并行输入到跨模态全局特征描述模块,从跨模态全局特征描述模块的局部多头关系聚合器得到深层可见光局部描述特征和深层热图像局部描述特征,从跨模态全局特征描述模块的输出层得到深层校准可见光图像特征和深层校准热图像特征,具体如下:

3.根据权利要求2所述的一种基于多模态图像融合的微光夜视场景理解方法,其特征在于,s33中,将s32中的前三个阶段得到的浅层可见光局部描述特征和浅层热图像局部描述特征,分别并行输入到浅层特征聚合模块提取到前三个阶段不同尺度的浅层聚合特征,将前三个阶段的不同尺度的浅层聚合特征通过跳跃连接的方式传输到解码网络,并对不同尺度的特征信息进行上采样,得到像素大小为(h/4)×(w/4)的浅层解码特征,具体如下:

4.根据权利要求3所述的一种基于多模态图像融合的微光夜视场景理解方法,其特征在于,s34中,将s32中第四个阶段得到的深层可见光局部描述特征和深层热图像局部描述特征,并行输入到深层特征聚合模块得到深层聚合特征,将深层聚合特征和步骤4中的深层校准可见光图像特征和深层校准热图像特征进行相加,并输入到解码网络进行上采样得到像素尺度大小为(h/4)×(w/4)的深层解码特征,具体如下:

5.根据权利要求4所述的一种基于多模态图像融合的微光夜视场景理解方法,其特征在于:a=4。

6.根据权利要求4所述的一种基于多模态图像融合的微光夜视场景理解方法,其特征在于,s35中,将s33、s34中输出的浅层解码特征和深层解码特征进行拼接并经过一个多层感知网络进行通道降维操作,计算得到的输出特征与标签间的交叉熵损失,并以此对此网络的网络参数进行更新,最终获得训练好的网络,具体如下:

7.根据权利要求1所述的一种基于多模态图像融合的微光夜视场景理解方法,其特征在于:d={1、2、3}。


技术总结
本发明公开了一种基于多模态图像融合的微光夜视场景理解方法,属于人工智能技术,根据层级多模态特征信息的特点,构建不同特征校准和特征聚合模块以增强多模态特征信息的联合表示学习;构建跨模态全局特征描述模块以减少模态间的信息差异,实现多模态特征信息的校准;构建多模态交错稀疏自注意力模块来保证浅层网络层中多模态空间特征信息的聚合;构建对称金字塔池化交叉注意力模块与多模态跨通道通信模块用于聚合深层特征的空间层信息和通道层信息。本发明能够充分利用多模态特征信息互补优势,避免单一模态信息导致微光夜视场景理解能力不足,能够在夜间城市道路自动驾驶和地下空间暗弱无人导航系统中应用。

技术研发人员:申政文,秦新芳,冉伊阳,李玉莲,王军
受保护的技术使用者:中国矿业大学
技术研发日:
技术公布日:2024/4/17
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1