变焦倍数识别及目标重识别数据集制作方法与流程

文档序号:37021716发布日期:2024-02-09 13:15阅读:16来源:国知局
变焦倍数识别及目标重识别数据集制作方法与流程

本发明属于多模态遥感数据目标检测与识别,具体涉及一种变焦倍数识别方法及一种目标重识别数据集制作方法。


背景技术:

1、目标重识别技术旨在对不同传感器在不同时间、不同场景下拍摄到的同一目标进行身份识别。长期以来,基于机载遥感数据的地物信息提取和目标识别技术在民生和国防领域有着广泛的应用需求,例如天网工程中通过目标重识别技术可以对行人、车辆等重点目标进行跨摄像头的跟踪。然而在实际应用过程中,不同场景、不同光照等条件下获取到的目标数据质量存在较大差异。为了提高基于深度学习的目标重识别方法在不同应用条件下的有效性,通常需要通过针对性的训练,使深度学习模型适应特定场景的数据质量,保障其获得较高的重识别精度。因此如何快速、自动化得制作特定场景下的目标重识别数据集至关重要。

2、随着遥感技术的发展和应用需求的提高,多种类型传感器的集成技术逐渐成熟,多模态数据可以弥补单一模态数据的缺陷:例如,红外数据可以在光照不足的情况下获取环境信息;变焦可见光数据可以在远距离下清晰观察特定目标;广角可见光数据可以观察更广范围的场景。在实际应用过程中,根据场景条件、拍摄效果及任务需求,各种模态的数据都是有可能被单独使用的,那么目标重识别模型就需要具有单独处理任意模态数据的能力。因此需要制作多模态目标重识别数据集来对模型进行针对性训练。

3、综上,利用机载同轴多模态光学传感器快速得、自动化得制作多模态目标重识别数据集具有重要意义。


技术实现思路

1、本发明是为了解决目前没有一种有效的基于机载同轴多模态光学传感器的数据处理方法能够快速且自动化地制作多模态目标重识别数据集的问题,以及现有技术不能对没有变焦信息图像的变焦倍数进行有效识别的问题。

2、一种变焦倍数识别方法,包括以下步骤:

3、首先,获取机载同轴多模态遥感数据,所述多模态遥感数据对应的图像数据包括广角可见光图像iwide、变焦可见光图像izoom和红外图像数据iinfrared;将广角可见光图像iwide作为是单倍焦距图像;

4、然后采用变焦倍数预测网络zpnet进行处理,变焦倍数预测网络zpnet包括三分支编码器,即采用zpnet的三分支编码器对输入数据进行特征提取,特征提取的过程包括以下步骤:

5、将广角可见光图像iwide、变焦可见光图像izoom分别输入各自对应的广角编码器和变焦编码器中,得到a×a×2048的特征f1wide、f1zoom,其中广角编码器和变焦编码器结构相同,编码器为基于resnet50残差网络前四个阶段的改进网络,resnet50残差网络前四个阶段即stage 0-stage 4,在stage 0-stage 4的每个stage之后插入mfa模块,即在resnet50残差网络的前四个阶段间隔加入mfa模块;

6、mfa模块即多阶段特征聚合模块,mfa模块的处理过程如下:

7、mfa模块以与其前部相邻的resnet50第n阶段块stage n的输入和输出共同作为其输入;第n个阶段块的输入为mfa模块提供低层次的特征映射第n个阶段块的输出为mfa模块提供高层次的特征映射其中c、w和h分别表示通道的个数、特征的宽度和高度;

8、首先,对特征fl和特征fh进行空间特征聚合:

9、利用三个1×1卷积层将特征转化为三个紧凑嵌入然后,通过矩阵乘法运算及softmax来计算和在第一个数据维度的空间相似矩阵mc;再通过和mc的矩阵相乘恢复信道维数为rm×n,然后应用一个bn层ωc对特征进行归一化;最后通过矩阵加法将fh与之相加得到输出

10、然后,对特征和特征fl进行通道特征聚合:

11、利用三个1×1卷积层将特征转化为三个紧凑嵌入再通过矩阵乘法运算及softmax来计算和在第二个数据维度的通道相似矩阵:

12、

13、再通过和ms的矩阵相乘来恢复信道维数为rm×n,然后应用一个bn层ωs对特征进行归一化;最后通过矩阵加法将与之相加得到mfa的输出

14、基于广角编码器的结构,红外编码器在最后一个mfa模块之前额外添加一个dee模块;红外图像数据iinfrared输入其编码器分支后同样得到a×a×2048的特征所述dee模块含有若干个并行的、结构相同的分支,dee模块其中第i个分支的网络结构如下:

15、首先使用三个3×3的压缩卷积层将输入的特征f∈rm×n的尺寸减少到自身大小的1/4,即f'1,f'2,f'3∈rm/4×n,各自使用relu激活层frelu进行处理,然后再使用三个1×1的扩展卷积层将特征f'1,f'2,f'3分别经过激活函数后的特征图的尺寸增加到其自身大小的四倍,即f"1,f"2,f"3∈rm×n,再进行融合生成第i个分支的嵌入f"i;

16、最后将所有分支的输出f"i与dee模块的输入特征f做平均池化mean-pooling,得到dee模块的输出;

17、采用zpnet的三分支编码器对输入数据进行特征提取后分别得到a×a×2048的特征;针对广角可见光图像的a×a×2048的特征,随机选择不同尺寸的切片框进行框选切片,将随机框选切片后的特征分别通过卷积块、bn块和平均池化块,得到1×1×2048的特征向量;将变焦可见光图像对应的a×a×2048的特征通过卷积块、bn块和平均池化块,得到1×1×2048的特征向量,同时将红外图像数据对应的a×a×2048的特征通过卷积块、bn块和平均池化块,得到1×1×2048的特征向量;

18、最后将不同尺寸切片框对应的变焦可见光图像的特征向量和红外图像的特征向量分别与从单倍焦距的广角可见光图像中提取到的特征向量进行特征距离计算,距离最近的特征向量对应的框选尺寸与a的比值即为预测的变焦倍数。

19、进一步地,获取多模态遥感数据的过程中,针对视频数据进行预处理:

20、根据视频中重点关注目标的变化情况选取合适的抽帧间隔,对视频数据进行抽帧采样,得到图像数据。

21、进一步地,获取多模态遥感数据的过程中,所述的用变焦倍数预测网络zpnet为预先训练好的网络,训练过程包括以下步骤:

22、步骤一:获取机载同轴多模态遥感数据并构建图像数据集,所述多模态遥感数据对应的图像数据集包括广角可见光图像、变焦可见光图像和红外图像数据;将广角可见光图像作为是单倍焦距图像;变焦可见光图像带有变焦倍数标签,红外图像数据带有变焦倍数标签;

23、基于图像数据集得到训练数据集;

24、步骤二:基于训练数据集m训练变焦倍数预测网络zpnet:

25、首先,将训练数据集m中的广角可见光图像iwide、变焦可见光图像izoom和红外图像数据iinfrared分别输入各自对应的广角编码器和变焦编码器中,得到a×a×2048的特征f1wide、f1zoom和f1infrared;

26、根据训练数据集m中变焦可见光图像数据izoom和红外图像数据iinfrared的焦距标签信息,分别对特征f1wide进行框选切片处理,得到n1×n1×2048的特征和n2×n2×2048的特征切片后的特征在信息层面与f1zoom和所拍摄的范围保持一致;其中,a与n1的比值及a与n2的比值约等于变焦倍数;

27、然后,将特征f1zoom以及分别通过卷积块、bn块和平均池化块,得到1×1×2048的特征向量以及之后按对应关系组成特征对将特征对的两个特征分别输入分类器中,分类器输出独热向量,通过计算独热向量的特征相似性l1和分类结果的交叉熵l2作为损失函数约束网络参数更新;同时按对应关系组成特征对和将特征对的两个特征分别输入分类器中,分类器输出独热向量,也通过计算独热向量的特征相似性和分类结果的交叉熵作为损失函数约束网络参数更新;

28、将l1和l2的和作为网络总损失函数,并经过迭代最终完成训练得到训练好的zpnet。

29、进一步地,特征的尺寸a×a×2048为32×32×2048。

30、基于机载同轴多模态传感器的目标重识别数据集制作方法,包括以下步骤:

31、s101、获取机载同轴多模态遥感数据;

32、s102、利用所述的一种变焦倍数识别方法预测变焦可见光图像和红外图像数据的变焦倍数;

33、s103、基于预测的变焦倍数对多模态图像进行截取以实现焦距对齐;

34、s104、针对焦距对齐后不同模态的图像,对多模态图像进行数据融合;

35、s105、对融合后的图像进行重识别任务中感兴趣目标检测;

36、s106、基于融合后的图像的检测结果,对融合图像目标检测结果中的感兴趣目标,在相同位置对融合前的多模态图像进行分割,每个目标获得广角可见光、变焦可见光、红外三种模态的目标图像;

37、s107、针对同一目标类的多模态目标图像进行标注,进而实现多模态目标重识别数据集制作。

38、进一步地,s107针对同一目标类的多模态目标图像进行标注的过程中,如果步骤s101中的输入为视频数据,那么对其进行抽帧,针对抽帧后的得到的图像在经过s102至s106的处理后得到的所有目标图像数据被视为一个图像簇,通过目标聚类技术,以图像簇为单位对多个感兴趣目标进行目标聚类,以区分各个目标,并将聚类结果中同一目标类的多模态目标图像标注为同一目标id。

39、进一步地,s103所述基于预测的变焦倍数对多模态图像进行截取以实现焦距对齐的过程中通过图像裁剪工具包对不同模态图像的观察范围进行一致化,选择变焦倍数最高的模态数据作为锚点,将其他不同焦距的多模态数据向该锚点进行焦距对齐。

40、进一步地,所述的观察范围一致化是将不同变焦情况将图像调整到同一个视野范围内。

41、进一步地,s104所述对多模态图像进行数据融合的过程中,采用ddcgan网络对变焦可见光图像izoom与红外图像iinfrared进行融合。

42、进一步地,s105中对融合后的图像进行重识别任务中感兴趣目标检测时采用yolov8网络。

43、有益效果:

44、本发明利用zpnet网络对基于机载同轴多模态光学传感器的数据进行变焦倍数标定,从而为进行焦距对齐提供了基础,进而基于融合数据进行分割,从而有效的实现基于机载同轴多模态光学传感器的数据的分割和识别,因此本发明能够基于机载同轴多模态光学传感器的数据有效的对多模态目标重识别数据集进行自动化制作,不仅提高了效率,而且针对不同模态的光学传感器的数据具有标注一致的优点。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1