基于高光谱图像的跟踪网络训练方法、跟踪方法及介质与流程

本申请涉及数字图像处理领域，更具体地说，是涉及一种基于高光谱图像的跟踪网络训练方法、跟踪方法及介质。

背景技术：

1、目标跟踪是计算机视觉研究中一项基本但又具有挑战性的任务。它广泛应用于视频监控、机器人、军事侦察等领域。利用视频第一帧给出的目标信息，不断预测和更新后续帧的目标状态信息，实现鲁棒的目标跟踪。传统的目标跟踪方法有时无法处理和适应复杂的跟踪变化，它们的鲁棒性和准确度都被深度学习目标跟踪算法所超越。

2、深度学习跟踪网络模型相对于现有传统的跟踪方法可以适应更多场景，然而现有的基于深度学习的跟踪方法基本基于rgb图像数据集进行训练而得，而rgb模态数据在描述物体物理属性方面具有局限性，极易导致基于rgb视频的跟踪器在目标与背景颜色或纹理相近等一些场景中精确度不足。相对于rgb视频跟踪，现有技术中基于高光谱hsi进行跟踪方法利用了hsi图像丰富的辐射、空间和光谱信息，这些特征有利于提高跟踪精确度。而hsi难以直接应用至现有的深度学习跟踪网络中，无法让深度学习网络充分提取hsi图像的特征来达到提高目标跟踪精确度的作用。

技术实现思路

1、针对现有技术，本申请的目的在于提供一种能有效融合hsi图像信息以提供跟踪精确度的基于高光谱图像的跟踪网络训练方法、跟踪方法及介质。

2、第一方面，本申请提供一种高光谱的跟踪网络训练方法，其包括：

3、获取同一场景的hsi视频帧图像和rgb视频帧图像；

4、构建目标跟踪网络模型：将每前后两帧的hsi图像中同一跟踪目标的图像块区域输入至用于将hsi域和rgb域对齐的域迁移模块，并将域迁移模块的输出特征输入至深度学习跟踪网络中；

5、构建目标跟踪网络模型的损失函数：对于每一帧hsi图像和与之对应的一帧rgb图像的同一跟踪目标，构建经过域迁移模块处理的图像块区域和rgb图像中的图像块区域之间域间损失函数s1，并将关于深度学习跟踪网络的损失函数s2和域间损失函数s1进行综合获得跟踪训练网络损失函数s；以及

6、训练损失函数s至最小以获得目标跟踪网络模型。

7、在高光谱的跟踪网络训练方法中，融合hsi图像信息，利用域迁移模块和hsi域和rgb域之间域间损失函数提升两个域之间特征对齐的能力，以增强深度学习跟踪网络能够提取hsi中目标光谱特征的能力，从而最终提升训练获得的目标跟踪模型进行目标跟踪的精确度。

8、基于第一方面，一种可能的实现方式中，获取每前后两帧的hsi图像中同一跟踪目标的图像块区域具体为：

9、初始化hsi视频中的待跟踪目标：在首帧hsi图像中给定待跟踪目标的初始中心位置，以初始中心位置为中心框选出待跟踪目标的初始的图像块区域；

10、在hsi视频中循环获取待跟踪目标：在后续每一帧hsi图像中，以前一帧的hsi图像块区域的中心位置为中心进行放大以获得在后一帧hsi图像中的待跟踪目标的图像块区域。

11、基于第一方面，一种可能的实现方式中，所述域迁移模块包括：

12、对每一跟踪目标的图像块区域进行提取的第一卷积层、对由卷积层提取的特征进行归一化处理的归一化层、用于接收处理归一化结果的激活层以及对激活结果进行再次特征提取的第二卷积层。

13、基于第一方面，一种可能的实现方式中，对于每一帧hsi图像和与之对应的一帧rgb图像的同一跟踪目标，对于每一帧hsi图像和与之对应的一帧rgb图像的同一跟踪目标，构建经过域迁移模块处理的图像块区域和rgb图像中的图像块区域之间域间损失函数s1包括：

14、初始化rgb视频中的待跟踪目标：在首帧hsi图像中给定待跟踪目标的初始中心位置，以初始中心位置为中心框选出待跟踪目标的初始的图像块区域；

15、在rgb视频中循环获取待跟踪目标：在后续每一帧hsi图像中，以前一帧的hsi图像块区域的中心位置为中心进行放大以获得在后一帧hsi图像中的待跟踪目标的图像块区域；

16、构建关于图像块区域的域间损失函数s1：利用第三卷积层对每一帧rgb图像的图像块区域进行处理，统一该帧rgb图像的图像块区域与该帧rgb图像对应的hsi图像中的图像块区域经过第一卷积层的特征图的通道和尺寸，在每一帧hsi图像和与之对应的rgb图像之间构建关于图像块区域的域间损失函数s1：

17、其中，w和h分别为图像块区域的宽和高，c为通道的总数，n表示第n个通道，表示在一帧hsi图像中图像块区域经过激活层处理获得的特征图在第n个通道中的位置为(i，j)时特征值且为该帧hsi图像对应的rgb图像中图像块区域经过第三卷积处理获得的特征图在第n个通道中的位置为(i，j)时的特征值。

18、基于第一方面，一种可能的实现方式中，第一卷积层、第二卷积层和第三卷积层均为二维卷积层，归一化层采用batchnormal归一化处理，激活层采用sigmoid激活函数。

19、基于第一方面，一种可能的实现方式中，将关于深度学习跟踪网络的损失函数s2和域间损失函数s1进行综合获得跟踪训练网络损失函数s：

20、s＝α*s1+β*s2；

21、其中，α，β为加权因子，且α+β＝1。

22、基于第一方面，一种可能的实现方式中，所述深度学习跟踪网络为siamcar基线跟踪器，该siamcar基线跟踪器以resnet-50作为提取特征的主干网络，以car-head作为分类回归网络；

23、其中，s2＝λ1lcen+λ2lreg+λ3ld

24、其中，λ1、λ2和λ3为加权因子，λ1+λ2+λ3＝1，lcen、lcen和lreg分别为siamcar基线跟踪器中的交叉熵损失、中心度损失以及为回归损失。

25、基于第一方面，一种可能的实现方式中，在训练时，

26、第一次训练：以rgb视频图像为训练集，以损失函数s2作为第一训练时的损失函数训练siamcar基线跟踪器；

27、第二次训练：在训练好siamcar基线跟踪器上，以hsi视频图像和rgb视频图像作为训练集，以损失函数s作为第二次训练时的损失函数进行再次训练。

28、第二方面，本申请提供一种基于高光谱的目标跟踪方法，该方法包括：

29、获取待进行目标跟踪的hsi视频图像；以及

30、利用项所述基于高光谱的目标跟踪训练方法获得目标跟踪模型在hsi视频图像进行目标跟踪。

31、第三方面，本申请提供一种一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现所述基于高光谱的目标跟踪训练方法的步骤。

技术特征：

1.一种基于高光谱的目标跟踪训练方法，其特征在于，包括：

2.如权利要求1所述的基于高光谱的目标跟踪训练方法，其特征在于，获取每前后两帧的hsi图像中同一跟踪目标的图像块区域具体为：

3.如权利要求2所述的基于高光谱的目标跟踪训练方法，其特征在于，所述域迁移模块包括：

4.如权利要求3所述的基于高光谱的目标跟踪训练方法，其特征在于，构建每一帧hsi图像和与之对应rgb图像中同一跟踪目标的图像块区域之间的域间损失函数s1，包括：

5.如权利要求4所述的基于高光谱的目标跟踪训练方法，其特征在于，第一卷积层、第二卷积层和第三卷积层均为二维卷积层，归一化层采用batchnormal归一化处理，激活层采用sigmoid激活函数。

6.如权利要求1所述的基于高光谱的目标跟踪训练方法，其特征在于，将关于深度学习跟踪网络的损失函数s2和域间损失函数s1进行综合获得跟踪训练网络损失函数s：

7.如权利要求6所述的基于高光谱的目标跟踪训练方法，其特征在于，所述深度学习跟踪网络为siamcar基线跟踪器，该siamcar基线跟踪器以resnet-50作为提取特征的主干网络，以car-head作为分类回归网络；

8.如权利要求7所述的基于高光谱的目标跟踪训练方法，其特征在于，在训练时，

9.一种基于高光谱的目标跟踪方法，其特征在于：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至8任一项所述的基于高光谱的目标跟踪训练方法的步骤。

技术总结
本申请公开一种基于高光谱的跟踪网络训练方法，包括获取同一场景的HSI视频帧图像和RGB视频帧图像；构建目标跟踪网络模型：将每前后两帧的HSI图像中同一跟踪目标的图像块区域输入至用于将HSI域和RGB域对齐的域迁移模块，并将域迁移模块的输出特征输入至深度学习跟踪网络中；构建目标跟踪网络模型的损失函数：对于每一帧HSI图像和与之对应的一帧RGB图像的同一跟踪目标，构建经过域迁移模块处理的图像块区域和RGB图像中的图像块区域之间域间损失函数S<subgt;1</subgt;，并将关于深度学习跟踪网络的损失函数S<subgt;2</subgt;和域间损失函数S<subgt;1</subgt;进行综合获得跟踪训练网络损失函数S；训练损失函数S至最小以获得目标跟踪网络模型。本申请还提供基于高光谱的目标跟踪方法及计算机可读存储介质。

技术研发人员：唐靖杰,欧阳一村,李希,陈海涛,付磊,罗富章,赖时伍
受保护的技术使用者：盛视科技股份有限公司
技术研发日：
技术公布日：2024/1/15