一种基于跨模态特征自增强与逐级融合的RGBT目标跟踪方法与流程

本发明属于目标跟踪，具体涉及一种基于跨模态特征自增强与逐级融合的rgbt目标跟踪方法。

背景技术：

1、进入新世纪以来，人类科技水平大幅提高，计算机视觉领域得到了长足的发展。目标跟踪技术作为计算机视觉领域的一项基本且具有挑战性的任务，现已广泛应用于智能安防、医学治疗、交通控制等众多实际应用领域。

2、然而，现有的目标跟踪器大多基于单模态可见光传感器实现，这在复杂环境如低光照或雾霾，目标与背景的对比度低等条件下难以准确提取目标信息，导致跟踪效果较差，鲁棒性低。为了解决这个问题，近年来提出了基于rgbt的跟踪方法。

3、rgbt跟踪方法结合了彩色图像、红外图像和两种模态的信息，以提高目标跟踪的鲁棒性。然而，不同的传感器对目标信息的捕捉能力也存在差异，现有的rgbt跟踪方法对红外图像信息与可见光图像差异性信息提取不充分，导致跟踪效果不佳。此外，目前已有方法融合跨模态特征时，在考虑二者相关性的同时常常容易忽略差异性，且通常需要进行复杂的融合操作，这可能导致融合细节丢失进而降低跟踪效率。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的基于跨模态特征自适应增强与逐级融合的rgbt目标跟踪方法解决了现有rgbt跟踪方法对红外图像信息与可见光图像差异性信息提取不充分，导致跟踪效果不佳，以及进行复杂融合操作时，导致的细节丢失进而降低跟踪效率的问题。

2、为了达到上述发明目的，本发明采用的技术方案为：一种基于跨模态特征自增强与逐级融合的rgbt目标跟踪方法，包括以下步骤：

3、s1、获取跟踪网络数据集；

4、s2、构建跨模态特征融合的rgbt目标跟踪模型；

5、s3、利用跟踪网络数据集对rgbt目标跟踪模型训练；

6、s4、将可见光和红外视频序列输入至训练好的rgbt目标跟踪模型中，获得目标跟踪结果。

7、进一步地，所述步骤s2中，所述rgbt目标跟踪模型包括依次连接的基于孪生网络结构的特征提取网络、跨模态特征增强与逐级融合网络，以及基于锚框自适应的跟踪预测网络；

8、其中，所述基于孪生网络结构的特征提取网络采用深层次、多分支的孪生结构对红外图像与可见光图像进行特征提取；

9、所述跨模态特征增强与逐级融合网络包括跨模态特征增强融合模块cfem和融合特征增强模块fem；

10、所述跨模态特征增强融合模块cfem用于对提取到的多尺度红外与可见光特征利用相关性进行特征自增强；所述跨模态特征增强融合模块cfem还使用坐标注意力机制关注目标物体的关键特征，并通过引入残差连接自适应聚合水平和垂直方向上的初始特征；

11、所述融合特征增强模块fem用于拼接多尺度融合特征及使用膨胀卷积扩展感受视野，并将融合后的结果经过互相关操作得到用于预测目标跟踪结果的响应图；

12、所述基于锚框自适应的跟踪预测网络的跟踪预测头包括两个分支，分别用于预测响应图中每个位置类别的分类，以及用于计算对应位置的目标包围框。

13、进一步地，所述基于孪生网络结构的特征提取网络包括依次连接的4×4卷积层、第一convnext block模块、第一下采样层、第二convnext block模块、第二下采样层、第三convnext block模块、第三下采样层以及第四convnext block模块；

14、所述第一下采样层、第二下采样层以及第三下采样层均包括一个ln标准化操作层和2×2卷积层；

15、所述第一convnext block模块、第二convnext block模块、第三convnext block模块以及第四convnext block模块的通道数依次为40、80、160和320，堆叠次数依次为2，2，6和2。

16、进一步地，所述第一convnext block模块、第二convnext block模块、第三convnext block模块以及第四convnext block模块的结构相同，包括依次连接的7×7深度可分离卷积层、ln标准化操作层、第一1×1卷积层、gelu激活函数、第二1×1卷积层、layerscale层、正则化层以及跳跃连接；所述跳跃连接将所述正则化层的输出和7×7深度可分离卷积层的输入进行像素级求和，作为第一/第二/第三/第四convnext block模块的输出。

17、进一步地，所述跨模态特征增强与逐级融合网络包括依次连接的第一跨模态特征增强融合模块cfem、第二跨模态特征增强融合模块cfem、第三跨模态特征增强融合模块cfem和融合特征增强模块fem；

18、所述第一跨模态特征增强融合模块cfem的输入端还与所述第四convnext block模块的输出端连接，所述第一跨模态特征增强融合模块cfem的输出端还与融合特征增强模块fem的输入端连接；

19、所述第二跨模态特征增强融合模块cfem的输入端还与所述第三convnext block模块的输出端连接，所述第二跨模态特征增强融合模块cfem的输出端还与融合特征增强模块fem的输入端连接；

20、所述第三跨模态特征增强融合模块cfem的输入端还与所述第二convnext block模块的输出端连接。

21、进一步地，所述第一跨模态特征增强融合模块cfem、第二跨模态特征增强融合模块cfem以及第三跨模态特征增强融合模块cfem结构相同，其对输入信息进行处理的方法为：

22、通过对rgb信息和红外信息通过交叉相乘和坐标注意力机制进行特征增强，再通过跳跃连接将原始特征信息进行补充获得自增强后的模态特征，将其拼接融合后通过3×3卷积进行特征提取，并采用多尺度逐级融合的方式强化特征信息；

23、所述融合特征增强模块fem包括依次连接的上采样层、concatenate操作、三个并行空洞卷积层、像素相加操作以及1×1卷积层；其中，三个并行空洞卷积层的膨胀率分别为1，2和3。

24、进一步地，所述步骤s3具体为：

25、s31、将跟踪网络数据集划分为预训练数据集和训练数据集；

26、s32、采用随机梯度下降法，利用预训练数据集对基于孪生网络结构的特征提取网络进行预训练，直到模型损失函数值收敛，得到rgbt目标跟踪模型的预训练模型；

27、s33、采用降低学习率及随机梯度下降法的方式，在预训练模型的基础上，利用训练数据集对rgbt目标跟踪模型进行微调，直到模型损失函数值再次收敛，获得训练好的rgbt目标跟踪模型。

28、进一步地，模型损失函数值l的表达式为：

29、l＝lcls+lreg

30、式中，lcls为交叉熵损失函数，lreg为回归损失函数，其表达式为：

31、

32、式中，b和bgt分别表示预测框和真实框的中心点，ρ表示两个中心点的欧式距离，c表示能够同时包含预测框和真实框的最小闭包区域的对角线距离。

33、进一步地，所述步骤s4具体为：

34、s41、将可见光和红外视频序列第一帧和待检测帧进行图像剪裁，获得rgb模板图像、红外模板图像、rgb搜索图像和红外搜索图像，并输入至rgbt目标跟踪模型中；

35、s42、通过特征提取网络对rgb模板图像、红外模板图像、rgb搜索图像和红外搜索图像进行特征提取，分别得到rgb模板特征、红外模板特征、rgb搜索特征以及红外搜索特征；

36、s43、通过跨模态特征增强融合模块cfem将rgb模板特征和红外模板特征进行自增强和逐级融合，将rgb搜索特征和红外搜索特征进行自适应自增强和逐级融合，得到红外与可见光融合图像和模板特征与搜索特征；

37、s44、通过融合特征增强模块fem对融合图像和模板特征与搜索特征进行增强，得到红外与可见光融合图像的增强模板特征和增强搜索特征；

38、s45、将增强模板特征和增强搜索特征进行互相关操作得到用于跟踪预测的响应图；

39、s46、通过基于锚框自适应的跟踪预测网络生成5d向量对响应图进行目标位置预测，获得目标跟踪结果。

40、进一步地，所述步骤s46中，5d向量表示为t＝(cls,l,t,r,b)，其中，cls表示分类得分，l+r和t+b表示当前帧中目标预测的宽和高；

41、分类得分cls的表达式为：

42、cls＝(1-a)cls*penalty+ah

43、式中，a表示在余弦窗惩罚中起到调节作用的超参数，h为用于抑制大位移的余弦窗惩罚，penalty为用于抑制预测目标形变的比例和尺度惩罚，其表达式为：

44、

45、式中，k表示在比例和尺度惩罚中起到调节作用的超参数，r表示宽高比，r'表示最后一帧的宽高比，s表示目标尺度，s'表示最后一帧目标尺度。

46、本发明的有益效果为：

47、本发明提供的rgbt目标跟踪模型在能见度低等恶劣环境下的目标跟踪领域具有显著的优势和广阔的应用前景，包括以下有益效果：

48、(1)本发明将红外与可见光传感器应用于复杂环境下的目标跟踪，可抵抗雾霾、暗光等恶劣环境的干扰，提高跟踪效率；

49、(2)在本发明中的rgbt目标跟踪模型中，通过高性能的convnext-t网络构建具有深层次、多分支的孪生结构网络用于可见光图像和红外图像特征提取，并通过减少convnext block堆叠数次以及通道数等方式降低模型的计算量和内存消耗；

50、(3)本发明通过设计跨模态特征相关性计算与残差坐标注意力机制(res_ca)，有效增强不同模态显著特征，从而显著提高跟踪精度；

51、(4)本发明中通过逐级融合多尺度特征，引入并行膨胀卷积构成的融合特征增强模块(fem)进一步加强融合特征，扩大感受野，提高跟踪鲁棒性；

52、(5)本发明中的rgbt目标跟踪模型选择基于锚框自适应思想的跟踪预测网络，并在分类得分图中引入比例和尺度惩罚，提高跟踪网络适应性。