基于SiamACCU++网络的遥感视频目标跟踪方法

本发明属于计算机视觉领域，涉及一种基于siamaccu++网络的遥感视频目标跟踪方法。

背景技术：

1、随着科技的进步和计算能力的提升，计算机视觉技术在各行各业都得到了广泛应用。计算机视觉通过模拟人类的视觉方式来观察和感知事物，自主地适应不同场景，并取代人眼来挖掘更多有用信息，节约大量人力资源，具有巨大的发展前景。

2、光学遥感视频目标跟踪是计算机视觉中具有挑战性的任务之一，在卫星和航空图像处理领域发挥着重要作用。遥感是指利用卫星上的仪器进行遥测和资源管理监控的非接触、远距离探测技术。目标跟踪技术的核心是从视频序列的首帧中给出目标，跟踪器需要准确捕捉后续帧中目标的位置，并分析获取目标的运动状态，为具体应用提供数据支持。遥感视频目标跟踪将这两项先进技术结合起来，使其在各种应用场景中具有显著的优势。

3、遥感视频卫星的俯瞰视角能够捕捉到大范围的场景信息，因此在大范围交通监控、国防安全监测、军事动态指导等领域具有重要的应用价值。然而，面临的挑战也不容忽视，例如目标尺寸较小、遮挡情况严重、背景复杂以及目标分辨率不高等问题。

技术实现思路

1、针对以上问题，本发明公开了一种基于siamaccu++网络的遥感视频目标跟踪方法，该方法的主要内容如下：(1)为了解决遥感图像中背景复杂的问题，通过在主干网络resnet50的conv3_3、conv4_6、conv5_3残差块中嵌入cbam注意力机制，使算法更加关注跟踪目标本身而忽略无关背景。(2)为了解决在遥感图像中运用传统孪生网络中的深度互相关算法容易被干扰物欺骗的问题，采用acm(不对称卷积模块)替换原来的深度互相关算法，将一个大的卷积过程拆分为两个独立的卷积的优点在于不需要每一次都进行滑窗操作和特征图的拼接，从而提高了速度和性能。(3)为了解决遥感图像中在物体移动的过程中尺度发生较大变化或因为遮挡导致跟踪漂移的问题，采用updatenet模块更新网络对网络的初始模板进行更新，使得跟踪目标的模板不再仅由初始模板决定，而是由初始模板、累积模板和当前帧的模板共同决定，增强模型抗尺度变化的能力。

2、本发明实现的具体步骤如下：

3、s1、获取由遥感视频片段构成的数据集。

4、s2、构建由特征提取模块、特征自适应互相关模块、自适应模板更新模块组成的遥感视频目标跟踪模型，获取输入视频片段中目标的前景背景信息和边界框信息。

5、2.1、选取一段视频序列的第一帧作为模板帧，后续其他帧为搜索帧，将模板帧和搜索帧分别作为特征提取模块中模板分支和搜索分支分支的输入，经过特征提取网络提取特征。

6、特征提取模块中，模板分支和搜索分支结构相同，主干网络为resnet50，其网络结构分成五个部分，第一部分不包含残差块，主要对输入进行卷积、正则化、激活函数、最大池化的计算。第二、三、四、五部分结构都包含了残差块，每个残差块都有三层卷积，第三至第五部分堆叠的第一个残差块和其他残差块尺度大小不同，因为每个阶段都要对特征图进行下采样操作，下采样的作用是增强特征的变换不变性，减少特征参数防止过拟合，具体表现为特征图尺寸逐渐减小，通道数逐渐增加。通过堆叠不同的残差块就形成了resnet50，再加上最后的全连接层共50层。

7、2.2、在模板分支后，特征自适应互相关模块包含cbam注意力机制、特征融合和不对称卷积acm。在主干网络resnet50的第三、四、五部分最后一层的输出分别输入三个cbam注意力机制，这种注意力机制能够以序列化的方式在通道和空间两个维度上引入注意力特征图信息，从而使得算法更加关注跟踪目标本身，并忽略无关背景信息。此外，改变特征图的输出结构，不再只输出最后一个残差块的特征图，而是同时取三个残差块输出的特征图，经过cbam注意力机制处理后，再输出三个经过cbam注意力机制处理后的特征图。

8、将经过cbam注意力机制处理后的特征图用特征金字塔结构的方式自深至浅进行特征融合：将当前特征与后一个特征图进行融合，分别得到三个融合后的特征图。因为浅层和中层包含更多的纹理特征信息，深层包含更丰富的语义特征信息，有利于区分目标和背景信息。

9、搜索分支后的特征处理与模板分支一致，将模板分支和搜索分支对应的融合后的特征图分别输入三个顺序连接的acm中，将每一层acm的输出结果输入至下一层的acm中，这实际上也是一个特征融合的过程，融合了浅层、中层和深层的特征信息，最后得到结果cls和reg。cls包含目标的前景背景信息，也就是目标的中心点，reg包含目标的边界框信息，也就是边界框到中心点的距离。本发明将算法原有的dw-xcorr深度互相关操作替换为acm，由于dw-xcorr是一个手工制作的无参数模块，它无法充分利用大规模离线数据进行学习。同时，传统的dw-xcorr容易受到干扰物的欺骗，其激活通道较少，对物体边界的分辨能力较弱。为了解决特征图必须尺寸一致才能进行拼接的问题，该模块将原本应该在拼接特征图上进行的卷积操作分解为两个等效的操作。

10、2.3、自适应模板更新模块包含自适应更新判断模块和updatenet模板更新模块。自适应更新判断模块根据目标前景背景信息获取目标模板特征和当前帧目标特征，通过计算当前模板目标和当前帧中的目标之间的欧式距离，得到相似度得分，并设定阈值，当相似度得分大于阈值且累积次数大于设定值时，则判断当前目标外观尺度发生较大变化或被遮挡，则指示通过updatenet模板更新模块更新模板，反之则继续跟踪。由于传统孪生网络通常选择视频序列的第一帧训练作为模板，在这个过程中，初始帧模板或者保持不变，或者使用简单的线性更新，这就会导致如果在后续帧中跟踪目标外观尺度发生比较大的变化时，初始帧模板保持固定或者仅使用线性更新不足以满足模板更新的需要。为解决上述模板更新问题，updatenet获取初始帧模板、先前的累计模板和当前帧模板作为网络的输入，再将初始帧模板连接到updatenet网络的输出以确保充分考虑了初始帧模板，最终输出对下一帧模板的预测。

11、s3、配置遥感视频目标跟踪模型参数，通过数据集中训练集训练网络模型。

12、根据计算机内存大小、显卡内存大小以及发明想要达到的识别效果，合理的设置输入图像的尺寸大小、训练的次数和单次传递给程序用以训练的数据样本个数等参数。

13、本发明采用分阶段训练模式，得到修改后的网络结构之后，将其导入配置好的深度学习环境，将之前配置好的参数文件添加至网络模型中，运用训练集中标记好的图片进行训练，训练过程中，将训练集里划分好的图片放入计算机中进行训练，获得每一个阶段训练的效果。首先使用线性模板更新生成第一阶段的训练模板，微调学习率，得到最好模型，第二和第三阶段加载前一阶段的最好模型，采用updatenet模板更新方式生成新的训练模板，同时微调学习率，最后得到的第三阶段的网络模型即为最优模型。

14、s4、通过数据集中测试集，测试和评估遥感视频目标跟踪模型在遥感图像中效果。

15、模型在训练结束后会生成相应的.pth文件，加载训练阶段的最好模型，导入网络权重参数和测试集，运行后得到评估所需的测试结果，再根据测试结果对方法进行评估，得到精确度值和成功率。为验证本发明所提方法在成功率和精确度上的提升效果，与当前主流算法进行对比并绘制曲线图。

16、测试所用的遥感视频由卫星捕获，每帧的每个目标都是手动标注的，标注格式为(x,y,w,h)，即目标框的中心点坐标和目标框的宽高，观察在一段截取的遥感视频中跟踪效果是否达到预期要求。

17、本发明有益效果：本发明(1)首先针对遥感图像中背景复杂的问题，对主干网络resnet50的第三、四、五部分残差块进行了改进，在其后嵌入了cbam注意力机制，使得算法能够更加关注跟踪目标本身，同时忽略无关的背景信息。(2)为了解决在遥感图像中使用传统孪生网络中的深度互相关算法容易被干扰物所欺骗的问题，采用了acm(不对称卷积模块)，来替代原来的深度互相关算法。acm的优点在于将一个大的卷积过程拆分为两个独立的卷积操作，这样就不需要进行每一次都进行滑窗操作和特征图的拼接，从而提高了算法的速度和性能。(3)为了解决遥感图像中物体移动过程中尺度发生较大变化或因为遮挡导致跟踪漂移的问题，引入了updatenet模板更新模块来对网络的初始模板进行更新。这样，跟踪目标的模板不再仅由初始模板决定，而是由初始模板、累积模板和当前帧的模板共同决定。这样一来，网络模型具备了更强的抗尺度变化的能力，并且能够准确进行目标跟踪。