一种基于双分支孪生网络结构的视觉目标跟踪方法

本发明涉及一种基于双分支孪生网络结构的视觉目标跟踪方法，属于图形图像处理领域。

背景技术：

1、视觉目标跟踪一直是人工智能和计算机视觉领域一项基本而富有挑战性的任务，在视频监控、智能交通、无人驾驶等方面具有广泛的应用。然而，由于各种挑战，例如目标被遮挡、尺度变化及背景杂乱等，目标跟踪算法在实时性和准确性方面难以做到较好的平衡，因此如何实现实时、准确的目标跟踪算法具有很大的研究价值。目前的目标跟踪方法主要分为：基于相关滤波类的方法，如kcf、dsst；基于孪生网络类的方法，如siamfc、siamrpn、siamdw；而随着计算机计算能力的大幅提升，基于深度学习的孪生网络类算法逐渐成为主流。

2、基于相关滤波类的目标跟踪算法通过提取目标特征训练滤波器，并对下一帧图像作滤波运算，以结果响应峰值所在位置作为目标位置。在特征构建方面，早期的相关滤波方法主要使用手工特征构建目标模型，而手工特征的构建方法相对简单，仅由统计计算完成，虽然使用此类特征的跟踪器的跟踪速度较快，但对目标特征的建模能力较弱，从而使得跟踪器鲁棒性不强，难以应对复杂场景下的跟踪任务。基于深度学习的孪生网络类目标跟踪算法，以siamfc为代表，其在初始离线阶段训练一个全卷积网络以解决更一般的相似性学习问题，然后在推理期间对学习到的匹配函数进行简单的在线评估，该方法在具有极强的实时性的同时达到了极具竞争力的性能。但是该算法使用较浅的特征提取网络alexnet，提取到的仅仅是目标的浅层特征，在应对遮挡、尺度变化等复杂场景时精度不高。而近两年来基于孪生网络类的跟踪算法如siamdw探索出如何将深层网络作为骨干网络应用于目标跟踪任务中；但深层网络随着层数的加深会抑制浅层特征的利用，而浅层特征对于跟踪过程中目标位置的定位能力较强，因此浅层特征的利用也十分重要。

3、总体而言，目前基于孪生网络类的目标跟踪算法大致只利用目标的浅层特征或只利用目标深层的语义特征进行跟踪，亦或者在骨干网络后面嵌入一系列模块，虽然性能有所提升，但实时性却大幅下降。

技术实现思路

1、本发明目的是：为了解决现如今孪生网络类目标跟踪算法在精度与实时性之间难以平衡的问题，同时使得整个算法的结构简单明了，实现在满足实时性的前提下获得较好的跟踪准确率和精度。

2、为实现上述目的，本发明设计出一种基于双分支孪生网络结构的视觉目标跟踪方法。该方法包括以下步骤：

3、s100、训练阶段，获取原始模板图像z和原始搜索图像x；对所述原始模板图像和原始搜索图像进行预处理，得到模板图像z_sz和搜索图像x_sz，并将所述模板图像z_sz和搜索图像x_sz作为训练数据并构建训练数据集；训练时，所有图像的bounding box均已知；

4、s101、所述对原始模板图像进行预处理，包括以下步骤：以目标为中心，构建出对应的模板区域，如果超出范围则使用rgb均值进行填充；构建方式如下：

5、；

6、；

7、其中a=127×127，和代表bounding box的长宽，z_sz为模板图像边长，；

8、s102、所述对原始搜索图像进行预处理，包括以下步骤：在构建之前已知其上一帧bounding box的信息，以上一帧bounding box的中心为中心，构建出对应的搜索区域，如果超出范围则使用rgb均值进行填充；构建方式如下：

9、；

10、；

11、其中a=255×255，和代表bounding box的长宽，x_sz为搜索图像边长，。

12、s200、将所述模板图像z_sz和搜索图像x_sz输入到双分支孪生网络结构进行特征提取，具体为：将所述模板图像z_sz通过浅层分支进行特征提取，得到浅层分支提取出的模板图像特征图；将所述模板图像z_sz通过深层分支进行特征提取，得到深层分支提取出的模板图像特征图；将所述搜索图像x_sz通过浅层分支进行特征提取，得到浅层分支提取出的搜索图像特征图；将所述搜索图像x_sz通过深层分支进行特征提取，得到深层分支提取出的搜索图像特征图；

13、s300、将分别经过深浅两个分支得到的特征图进行互相关操作，即经过所述浅层分支的模板图像z_sz和搜索图像x_sz的特征图进行互相关操作，经过所述深层分支的模板图像z_sz和搜索图像x_sz的特征图进行互相关操作，得到对应的两个分支响应图；得到分支响应图的表达公式为：

14、；

15、总响应图的计算公式为：

16、；

17、其中代表s200的特征提取操作，f(z,x)为最终的响应图，fi(z,x)为分支响应图，z和x分别代表模板图像和搜索图像，i=1,2分别代表浅层和深层分支，m和n代表权重系数，在训练过程中通过不断学习自适应的调整比重，b为偏置；

18、s400、通过分数矩阵进行训练，通过损失函数计算的损失不断优化模型；

19、s401、首先构建正负样本对，其构建公式表示为：

20、,

21、其中， c为物体在响应图的中心，u为响应图中任意一点，y为该点在响应图中构建出的样本值，y∈{+1，-1}，‖u-c‖是u与c的欧氏距离，k是网络总步长，r是定义的一个阈值；

22、s402、使用交叉熵作为损失函数，对于响应图中每个点，损失函数为：

23、；

24、其中是响应图中任一点的真实值，y∈{+1，-1}是这个点所对应的样本值，即s401中得到的样本值；将响应图的损失定义为所有单点损失的平均值，表示为：

25、；

26、式中：d为响应图中总点数，u∈d为响应图中的位置，l(·,·)为响应图中单个点的损失,  和分别代表u位置处响应图的样本值和真实值；

27、s403、通过计算损失值，使用随机梯度下降方法不断更新模型参数，对模型进行优化；参数的初始化使用一个高斯分布，范围遵循xavier方法；

28、s404、最终将响应图中数值最高的点作为预测的下一帧的目标位置的中心；

29、s500、跟踪阶段，准备两路输入图像，已知第一帧模板图像的bounding box，后续搜索图像的bounding box未知；按照要求构建出模板图像和搜索图像；

30、s600、将模板图像和第二帧搜索图像输入到双分支孪生网络结构中，分别得到对应的四种特征图；

31、s700、分别将经过浅层分支提取到的模板图像和搜索图像的特征图进行互相关，将深层分支提取到的模板图像和搜索图像的特征图进行互相关，得到两个分支响应图；得到分支响应图的表达公式为：

32、；

33、其中代表s200的特征提取操作，fi(z,x)为分支响应图，z和x分别代表模板图像和搜索图像，b代表偏置，i=1,2分别代表浅层和深层分支；

34、s800、将分支响应图通过训练阶段学习到的最优权重比进行融合，得到最终响应图；融合公式为：

35、；

36、f(z,x)为最终的响应图，m和n代表权重系数，范围为(0,1)，b为偏置；

37、s900、针对搜索图像，为了应对跟踪过程中的尺度变化，将在三种尺度上对搜索图像进行处理，三种尺度分别为1.0375{[-2,-0.5,1]}，因此最终会生成这三种尺度的响应图；

38、s1000、使用双三次线性插值将响应图映射为搜索图像的尺寸，取出三种尺度中数值最高点的位置(x,y)，并将其作为预测目标的中心；同时根据数值最高点的位置(x,y)所在尺度的响应图更新目标的尺寸，具体为：target×scale，其中

39、；

40、target表示待跟踪物体的原始尺寸。

41、上述的一种基于双分支孪生网络结构的视觉目标跟踪方法，其主要优势在于：该方法能够在兼顾跟踪实时性的同时很好的应对跟踪过程中出现的各种挑战，在面对背景杂乱、尺度变化、遮挡等复杂场景也能使得跟踪成功率和精度有所保障。同时整个方法的流程简洁明了。

42、与现有发明相比，本发明具有以下有益效果：（1）通过双分支孪生网络结构充分结合深浅层特征，最大限度的挖掘并利用了目标的特征信息，使其能够很好的应对遮挡、尺度变化以及背景杂乱等复杂情况；（2）将设计出的多尺度特征融合模块嵌入浅层分支，使得浅层分支对于定位目标位置的能力更强；（3）整个跟踪流程简洁明了；（4）跟踪实时性很强。