一种利用排序损失的语义引导图注意力网络用于孪生跟踪方法

本发明属于目标追踪，尤其涉及一种利用排序损失的语义引导图注意力网络用于孪生跟踪方法。

背景技术：

1、单目标跟踪基本目的是根据第一帧信息来估计视频序列中每一连续的位置信息，它被广泛的应用于计算机视觉任务中，如无人驾驶车辆、安防系统等。虽然，近年来跟踪性能逐渐提高，但严重遮挡和剧烈形变等挑战仍然存在。

2、目前，孪生跟踪算法因其可以实现速度与精度平衡的优势，受到视觉跟踪界的广泛关注。在传统孪生跟踪器中，外观模型简单地对应于从目标区域提取模版特征，然后利用互相关计算，来得到目标与搜索图像之间的相似度，从而进一步追踪目标。然而，这种基于互相关的追踪方法，容易造成目标模糊的问题。

3、图注意力网络被引入到追踪任务中，但这种方法侧重于节点之间的拓扑结构，忽视了与目标整体结构相关的上下文信息，从而导致丢失与目标相关的判别信息。

技术实现思路

1、本发明的目的是提供一种利用排序损失的语义引导图注意力网络用于孪生跟踪方法，以至少解决现有技术中传统图注意力追踪，只关注节点之间的拓扑结构，导致忽视了目标整体结构的上下文信息的问题。

2、本发明提供的一种利用排序损失的语义引导图注意力网络用于孪生跟踪方法，包括如下步骤：

3、步骤1、获取目标模版、搜索区域图像，及目标模版特征、搜索区域图像特征；

4、步骤2、将目标模版送入到语义引导模块中，获取注意力图a与自适应特征图；

5、步骤3、将步骤2得到的注意力图a与自适应特征图进行聚合，得到语义特征图；

6、步骤4、将步骤3生成的语义特征图与搜索区域图像特征进行互相关操作；

7、步骤5、将步骤1中目标模版特征、搜索区域图像特征，与步骤5中输出的语义特征图一起送入图注意力网络中，得到响应图；

8、步骤6、将响应图输入到分类与回归子网络中，进行目标的分类和定位；

9、步骤7、根据分类得分和回归结果，计算得出当前图像的追踪结果。

10、进一步的，步骤1中所述目标模版，根据初始帧图像中目标的真实位置信息，在初始帧图像中截取目标在真值框内的部分，作为所述目标模版。

11、进一步的，步骤1中所述搜索区域图像，是在初始帧图像中截取以目标为中心的包含背景的搜索区域图像。

12、进一步的，所述目标模版特征、搜索区域图像特征，是将所述目标模版、所述搜索区域图像传入googlenet网络中，获取的各自特征。

13、进一步的，所述语义引导模块中获取注意力图a的方法为：

14、

15、其中,代表集合中的元素,代表转置矩阵,为原始特征经过两个1×1卷积得到的特征。

16、进一步的，所述语义引导模块中获取语义特征图t’的方法为：

17、

18、其中，代表模版特征，表示特征图上每个位置得到的特征向量，将与模版特征聚合得到最终语义特征。

19、进一步的，步骤4中的所述互相关操作计算如下：

20、其中，代表搜索区域特征，代表相似度图。

21、进一步的，步骤5中所述响应图的计算方法为：

22、

23、其中代表节点之间相似度，和表示线性变换矩阵，代表节点。

24、

25、其中，表示线性变换矩阵,||表示向量连接操作,表示聚合后的特征。

26、进一步的，所述方法利用intel i7-9700kcpu(3.60ghz),16gb ram、nvidiaquadrortx4000计算机，采用python3.8实现。

27、本发明的另一目的是提供一种存储介质，所述存储介质存储有程序数据，所述程序数据被执行时实现如权利要求1-8任一项所述的方法。

28、与现有技术相比，本发明产生的效益效果为：本发明通过设计语义引导模块，将目标上下文的语义信息融入到图注意力网络中，使得图注意力追踪具有感知目标判别信息的能力，提高了追踪器在面对相似目标时的性能。

技术特征：

1.一种排序损失的语义引导图注意力网络用于孪生跟踪的方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种利用排序损失的语义引导图注意力网络用于孪生跟踪方法，其特征在于，步骤1中所述目标模版，根据初始帧图像中目标的真实位置信息，在初始帧图像中截取目标在真值框内的部分，作为所述目标模版。

3.根据权利要求2所述的一种利用排序损失的语义引导图注意力网络用于孪生跟踪方法，其特征在于，步骤1中所述搜索区域图像，是在初始帧图像中截取以目标为中心的包含背景的搜索区域图像。

4.根据权利要求3所述的一种利用排序损失的语义引导图注意力网络用于孪生跟踪方法，其特征在于，所述目标模版特征、搜索区域图像特征，是将所述目标模版、所述搜索区域图像传入googlenet网络中，获取的各自特征。

5.根据权利要求1所述的一种利用排序损失的语义引导图注意力网络用于孪生跟踪方法，其特征在于，所述语义引导模块中获取注意力图a的方法为：

6.根据权利要求1所述的一种利用排序损失的语义引导图注意力网络用于孪生跟踪方法，其特征在于，所述语义引导模块中获取语义特征图t’的方法为：

7.根据权利要求1所述的一种利用排序损失的语义引导图注意力网络用于孪生跟踪方法，其特征在于，步骤4中的所述互相关操作计算如下：

8.根据权利要求1所述的一种利用排序损失的语义引导图注意力网络用于孪生跟踪方法，其特征在于，步骤5中所述响应图的计算方法为：

9.根据权利要求1所述的一种利用排序损失的语义引导图注意力网络用于孪生跟踪方法，其特征在于，所述方法利用intel i7-9700kcpu(3.60ghz),16gb ram、nvidia quadrortx4000计算机，采用python3.8实现。

10.一种存储介质，其特征在于，所述存储介质存储有程序数据，所述程序数据被执行时实现如权利要求1-8任一项所述的方法。

技术总结
本发明公开了一种利用排序损失的语义引导图注意力网络用于孪生跟踪的方法，解决传统图注意力追踪只关注节点之间的拓扑结构，导致忽视了目标整体结构的上下文信息。本发明在主干特征提取网络输出特征分支后，将目标模版放入设计的语义引导模块，以此来生成带有目标上下文的语义特征，通过互相关操作将其融合到图注意网络中，获取具有目标判别力的特征。图注意网络输出目标模版与搜索区域模版的相似度图，送入分类与回归子网络中，来进行目标的定位。本发明增强基于图注意力的孪生跟踪器的目标判别能力，提高了追踪器在复杂背景中的鲁棒性。

技术研发人员：张焕龙,赵彦春,齐锐,智鹏鹏,沈冯立,李福生,唐荣江,吴静静,周涛
受保护的技术使用者：电子科技大学长三角研究院（湖州）
技术研发日：
技术公布日：2024/2/25