基于时空区域建议和动态度量记忆网络的长期目标运动跟踪方法

本发明属于计算机视觉目标跟踪，尤其涉及基于时空区域建议和动态度量记忆网络的长期目标运动跟踪方法。

背景技术：

1、视觉目标跟踪是计算机视觉中的一项基本任务，其目的在给定初始目标的信息，后续视频序列中仍能准确定位该目标。尽管近年来目标跟踪器得到了广泛的发展，但目标跟踪领域仍存在一些挑战性因素，如遮挡、形变、视角变化、运动模糊和突变运动等。

2、目前，大多数跟踪器都专注于短期跟踪任务，随着不断的深入研究，这些方法在短期跟踪方面取得了巨大成功，并在流行的跟踪基准测试中取得了令人满意的成绩。这些短期跟踪器跟踪的目标始终在视野中，目标遮挡是局部或短时的。当被跟踪目标处于长期运动时，目标会频繁的消失，并以任意大小、任意位置再次出现，此时运动平滑性假设被打破，短期跟踪器局部搜索难以给出正确的建议区域，导致跟踪失败。

3、因此，针对短时跟踪器不能很好适应目标频繁丢失再出现的这一问题，有必要提出一种能够生成高质量的面向对象的区域建议方法以应对目标长期运动。

技术实现思路

1、本发明的目的是提供基于时空区域建议和动态度量记忆网络的长期目标运动跟踪方法，以至少解决现有技术中传统短时跟踪器在面对目标频繁消失和重现时，不能给出准确建议区域造成恢复目标追踪难的技术问题。

2、本发明提供的基于时空区域建议和动态度量记忆网络的长期目标运动跟踪方法，包括如下步骤：

3、s1、根据初始帧给定的目标的位置信息，初始化动态度量记忆网络，同时mobilenetv2主干网络提取首帧模板和短时记忆模板目标特征信息并进行线性融合，将线性融合后的特征经过空间注意进行特征增强；

4、s2、根据上一帧跟踪的目标位置，截取以目标为中心的搜索区域图像，将搜索区域输入到mobilenetv2主干网络提取搜索区域特征，将增强后的模板特征与搜索区域特征共同送入区域建议网络生成候选建议；

5、s3、通过动态度量记忆网络推理出最优候选，得到目标位置；判断当前跟踪结果是否小于设定阈值，若是，将局部跟踪器的预测结果作为当前帧的跟踪结果,执行s4；否则，执行s5；

6、s4、对跟踪结果进行度量判断，决定对s1中动态度量记忆网络的记忆内容以及模板目标特征进行更新；返回s2，进行下一帧的跟踪；

7、s5、对目标进行全局搜索，在整张图像上执行s2，进行对丢失目标的重定位。

8、进一步的，s2中所述搜索区域图像，若为全局搜索，则搜索区域图像为整张图像。

9、进一步的，s1中初始模板和短时记忆模板经过mobilenetv2网络并线性融合获得融合模板的特征方法：分别将所述目标初始模板和所述短时记忆模板图像输入mobilenetv2网络中，提取mobilenetv2网络在第3、5、7层的特征作为目标特征；对目标初始模板和短时记忆模板的特征进行不同层之间的线性插值融合得到最终目标特征。

10、进一步的，s1中所述线性插值融合是将初始模板和短时记忆模板进行线性融合，融合过程为：

11、f＝(1-α)fs+αfd

12、其中，fs为初始模板特征，fd为短时记忆模板特征，α为可调节参数；

13、进一步的，

14、s1中融合后的特征经过空间注意进行特征增强的方法为：

15、

16、其中，f'为经过空间注意力增强的模板特征，ms(f)为空间注意力特征图；f为目标模板的单层特征，为点积操作。

17、进一步的，

18、所述s2中根据上一帧目标位置，截取以目标为中心，是以上帧目标大小4倍进行裁剪作为搜索区域，输入mobilenetv2网络中提取对应3、5、7层特征。

19、进一步的，所述s3中通过动态度量记忆网络推理出最优候选方法为：

20、di＝||g(bi)-g(t)||2

21、其中，g(·)表示嵌入函数，bi表示候选区域，ti表示记忆模板，di表示当前模板与候选的距离；

22、对不同记忆模板对当前候选共同验证：

23、

24、其中，ωi表示不同记忆模板的权重，分别表示首帧，短时，长时记忆模板对候选之间的距离,为融合的验证分数。

25、进一步的，所述s4中，对动态度量记忆网络进行记忆写入方法为：

26、s4.1计算当前结果与短时记忆模板的距离得分；

27、s4.2计算当前结果与短时记忆模板的分类得分；

28、s4.3通过计算距离得分和分类得分的平均和是否小于设定阈值进行更新。

29、进一步的，所述s4.1计算当前结果与短时记忆模板的距离得分方法：

30、

31、其中，ma(·,wa)表示度量网络输出的判别特征，表示当前样本的得分，it表示当前结果样本，ii表示目标记忆样本；

32、所述s4.2计算当前结果与短时记忆模板的分类得分方法：

33、

34、其中，lof()表示密度为基础的度量方法，表示可更新模板正样本；

35、所述s4.3通过计算距离得分和分类得分的平均和是否小于设定阈值进行更新：

36、

37、其中，和为度量分数，win为设定的更新阈值。

38、本发明的另一目的是提供一种存储介质，所述存储介质存储有程序数据，所述程序数据被执行时实现基于时空区域建议和动态度量记忆网络的长期目标运动跟踪方法。

39、与现有技术相比，本发明产生的有益效果为：本发明通过同时利用目标的时空信息生成更高质量的建议区域，同时动态度量记忆网络用来适应目标的外观变化，使得跟踪器可以充分利用目标的有效信息，提高对目标长期运动场景下的鲁棒性。

技术特征：

1.基于时空区域建议和动态度量记忆网络的长期目标运动跟踪方法，其特征在于，包括如下步骤：

2.根据权利要求1所述基于时空区域建议和动态度量记忆网络的长期目标运动跟踪方法，其特征在于，s2中所述搜索区域图像，若为全局搜索，则搜索区域图像为整张图像。

3.根据权利要求1所述基于时空区域建议和动态度量记忆网络的长期目标运动跟踪方法，其特征在于，s1中目标模板和短时记忆模板经过mobilenetv2网络并线性融合获得融合模板特征的方法：分别将所述目标模板和所述短时记忆模板图像输入mobilenetv2网络中，提取mobilenetv2网络在第3、5、7层的特征作为目标特征；对目标和记忆模板的特征进行不同层之间的线性插值融合得到最终目标特征。

4.根据权利要求3所述基于时空区域建议和动态度量记忆网络的长期目标运动跟踪方法，其特征在于，s1中所述线性插值融合是将目标模板和短时记忆模板进行线性融合，

5.根据权利要求4所述基于时空区域建议和动态度量记忆网络的长期目标运动跟踪方法，其特征在于，s1中融合后的特征经过空间注意进行特征增强的方法为：

6.根据权利要求1所述基于时空区域建议和动态度量记忆网络的长期目标运动跟踪方法，其特征在于，所述s2中根据上一帧目标位置，截取以目标为中心，是以上帧目标大小4倍进行裁剪作为搜索区域，输入mobilenetv2网络中提取对应3、5、7层特征。

7.根据权利要求1所述基于时空区域建议和动态度量记忆网络的长期目标运动跟踪方法，其特征在于，所述s3中通过动态度量记忆网络推理出最优候选方法为：

8.根据权利要求1所述基于时空区域建议和动态度量记忆网络的长期目标运动跟踪方法，其特征在于，所述s4中，对动态度量记忆网络进行记忆写入方法为：

9.根据权利要求8所述基于时空区域建议和动态度量记忆网络的长期目标运动跟踪方法，其特征在于，s4.1所述计算当前结果与短时记忆模板的距离得分方法：

10.一种存储介质，其特征在于，所述存储介质存储有程序数据，所述程序数据被执行时实现如权利要求1-9任一项所述的方法。

技术总结
本发明公开基于时空区域建议和动态度量记忆网络的长期目标跟踪方法，以解决现有跟踪方法无法有效应对目标丢失后恢复跟踪的问题。其步骤为：首先跟踪器在搜索区域内，通过交互利用目标在时间和空间两个维度的信息进行区域建议，生成一些面向目标对象的高质量的候选区域，然后利用记忆网络判断推理出最优候选作为预测结果。根据该结果判断目标是否丢失，进行全局局部搜索策略的转换，同时对跟踪结果进行度量判断动态的更新记忆内容以模拟目标的长期外观。本发明将区域建议和记忆网络相结合能够适应目标不确定性运动等跟踪问题，实现长期跟踪。

技术研发人员：赵彦春,智鹏鹏,付伟强,张焕龙,李福生,沈冯立,唐荣江
受保护的技术使用者：电子科技大学长三角研究院（湖州）
技术研发日：
技术公布日：2024/2/25