基于收缩增强损失函数的多视图置信度感知跟踪方法

本发明涉及目标跟踪，特别是指一种基于收缩增强损失函数的多视图置信度感知孪生跟踪方法。

背景技术：

1、视觉跟踪是计算机视觉领域的一个重要研究分支，由于其在视频监控和人机交互等领域的广泛应用，在过去的几十年里取得了巨大的进展。其目的是在初始帧上提供要跟踪的目标，然后在后续帧中自动定位该目标。尽管视觉跟踪技术已经取得了很大的进展，但面对实际跟踪过程中存在的遮挡、背景杂乱等挑战，如何实现较为鲁棒的跟踪仍是一个亟待解决的问题。

2、近年来，孪生跟踪器因其能更好地平衡跟踪精度和速度，而受到了研究者的广泛关注。然而，它们都只使用第一帧作为模板来获取特征，这使得在面对一些复杂的跟踪场景时很难区分目标和背景。为了解决这一问题，一些算法开始关注如何利用已知的目标信息进一步挖掘目标特征，因此基于目标感知的跟踪算法开始出现。它们或通过保留目标的详细附加信息，进一步挖掘目标特性；或通过损失函数挑选对目标更敏感的通道特征；或通过注意力机制，使搜索区域的每个部分都能从目标聚合信息，这些算法在一定程度上提升了跟踪效果，但在复杂的跟踪场景中，单纯依靠目标信息并不能保证跟踪精度，容易造成跟踪目标的漂移。

3、为了增强跟踪器对背景的判别能力，一些算法开始研究如何合理利用背景信息，更准确地将目标与背景区分开来。它们有的设计判别外观模型，充分利用有效的背景信息，对目标和周围的情境区域进行挖掘；有的提出了一种能够模拟前景和背景随时间变化的手工特征背景感知方法。这些方法虽然有利于区分目标和背景，但需要注意的是，基于背景感知的跟踪算法往往会忽略对目标的进一步挖掘，因此背景中的干扰也会对跟踪结果产生不利影响。针对上述问题，有必要设计一种能同时利用目标和背景信息的跟踪算法，旨在进一步挖掘目标特征的同时也能利用到背景的判别能力。

技术实现思路

1、针对以上不足，本发明提出了一种基于收缩增强损失函数的多视图置信度感知跟踪方法，该方法整合了前景特征与背景特征，在进一步挖掘目标信息的同时，也能合理利用背景的判别信息，能有效解决跟踪过程中产生的漂移问题，提高跟踪鲁棒性。

2、本发明技术方案如下：

3、一种基于收缩增强损失函数的多视图置信度感知跟踪方法，包括以下步骤：

4、步骤一、根据初始帧图像中的目标位置信息分离出前景图像，并利用平均像素值遮挡目标位置，得到背景图像；

5、步骤二、利用预训练的vgg16特征提取网络，分别提取模板图像、前景图像和背景图像的特征，分别得到各特征图的conv4-1和conv4-3两层特征；

6、步骤三、利用收缩增强损失函数进行指导，挑选模板特征中对目标更敏感的通道，去除冗余通道；

7、步骤四、前景特征和背景特征根据步骤三确定的通道位置进行通道的裁剪；

8、步骤五、读取下一帧，并根据上一帧的目标位置确定搜索区域，根据步骤二的过程提取搜索区域特征，根据步骤三确定的通道位置进行通道的裁剪；

9、步骤六、裁剪后的搜索区域特征分别与第一帧裁剪后的模板、前景、背景特征做互相关操作，分别得到模板响应图、前景响应图和背景响应图，将模板响应图与前景响应图加权得到更能突出目标的响应图；

10、步骤七、根据背景响应图的最大响应值确定是否引入背景信息来抑制干扰，若背景最大响应值超过设定的阈值，则减去背景响应图，若不超过，步骤六得到的响应图即为最终响应图，同时返回步骤五，直至视频结束。

11、进一步地，步骤二中网络的权值学习形式如下:

12、

13、其中，*表示卷积运算，w表示卷积层的核权值，x表示输入特征，y是被标记的目标初始位置，λ表示正则化参数。

14、进一步地，步骤三中损失函数ls具体表示如下：

15、

16、m和n为设置的超参数，用来控制损失压缩的程度，通过调整m和n的值，将得到一个合适的函数曲线，来指导挑选最有利于表征目标的特征。

17、进一步地，步骤三中损失函数指导挑选模板特征中更能表征目标的通道，根据该通道的位置，裁剪前景和背景特征，根据上一帧中目标位置，确定搜索区域，提取搜索区域特征，然后裁剪搜索区域特征，将裁剪后的模板特征、前景特征和背景特征分别于裁剪后的搜索区域特征进行互相关，形式如下：

18、

19、*表示互相关，mi表示互相关后的各响应图，表示搜索区域特征，分别代表模板、前景和背景特征，最终得到模板响应图mt，前景响应图mt和背景响应图mb。

20、进一步地，步骤六中将模板响应图mt和前景响应图mt进行加权，表示如下：

21、

22、m表示前景特征和模板特征加权后的响应图，α表示权重因子，ftmax表示前景响应图的最大置信度值。

23、进一步地，步骤七中根据背景响应图的最大置信度值与阈值γ的比较结果确定是否减去背景响应图，进而削弱背景干扰，表示如下：

24、

25、m′表示弱化背景后的最终响应图，β表示固定值参数，以控制背景信息的影响，mb表示背景的响应图。

26、本发明能产生的有益效果：

27、(1)本发明采用收缩增强损失函数，通过降低简单背景负样本的影响，增强困难背景负样本的贡献，有效解决了回归学习过程中样本数据不平衡的问题。

28、(2)本发明采用多视图置信度感知方法，根据前景的最大置信度得分来确定模板和前景融合的权重，并设置一个阈值来约束何时使用背景响应图来抑制干扰，从而获得更具判别力的目标响应图。

29、(3)通过多视图置信度感知方法，siamese框架在突出目标特征和弱化背景特征方面有较好的表现，最终的响应图更加可靠。

技术特征：

1.一种基于收缩增强损失函数的多视图置信度感知跟踪方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于收缩增强损失函数的多视图置信度感知跟踪方法，其特征在于：步骤二中网络的权值学习形式如下:

3.根据权利要求1所述的基于收缩增强损失函数的多视图置信度感知跟踪方法，其特征在于：步骤三中损失函数ls具体表示如下：

4.根据权利要求1所述的基于收缩增强损失函数的多视图置信度感知跟踪方法，其特征在于：步骤三中损失函数指导挑选模板特征中更能表征目标的通道，根据该通道的位置，裁剪前景和背景特征，根据上一帧中目标位置，确定搜索区域，提取搜索区域特征，然后裁剪搜索区域特征，将裁剪后的模板特征、前景特征和背景特征分别于裁剪后的搜索区域特征进行互相关，形式如下：

5.根据权利要求1所述的基于收缩增强损失函数的多视图置信度感知跟踪方法，其特征在于：步骤六中将模板响应图mt和前景响应图mt进行加权，表示如下：

6.根据权利要求1所述的基于收缩增强损失函数的多视图置信度感知跟踪方法，其特征在于：步骤七中根据背景响应图的最大置信度值与阈值γ的比较结果确定是否减去背景响应图，进而削弱背景干扰，表示如下：

技术总结
本发明公开了一种基于收缩增强损失函数的多视图置信度感知跟踪方法，属于目标跟踪技术领域，用于解决传统孪生跟踪算法很少考虑模板中相似目标背景难以区分，导致的跟踪结果不准确问题。本发明首先设计了一个收缩增强损失函数，通过在回归学习训练时收缩简单背景负样本的影响，增大困难背景负样本的贡献，平衡训练样本，最终挑选对目标更敏感的通道特征；同时，为进一步增强置信度图可靠性，构造了一种多视图置信度感知方法。本发明通过多视图置信度指南将模板、前景和背景的响应图进行整合，突出目标特征，抑制背景干扰，从而获得更具判别力的目标响应图，提升跟踪结果的鲁棒性。

技术研发人员：赵彦春,张焕龙,马宗浩,付伟强,王攀云,王勇,沈冯立
受保护的技术使用者：电子科技大学长三角研究院（湖州）
技术研发日：
技术公布日：2024/1/12