一种基于对齐时空记忆网络的热红外目标跟踪方法

本发明属于热红外目标跟踪、时空记忆网络，具体涉及一种基于对齐时空记忆网络的热红外目标跟踪方法。

背景技术：

1、热红外目标跟踪因为对光照不敏感且能在完全黑暗的情况下跟踪目标，因此被广泛的应用于夜间的辅助驾驶，视频监控和海面救援等领域。尽管当前热红外目标跟踪的研究取得了不错的发展，然而其仍然面临着诸如相似物干扰，遮挡，热交叉，尺度变化等挑战。由于热红外图像没有颜色，缺乏丰富的纹理细节等特征导致热红外目标跟踪中面临着非常频繁又极具挑战的问题，即无法精确估计目标边界框。

2、现有技术中，一些热红外目标跟踪方法企图通过获得更强判别能力的特征模型去区分与目标相似的干扰物。尽管这些方法取得了一定的效果，但是它们的性能受限于手工特征有限的判别能力而难以有较大的突破。最近，一些方法使用卷积神经网络的强大表征能力去提升热红外目标跟踪的性能。基于匹配的热红外跟踪方法较基于预训练深度特征的方法获得了显著的进步，证明在匹配任务下学到的深度特征更适合热红外目标跟踪。

3、然而，在相似干扰物严重的场景下，上述这些方法由于缺少细粒度的判别信息，而容易漂移到相似干扰物上。

4、在目标边界框估计方面，danelljan m,robinson a,khan f s,et al.beyondcorrelation filters:learning continuous convolution operators for visualtracking[c]//proceedings of the european conference on computer vision.2016:472–488.中提出在确定目标中心位置后，利用几个固定的尺度因子来寻找最合适的目标边界框；danelljan m,bhat g,khan f s,et al.atom:accurate tracking by overlapmaximization[c]//proceedings of the ieee conference on computer vision andpattern recognition.2019:4660–4669.提出通过计算一些候选样本和跟踪框架中的参考目标之间的交并重叠分数来确定合适的目标边界框；yan b,zhang x,wang d,etal.alpha-refine:boosting tracking performance by precise bounding boxestimation[c]//proceedings of the ieee conference on computer vision andpattern recognition.2021:5289-5298.提出了一种目标边界框估计模型，该模型能够专注于更详细的空间信息，从而有助于进行准确的目标定位。准确的边界框估计策略不仅能够准确的定位目标的位置，同时会对后续跟踪结果产生很大的影响。

5、上述现有的热红外目标跟踪算法的边界框估计策略虽说够定位出目标的位置，但是，还远远达不到实际感知场景的需求，目标边界框的偏移会随着时间的推移而累计，从而导致跟踪器丢失目标。因此，在热红外目标跟踪任务中如何设计准确的边界框估计策略，仍然是一个需要深入研究的问题。

技术实现思路

1、为了克服上述现有技术存在的不足，本发明的目的在于提供一种基于对齐时空记忆网络的热红外目标跟踪方法，该方法利用上下文信息进行目标辅助定位的特点，能够达到提升跟踪精度的目的。

2、为了实现上述目的，本发明采用的技术方案是：

3、一种基于对齐时空记忆网络的热红外目标跟踪方法，包括以下步骤；

4、s1、构建跨帧的时空记忆网络模型，训练时空记忆网络模型，时空记忆网络模型采用状态向量的形式进行信息的传递，用于预测热红外目标的位置；

5、s2、时空记忆网络模型参数对齐，采用空间对齐模块来矫正帧间的时空记忆网络模型参数，避免热红外目标运动过程中的位置信息叠加导致的模型参数错误，对热红外目标的边界框进行估计；

6、s3、热红外目标跟踪定位，通过对齐时空记忆网络辅助预测器生成的响应图确定跟踪目标的最终位置。所述步骤s1中，时空记忆网络建模跟踪场景中的全部区域，并且保留任何有助于热红外目标定位的场景信息；场景信息为场景中具有的相似物的位置的信息；

7、时空记忆网络模型采用状态向量的形式进行信息的传递，通过保持目标邻域内每个区域的状态向量来编码某个图像块是否与目标、背景或干扰物体相关。

8、当目标在视频序列中运动时，通过时空记忆网络模型估计不同帧之间的相互关系来实现状态向量的传递；通过传递下来的状态向量和目标外观模型之间的融合，以达到精确定位跟踪热红外目标的目的。

9、进一步的，所述状态向量包含对应图像区域的局部信息，因此，当热红外目标在视频序列中移动时，状态向量会得到相应的传递并在时空记忆网络模型中有选择的保留下来，给定第t帧视频图像，状态向量ht-1从前一帧的位置变换到当前帧的位置通过状态传播模块π来实现，其中状态传递函数为：

10、(h′t-1,ξt)＝π(xt,xt-1,ht-1)                        (1)

11、其中xt和xt-1分别表示第t帧和第t-1帧的深度特征，输出ht′-1表示时空状态传递，用于弥补场景中热红外目标和背景的移动，ξt表示状态传递的置信度，其值越高越可能被传递下来，ξt用来判断当前帧的信息是否需要继续传递，如果不需要传递就可以直接删除当前帧信息，实现时空信息的跨帧传递；同时为了保证时空记忆网络中尽可能少的信息冗余，把用来进行时空信息传递的总帧数定义为固定值k，通过对置信度ξτ(τ＝1,2,3,...,t-1)进行排序保留最大的k个对应的视频帧，从而得到跨帧的时空记忆网络模型。

12、进一步的，跟踪器使用外观模型和时空记忆网络模型传递下来的状态来预测热红外目标的位置，后者捕捉了场景中所有物体的有价值的信息，这弥补了外观模型不能建模其他目标相似物体的不足，将时空记忆网络模型中的传播状态向量ht′-1、状态传递的置信度ξt和外观模型预测st输入到预测模块，预测模块给出融合后的目标置信度得分：

13、ρt＝p(h′t-1,ξt,st)                           (2)

14、通过寻找ρt中最大值点的位置进行热红外目标定位，同时利用融合的目标置信度得分ρt和外观模型st来更新时空记忆网络模型中状态向量：

15、ht＝φ(h′t-1,ρt,st)                           (3)

16、时空记忆网络模型中状态更新模块φ利用状态传递的置信度ξt来确定，更新后的状态向量ht被用于视频后续帧中热红外目标的跟踪定位。

17、所述步骤s2包括，热红外目标在运动过程中对齐匹配，目标运动过程中在时空记忆网络模型存储时会记住部分前序视频帧中目标的位置信息，这就使得目标原来的位置信息会与后续的位置信息进行叠加而导致模型参数错误，该错误会使得模型预测时产生多个不同的目标边界框，造成假阳性检测结果和不准确的目标定位，采用空间对齐模块来矫正帧间的时空记忆网络模型参数，因为空间对齐模块计算特征ft中的(x,y)对应ft-1中(x,y)附近的一块区域，所以利用这个对应关系实现时空记忆模型存储的对齐，来消除没对齐时产生的错误边界框估计。

18、进一步的，使用空间对齐模块计算特征ft内位置(x,y)的特征块ft(x,y)和其邻近帧ft-1相同位置特征块ft-1(x,y)的相似性，将时空记忆网络模型中的存储mt-1进行转换来与第t帧对齐，相似性转换系数γ的定义如下：

19、

20、使用γ对未对齐的时空记忆网络模型中的存储mt-1进行转换为对齐的mt′-1：

21、m′t-1(x,y)＝∑i,j∈{-k,...,k}γx,y(i,j)·mt-1(x+i,y+j)             (5)

22、使用转换系数进行模型参数的对齐，给每个候选区域生成更好的特征，从而进行更加准确的热红外目标边界框估计。

23、所述步骤s3包括，通过对齐时空记忆网络辅助预测器生成的响应图确定热红外目标的最终位置。

24、利用一个两层卷积神经网络分类器对提取的特征进行目标前景和背景的分类。对于输入的图像特征，分类器利用一个两层卷积神经网络得到目标响应图得分；其定义如下：

25、

26、其中，f表示提取得到的图像特征，w＝{w1；w2}表示网络参数，φ1；φ2表示网络的激活函数，*表示多通道卷积。

27、根据分类器得到的高斯类型的目标响应图得分m以及对齐时空记忆网络mt′-1，通过两者之间进行点乘来调整相应图得分，从而得到目标的准确位置，最终的预测结果就是目标最终的位置。

28、本发明的有益效果：

29、本发明通过时空记忆网络利用跟踪场景中的时空上下文信息来辅助目标精准定位。时空记忆网络能够利用视频帧在时间和空间上的相关信息，通过信息的传递性来进行辅助定位。通过对齐时空记忆网络模型对热红外目标边界框进行估计，采用跨帧的方式降低时空记忆网络的信息冗余，提升该模型的表征能力；同时采用空间对齐模块来建模由于热红外目标的时空上下文场景信息模型引起的位移。通过像素级别的目标对齐来实现精确的热红外目标边界框估计，从而更好的进行热红外目标跟踪任务。

30、本发明基于对齐时空记忆网络的热红外目标跟踪方法及系统具有较高的跟踪精度、鲁棒性与实时性。