一种基于核相关滤波器的红外图像目标跟踪方法与流程

本发明涉及红外图像处理，尤其涉及一种基于核相关滤波器的红外图像目标跟踪方法。

背景技术：

1、现有的红外目标跟踪技术可以分为基于特征匹配、基于相关滤波和基于深度学习三大类。

2、(1)特征匹配

3、基于特征匹配的方法通常需要先提取出目标特征，然后在当前帧图像中进行比对，找到和目标特征最相似的区域作为目标位置。根据使用特征的不同，可以将基于特征匹配的方法分为轮廓匹配、模板匹配、特征点匹配三种。

4、1)轮廓匹配，基于轮廓匹配的方法先通过图像增强、图像分割、边缘提取等预处理算法，获取到图像中的所有轮廓，然后根据目标轮廓的周长、长宽比、紧凑度等信息，从所有轮廓中识别和锁定目标轮廓，最后再计算目标轮廓质心得到目标位置。

5、2)模板匹配，模板匹配就是使用目标模板在搜索区域内滑动，寻找与模板图像相关程度最大的位置，得到当前帧的目标位置，目标模板和搜索区域子图的相关程度通常定义为搜索区域子图和目标模板的像素差值。

6、3)特征点匹配，常用的特征点有sift、surf、orb等，根据特征点的描述子可以对相邻两帧的同一特征点进行匹配，从而可以根据目标的特征点对当前帧目标进行匹配，从而得到目标的位置，基于特征匹配的跟踪方法在简单背景下跟踪效果良好，但是在复杂背景下，容易受到相似目标的干扰，出现跟踪错误或跟踪失败的情况。

7、(2)相关滤波

8、相关滤波最早起源于信号处理领域，后来被引入目标跟踪领域，凭借较高的实时性和可靠性，逐渐成为目标跟踪领域的主流方法。基于相关滤波的跟踪方法根据若干图像样本，训练一个能够区分目标和背景的滤波器，来实时计算搜索区域的响应图，响应值最大的位置就是目标的位置。其中，最具代表性的是kcf算法。kcf算法通过对基准样本进行“循环移位”，可以获得大量虚拟样本，极大扩充训练样本的丰富性，有效提高滤波器的判别性能。同时，利用循环矩阵的对角化性质，有效降低了训练过程的计算复杂度，提高了跟踪精度的同时具有较高的实时性。此外，在kcf的基础上，人们还在克服边界效应、多特征融合、尺度自适应方面进行了改进，并提出了srdcf、dsst、eco等算法，进一步提高了跟踪的精度和可靠性。然而，上述这些基于相关滤波的跟踪方法都缺乏对跟踪结果有效性的判断，当出现目标被遮挡的极端情况时，此时的跟踪结果显然是无效时，而算法仍然会利用错误的结果去训练并更新滤波器参数，造成模型参数出现不可逆的退化，从而导致目标再次出现时算法也无法重新跟踪到目标。

9、(3)深度学习

10、随着深度学习开始在计算机视觉领域展露锋芒，研究人员也逐渐将深度学习方法引入视觉目标跟踪任务，并取得了相当不错的研究成果。目前深度学习类跟踪算法按网络类型分为分类网络、siamese网络和transformer网络三种。

11、1)分类网络，基于分类网络的跟踪算法，将目标跟踪视为目标与背景的分类问题，通过微调图像分类中的卷积神经网络，得到更适用于目标跟踪的分类网络。代表算法有mdnet、rt-mdne等。

12、2)siamese网络，基于siamese网络的跟踪算法具有两路分支，一路分支用于提取目标的特征，另一路分支用于提取搜索区域的特征，之后再由互相关计算得出描述两者相似性的响应图，响应图的峰值所在位置就是目标在图像中的位置。代表算法有siamfc++、siamrpn++等。

13、3)transformer网络，transformer网络完全由注意力模块组成，能够充分考虑输入特征的全局信息，从而被广泛应用于语音识别和机器翻译等任务，由于视觉目标跟踪问题同样需要考虑图像的全局信息，故transformer网络在近年也被推广应用于目标跟踪任务中。代表算法有stark、trans.t等。

14、综上所述，特征匹配类算法无论是在复杂度还是抗干扰性方面都没有明显的优势，已经渐渐被相关滤波和深度学习类算法替代。相关滤波类算法的优势在于具有较高的跟踪精度和良好的抗干扰性，同时还具有很好的实时性能。但是，相关滤波类算法缺乏跟踪结果有效性的判断和纠正机制，难以应对目标被遮挡和超出视野的情况。虽然深度特征可以更好地表达目标外观模型，所以深度学习算法具有更高的跟踪精度和可靠性，但是复杂的网络模型也使得算法的实时性难以得到保证，难以在一些性能有限的嵌入式设备上应用部署。

15、现有技术至少存在以下技术问题：

16、现有技术难以应对复杂背景干扰、目标被遮挡或超出视野。特征匹配类算法难以应对复杂背景干扰，仅适用于简单背景下的目标跟踪任务。相关滤波类算法应对复杂背景干扰的能力有显著提升，但是其模型更新机制导致算法无法应对目标被严重遮挡的情况。深度学习类算法的抗干扰和抗遮挡能力比上述方法更强，但是其复杂的网络模型需要消耗更多的计算资源，难以满足跟踪算法的高实时性要求，限制了其在嵌入式设备上的应用部署。

技术实现思路

1、本发明的目的是提供一种基于核相关滤波器的红外图像目标跟踪方法，以解决目标被遮挡或超出视野后又出现时，无法重新跟踪到目标的技术问题。

2、本发明是采用以下技术方案实现的：一种基于核相关滤波器的红外图像目标跟踪方法，包括如下步骤：

3、s1：特征点提取，对目标区域进行特征提取，得到目标的多个特征点和描述子；

4、s2：训练，根据目标特征，训练并更新滤波器参数；

5、s3：检测，利用步骤s2中的参数，计算出搜索区域的响应图；

6、s4：判断，根据步骤s3中响应图的apce指标，判断跟踪结果是否有效，若有效则输出结果并返回步骤s1；若无效则执行步骤s5；

7、s5：重检测，提取当前帧图像特征点与目标特征点匹配，若匹配成功则计算目标位置和大小并输出，然后返回步骤s1；否则读取新的一帧图像并再次执行步骤s5。

8、进一步的，步骤s1具体为：对目标矩形框内的区域进行特征提取，得到目标的多个特征点和描述子，其中，每一个特征点对应一个描述子。

9、进一步的，步骤s2包括如下子步骤：

10、s21：提取特征，提取出感兴趣区域roi的特征z，所述感兴趣区域roi由目标矩形框扩大得到；

11、s22：计算核相关矩阵kzz，核相关矩阵kzz的计算公式为：

12、式中，σ＝0.6，表示逆傅里叶变换，^表示傅里叶变换，*表示复共轭，zc表示特征矩阵z的第c行；

13、s23：计算滤波器参数；

14、s24：更新参数。

15、进一步的，所述滤波器参数的计算公式为：

16、

17、式中，表示第t帧的滤波器参数，λ＝0.0001，y是一个m行n列的矩阵，矩阵y的第i行和第j列的元素值用如下公式计算：

18、

19、

20、进一步的，所述更新参数的计算公式为：

21、

22、z＝a*zt+(1-a)*z。

23、进一步的，步骤s3包括如下子步骤：

24、s31：提取搜索区域特征，搜索区域和上一帧的感兴趣区域roi完全相同，使用特征提取算法，提取出搜索区域的特征x；

25、s32：计算核相关矩阵kxz，核相关矩阵kxz的计算公式为：

26、式中，σ＝0.6，表示逆傅里叶变换，^表示傅里叶变换，*表示复共轭，xc表示特征矩阵x的第c行,zc表示特征矩阵z的第c行；

27、s33：计算响应图。

28、进一步的，所述响应图的计算公式为：

29、式中，f(z)表示响应图，f(z)的值代表搜索区域对应像素点的响应，响应值最大的像素点就是目标所在位置(x’，y’)。

30、进一步的，步骤s4具体为：引入平均峰值相关能量指标apce，计算公式为：

31、式中，fmax和fmin分别是响应图的最大值和最小值，fi,j是响应图第i行第j列的值；如果当前帧的apce低于apce历史平均值的β比例时，则跟踪结果无效，需要继续执行步骤s5。

32、进一步的，步骤s5包括如下子步骤：

33、s51：使用orb算法提取当前帧图像的特征点和描述子；

34、s52：使用最近邻匹配算法根据当前帧图像的特征点和描述子与目标特征点和描述子进行粗匹配；

35、s53：使用ransac算法或gms算法对粗匹配结果进行提纯，剔除其中错误的匹配关系，得到最终的匹配结果。

36、进一步的，如果匹配成功，则目标位置为：

37、

38、

39、式中，n是匹配上的特征点总个数，xi和yi分别是匹配上的第i个特征点的横坐标和纵坐标；如果匹配不成功，则一直执行步骤s5，直到匹配成功为止。

40、本发明的有益效果在于：本发明针对现有算法难以应对目标被严重遮挡和超出视野的问题，引入apce指标和重检测机制，可以在目标发生严重遮挡和超出视野时避免参数退化，并在目标出现后重新跟踪上目标。

41、本发明与深度学习类跟踪算法相比，具有更高的实时性能，仅靠单核cpu跟踪速度可以达到100fps，更容易实际应用部署。