一种基于差分前后向光流的地面运动目标跟踪方法

本发明属于无人机对运动目标跟踪技术领域，尤其涉及一种基于差分前后向光流的地面运动目标跟踪方法。

背景技术：

随着无人机技术的发展，对地面目标尤其是对地面运动目标的侦察需求越来越旺盛。侦察需求主要分为对地面目标的发现以及长时间锁定两个阶段。在目标长时间锁定阶段中，由于无人机平台本身处于受外界条件影响的不完全可控环境中，无人机对地面目标，尤其是对地面运动目标的长时间跟踪一直存在技术难点，亟需一种能够持续对地面运动目标进行长时间精确跟踪的方法。

无人机对地面运动目标的视觉跟踪过程中，主要存在以下几种技术路线：

第一种为基于深度学习的视觉跟踪技术路线，该路线在使用前需要经过大量的预训练，从而利用深度学习手段获取运动目标的视觉变化特点，具有较好的跟踪效果。但是该技术路线所需训练集合较大，算法复杂，难以在低成本的嵌入式平台中使用。

第二种为基于前后帧相似性的目标视觉跟踪算法，该类算法具有算法结构简单，运行速度快的优势，有利于应用与嵌入式平台中，但是由于该类跟踪算法难以区分运动目标与静止背景，因此该类算法的目标跟踪稳定性一般较差，难以满足对地面运动目标的跟踪需求。

第三种为基于在线学习的目标视觉跟踪算法，该类算法介于第一种与第二种之间，但是同样存在难以在嵌入式平台中运行的缺陷。

基于上述情况，本发明提出了一种基于差分前后向光流的地面运动目标跟踪方法，该方法利用光流场的特点区分运动的前景与静止的背景，同时利用前后向传播误差来提高算法的跟踪稳定性。

技术实现要素：

有鉴于此，本发明提供了一种基于差分前后向光流的地面运动目标跟踪方法，能够区分运动的前景与静止的背景，提高算法的跟踪稳定性，还可以在嵌入式平台中运行。

为了解决上述技术问题，本发明是这样实现的。

一种基于差分前后向光流的地面运动目标跟踪方法，包括：

步骤1、针对包含目标的图像提取目标框，以目标框的两倍大小作为初始目标跟踪框，采用利用光流场计算实现目标跟踪的追踪器进行目标跟踪；

步骤2、将追踪器获取的目标跟踪框内的实际像素的光流矢量场输入k-means算法，实现对运动目标的光流矢量场和静止背景的光流矢量场进行分类；

步骤3、采用k-means算法分割出的运动目标校正所述追踪器目标跟踪框，继续进行目标跟踪，重复步骤2和步骤3。

优选地，将所述追踪器使用的目标跟踪框记为目标跟踪框a；将k-means算法分割出的运动目标的最小外包矩形记为目标跟踪框b；

所述校正为：综合目标跟踪框b和目标跟踪框a的大小和位置，更新追踪器实际使用的跟踪框。

优选地，所述综合目标跟踪框b和目标跟踪框a的大小和位置，更新追踪器实际使用的跟踪框为：

将目标跟踪框b和目标跟踪框a的重合区域作为追踪器的新目标跟踪框。

优选地，在每一帧的跟踪过程中，执行一次步骤2和步骤3，对目标跟踪框进行校正。

优选地，所述追踪器采用lucas-kanade追踪器。

有益效果：

(1)本发明扩大跟踪器初始目标跟踪框，保留了更多的运动目标有效跟踪点，从而改进了跟踪效果。在跟踪运动目标时，可以自适应寻找初始跟踪框中的运动目标，给定准确的被跟踪目标位置。

(2)在得到跟踪结果的条件下，利用k-means聚类，得出前景运动目标位置，修正跟踪结果，提高了跟踪精度。而且本发明算法跟踪稳定性高、实时性好，可适用于不同类型的目标跟踪，而且可以在低成本的嵌入式平台中使用。

(3)在跟踪的过程中，本发明借鉴了在线学习跟踪方法的思路，在每帧的跟踪过程中对目标跟踪框进行矫正，从而在提高跟踪准确率的同时，降低所需计算资源。

附图说明

图1为本发明实例提供的整体方法流程图；

图2为本发明实例提供的前后向跟踪误差示意图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种基于差分前后向光流的地面运动目标跟踪方法，其基本思想是：利用前后向光流技术获取目标周围的精确光流矢量场；然后利用k-means对运动目标的光流矢量场和静止背景的光流矢量场进行分类，从而实现对运动目标前景即背景的分割；最后，利用分割出的前景运动目标校正跟踪结果，从而提高系统跟踪精度。

此外，在跟踪的过程中，本发明借鉴了在线学习跟踪方法的思路，在每帧的跟踪过程中对目标跟踪框进行矫正，从而在提高跟踪准确率的同时，降低所需计算资源。

下面结合图1的流程图，对本发明的实现过程进行详细描述。

步骤1、基于前后向光流的运动目标跟踪步骤。

本步骤中，在发现目标的基础上，根据包含目标的图像提取目标框，以两倍大小的目标框作为初始目标跟踪框，采用利用光流场计算实现目标跟踪的追踪器进行目标跟踪。

假设一个良好的追踪算法应该具有正反向跟踪连续性，即无论是按照时间上的正序追踪还是反序追踪，产生的轨迹应该是一样的。根据这个性质规定了任意一个追踪器的前后向跟踪误差，如图2所示：从时间t的初始位置xt开始追踪产生时间t+k的位置xt+p，再从位置xt+p反向追踪产生时间t的预测位置初始位置和预测位置之间的欧氏距离就作为追踪器在t时间的前后向跟踪误差。

本发明的跟踪算法以lucas-kanade追踪器为基础，在给定若干追踪点后，根据像素的运动情况确定追踪点在下一帧的位置。跟踪点是根据前后向误差绘制的误差图在初始框中筛选的最佳追踪点。初始目标跟踪框一般给定为与跟踪目标大小相似的目标框，而本发明中初始目标跟踪框选用两倍大小的目标框。在实际应用中，初始化运动目标的目标跟踪框难度较大，无法准确的将目标包含在初始目标跟踪框内。扩大初始目标跟踪框，降低了初始化的难度，有利于保留更多的有效跟踪点，从而改善对运动目标的跟踪效果。

上述跟踪器使用上一帧图像、当前帧图像与生成采样点序列，实现跟踪、计算前后向误差和匹配相似度的功能。通过剔除匹配度小于匹配度中值跟踪点与跟踪误差大于误差中值的跟踪点，即把跟踪结果不好的特征点去掉，剩下不到50％的特征点，对应地留在跟踪器的两组点point_1和point_2中。对于point1中的每个点使用前向跟踪，即上一帧的点a在当前帧的跟踪结果为b，然后使用后向跟踪，即当前帧的点b反向跟踪得到上一帧的跟踪点c，这样就产生了前向和后向两条跟踪轨迹，理想的情况应该是两条轨迹重合，即a和c是重合的，所以计算a和c的距离前后向误差，得到一个对应的数组。利用该数据组计算a和b的相似度，这个相似度是以a和b为中心的，分别在上一帧和当前帧截取的10*10的区域计算匹配度，将匹配度值赋给相似度，得到一个对应的相似度数组。根据此相似度数组，计算出相似度的中值，剔除超过中值的跟踪特征点。利用剩余点预测目标跟踪框在当前帧的位置和大小。

步骤2、基于k-means的运动前景与静止背景分类步骤。

本步骤中，将追踪器获取的目标跟踪框内的实际像素的光流矢量场输入k-means算法，以对运动目标的光流矢量场和静止背景的光流矢量场进行分类。

k-means属于无监督分类，通过按照一定的方式度量样本之间的相似度，通过迭代更新聚类中心，当聚类中心不再移动或移动差值小于阈值时，则就样本分为不同的类别。

在进行前景与背景分割时，首先将图像转化为灰度图，利用图像的灰度值以及跟踪器的输出进行分割。在跟踪器给定的目标框中随机选取聚类中心点，根据当前聚类中心，利用选定的度量方式，分类所有样本点，计算当前每一类的样本点的均值，作为下一次迭代的聚类中心，然后计算下一次迭代的聚类中心与当前聚类中心的差距。当此差距小于给定迭代阈值时，迭代结束。反之，继续下一次迭代。

步骤3、采用k-means算法分割出的运动目标校正所述追踪器的目标跟踪框，继续进行目标跟踪，重复步骤2和步骤3，提高跟踪精度。

所述校正方式为：将追踪器使用的目标跟踪框记为目标跟踪框a；将k-means算法分割出的运动目标的最小外包矩型记为目标跟踪框b。那么综合目标跟踪框b和目标跟踪框a的大小和在图像中的位置，就可以更新追踪器实际使用的目标跟踪框。

具体更新操作可以为：将目标跟踪框b和目标跟踪框a的重合区域作为追踪器的新目标跟踪框，或者比较两个目标跟踪框的中心点坐标、长度和宽度，如果二者差距小于设定值，则取二者均值为新的目标跟踪框数据，而如果大于或等于设定值，则采用目标跟踪框b的数据作为新的目标跟踪框数据(中心点坐标、长度和宽度可以分别进行对比和更新)。

上述步骤2和步骤3的跟踪操作可以每一帧进行一次，在提高跟踪准确率的同时，还可以降低所需计算资源。

以上的具体实施例仅描述了本发明的设计原理，该描述中的部件形状，名称可以不同，不受限制。所以，本发明领域的技术人员可以对前述实施例记载的技术方案进行修改或等同替换；而这些修改和替换未脱离本发明创造宗旨和技术方案，均应属于本发明的保护范围。