一种基于分层模型的无人机目标跟踪方法与流程

本发明属于遥感图像处理技术领域，具体涉及一种基于分层模型的无人机目标跟踪方法。

背景技术：

无人机在民用和军用领域都有着越来越广泛的应用，因此其发展也引起了各国的重视，在众多研究方向中视觉能力成为今后无人机发展和竞争的焦点。而无人机视觉跟踪作为无人机视觉的主力军，也成为了一项关键技术。据公开资料表明，其中早在2005年的时候美国中央佛罗里达大学计算机视觉实验室就开发出了基于MATLAB的COCOA系统，主要用于无人机低空航拍视频图像的目标检测与跟踪处理。目前国内的目标跟踪方法大致可以分为以下三种：

一是基于确定性的跟踪方法。该方法以均值漂移为代表，以目标初始位置为起点，沿着密度梯度下降最快的方向移动，得到新的位置，再以新的位置作为起点寻找下一个新的位置，算法逐次迭代，直到收敛到目标位置。优点是计算简单，速度快；缺点是很容易陷入局部最优，在背景干扰、目标遮挡和目标快速运动等情况下目标跟踪的鲁棒性较差。

二是基于概率性跟踪方法。该方法以粒子滤波为代表，用一组离散的随机粒子来近似系统随机变量的概率密度函数，以样本均值代替积分运算，获得状态最小方差估计。优点是重采样的引入会使粒子能够将更大的精力投入在最可能成为目标的粒子周围，防止了粒子分散；缺点是可能会引起粒子匮乏，导致目标丢失。

三是基于智能优化算法的跟踪方法。近年来，受均值漂移算法的启发，有学者另辟蹊径，采用其它寻优策略的智能优化算法来解决目标跟踪问题，比较典型的有粒子群优化算法，通过提高粒子的适应值，不断更新每个粒子自身的状态来控制粒子群的运动，不断迭代获得全局最优位置。优点是搜索速度快且搜索效率高，算法简单；缺点是对于离散的优化问题处理不佳，容易陷入局部最优。

其中粒子滤波策略和粒子群优化搜索策略都需要一定数量的粒子，当粒子数目越多，准确率就会越高，但是相对应就会增大搜索时间；当粒子数目较少时，搜索时间减小，但有些区域可能无法搜索到，由于粒子群优化策略利用迭代的思想，对准确性的影响较小，但是粒子滤波会严重影响到跟踪的准确率。

由于无人机成像环境的特殊性，在平稳飞行的过程中，可得到较为平稳的视频图像，但是由于云台运动以及气流等干扰，无人机在飞行过程中可能受到一定的冲击，在这种情况下，所成图像帧间目标可能会产生较大运动偏移。

从上述分析可以看出，现有基于无人机侦察平台的目标跟踪方法在精度和效率之间存在矛盾，难以满足现代战场对实时、高精度目标跟踪的需求。

技术实现要素：

本发明以无人机视频图像作为研究对象，建立了基于分层模型的无人机目标跟踪方法。该方法首先建立初始帧目标的特征表达，然后分两层对目标进行跟踪：第一层先利用简单快速的均值漂移方法对目标进行粗跟踪，得到粗跟踪下的目标位置；第二层将粗跟踪下的目标位置作为精跟踪的初始位置，利用改进的粒子群优化的搜索方法对目标进行进一步精跟踪。通过建立分层模型，得到目标的准确位置。

本发明的一种基于分层模型的无人机目标跟踪方法，包括以下几个步骤：

第一步，建立初始帧目标的特征表达。

为进行无人机视频目标跟踪，本发明要求在无人机侦察平台捕获到地面目标信息后，在视频第一帧中进行目标的获取，该任务可由人工标注完成，也可利用自动检测技术。获取目标后利用目标区域的基于核函数加权的归一化空间颜色模型作为该目标的特征表达。

第二步，建立以均值漂移为基础的粗跟踪模型。

本步骤是目标跟踪的第一层，重点建立了以均值漂移为理论基础的粗跟踪模型，通过循环迭代计算出目标帧间偏移量，并由此得到粗跟踪中目标的初步估计结果。

第三步，建立以改进的粒子群优化为基础的精跟踪模型。

本步骤是目标跟踪的第二层，重点建立了以改进的粒子群优化为理论基础的精跟踪模型，通过在线调整角速度进而对粒子的运动规律进行调整，同时根据目标跟踪情况对粒子群参数进行自适应性调整，从而得到目标精跟踪结果。

本发明具有以下优点：

1)通过建立均值漂移和改进的粒子群优化分层模型的方法对无人机目标进行跟踪，该方法优势互补，在不影响实时效率的情况下提高了跟踪的准确性。

2)引入运动模型的表达，并通过在线更新角速度的方法对当前运动模型进行实时调整，从而使粒子搜索更有方向性，提高效率和准确率。

3)自适应性调整粒子群优化方法中的惯性参数，在一定程度上有利于跳出局部最优，防止目标丢失。

附图说明

图1为本发明方法流程图；

图2分层跟踪模型具体流程图；

图3为目标转弯运动示意图；

图4本发明实验结果图。

具体实施方式

下面结合附图，对本发明的具体实施方法进行详细说明。

本发明是一种基于分层模型的无人机目标跟踪方法，通过建立初始帧目标的特征表达、建立以均值漂移为基础的粗跟踪模型以及建立以改进的粒子群优化为基础的精跟踪模型等步骤，实现无人机视频目标的跟踪。图1给出了方法整体流程图，具体实施方法如图2所示，包括以下步骤：

第一步建立初始帧目标的特征表达

该步骤首先读入视频序列，手动选取要跟踪的目标区域，对所选取的目标区域建立基于核函数加权的归一化空间颜色直方图模型，并将该模型的特征向量作为目标区域的特征表达。

基于核函数加权空间颜色模型的核心思想是当目标进行空间位置和形态的变换时，不同位置所受的影响程度不同，靠近目标中心的区域受到外界的影响相对于靠近目标边缘的区域较小，因此靠近目标中心的区域所具备的权重应大于靠近目标边缘的区域，本发明中核函数使用的是Epanechnikov核函数，如式(1)：

其中，K(·)为Epanechnikov核函数，||r||为像素距离目标中心的距离。

本发明中使用的颜色空间是RGB颜色空间，其中R、G、B三个通道的取值范围均是[0，255]，每个通道均有256个颜色等级。直方图是一种概率统计方法，统计出现某种颜色组合的次数，因此该RGB空间颜色直方图有256³种组合。鉴于该组合数目较大，本发明中采用降维的方法来简化，将R、G、B三通道中[0，255]的取值范围转换到[0，16]，整个颜色空间就可以用16³，即4096种组合来表示。最终将三维向量映射为直方图上的一维向量，(R,G,B)＝256×R+16×G+B，并将其做归一化处理，该归一化后的直方图即可作为初始化阶段中视频初始帧目标的特征表达。

第二步建立以均值漂移为基础的粗跟踪模型

均值漂移算法是一种基于密度梯度上升的非参数方法，通过迭代运算找到目标位置，实现目标跟踪。均值漂移算法计算简单，迭代速度快，因此在初始帧之后的无人机视频图像序列中首先使用均值漂移算法对目标进行粗定位。本步骤主要包括两个环节，首先建立了均值漂移在跟踪中的数学表达，然后结合具体无人机视频图像对该算法进行分析。

1)建立均值漂移在跟踪中的数学表达

①建立目标模型

结合核函数加权空间颜色模型，可将目标模型中第u个特征值估计的概率密度表示为：

其中，f_u表示目标模型中第u个特征值估计的概率密度，u为直方图中的颜色索引值，n为该目标模型的总像素个数，δ[·]为单位冲激响应，k(·)为Epannechnikov核函数，h为带宽，x为图像中目标的中心位置，x_i为第i个样本的中心位置，b(x_i)为位置x_i处的颜色量化等级，C为系数。

由概率密度的积分和等于1，可得到系数C为：

②建立候选模型

类似于目标模型，第y个候选模型第u个特征值估计的概率密度可表示为：

这里的y是当前帧候选区域中心。其他参数和目标模型相同。

③建立相似度度量模型

本发明中相似度的度量采用Bhattacharyya系数：

其中：p、q为两个样本，m是颜色分块数，p_i、q_i分别是在p、q中第i部分的成员数。本发明中需要判断目标模型和候选模型的相似度，即可表示为：

其中，相似度ρ的范围在0到1之间。

④建立目标粗跟踪的数学表达

利用均值漂移的思想通过得到偏移量从而到视频中的目标位置，在这个过程中，目标位置的确定主要依靠相似度的度量，即判断各个候选区域与目标区域的相似程度，并将相似度最高的视为目标。

当前帧寻找目标的新位置通常是根据上一帧中目标位置的最佳估计值y₀得到的，因为一般情况下每帧目标位置并不会有太大变化，所以本发明在y₀邻域内寻找。因此，必须先计算出在当前帧中位于y₀处的候选目标的颜色概率密度p_u(y₀),u＝1,2...m，对ρ(y)在p_u(y₀)处进行泰勒展开，可以得到下式：

将(4)式代入(7)式可得

其中，

因为第一项是个常数，所以只有第二项与相似度，即当前目标估计值有关。设第二项为f(y)，则

可以看出第二项即是在当前帧中利用核函数和图像像素加权值计算得到的概率密度估计，若想得到相似度最高的位置，也就是均值漂移的偏移量，则需求概率密度下降最快的位置，此时

其中：

其中：k'(·)表示核函数k(·)的导数。

通过一定的提取变换可得到：

当时，可得到概率密度梯度方向最大的位置。

因此，均值漂移偏移量为：

2)以均值漂移为基础的粗跟踪

在无人机视频跟踪过程中，通过1)中推导出的均值漂移偏移量中的各个参数在实际视频图像中的表示如下：

y₀：上一帧目标的中心位置。

y：当前帧候选区域中心位置。

k()：Epannechnikov核函数。

x_i：当前帧候选区域的第i个像素点的位置。

h：h为目标区域各像素点距离中心位置最远的距离。

n：为样本点的个数，这里代表的是上一帧目标位置处的像素个数。

本步骤将步骤一中所建立的基于核函数加权的归一化空间颜色直方图模型作为均值漂移过程中目标的特征值，通过不断迭代，得到一定精度下的跟踪匹配结果，这里设置迭代次数N＝50，当候选区域和目标区域的相似度大于一定阈值T时，跳出迭代，这里设置阈值T＝0.9。

第三步建立以改进的粒子群优化为基础的精跟踪模型

由于无人机空中成像的特殊性，摄像机和地面目标同时运动，并且受天气环境影响，当经过均值漂移的粗跟踪后，候选目标不一定就是真实目标。此时需判断目标是否丢失，若候选目标与实际目标达到较高的相似度，则目标未丢失，利用精跟踪模型对位置进行进一步精确定位；若候选目标与真实目标相似度较低，则目标丢失，利用精跟踪模型对目标重新进行搜索定位；若精跟踪后仍未搜索到目标，则再次对目标进行手动选取。

改进的粒子群优化精跟踪模型主要分为以下几个环节：第一，对粒子群优化中的参数进行初始化；第二，建立在线更新的运动模型；第三，建立基于粒子群优化算法的自适应性参数调整跟踪模型。

1)参数初始化

在粒子群优化跟踪模型中，主要存在以下参数：

粒子群种群数目：N；

迭代次数：T_pso；

粒子0时刻的初始飞行速度：

粒子0时刻的初始位置：

惯性参数：w₁；

学习因子：c₁、c₂；

随机数：r₁、r₂；

合适的参数不仅能提高粒子群优化搜索的效率，更能提高其定位精度。通过选取不同的参数对50段无人机视频进行测试，得到最优的参数结果。其中，种群数目N＝10，通过实验可知10个粒子数目已经可以满足搜索需求，不需要过多粒子耗费时间；迭代次数T_pso＝30；粒子0时刻的初始飞行速度粒子0时刻的初始位置为以上一帧目标为中心进行高斯分布；随机数r₁＝r₂＝r；学习因子c₁＝c₂＝1；惯性参数主要控制搜索能力，如果w₁较大，则全局搜索能力较强，若w₁较小，则局部搜索能力较强。本步骤通过自适应调整惯性参数w₁的值来控制粒子群优化的搜索能力。

2)建立运动模型

无人机视频中目标的运动可大致归结为匀速直线运动和转弯运动。本步骤通过建立一种在线调整角速度的方法灵活转化运动模型，进而提高粒子群优化搜索的准确性和效率。

如图3所示，假设目标在(x,y)处转弯，转弯时的速率为v，速度与x轴方向所成夹角为θ，本步骤将拐弯处的状态描述为(x,x',y,y')，其中x',y'表示x,y方向上的速度大小。假设转弯角速率为ω，则可根据已知条件得到其与时间t的关系。

x方向上速度的大小：x'＝v_x＝vcosθ (17)

y方向上速度的大小：y'＝v_y＝vsinθ (18)

x方向上加速度的大小：x”＝v'_x＝-ω(t)vsinθ (19)

y方向上加速度的大小：y”＝v'_y＝ω(t)vcosθ (20)

建立转弯模型的状态描述方程为：

式(21)表示的是速度、加速度与位置、速度的关系，若想得到状态转移方程，即式(22)所示的形式：

X_k+1＝F_kX_k+W_k (22)

其中，F_k为转弯模型的系统状态转移矩阵，X_k+1,X_k表示k+1时刻和k时刻目标的状态，即[x,x',y,y']^T，W_k为转弯时的系统状态噪声，本发明设置该噪声为随机值，与t无关。要知道转弯时的状态，我们的目标就是求解F_k。

将式(21)代入式(22)，化简得到如下形式

其中A(t)可以表示为

首先将A(t)离散化，得到

对式(23)进行拉普拉斯变换

sL[F_k(s)]-F_k(0)＝AF_k(s) (26)

合并同类项为(sI-A)F_k(s)＝F_k(0) (27)

其中I表示单位矩阵。

已知F_k(0)＝(f₁(0),f₂(0),f₃(0),...,f_n(0))^T＝I (28)

则F_k(s)＝(sI-A)^-1F_k(0) (29)

其中

要求系统状态矩阵F_k(时域下)，即F_k＝L^-1((sI-A)^-1) (31)

通过拉普拉斯逆变换，可得：

此时就得到转弯下状态矩阵的表达式。当ω＝0时，状态矩阵F_k的表达式化简为：

通过以上两种数学分析，建立了直线运动和转弯运动情况下的状态矩阵，通过上一步均值漂移粗跟踪后，再利用粒子群优化的搜索方法进行精跟踪。因在无人机实际飞行转弯运动模型中，在图像坐标系中，转弯率并不是一成不变的，为适应实际需求，需要实时在线调整角速度，本发明设置在线调整方式如下：

首先将路径参数t设置为时间，建立x方向路径与y方向路径与t的关系，拟合从第11帧开始，以前10帧目标位置进行拟合得到x₁(t)和y₁(t)，计算不同时刻处的曲率：

式中，是相对于路径参数的导数。

曲率半径：

角速度为：ω(t)＝v×r(t) (36)

本发明利用该在线更新的方法，得到较为准确的每一时刻的角速度，从而为粒子群优化精跟踪中运动模型的选取和更新奠定了基础。

3)基于粒子群优化方法的分层性跟踪

在1)中对粒子群优化中所要利用到的参数进行了最优的初始化之后，就需要按照粒子群优化中鸟类寻找食物的思想以一定规则寻找无人机视频中的目标。当达到迭代次数上限或者超过0.9的相似度并且大于粗跟踪下所得目标位置的相似度时，停止迭代。本步骤主要分为以下几个环节：

①计算初始化后的每个粒子的适应度值。在粒子群优化精跟踪中，本步骤仍然从采用基于核函数加权的归一化空间颜色直方图的特征表达方式，适应度值同样采用Bhattacharyya系数的相似度测量方法。

②根据适应度值对粒子进行排序，找出种群最优粒子个体。

③在前10帧默认运动模型为直线模型，之后根据在线更新的角速度值进行调整，本发明利用运动模型分别对第i个粒子的位置进行更新，并令i自增。若运动模型为直线模型，则位置更新公式可以表示为：

式中，表示粒子i在t时刻的位置，表示粒子i在t时刻的飞行速度。

若运动模型为转弯模型，则位置更新公式在x、y轴两个方向可以表示为：

其中：i1代表粒子i在x方向的数据情况，i2代表粒子i在y方向的数据情况。

④计算新位置的适应度值。判断新位置是否优于该粒子最佳位置，如果满足条件，用新位置替换原来位置，否则，原位置不变；判断新位置是否优于当前最佳位置。如果不满足条件，则当前最佳位置不变，否则，用新位置替换当前最佳位置，并调整粒子速度。

其中：x^*表示在当前群体中最佳粒子所处位置，表示粒子的最佳位置，w₁为惯性参数，c₁、c₂为学习因子，r为[0,1]之间的随机数。

在不断迭代的过程中，若适应度不断朝着大的方向趋近，那么此时减小w₁，加强局部区域的搜索，若适应度值一直没有什么变化或者一直较小，则可能陷入局部最优或者丢失目标，此时就要调大w₁，加强全局搜索能力，跳出局部最优，找到目标。本发明设置每次调节的步长为0.5，最大调节到10，最小调节到0。

⑤判断是否满足迭代终止条件。如果满足，则粒子群优化搜索结束，否则执行③。

本步骤主要对均值漂移后得到的粗结果进行进一步精确定位，在运动模型的基础上，自适应调整粒子群优化中的惯性参数，调整全局和局部搜索比重，定位到准确的位置。通过均值漂移和粒子群优化的分层模型，最终将步骤④中得到的群体粒子最佳位置x^*视作无人机视频中目标跟踪的精确结果。

下面主要以两组序列说明本发明的有效性：

如图4所示，实线代表粗跟踪结果，而虚线代表精跟踪结果，图(a)主要说明在粗跟踪将目标丢失的情况下，加大精跟踪的全局搜索能力，从而准确定位到目标，该序列中使用分层模型使跟踪精度提高了14.8％；图(b)主要说明在精跟踪已经达到一定的准确率的情况下，利用精跟踪的方法进一步提高定位精度，该序列中使用分层模型使跟踪精度提高了1.2％。若只单纯使用均值漂移或粒子群优化的方法，难以适应无人机视频的复杂性，尤其对于目标丢失的情况，一旦丢失目标就难以再次准确定位，本发明中的分层模型更能满足无人机对于跟踪的需求，粗跟踪与精跟踪相辅相成，在有效防止目标丢失的同时增加了目标跟踪的准确性。实验表明，本发明对于无人机视频跟踪准确率的提高具有一定的有效性。