一种基于无人机的地面运动目标实时跟踪方法及系统与流程

本发明属于无人机导航领域，计算机视觉领域，具体涉及使用无人机对目标进行自动检测与跟踪的方法。

背景技术：

无人机具有高机动性、高分辨率、隐蔽性好、操作灵活等优势。所以在目标侦察与跟踪领域有巨大优势，比传统的固定摄像头监视范围大，其主要应用于昼夜空中侦察，交通监视，军事测绘等领域。利用无人机搭载的视频传感器对地面运动目标进行跟踪与分析，在民用与军事上有重大的实践意义。

首先，对于大多数的视频监控系统而言，都是在摄像机静止时对某个需要特殊关注的区域进行监视。背景是静止的，而作为前景的运动目标是移动的，这种情况下的目标检测只需作背景差法，就能取得不错的效果。但是在很多情况下，如以无人机作为载体的摄像机下的目标检测与跟踪，其拍摄的图像序列背景往往是不断变化的，具有不固定性，这种情况下的待跟踪目标的检测与跟踪显得异常艰难。

其次，对于一个单目标的跟踪，并不代表无人机的视场中只有单一运动物体，而是场景中有多个移动的物体，对真正的感兴趣目标的检测及跟踪造成了干扰，不能进行目标的有效识别。还有背景噪声存在，例如由于阴影或光照的影响等造成提取出来的目标不完整或中心有空洞，在这些情况下，往往使得目标的检测识别造成了更大的困难。

本发明中用到的名词解释如下：

无人机：是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，包括无人固定翼机、无人直升机和多旋翼无人机等。

无线传输设备：一种使用mavlink协议的通信设备，通信频段一般为2.4g。

shi-tomasi角点：一种图像特征点的检测方法，代表图像的局部特征，对图像的亮度变化、模糊变化、旋转变化和视角变化等，均具有较强鲁棒性。

fri：以角点为中心的邻域图像，本发明中取大小为30×30正方形区域。

bhattacharyya系数：度量目标模型和候选模型区域间的相似程度的数值，数值越小，区域相似性越大；反之，区域相似性越大。

技术实现要素：

本发明旨在提供一种基于无人机的地面运动目标实时跟踪方法及系统，解决现有技术中目标检测识别困难的问题。

为解决上述技术问题，本发明所采用的技术方案是：一种基于无人机的地面运动目标实时跟踪方法，包括以下步骤：

1)无人机按照预定的飞行轨迹进行巡逻，将拍摄的图像序列传输到地面控制站，检测出无人机视场下的感兴趣目标；

2)提取上述感兴趣目标的二维图像矩形框大小与中心位置信息；

3)利用所述二维图像矩形框大小与中心位置信息，融合均值漂移算法和卡尔曼滤波算法的输出数据，使用数据加权的形式输出最终目标定位结果。

步骤3)之后，根据所述目标定位结果，调整无人机飞行模式，使运动目标位于地面站显示屏中心区域。

步骤2)的具体实现过程包括：

1)分别提取无人机拍摄图像序列的相邻两帧的shi-tomasi角点集合；

2)对两帧图像的shi-tomasi角点集合分别构造合成基描述子；

3)对带有合成基描述子的shi-tomasi角点集合进行特征匹配，获取相邻两帧的图像角点匹配对；

4)对步骤3)获得的角点匹配对，利用ransac方法估计出背景运动变换矩阵，并进行图像背景运动补偿；

5)对运动补偿后的相邻帧图像作帧差操作，得到帧差图像，并将帧差图像二值化；

6)对帧差图像作形态学滤波操作，进行目标信息分离和提取，获得目标矩形框的大小与中心位置信息。

相邻两帧图像所有角点合成基描述子的具体生成过程包括：

1)对相邻两帧图像中每一个特征点邻域图像fri进行二值化处理，并计算特征点邻域图像fri的平均灰度值，当特征点邻域图像fri内的像素点值大于平均灰度值，则该像素点值被置1；否则，置0；

2)把相邻两帧图像中所有30×30大小的特征点邻域图像fri均分成6×6个大小为5×5的子区域，合成基图像为5×5个黑白元素组成的正方形；所述合成基图像黑色像素点个数为fri子区域像素的一半，合成基图像的个数其中，n为fri子区域的像素个数；k为合成基图像中黑色像素的个数；

3)对于步骤2)中的任一个特征点邻域图像fri，将该特征点邻域图像fri的所有子区域以从左至右、从上到下的顺序与合成基图像集合进行比较，每一个子区域都生成一个9维向量，组合36个子区域的各自9维向量，最后形成一个324维的合成基描述子。

所述特征点邻域图像fri的一个子区域9维向量生成方法为：一个子区域与合成基图像集合中一个合成基图像的比较值为两者在同一像素点处黑色像素相同的个数，合成基图像集合被比较的顺序为从左至右、从上到下，然后一个子区域依照上述的比较规则和比较顺序，与合成基图像集合中所有的合成基图像一一进行比较，得到9个整数值，组成9维向量。

目标信息分离和提取的具体步骤包括：

a)遍历每一帧滤波后的帧差图像，遍历的顺序为自上而下，从左至右；

b)如果一个像素满足：二值化后的像素值为1且没有编号，则对该像素赋予新的编号；

c)遍历赋予了新的编号的像素的八邻域，依据步骤b)中的条件，给予满足条件的8邻域内的像素新的编号，且该新的编号与赋予了新的编号的像素编号相同；对于不满足条件的八领域内的像素，返回步骤b)；

d)当把帧差图像中所有像素值为1的像素点遍历完且都编完号之后，操作结束。

所述矩形框的确定方法包括：每一帧滤波后的帧差图像经过扫描后，像素点为1的都有编号，编号相同的则为同一物体，连接在一起就组成了运动物体，假设有m个运动物体，对于第一个运动物体，矩形框获取方法如下：依次从第一个被标记的像素点开始遍历，直至遍历完最后一个被标记像素点，将标记像素点中x坐标与y坐标的最小值与最大值保存下来，记为xmin，ymin，xmax，ymax，以(xmin,ymin),(xmax,ymax)两点作为矩形框的对角点，画出矩形框。

本发明还提供了一种地面运动目标实时跟踪的系统，包括：

无人机，用于按照预定的飞行轨迹进行巡逻，将拍摄的图像序列传输到地面控制站；

无线传输设备：为无人机与地面控制站之间的数据传输提供一种通信方式；

地面控制站，用于检测出无人机视场下的感兴趣目标，提取感兴趣目标的二维图像矩形框大小与中心位置信息，并利用所述二维图像矩形框大小与中心位置信息，融合均值漂移算法和卡尔曼滤波算法的输出数据，使用数据加权的形式输出最终得目标定位结果。

相应的，该系统还包括：跟踪指令生成模块，用于根据所述目标定位结果，调整无人机飞行模式，使运动目标位于地面站显示屏中心区域。

所述地面控制站包括：

检测与识别模块，用于检测出无人机视场下的感兴趣目标，并提取感兴趣目标的二维图像矩形框大小与中心位置信息；

目标跟踪模块，利用所述二维图像矩形框大小与中心位置信息，融合均值漂移算法和卡尔曼滤波算法的输出数据，使用数据加权的形式输出最终得目标定位结果。

目标搜索模块，丢失跟踪目标时，该模块使用一种序列搜索方法重新定位目标。

跟踪指令生成模块，根据跟踪目标在地面站显示屏中的成像区域，生成相应的跟踪指令，以使目标位于显示屏中心位置。

与现有技术相比，本发明所具有的有益效果为：本发明目标的检测与跟踪过程不需人工的全程参与，使用的合成基描述子进行特征点匹配，对尺度旋转、光照、模糊变化具有鲁棒性，匹配效率高，并且合成基描述子的生成不涉及浮点运算，其对处理图像的硬件平台具有友好性，易于实现，能有效地进行目标识别，避免背景噪声的影响。

附图说明

图1为无人机系统结构组成图；

图2为无人机系统基于合成基描述子的背景运动参数估计方法的流程图；

图3为目标信息分离与提取图；

图4(a)合成基图像集合；图4(b)二值化的fri；图4(c)fri的第一个子区域与第一个合成基图像比较值；图4(d)fri的第一个子区域与第二个合成基图像比较值；

图5为运动目标分离与信息提取流程图；

图6为无人机系统算法融合与搜索策略流程图；

图7为无人机系统搜索序列层次策略流程图；

图8为无人机系统地面站显示屏分区域示意图；

图9为无人机视频序列任意上下帧图像；

图10为基于合成基描述子的角点匹配图像；

图11为帧差检测结果图像；

图12为形态学滤波后的目标检测图像；

图13为目标分离和信息提取图像。

具体实施方式

图1为无人机系统组成图，其包括无人机、摄像机、无线传输设备和地面控制站。无人机作为摄像机的载体，扩大摄像机的拍摄范围。无线传输设备为无人机采集图像序列的下传与地面站飞控指令上传提供通信方法；地面控制站包含四个模块，分别为目标检测与识别模块,目标跟踪模块，目标搜索模块，跟踪指令生成模块。

无人机系统跟踪的具体实施方法如下：

1、无人机按用户指定的飞行区域使用预先规划的飞行航迹，进行巡逻，摄像机把拍摄的图像序列通过无线传输设备下传到地面控制站的目标检测与识别模块进行处理，获得目标在地面站显示屏成像位置及矩形框大小。无人机拍摄的图像序列的任意相邻两帧如图9所示。

2、启动无人机的目标检测与识别模块，检测无人机视场下的感兴趣目标，并提取目标在显示屏上的矩形框大小与中心位置信息。目标检测与识别模块分为两个过程进行。基于合成基描述子的背景运动参数估计与目标信息分离和提取。第一个过程下面将介绍具体的实施方法，如图2为一种基于合成基描述子的背景运动参数估计方法的流程图:

1)提取起始帧的特征点，由于shi-tomasi角点具有高效性，故采用这种特征点。设定起始帧为x，定义一个在像素s处的自相关函数f如下：

其中δs表示位移量，w表示以s为中心的宽窗

对x(s+δs)进行一阶泰勒展开，上式可改写为如下：

其中△x是图像一阶导函数，λ是精度矩阵。特征点提取标准是精度矩阵特征值的最小值大于一个常数，即：

q(s)＝min{λ1,λ2}>k(3)

其中k为经验阈值，一般为0.05-0.5之间。

2)角点邻域的二值化，一般取特征点30×30的正方形邻域较为合理，能兼顾到复杂度与准确度。接下来生成描述符，对fri进行二值化处理，需计算特征点邻域的平均灰度值，fri的平均灰度值计算公式如下：

式中，p为fri的像素个数，这里为900；i(x,y)为fri中某一点的像素灰度值。

然后，当特征点邻域内的像素点值大于g,则该像素点值被置1；当特征点邻域内的像素点值小于g，则该像素点值被置0。由此过程，可以得到二值化的fri，它可以保留关键点邻域内的结构信息，为下步特征点的描述子生成奠定基础。

3)构造角点描述符，首先把30×30的fri分成6×6个5×5的子区域，为了能使fri的子区域与合成基图像进行对应元素比较，一个合成基图像的大小与fri的子区域相等。合成基图像是一个正方形区域，由黑色与白色元素组合而成，可以由下面的合成基函数确定合成基图像的个数。

式中，n为子区域的像素个数；k为合成基图像中黑色像素的个数；m表示sbi的个数，能唯一表征一个特征点。

为了提高算法的实时性，当然希望合成基图像的个数越少越好，当k为n的一半时，函数有最小值。k结果为小数，进行加1取整操作。例如，30×30的fri分成6×6个5×5子区域，则n为13，合成基图像的个数为13ln(25/13)或9；30×30的fri分成2个15×15的子区域，则n为450，合成基图像的个数为113ln(225/113)或78。以图4(a)～图4(d)的5×5子区域例子进行算法的具体说明：

图4(a)为合成基图像集和，由9个合成基图像组成，每一个合成基图像区域有13个像素点为黑色，其余点为白色，这13个黑色点采用伪随机方式分布在5×5的区域内，但必须保证每一个合成基图像的分布模式互不相同。图4(b)为二值化后的fri，并把它分成36个5×5的子区域。从左至右、从上到下的顺序，把第一个子区域与每一个合成基图像进行比较，比较的规则是看两者在同像素点处黑色点相同的个数，这样每一个子区域都会生成一个9维的向量，这就是子区域的描述符，且每一个分量的范围是(0，13)。

再依照上文的比较顺序，得到其余的35个子区域描述。最后组合36个子区域的描述子，最后形成一个324维的描述子。其中图4(c)为第一个子区域和第一个合成基图像比较得到的描述子，值为6；图4(d)为第一个子区域和第二个合成基图像的比较得到的描述子，值为7。

4)基于合成基描述子的角点匹配。特征点的匹配的成功，意味着这两个特征点的“距离”是最短的，衡量这个距离的最常用的方法有欧氏距离，马氏距离等，但是其计算的复杂性是高维向量所不能接受的。基于此，使用l1范数来度量特征点“距离”。为了说明特征点集的匹配过程，现假设视频序列的当前帧中有m个特征点，下一帧有n个特征点，那么衡量上下两帧中特征点距离的l1范数如下式：

xi表示当前帧的第i个合成基描述子，yj表示下一帧图像第j个合成基描述子，w表示描述子的维数，含324个分量。

合成基描述子计算原理如图5所示，每一行表示一个角点的描述子，再利用l1范数计算距离，在图5中角点1与角点2的距离为3。由上一步可以得到两幅图像中各自任意的特征点的距离，为了减少误匹配的概率，采用一种交叉匹配法：计算当前帧中的第i个角点与下一帧所有角点的l1范数距离d，共得到n个距离值，选取距离最小值为候选匹配点，记为yj；在按照上述方法，计算下一帧的第j个角点点与上一帧所有角点的距离，共得到m个距离值，把其中得到的最小值标记为t，若t＝j，则可以判定xi与yj为匹配正确的一对特征点，否则认为匹配有误。如图10所示，为交叉匹配法得到航拍图像的角点匹配图。

5)利用ransac算法排除运动物体上的角点(外点)，再去估计背景变换矩阵。估计背景的运动参数，希望角点匹配对尽可能的来自于背景角点组，对于上一步中的角点匹配对，需要使用ransac算法排除运动目标角点匹配对的误差干扰，使计算出来的背景运动补偿参数更精确。由于采用的图像变换形式为八参数射影变换模型，所以至少需要四组匹配对解出背景变换矩阵，其中八参数射影变换模型如下；

ransac算法计算背景运动补偿矩阵的算法过程如下所示：

a)首先定义两幅图像所有的匹配点对为总体样本d，任意选取四组匹配点作为一个样本数据ji，并根据样本数据计算背景参数模型h(j)。

b)由上一步计算得到的实例h(ji)，确定总体d中与h(ji)之间几何距离<阈值d的匹配点所构成的集合，并记为s(h(ji)),称为实例h(ji)的一致集。

c)由a)和b)两步计算另一个一致集s(h(jk)),如果s(h(ji))>s(h(jk))，则保留一致集s(h(ji))；反之，则保留一致集s(h(jk))。

d)经过k次随机抽样，选择最大个数的一致集中的匹配对作为正确的匹配对，即背景角点组。

e)由确定的背景角点组，使用最小二乘法计算出背景运动变换矩阵h。

其中d和k参数的确定分别为如式(8)、(9)计算：

d＝‖xi-hxi‖(8)

式中，xi为总体样本的一个数据点；w为好样本(内点)的概率。

目标检测与识别第二个过程，目标信息分离和提取的流程如图3所示，具体实施方法如下：

1)为计算帧差图像，因为无人机视场中存在多个移动物体，故采用一种帧前帧后差分法，检测出所有的运动物体，其计算公式如下：

其中xt-2,xt-1,xt为视频序列的任意连续三帧；与均为背景变换矩阵；et-1为帧差减除图像。无人机的航拍图像经过该步骤处理，如图11所示。

2)帧差图像的二值化，采用合适的阈值对步骤s301得到的图像二值化。

3)形态学滤波操作，由步骤302得到的二值化图像采用形态学操作对其滤波，这样会使各个运动对象的分割效果更明显。形态学操作过程如下：

a)对其进行图像腐蚀，以剔除孤立的噪声点。

b)再对其进行图像膨胀，就是扩大目标的边缘，填平所缺的坑，使轮廓更平滑。

在数学形态化处理后，检测结果更饱满，目标区域更明显，更有利于各个运动对象的分割和信息提取。图12为形态学滤波后的航拍图。

4)目标信息的分离和提取，为了分离每一帧的多个运动物体，首先需要对每个运动物体进行连通关联，将每帧的各个运动物体标记为不同的编号，最后把相同的区域选择出来。实现以上的目的，一般通常再用顺序标记法，该方法能够完成对运动物体的标记和分离，通常对每一帧采用自上而下自左向右的顺序进行像素扫描。在本方法中使用的像素模板为3*3大小的，具体步骤如下：

a)对每一帧进行像素遍历，遍历的顺序为自上而下从左至右。

b)如果一个像素满足两个条件：二值化后的像素值为1且没有编号，则对该像素赋予新的编号。

c)对b)中找到像素的八邻域进行遍历，重复b)中的条件，给予相同的编号。

d)当c)中的条件不满足时，重复b)的操作。

e)当把图像中所有像素值为1的点遍历完且都编完号之后，操作结束。

每一帧经过扫描后，像素点为1的都有编号，编号相同的则为物体，连接在一起就组成运动物体，假设有m个物体，现在以第一个运动物体为例，矩形框获取方法如下:依次从第一个被标记的像素点遍历至最后一个被标记像素点，将标记像素点中x坐标与y坐标的最小值与最大值存下来，记为xmin，ymin，xmax，ymax，接着就可以画出矩形框。通常以(xmin,ymin),(xmax,ymax)两点作为矩形框的对角点，画出矩形框。其它的运动物体的矩形框获取方法同上。无人机图像序列任意相邻两帧经过该步骤处理后的效果，如图13所示。

3、启动目标跟踪模块，由上一步骤获得的跟踪目标矩形框位置及大小信息，输入到跟踪模块的两个跟踪算法中，该步骤的具体运行过程如下：

1)先假设目标运动模型服从匀速度模型，卡尔曼滤波输出定位结果，记为第一目标真值ykf。

卡尔曼滤波器利用过渡模型从先前估计的状态预测当前状态，并且用当前状态更新当前测如下，其中

再利用卡尔曼滤波增益k去计算当前状态真值b(t):

假设当前运动目标运动模型为匀速运动，依据该模型来设置a与m即可。其中a为状态转移矩阵ωt控制过渡模型误差，m是测量矩阵，εt表示测量误差。其中vω和vε分别是ωt和εt的协方差。在我们的应用中，我们将检测到的对象的边界框的大小和位置分配为状态变量b(t)，初始化卡尔曼滤波器。

2)利用均值漂移跟踪算法，其目标模板的位置已经由目标检测与识别模块给出，所以能输出定位目标结果，记为第二目标真值yms。均值漂移算法具体过程已经非常成熟，故不在此赘述。

3)使用加权和数据融合方法，输出目标在未丢失时的定位结果。，若丢失目标，则启用搜索模块，重新定位目标结果。

由第一步输出的第一目标真值ykf，及第二步输出的第二目标真值yms，用以下策略进行数据的加权融合，采用bhattacharyya系数来度量目标模型和候选区域(第二目标真值)的相似性程度，当相似度大于0.8时，认为第二目标真值完全可信；当相似度大于0.5小于0.8时，不完全信任第二目标真值，进行数据加权融合操作；当相似度小于0.5时，认为目标发生了遮挡或目标状态的变化，认为目标发生了遮挡或目标状态的变化，可认为目标丢失，需启动目标搜索模块重新定位目标；上述的三种情况数据融合方式可由公式(13)、(14)、(15)分别判定:

ρ<0.5，y＝null(15)

式中，ρ为相似度；d为经验阈值；yms,ykf分别为均值漂移算法与卡尔曼滤波算法的目标值。

由上可知，当输出值为null时，融合策略算法认为目标由于遮挡等原因发生丢失，无人机系统会自动从跟踪模块切换到目标搜索模块，重新定位目标在地面站显示屏的区域位置。

4)如图4为搜索序列流程图，当丢失跟踪目标时，启动目标搜素模块，该模块使用一种序列的搜索方法，分两个层次，对目标丢失的原因更具有针对性，搜索效率较高。

第一层，前后帧差等距离搜索，yk+1＝yk+△y,其中△y＝yk-yk-1。

a)假设当前处理图像序列为第k帧，yk为其k时刻目标的中心位置，跟踪默认图像序列目标中心依次为y0，y1，…,yk-1,yk,yk+1,…。

b)利用帧差等距离公式，根据第k帧图像位置点计算出第k+1帧的中心位置，再以该位置取目标检测与识别模块输出的矩形框一样大小作为候选目标，计算其目标的颜色直方图，再计算与目标模板的相似度，如果相似度大于设定的阈值0.75，选取信任该候选模板，找到了目标；否则，不信任，进入第二层搜索策略。

第二层，局部/全局搜索策略，先局部搜索，即先在上一帧目标发生丢失的分区中，采用粒子滤波的方法进行重新搜索，具体而言就是，假如目标在摄像机成像视场中的第6区域丢失，则优先在该区内均匀喷洒n个粒子，重新定位到目标；若还在k帧内无法发现目标，则采用分区域粒子滤波方法，在1-9区域内，分别使用粒子滤波跟踪方法，每一个区域都会滤出一个跟踪结果，再采用一种加权融合每个区域的结果，最后重新得到目标的位置。

4、根据上一步输出的目标定位结果，启用跟踪指令生成模块，调整无人机飞模式，使运动目标位于图像中心区域。如图五为图像分区域编号，利用这个分区启用跟踪指令生成模块，通过无线传输模块，发送指令至无人机的飞控系统，调整飞行模式，使目标在当前时刻成像区域向中心区域(第五区域)移动。具体而言，跟踪指令生成模块的调整方式如下：

第5区：图像中心区域，如果目标中心点位于该区域，保持无人机的飞行姿态不变，不生成任何跟踪指令。

第1区：如果目标中心点位于该区域，则跟踪指令模块生成左前方飞行模式，控制无人机飞行姿态，使目标图像中心点位于图像中心区域。

第2区：如果目标中心点位于该区域，则跟踪指令模块生成向前方飞行模式，控制无人机飞行姿态，使目标图像中心点位于图像中心区域。

第3区：如果目标中心点位于该区域，则跟踪指令模块生成右前方飞行模式，控制无人机飞行姿态，使目标图像中心点位于图像中心区域。

第4区：如果目标中心点位于该区域，则跟踪指令模块生成向左方飞行模式，控制无人机飞行姿态，使目标图像中心点位于图像中心区域。

第6区：如果目标中心点位于该区域，则跟踪指令模块生成右飞行模式，控制无人机飞行姿态，使目标图像中心点位于图像中心区域。

第7区：如果目标中心点位于该区域，则跟踪指令模块生成左后方飞行模式，控制无人机飞行姿态，使目标图像中心点位于图像中心区域。

第8区：如果目标中心点位于该区域，则跟踪指令模块生成向后方飞行模式，控制无人机飞行姿态，使目标图像中心点位于图像中心区域。

第9区：如果目标中心点位于该区域，则跟踪指令模块生成右下方飞行模式，控制无人机飞行姿态，使目标图像中心点位于图像中心区域。