一种基于OpenCV的无人机实时压缩跟踪方法与流程

本发明涉及智能信息处理和无人机追踪技术领域，具体为一种基于opencv的无人机实时压缩跟踪方法。

背景技术：

基于视觉的移动目标跟踪技术，是指将机器人通过视觉传感器获得的图像序列进行分析，通常是进行目标检测，完成目标识别，最后对识别出的目标进行跟踪，获取目标的实时空间位置、目标尺寸大小、速度和加速度等信息，并能够得到移动目标的运动轨迹。由于基于图像的目标识别和跟踪算法成熟，跟踪成本低，精度高和抗干扰能力强等优点，因此在许多领域都有广泛而实际的应用。

随着无人机应用范围的逐渐扩大，对于无人机系统自主控制的要求也在不断提高，无人机自动控制系统通过感知外部环境进行智能信息处理，自动生成相应的控制策略，实现各种需求任务，并且具有有效而且快速的自适应能力，特别是无人机居高临下的视角，可以大范围监控地面情况，同时能快速到达人员不容易涉及的地方，高效的实施监控，降低了相应人员风险，这使得无人机开始广泛应用于安防行业，众所周知，可视化管理基本上依靠固定的监控设备完成，而随着用户对设备的深度应用，监控死角的问题不可回避，因此在一些环境恶劣的地方，摄像机等设备的安装布线及维护都是大问题，固定点视频监控在可视化管理领域需求多样化的趋势下，需要有像无人机航拍这样的新设备在特殊情况下提供技术保障。

技术实现要素：

本发明的目的在于提供一种基于opencv的无人机实时压缩跟踪方法，解决上述背景中提出的问题。

本发明主要是利用移动物体检测算法、目标追踪算法和跟踪控制器层面进行需求分析，设计目标检测和跟踪算法，采用基于特征点的移动物体检测器和基于压缩感知理论的目标追踪以提高算法的跟踪精度和抗短期的遮挡能力，设计单环位置环pid控制器，将无人机和目标之间实际水平方向距离作为控制器的输入，实现无人机追踪移动的目标。

一种基于opencv的无人机实时压缩跟踪方法，所述方法包括：

步骤s1：无人机起飞，开始采集图像，回传视频数据到pc端；

步骤s2：选择无人机追踪目标后，将视频转化为图像帧；

步骤s3：基于opencv对视频图像序列进行特征点检测以及匹配，提取待检测目标的特征向量；

步骤s4：提取图像序列背景和目标的样本数据，进行初始帧处理；

步骤s5：利用稀疏测量矩阵对特征向量进行压缩、变换；

步骤s6：跟踪过程中，将经过处理的特征向量作为训练集对分类器进行训练，之后输入的每一帧图像都利用上一帧训练好的分类器进行训练，得出目标窗口实现追踪；

步骤s7：得到跟踪目标后，计算出目标的位置坐标；

步骤s8：根据跟踪目标的位置坐标，结合无人机高度数据计算出两者在垂直方向上的水平位移；

步骤s9：将无人机和移动目标的实际水平距离的差值作为无人机位置控制的pid输入参数，无人机通过位置环控制进行位置调整，实现对移动目标的跟踪。

进一步地，步骤s3中，调用opencv的fastfeaturedetector函数设置检测阈值提取待检测目标的角点颜色、纹理等特征，建立目标模板，通过和实时视频流中对应目标进行特征匹配进而进行相似性判断。

进一步地，运用surf方法，调用opencv中的featuredetector接口来发现感兴趣点，使用surffeaturedetector以及其函数detect来实现移动物体的检测过程。

进一步地，步骤s5中，首先在不同的样本区域范围内随机抽取不同尺度图像下的特征点信息，之后使用flannbasedmatcher接口以及函数flann，实现快速高效匹配，将高维特征信息进行降维后，在相应的压缩域中建立特定的表观模型。

进一步地，在初始帧的时候，采样得到若干张目标和背景的样本数据，然后对其进行多尺度变换，再通过稀疏测量矩阵对多尺度图像特征进行降维，然后通过降维后的特征去训练朴素贝叶斯分类器。

进一步地，步骤s9中，所述位置环控制包括以下步骤：

s1：确定摄像头的焦距，假设一个宽度为w的目标。将这个目标放置在距离相机为d的位置并测量物体的像素宽度p，得出相机焦距公式：

f＝(p×d)/w

s2：通过目标在图像中的像素位置计算得到无人机与目标的水平位移，设目标在图像平面的像素位置为(u，v)，则目标和无人机之间的水平位移(x，y)表示为：

z为无人机高度f为相机焦距，β为摄像机的俯仰角，α为物像两点连线和相机光轴所成的角度，(u0，v0)为图像中心点像素坐标。

s3：将无人机和移动目标的实际水平距离的差值作为无人机位置控制的pid输入参数，无人机通过位置环控制进行位置调整，对于无人机的位置控制，假设l作为目标位置和现时刻位置的差值，则输出控制量φk:与l满足以下pid控制关系：

s4：将无人机位置控制的理想控制量φk和实际测量值之差设为偏差量φ偏差k，所述偏差量和最终的控制输出φfinalk满足以下pid控制关系：

过一个稀疏测量矩阵对多尺度图像特征进行降维，然后通过降维后的特征去训练朴素贝叶斯分类器，将追踪问题被转化成使用朴素贝叶斯分类器的二元性分类问题。

本发明目的在于提供一套基于自动控制算法并结合高精度、强抗干扰性的目标追踪方法的无人机实时跟踪方法，可克服普通视觉传感器位置固定、视场范围小等不足，能够非常有效的扩大视觉传感器的视场范围。搭载了视觉传感器的旋翼机型无人机，可实时对地面和空中进行监测，也可以对移动目标进行监视和跟踪，可有效完成许多监控任务。

有益效果：

1、本发明通过多尺度图像特征降维，将跟踪目标和无人机之间的多维度差值转化为无人机与目标位置的实际水平距离的差值，输入单环位置环pid控制器，实现对移动目标的实时跟踪，实现目标跟踪的数据简化。

2、本发明基于opencv建立目标模板，提取特征向量，提高追踪精度并增强抗干扰性，减少复杂背景对其追踪的影响，采用压缩感知算法减少数据的计算量，加快目标追踪速度。

3、采用嵌入式硬件和图像处理结合的方式，数据收发效率高，且传输稳定，便于数据的观察与分析。

附图说明

图1为本发明的总体系统框架图。

图2为移动物体检测算法流程图。

图3为压缩感知算法模型。

图4为飞行器检测控制器设计框架。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

实施例1

总体框架图如图1所示，首先由遥控器控制无人机起飞并到达追踪目标附近，开启追踪模式后，无人机获取地面图像并通过图传回传到pc端，pc端接收到图像后基于opencv对视频图像序列进行特征点检测以及匹配，提取待检测目标的特征向量，经过多尺度变换后，利用压缩感知理论对多尺度图像特征进行降维，然后通过降维后的特征去训练朴素贝叶斯分类器，朴素贝叶斯分类器进行分类后得到跟踪目标窗口后，通过目标在图像中的像素点坐标和实际的高度距离转化成二者在垂直方向上的水平实际位移，将无人机和移动目标的实际水平距离的差值作为无人机位置控制的pid输入参数，无人机通过位置环控制进行位置调整，实现对移动目标的跟踪。

基于opencv的无人机实时压缩跟踪方法的具体操作步骤如下，移动物体检测流程和压缩感知算法模型分别如图2、图3所示。

具体步骤为：

步骤s1：无人机起飞，开始采集图像，回传视频数据到pc端；

步骤s2：选择无人机追踪目标后，将视频转化为图像帧；

步骤s3：基于opencv对视频图像序列进行特征点检测以及匹配，提取待检测目标的特征向量；

步骤s4：提取图像序列背景和目标的样本数据，进行初始帧处理；

步骤s5：利用稀疏测量矩阵对特征向量进行压缩、变换；

步骤s6：跟踪过程中，将经过处理的特征向量作为训练集对分类器进行训练，之后输入的每一帧图像都利用上一帧训练好的分类器进行训练，得出目标窗口实现追踪；

步骤s7：得到跟踪目标后，计算出目标的位置坐标；

步骤s8：根据跟踪目标的位置坐标，结合无人机高度数据计算出两者在垂直方向上的水平位移；

步骤s9：将无人机和移动目标的实际水平距离的差值作为无人机位置控制的pid输入参数，无人机通过位置环控制进行位置调整，实现对移动目标的跟踪。

需要指出的是，基于opencv的无人机实时压缩跟踪方法中特征点检测和匹配是指通过调用opencv的fastfeaturedetector函数设置检测阈值提取待检测目标的角点颜色、纹理等特征，建立目标模板，通过和实时视频流中对应目标进行特征匹配进而进行相似性判断，具体流程如图2所示。

需要指出的是，基于opencv的无人机实时压缩跟踪方法中压缩感知理论是指在不同的样本区域范围内随机抽取不同尺度图像下的特征点信息；之后使用flannbasedmatcher接口以及函数flann，实现快速高效匹配，将高维特征信息进行降维后，在相应的压缩域中建立特定的表观模型。

需要指出的是，基于opencv的无人机实时压缩跟踪方法中实时压缩感知追踪是指首先通过flann函数对高维特征和大数据集进行最近邻搜索，快速匹配后对其进行降维、变换，然后将经过处理的特征向量作为训练集对分类器进行训练，之后输入的每一帧图像都利用上一帧训练好的分类器进行训练，得出目标窗口实现追踪。

需要指出的是，基于opencv的无人机实时压缩跟踪方法中在初始帧的时候，采样得到若干张目标和背景的样本数据，然后对其进行多尺度变换，再通过一个稀疏测量矩阵对多尺度图像特征进行降维，然后通过降维后的特征去训练朴素贝叶斯分类器，稀疏降维过程如图3所示。

需要指出的是，基于opencv的无人机实时压缩跟踪方法中通过朴素贝叶斯分类器进行分类后得到跟踪目标窗口后，通过目标在图像中的像素点坐标和实际的高度距离转化成二者在垂直方向上的水平实际位移，将无人机和移动目标的实际水平距离的差值作为无人机位置控制的pid输入参数，无人机通过位置环控制进行位置调整，实现对移动目标的跟踪,过程如图4所示。

以上显示和描述了本发明的基本原理和主要特征及本发明的优点，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界定。