基于图像的无人机目标跟踪控制方法与流程

本发明涉及一种目标跟踪技术领域，具体地说，是涉及一种基于图像的无人机目标跟踪控制方法。

背景技术：

目前无人机目标跟踪控制方式需要通过机器视觉计算出目标相对于无人机的三维位置，该种控制方法具有以下缺点：1、算法复杂且计算量大；2、还需要无人机的航向和姿态信息，通常航向信息通过磁传感器获得，但磁航向极易受到干扰，当跟踪敌对目标或接近高压电线等磁场时，磁传感器容易失灵会导致无人机失控，导致无法对目标进行跟踪。

技术实现要素：

本发明为了解决现有无人机目标跟踪控制方式计算量大，航向信息通过磁传感器获得容易受到干扰的技术问题，提出了一种基于图像的无人机目标跟踪控制方法，通过建立虚拟图像平面，采集目标图像，并且使用虚拟图像平面对目标图像特征点进行坐标变换，通过对图像特征点进行跟踪的方式校正无人机的飞行姿态，同样可以实现对目标跟踪的目的，且本跟踪方法计算量小，不依赖通过磁传感器获取航向信息，可以避免磁干扰带来的影响。

为了解决上述技术问题，本发明采用以下技术方案予以实现：

一种基于图像的无人机目标跟踪控制方法，所述无人机上固定有摄像机，所述摄像机的镜头平面与所述无人机的底部平面平行且朝向下方，所述无人机目标跟踪控制方法包括以下步骤：

(1)、摄像机在目标上方预定高度d^*垂直向下采集目标的图像，得到参考图像，并从目标中提取一组特征点，计算所述特征点在参考图像中所围成面积a^*及参考图像的中心位置，以此建立目标基准；

(2)、使用数学的方法建立虚拟图像平面，所述虚拟图像平面与水平面平行，在无人机飞行时摄像机周期采集目标的图像，得到采集图像，将采集图像投影至所述虚拟图像平面，得到投影图像，计算所述特征点在投影图像中所围成面积a′；

(3)、根据特征点在投影图像中所围成面积a′与所述特征点在参考图像中所围成面积a^*，计算投影图像在竖直方向上与目标的相对距离：

计算投影图像在水平方向与目标的偏移量：

其中，为投影图像的中心点的横坐标值，为投影图像的中心点的竖坐标值；

(4)、计算投影图像与参考图像之间的偏移量δ；

(5)、计算位置控制器输出指令u:

其中，kp、kd、ki为无人机控制参数，由用户设定；

(6)、由所述位置控制器输出指令u生成姿态指令rd和拉力指令fd，用于控制无人机调整飞行高度以及飞行偏角。

进一步的，步骤(2)中特征点在投影图像中所围成面积a′的计算方法为：

其中，n为特征点的数量，为正整数，在投影图像所在平面做投影直角坐标系，u′k为在所述投影直角坐标系中，投影图像中第k个特征点的横坐标值，v′k为在所述投影直角坐标系中，投影图像中第k个特征点的竖坐标值。

进一步的，步骤(1)中特征点在参考图像中所围成面积a^*的计算方法为：

其中，在参考图像所在平面做机器直角坐标系，uk为在所述机器直角坐标系中，参考图像中第k个特征点的横坐标值，vk为在所述机器直角坐标系中，参考图像中第k个特征点的竖坐标值。

进一步的，步骤(3)中，投影图像的中心点的横坐标值的计算方法为：

投影图像的中心点的竖坐标值的计算方法为：

进一步的，步骤(4)中偏移量δ的计算方法为：

δ＝[δxδyδz]^t

其中，

进一步的，步骤(6)中姿态指令rd的计算方法为：

拉力指令fd的计算方法为：

fd＝m||u||，其中，m为无人机的质量。

与现有技术相比，本发明的优点和积极效果是：本发明的基于图像的无人机目标跟踪控制方法，通过建立虚拟图像平面，采集目标图像，选取特征点并且使用虚拟图像平面对目标图像特征点进行坐标变换，通过对图像特征点进行跟踪的方式校正无人机的飞行位置，同样可以实现对目标跟踪的目的，且本跟踪方法计算量小，不需要磁罗盘等传感器，可以避免磁干扰带来的影响。

结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明所提出的基于图像的无人机目标跟踪控制方法的一种实施例原理示意图；

图2是本发明所提出的基于图像的无人机目标跟踪控制方法的一种实施例流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一，本实施例提出了一种基于图像的无人机目标跟踪控制方法，如图1所示，无人机10上固定有摄像机11，摄像机11的镜头平面与无人机10的底部平面平行且朝向下方，理想状态下，无人机保持水平方向飞行，但是在实际飞行过程中，飞行姿态不固定，可能会与水平面具有一定夹角，但是夹角不影响摄像机11对目标的图像采集，只要目标仍然在摄像头的图像拍摄范围内，摄像头均可获取对目标的采集图像信息，本方法即通过对采集目标的图像信息进行分析，进而校正无人机的飞行位置，使得目标在摄像机所拍摄的图像中始终位于合适的位置以及在图像中保持合适的大小，既然对目标所拍摄的图像位置和大小稳定了，体现在实际空间中，也即无人机与目标之间的相对位置是稳定的，进而实现了无人机对目标的跟踪，本方法将以一具体实施例进行说明，本实施例中无人机目标跟踪控制方法包括以下步骤：

s1、摄像机在目标上方预定高度d^*垂直向下采集目标的图像，得到参考图像，并从目标中提取一组特征点，计算所述特征点在参考图像中所围成面积a^*及参考图像的中心位置，以此建立目标基准；参考图像属于一种理想状态下无人机对目标能够获取的图像，也即，将摄像机放置在目标的正上方高度为d^*的位置处，垂直向下采集目标的图像，得到参考图像，飞行高度也即目标到所述虚拟图像平面的距离d^*为期望跟踪高度，该种理想状况下所获取的目标在虚拟图像平面的投影作为参考图像，当无人机没有位于理想状态下时所拍摄的图像具有相应的参考基准，通过比较两幅图像的差别进而获取到无人机的姿态调整信息。

s2、使用数学的方法建立虚拟图像平面，虚拟图像平面与水平面平行，在无人机飞行时摄像机周期采集目标的图像，得到采集图像，将采集图像投影至虚拟图像平面，得到投影图像，计算特征点在投影图像中所围成面积a′；由前述可知，采集图像为摄像机对目标的实际拍摄所获取的图像，由于摄像机随着无人机运动，因此拍摄角度和高度时刻发生变化。

通过选取特征点的方式，无需对目标图像中所有的点进行计算跟踪，有效减小计算量。

s3、根据特征点在投影图像中所围成面积a′与所述特征点在参考图像中所围成面积a^*，计算投影图像在竖直方向上与目标的相对距离：

将采集图像在虚拟图像投影，目标在投影图像中的面积，也即特征点在投影图像中所围成面积a′与高度成正相关，将面积开二次根方得到比例系数，也即，当特征点在投影图像中所围成面积a′与特征点在参考图像中所围成面积a^*相等时，说明当前投影图像在竖直方向上与目标的相对距离为d^*，也即，采集图像所在平面与参考图像在同一平面，当特征点在投影图像中所围成面积a′大于特征点在参考图像中所围成面积a^*时，qz大于d，说明采集图像所在平面高于参考图像平面，也即无人机飞行高度比期望高度d^*高，反之，无人机飞行高度比期望高度d^*低。

计算投影图像在水平方向与目标的偏移量：

其中，为投影图像的中心点的横坐标值，为投影图像的中心点的竖坐标值；

s4、计算投影图像与参考图像之间的偏移量δ；当投影图像与参考图像之间具有偏移时，说明此时无人机没有位于目标的正上方。

s5、计算位置控制器输出指令u:

其中，kp、kd、ki为无人机控制参数，由用户设定；

s6、由所述位置控制器输出指令u生成姿态指令rd和拉力指令fd，用于控制无人机调整飞行高度以及飞行偏角。若计算获得姿态指令rd和拉力指令fd，即可直接对无人机进行控制。

例如四旋翼无人机只需要较小的电机转速改变便可产生足够的俯仰和滚转力矩，而产生航向力矩则需要电机转速做较大改变，且调节时间长。由于无人机的图像特征点面积以及相对位置误差只与姿态指令rd和拉力指令fd有关，而与航向无关，因而可不改变航向，而只是通过改变姿态实现误差跟踪控制。因而姿态控制部分将倾斜部分和航向部分解耦。

步骤s2中特征点在投影图像中所围成面积a′的计算方法为：

其中，n为特征点的数量，为正整数，在投影图像所在平面做投影直角坐标系，u′k为在所述投影直角坐标系中，投影图像中第k个特征点的横坐标值，v′k为在所述投影直角坐标系中，投影图像中第k个特征点的竖坐标值；

步骤s1中的特征点在参考图像中所围成面积a^*的计算方法为：

其中，在参考图像所在平面做机器直角坐标系，uk为在所述机器直角坐标系中，参考图像中第k个特征点的横坐标值，vk为在所述机器直角坐标系中，参考图像中第k个特征点的竖坐标值。

步骤s3中，投影图像的中心点的横坐标值的计算方法为：

投影图像的中心点的竖坐标值的计算方法为：

步骤s4中偏移量δ的计算方法为：

δ＝[δxδyδz]^t

其中，

由前述记载可知，参考图像属于一种理想状态下无人机对目标能够获取的图像，也即，无人机位于水平方向上，且在竖直方向上位于目标的正上方，飞行高度也即目标到所述虚拟图像平面的距离d*为期望跟踪高度，该种理想状况下所获取的目标在虚拟图像平面的投影作为参考图像，因此，投影图像与参考图像之间的偏移量δ反应了采集图像在水平方向与目标之间的偏移量，也即

步骤s6中姿态指令rd的计算方法为：

拉力指令fd的计算方法为：

fd＝m||u||，其中，m为无人机的质量。

上述公式为无人机的常规控制方式，其可通过位置控制器输出指令u计算出相应的姿态指令和拉力指令。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。