基于云台相机的无人机对地面目标跟踪控制方法及系统与流程

技术特征：

1.一种基于云台相机的无人机对地面目标跟踪控制方法，其特征在于，包括步骤：

s01、首先进行目标检测与识别，提取目标的特征点；

s02、利用坐标系转换，将当前特征点映射到不受固定翼无人机姿态和云台姿态变化影响的图像平面上，从而获得对应的特征点s；

s03、将特征点s与期望特征点s^*的差值作为输入，对无人机和云台系统进行伺服控制，获得无人机的速度va和期望的云台姿态θg；

s04、根据va和θg分别对无人机和云台进行姿态调整。

2.根据权利要求1所述的基于云台相机的无人机对地面目标跟踪控制方法，其特征在于，在步骤s02中，不受固定翼无人机姿态和云台姿态变化影响的图像平面为理想相机图像平面，将当前图像上的特征点坐标(u1，v1)映射到理想相机图像平面的坐标(u2，v2)的具体过程为：

s21、将云台相机光心与地面目标的连线记为lp，任取该线上一点p(xp，yp，zp)，对应当前相机坐标系下的点坐标，则根据三角形相似原理，有如下关系成立：

其中k为非正的常数；f为相机焦距；

s22、通过多个旋转变换，将p点映射到理想相机下中的p′(x′p，y′p，z′p)点；

s23、根据p点映射到理想相机下中的p′(x′p，y′p，z′p)点，求得(u1，v1)映射到理想相机图像平面的坐标(u2，v2)；

其中为相机坐标系，的原点oc位于相机光心，zc轴的方向与光轴朝向一致，yc轴的方向垂直光轴向上，进而确定xc轴的方向使为右手空间直角坐标系。

3.根据权利要求2所述的基于云台相机的无人机对地面目标跟踪控制方法，其特征在于，在步骤s22中，多个旋转变换为：

1)令当前时刻的相机坐标系对应的俯仰角θt变为-90°；

从到需要绕逆时针旋转θa，对应的旋转矩阵为：

其中ob-xbybzb和分别表示当前状态s0时的无人机机体坐标系和相机坐标系表示云台俯仰角θt＝-90°时的相机坐标系和的夹角大小为其中为机体坐标系，的原点ob位于固定翼无人机的质心处，xb轴的方向与机头朝向一致，yb轴的方向垂直机身向右，zb轴的方向垂直机体向下；

2)令当前时刻的相机坐标系对应的偏航角θp变为0°；让绕轴逆时针旋转后，轴与ocxb轴重合；记变换后的坐标系为则对应的旋转矩阵为：

3)令固定翼无人机的滚转角为0°；当前时刻的相机坐标系对应的无人机状态为s0，此时的无人机姿态角为(偏航角ψ1，俯仰角θ1，滚转角1)，则转换为滚转角为0对应的状态s1，绕轴逆时针旋转1；对应的旋转矩阵为：

4)令固定翼无人机的俯仰角为0°；无人机的滚转角和俯仰角均为0时对应状态s2，记该状态下的相机坐标系为则使俯仰角为0，绕yb轴逆时针旋转θ1，也可绕的y轴逆时针旋转θ1，对应的旋转矩阵为：

5)令相机坐标系的z轴与垂直机身方向的夹角为α；相机光轴朝向与机身垂直方向保持夹角α；记变换后的相机坐标系为对应的旋转矩阵为：

4.根据权利要求3所述的基于云台相机的无人机对地面目标跟踪控制方法，其特征在于，在步骤s22中，通过多个旋转变换，将目标在当前相机坐标系下的坐标p变成理想相机坐标系下的p′点：

5.根据权利要求4所述的基于云台相机的无人机对地面目标跟踪控制方法，其特征在于，在步骤s33中，令z′p＝f，则可以求得系数k：

公式(9)中的上角标(3，·)表示矩阵的第三行；在求得k后，可进一步求出目标在理想相机图像平面中的特征点坐标：

6.根据权利要求5所述的基于云台相机的无人机对地面目标跟踪控制方法，其特征在于，在步骤s03中，通过特征点变化速度获得无人机的速度控制量，利用图像雅可比矩阵进行求解，公式可表示成：

其中t和ω分别表示无人机飞行的线速度和角速度，都是三维的向量；jv为图像雅可比矩阵，表示成：

其中z表示目标到相机的视深；

其中为使目标快速收敛到图像中心，采用指数收敛方式；目标到图像中心的误差为则误差的收敛速度可表示成：

其中λ是个2×2的正定矩阵。

7.根据权利要求6所述的基于云台相机的无人机对地面目标跟踪控制方法，其特征在于，在步骤s03中，将s与期望特征点s^*的差值作为输入，输入至伺服控制器中，实现特征点s变化到无人机速度变化、无人机偏航角变化和云台姿态角变化的映射；无人机速度变化包括无人机速度速率，所述无人机偏航角变化包括无人机偏航角速率，对应的得到过程为：

记理想相机状态下的机体坐标系为当前状态下的欧拉坐标系为则从到需经过以下变换：

a)从转换到

记中对应的目标线速度^cv和角速度^cω分别为：

则经过上述第5)步的逆变换，即可与保持一致；记下固定翼无人机的线速度和角速度分别为和则表示成：

b)从转换到

固定翼无人机在当前状态下，滚转角和俯仰角分别旋转φ和θ后转换成理想相机对应的状态，；当下对应的无人机角速率已知时，可以通过投影变换获得无人机的欧拉角速率；

记欧拉角速率为

其中ob-xyz表示惯性坐标系，此时三个姿态角均为0；绕z轴偏航ψ角后与坐标系重合；而后绕y1轴俯仰θ角后与坐标系重合；最后绕x2轴滚转φ角后与坐标系重合；考虑下的无人机角速度与^eω之间的投影关系，可以得到：

其中

由于理想相机状态下固定翼无人机的俯仰角和滚转角始终为0，因此对应的滚转角速率和俯仰角速率也始终为0，则偏航角速率的输入为：

再根据公式，可以通过下的速度得到下对应的速度：

又由于无人机以恒定的速度进行飞行，对应于s2状态下就是沿x轴的飞行速度为vt，而沿y轴和z轴的速度均为0；合公式(19)，可以得到下的无人机速度表示：

将公式(11)，(21)代入公式(12)中，可以得到：

进一步整理可得：

其中

再利用最小二乘法，可以求得最终的偏航角速率：

8.根据权利要求7所述的基于云台相机的无人机对地面目标跟踪控制方法，其特征在于，在云台相机模型中，云台通过调整θp和θt使目标趋于图像中心；以o1为相机光心所在位置，o2为图像中心，|o1o2|表示相机焦距，c为目标特征点；结合图像坐标系的构建，目标的坐标可表示为(|o2a|，-|o2b|)；

云台相机的偏航角θp变化将影响目标特征点的横坐标，而θt的变化将影响目标特征点的纵坐标；

记δθp和δθt为目标从当前位置到达图像中心时云台需要旋转的角度，结合云台姿态角符号的定义，则有

若期望图像上特征点坐标(u1，v1)指数收敛到图像中心，则有

其中

因此，云台姿态角的变化速率可表示成：

9.根据权利要求8所述的基于云台相机的无人机对地面目标跟踪控制方法，其特征在于，所述伺服控制器为：

10.一种基于云台相机的无人机对地面目标跟踪控制系统，其特征在于，包括

特征点提取模块，用于进行目标检测与识别，提取目标的特征点；

特征点s提取模块，用于利用坐标系转换，将当前特征点映射到不受固定翼无人机姿态和云台姿态变化影响的图像平面上，从而获得对应的特征点s；

控制模块，用于将s与期望特征点s^*的差值作为输入，对无人机和云台系统进行伺服控制，获得无人机的速度va和期望的云台姿态θg；

调整模块，用于根据va和θg分别对无人机和云台进行姿态调整。

技术总结
本发明公开了一种基于云台相机的无人机对地面目标跟踪控制方法及系统，属于目标跟踪技术领域，用于解决目前目标跟踪效果差的技术问题，采用的技术方案为：首先进行目标检测与识别，提取目标的特征点；利用坐标系转换，将当前特征点映射到不受固定翼无人机姿态和云台姿态变化影响的图像平面上，从而获得对应的特征点S；将S与期望特征点S*的差值作为输入，对无人机和云台系统进行伺服控制，获得无人机的速度Va和期望的云台姿态θg；根据Va和θg分别对无人机和云台进行姿态调整。本发明的基于云台相机的无人机对地面目标跟踪控制方法及系统均具有跟踪精度高、跟踪效果好等优点。

技术研发人员：刘志宏;王祥科;杨凌杰;丛一睿;李杰;俞先国;陈浩;黄华平;王冠政
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：2020.06.17
技术公布日：2020.08.28