基于自主目标搜索的四旋翼无人机视觉伺服

本专利属于计算机视觉与移动机器人的，特别是涉及面向倾斜目标的四旋翼无人机视觉伺服与自主目标搜索方法。

背景技术：

1、无人机在民用和商业领域得到了广泛的应用，近年来无人机飞行控制的研究持续活跃。无人机为现代社会和生活提供了摄影、检查、侦察、救援等先进方式。传统上，无人机在户外开放环境下依赖全球定位系统信号控制，限制了无人机在室内、山谷等许多地区的使用。另外，机载相机也经常被使用，它具有重量轻、体积小、精度高的特点，可以检测特定的目标并提供实时姿势信息。为了实现无人机的自主飞行控制，研究了机载相机的避障、路径规划、悬停、视觉伺服等技术。

2、视觉伺服是一种基于图像反馈的控制框架，其典型模式包括基于位置的视觉伺服(position-based visual servoing，pbvs)和基于图像的视觉伺服(image-based visualservoing，ibvs)。pbvs主要利用摄像机参数建立图像信号与视觉目标的映射关系，形成闭环反馈控制，而ibvs则直接利用图像信号操纵机器人系统的运动。然而，pbvs是在精确的摄像机标定和目标三维模型下对工作空间配置进行三维重建。另外，ibvs在保持目标在摄像机视场内的前提下，不需要目标几何信息，对摄像机参数具有鲁棒性。ibvs模式已广泛应用于机械手、飞行器和移动机器人。然而，为了解决四旋翼无人机的欠驱动和紧耦合约束，解决单目相机的深度不足问题，ibvs在四旋翼无人机上的应用仍需进一步研究。

3、研究人员对ibvs算法在四旋翼无人机上的应用进行了大量的研究。相关研究人员将ibvs框架灵活地应用于无人机，比使用姿态估计算法更快、更可靠。研究人员利用ibvs设计了自适应滑模控制器来计算起飞和降落的期望速度。为解决无人机欠驱动约束问题，相关研究人员将四旋翼模型与图像特征动力学直接结合，构造球形图像矩进行控制器设计。研究人员在假设图像和目标平面总是水平的前提下，设计了一种虚拟弹簧方案来限制图像特征在摄像机视场中的运动。相关研究人员通过引入虚拟图像平面，提出了一种无人机ibvs方法，以保证虚拟图像平面与水平目标平面实时并行。利用虚拟图像平面，四旋翼无人机避免了欠驱动约束，成为解耦系统，简化了控制开发。为消除未知质量和深度的影响，设计了一种基于虚拟图像平面的自适应滑模控制器。对于速度观测器的设计，研究人员简化了虚拟图像平面，综合分析了四旋翼无人机的运动学和图像特征。然而，现有的大多数视觉伺服方法的目标都是水平面，这对视觉伺服方法应用于倾斜目标平面提出了挑战。

4、视觉同步定位与测绘技术发展迅速，其中单目视觉与惯性测量单元传感器集成形成视觉-惯性导航系统(vision-inertial navigation system，vins)用于无人机定位。由于两个传感器的特性互补，vins可以实现更高的精度和更好的鲁棒性，并被应用于无人机，特别是提供实时姿势信息。在vins方案中，(vision-inertial navigation systemmonocular，vins-mono)策略是一种鲁棒的通用单目视觉惯性状态估计器，它采用紧耦合框架，从未知状态鲁棒初始化。无人机应用的一个课题是在环境复杂、目标不确定的情况下进行自主目标搜索。无人机搜索任务主要有两种，一种是以最小成本在已知区域搜索一个或多个特定目标，另一种是控制无人机在未知区域进行最大覆盖搜索。值得注意的是，在大多数无人机ibvs研究中没有考虑到自主目标搜索，通常需要手动操作来观察视觉目标。

技术实现思路

1、本专利设计了一个包括起飞、目标搜索和ibvs阶段在内的集成的ibvs飞行系统。采用vins-mono策略和非线性几何控制器，用于无人机起飞和搜索阶段的飞行控制。无人机首先垂直起飞到预设的高度，然后根据给定的方向进行搜索，直到探测到视觉目标；无人机配备了双摄像头进行飞行，前摄像头采用vins-mono进行定位，而向下摄像头则发挥了目标搜索和视觉伺服的作用。为了处理随机倾斜的目标平面，利用单应性矩阵，将倾斜的目标平面转换为始终平行于虚拟图像平面的水平目标平面。在ibvs阶段，基于虚拟图像平面和反步技术设计了一种非线性控制器。通过李雅普诺夫稳定性分析，证明了ibvs控制器对闭环系统的全局渐近收敛性，该控制器形式简单，增益易于调优。

2、本专利的主要贡献在于两个方面：1)在实时估计无人机姿态时，采用机载双摄像机配置自动搜索视觉目标。2)利用单应性矩阵处理随机倾斜目标平面，并基于虚拟图像平面和反步技术设计了ibvs控制器。

3、本专利提出的基于自主目标搜索的四旋翼无人机视觉伺服包括：

4、第1：四旋翼无人机模型

5、为了对四旋翼无人机进行运动学和动力学建模，现对四旋翼进行合理假设：四旋翼是均匀对称的刚体，质量和转动惯量在飞行中不发生变换以及四旋翼只受重力和螺旋桨的升力。建立四旋翼运动学和动力学模型目的在于分析四旋翼在受到外力和外力矩的情况下其自身在空间中的位置和姿态的变换情况。

6、四旋翼无人机的动力学模型可以分为线速度和角速度部分：

7、

8、

9、

10、

11、f＝-u1e3+mgrte3 (5)

12、其中ξ(t)：＝[x(t)，y(t)，z(t)]t是在惯性坐标系下表示的无人机位置，v(t)：＝[vx(t)，vy(t)，vz(t)]t和w(t)：＝[wx(t)，wy(t)，wz(t)]t是分别是无人机在机体坐标系下的线速度和角速度。m为无人机质量，g为重力加速度，j为无人机惯性矩阵，e3：＝[0，0，1]t表示一个单位向量，τ(t)：＝[τx(t)，τy(t)，τz(t)]t是在机体坐标系下的转矩矢量，f(t)∈r3是沿轴的力输入向量，u1(t)为四个螺旋桨的总推力，sk(w(t))表示关于w(t)的反对称矩阵。四旋翼无人机的欧拉角矢量η(t)的变化与角速度矢量w(t)的变化之间的雅可比矩阵关系为：

13、

14、对于小角度的θ(t)和sinθ(t)＝θ(t)，和得到w(t)＝i3×3，然后得到

15、第2，目标搜索与单应性矩阵

16、第2.1，目标搜索

17、无人机上配备的视觉传感器为目标搜索提供了方便，这是无人机应用中涉及目标检测、提取和匹配的常见要求。在所提出的视觉伺服框架中，设计了一个双目相机，用于起飞和搜索阶段。

18、安装在无人机下方的摄像机起着搜索视觉目标的作用。当目标没有被检测到时，使用前向摄像机执行vins-mono策略，然后由姿态转换模块实时提供无人机姿态。采用无人机几何控制器进行运动控制。无人机在起飞阶段达到所需的高度，并在目标搜索阶段以给定的方向飞行。利用颜色识别算法检测目标，目标点指数由其在向下摄像机图像上的分布来确定。检测到目标后，控制系统切换到ibvs阶段，跟踪图像特征，进行无人机姿态控制。为了安全起见，如果在距离起飞位置一定距离内无法检测到视觉目标，无人机将返回。

19、第2.2，图像特征动力学

20、通过对视觉特征图像矩的动态分析，广泛应用于无人机视觉伺服。摄像机固定在无人机底部的中心，镜头朝下，向下的摄像机坐标系和相同。如果向下摄像机和无人机之间存在外部参数，则只需要考虑和之间的坐标系转换。

21、引入了与向下摄像机具有相同的光学中心和参数的虚拟摄像机模型，虚拟摄像机形成的像平面称为虚拟图像平面，它总是保持滚动角和俯仰角为0以实现解耦，坐标系表示为图像特征定义在虚拟图像平面上，虚拟像素可以从真实的像素投射出来。需要指出的是，虚拟摄像机模型的设计等同于为摄像机增加了一个平移单元。

22、一个三维特征点在和下分别表示为wp(t)：＝[wx(t)，wy(t)，wz(t)]t和vp(t)：＝[vx(t)，vy(t)，vz(t)]t，并根据坐标系转换原理，得到：

23、

24、其中rψ(t)是无人机在下的偏航旋转矩阵，wtv(t)∈r3是在下虚拟摄像机中心的坐标。然后关于公式(7)的时间导数为：

25、

26、其中，

27、虚拟图像平面上相对于wp(t)的像素坐标为(vu(t)，vn(t))，其形式为：

28、

29、其中，λ为相机焦距，单位为米。真实图像平面上相对于wp(t)的像素坐标记为(u(t)，n(t))，通过计算得到(vu(t)，vn(t))：

30、

31、其中β是一个标量，由式(10)中的第3行计算得到。式(10)的时间导数为：

32、

33、根据式(9)和(11)，可以得到与无人机速度之间的雅可比矩阵如下：

34、

35、从式(12)中可以看出，不受无人机滚动角和俯仰角的影响，而只取决于偏航率。因此，通过定义虚拟图像平面，实现了虚拟图像运动和无人机滚动-俯仰运动的解耦，因此在无人机控制中只需要考虑到平移运动和偏航率。

36、一个视觉特征向量是由相对于虚拟图像平面的图像矩定义的，它被表示为q(t)：＝[qx(t)，qy(t)，qz(t)]t，计算得到

37、

38、其中

39、

40、

41、符号a*是在式(14)中当无人机达到期望姿态时a(t)的期望值。

42、结合式(12)和(13)，可以得到无人机相对于虚拟图像平面的运动学

43、

44、其中，z*表示当无人机处于期望姿态时，从目标平面到摄像机中心的深度值，也就是三维目标点的zv轴坐标。

45、偏航控制器设计为

46、

47、qψ(t)的时间导数可以计算为

48、

49、从式(16)和(18)中可以看出，利用虚拟图像平面和图像矩来构造图像特征。公式(16)给出了图像特征速度和相机线速度之间的解耦映射。因此，它只需要控制无人机的横向运动和偏航运动，就可以实现ibvs任务。

50、第2.3，单应性矩阵构造

51、需要注意的是，当目标平面是非水平时，上述虚拟图像平面不适用，这将导致纵轴出现较大误差，偏航不稳定，这就导致了整个系统的不稳定，并导致了ibvs任务的失败。为了解决这一问题，我们利用单应性矩阵对非水平目标平面进行补偿，使其重新投影到水平目标平面，然后使用来自虚拟图像平面的图像矩。

52、目标平面上的第i个特征点在两幅图像上的投影为pi1和pi2，分别相对于相机坐标系和通过相对于两幅图像的单应性矩阵h(t)可以得到以下关系：

53、

54、其中s是一个比例系数，d是相机中心到目标平面的垂直距离，n是目标平面的单位法向量。

55、由于滚动-俯仰运动是由目标平面产生的，而虚拟摄像机只有偏航运动，因此可以构建相对于非水平目标平面和虚拟图像平面的单应性矩阵h*(t)：

56、

57、其中，r*(t)包含目标平面和虚拟图像平面之间的旋转。由于目标平面的(ψo(t))和虚拟图像平面的为0，所以r*(t)可以记为

58、虚拟图像平面和目标平面之间的偏航偏差表示为ψe(t)＝ψ(t)-ψo(t)，因此h*(t)可以计算得到：

59、

60、其中，根据旋转矩阵的特性，cosψe(t)和sinψe(t)的符号都是正的。因此，h*(t)可以被重组为为

61、

62、因此公式(19)可以重写为

63、

64、其中s是由最后一行计算的。倾斜的目标平面可以通过式(23)转换为平行于虚拟图像平面的平面，因此，定义的图像矩式(13)仍然可以应用。由于在视觉伺服过程中采用的是虚拟图像上的所需图像特征，而不是真实图像上的特征，所以式(23)仍然可以应用于无人机动力学。

65、第3，ibvs控制器开发

66、在虚拟图像平面上定义的期望图像矩向量为

67、

68、这意味着无人机的理想位置是在目标平面中心以上的一个特定高度。图像矩误差矢量在式(13)中被定义为

69、q1＝q-qd (25)

70、根据式(1)-(5)和(16)，无人机和图像特征的联合动力学为

71、

72、

73、

74、

75、基于以下的稳定性分析，提出了无人机ibvs阶段的飞行控制规律

76、

77、其中，k1，k2，k3，k4，k5∈r为控制增益，q2(t)和q3(t)与q1(t)相关，基于李雅普诺夫函数证明设计的控制律具有渐进稳定性，u1(t)为推力输入，uθ(t)和uψ(t)为欧拉角控制输入。根据设计的控制律将驱动四旋翼无人机在笛卡尔空间中稳定的盘旋在目标点的上空区域。