基于数字孪生技术的旋翼无人机自主降落控制系统

本发明涉及数字孪生技术和无人机飞行控制，尤其涉及一种基于数字孪生技术的旋翼无人机自主降落控制系统。

背景技术：

1、数字孪生技术是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。即通过建立物理世界和数字世界之间精准映射、实时反馈机制，从而实现物理世界与数字世界互联、互通、互操作，构建起虚拟世界对物理世界描述、诊断、预测和决策新体系，并优化物理世界资源配置效率。换句话说，数字孪生就是对真实存在的物理系统的一个虚拟复制品，虚拟体和物理实体之间通过数据交换建立联系，通过这种联系，可以监测实体的实时动态。

2、无人机的自主降落技术越来越多的被应用到商业、民用和军事等领域。由于gps的精度太低，无人机在降落过程中偏差太大。因此，目前很多无人机的精准降落都用到了视觉传感器。采用视觉传感器可以实现无人机位置、姿态等参数的高精度测量和计算，从而实现更加精准的降落。同时，采用视觉传感器进行降落抗干扰能力更强，可以在复杂环境下进行测量和计算，从而提高了无人机降落的可靠性和稳定性。

技术实现思路

1、本发明公开一种基于数字孪生技术的旋翼无人机自主降落控制系统，实现将数字孪生技术应用到无人机的自主降落过程中，构建了虚拟世界对物理世界的描述，实现了孪生无人机与物理无人机的双向映射、实时交互，提高了无人机自主降落的精度以及成功率。

2、为了实现本发明的目的，所采用的技术方案是：基于数字孪生技术的旋翼无人机自主降落控制系统，包括虚拟空间、物理空间、服务中心和控制策略，虚拟空间用于进行无人机自主降落的虚拟训练；物理空间完成无人机自主降落的现实任务，物理空间包括双目追踪相机、usb单目相机、rtk定位系统和板载计算机，控制策略包括控制方法和合作标识，所述的控制方法包括水平方向控制和垂直方向控制，双目追踪相机与rtk定位系统相结合将无人机引导至合作标识上方，usb单目相机用来锁定合作标识的中心位置实现精准降落，所述的服务中心包括地面信息系统和无人机相机，所述的地面信息系统用于获取实体无人机的飞行实时位置并设定降落位置；无人机相机用于提供无人机在飞行和降落过程中的图像信息至板载计算机。

3、作为本发明的优化方案，合作标识包括分级标识和aruco码，所述的分级标识位于自主降落合作标识的中心位置，所述的分级标识用于引导无人机的精准降落；所述的aruco码分布在分级标识的四周，所述的aruco码用于对无人机在四个方位上进行引导。

4、作为本发明的优化方案，aruco码的识别步骤为：

5、1）将图像加载并转换成灰度图像；

6、2）自适应二值化使用otsu算法处理不同光照条件下的图像；

7、3）通过形态学处理去除图像的噪声；

8、4）轮廓提取是从二值化图像中提取物体的边界轮廓，采用基于边缘检测的canny算法，canny算法首先使用高斯滤波器对图像进行平滑处理，然后使用soble算子来检测图像中的边缘；

9、5）使用极大值抑制和双阈值分割来提取出边缘轮廓；

10、6）四边形筛选方法采用harris角点检测算法，通过检测四个点是否在同一直线上来筛选出符合条件的四边形；

11、7）透视变换将合作标识上的点转换成相机成像的像素点；

12、8）识别aruco码中的id，完成aruco码的识别。

13、作为本发明的优化方案，虚拟空间主要包括ros系统与unrealengine4引擎，unrealengine4引擎用于无人机模型、传感器模型的设计以及仿真环境的搭建，在ros系统中结合python/opencv进行控制无人机视觉算法的开发，并在ros系统中的gazebo仿真平台进行软件在环的实验，软件在环实验成功后，把程序移植到rflysim平台上，连接好飞行控制器与遥控器，进行硬件在环仿真实验后再进行无人机实体机实验。

14、作为本发明的优化方案，无人机在垂直方向控制中采用adrc控制器，adrc控制器包括跟踪微分器td、非线性状态误差反馈控制率nlsef和扩张状态观测器eso，跟踪微分器td从快速最优控制系统开始，快速最优控制系统在连续时域内可以实现从初始值到目标值的合理规划，跟踪微分器td中有两个参数，积分步长 h及速度因子 r；非线性状态误差反馈控制率nlsef的输入是将跟踪微分器td分解得到的期望值和扩张状态观测器eso得到的观测值作差得到系统的状态误差，扩张状态观测器eso是在一般观测器的基础上对扰动也进行了观测，实现了维度的增加。

15、作为本发明的优化方案，无人机在水平方向控制采用串级pid控制器，内环为角速度环，外环为角度环，角度环对应的控制器如式（1）所示：

16、（1）；

17、其中， θ为俯仰角， φ为横滚角，ψ为偏航角， kp、 ki、 kd分别为对应姿态角的pid控制参数，、、是姿态角pid控制器的输出也是角速度pid控制器的参考输入；

18、角速度环对应的控制器如式（2）所示，其中 u1为横滚力矩， u2为俯仰力矩， u3为偏航力矩。

19、（2）；

20、作为本发明的优化方案，在降落控制过程中，为了控制无人机的飞行速度，需要实时计算无人机相对于目标的位置，计算位置时包括五个层次的坐标系，分别是：a为像素坐标系 o( u， v)、b为像平面坐标系 os( x， y)、c为相机坐标系 oc( xc， yc， zc)、d为目标体坐标系 ow( xw， yw， zw)、e为无人机机体坐标系 ob( xb， yb， zb)；

21、像素坐标系和像平面坐标系之间的转换关系为：

22、；

23、其中：像素坐标中像平面坐标系原点 os的坐标为( u0 ，v0)，每个像素感光大小为 dx和 dy；

24、图像点p的像平面坐标系 os( x，y)和物体点p的相机坐标系 oc( xc ， yc ， zc)之间的关系为：

25、；

26、其中： f为相机的焦距；

27、像素坐标系 o( u，v)和相机坐标系 oc( xc ， yc ， zc)之间的关系为：

28、；

29、其中：，， dx= du， dy= dv，由中间量组成的矩阵称为相机 k的内参考矩阵。

30、作为本发明的优化方案，无人机与合作标识的相对位置，需求解合作标识在相机坐标系中的坐标；

31、已知 u， v和内部参考矩阵 k，求解 xc ， yc ， zc，首先需要找到 zc的值，目标的长度和宽度相同，实际长度已知，使用像素坐标系中边界两个对角点来估计 zc值，设两点为( u1 ，v1)和( u2 ，v2)，它们对应的相机坐标为( xc1 ， yc1 ， zc1)和( xc2 ， yc2 ， zc2)，

32、；其中：高度 zc可以根据目标的宽度和高度来计算，选择目标检测的较长边缘来计算高度 zc，然后计算 xc和 yc值，从而获得目标在相机坐标系中的坐标 xc， yc， zc。

33、作为本发明的优化方案，相机坐标系 oc( xc， yc， zc)和无人机机体坐标系 ob( xb， yb， zb)的关系用以下矩阵表示：

34、；

35、基于三轴旋转矩阵，从无人机机体坐标系转换到体惯性系的方程如下:

36、

37、（11）；

38、其中，r为旋转矩阵， θ为俯仰角， φ为横滚角， ψ为偏航角，目标在体惯性系内的坐标值 xe， ye， ze。

39、作为本发明的优化方案，rtk定位系统包括rtk地面基站、机载端rtk天线、地面端rtk板卡、机载端rtk板卡和4g通信模块，通过机载端rtk板卡采集到的卫星数据和rtk地面基站采集到的卫星数据进行实时载波相位差处理，得到厘米级的定位结果，从而可以得到无人机精准的位置信息。

40、本发明具有积极的效果：1）本发明本发明把数字孪生技术应用到无人机精准降落控制系统中，通过孪生无人机与实体无人机的实时交互、实时反馈来提高无人机降落的精度和成功率；

41、2）本发明本发明中公开的降落合作标识克服了无人机在下降过程中因为视场角变小，容易丢失目标的问题；

42、3）本发明本发明中无人机垂直方向上采用的adrc控制器解决了无人机在降落过程中的超调问题；

43、4）本发明中虚拟空间中的模拟降落用到了gazebo和rflysim联合仿真，在软件在环实验的基础上增加了硬件在环实验，可以更好的模拟实际情况，提高了实验的逼真性和安全性；

44、5）本发明将数字孪生技术运用到无人机自主降落上，将实体无人机实时数据传输到孪生无人机中，孪生无人机根据收集到的数据进行位置、速度和姿态上的调整，通过与实体无人机降落数据进行对比，不断优化自身模型，实现虚拟环境中的自主降落，同时，实体无人机也会接收来自孪生无人机的飞行数据，来调整自己的姿态和位置，实现物理环境中精准的降落。