基于惯性/视觉信息融合的目标尺度恢复方法与流程

本发明属于无人机惯性/视觉着陆导航，涉及到一种基于惯性/视觉信息融合的目标尺度恢复方法，具体为基于惯性/视觉信息融合的跑道宽度的获取方法(此时明确跑道宽度为多少米)。

背景技术：

1、无人机着陆导航的关键问题在于如何实时、精确、可靠地获取和目标跑道之间的相对位置与姿态信息。目前无人机主要依靠差分卫星导航系统或雷达导引实现与目标着陆场站间之间的相对位置测量从而实现自主着陆，对抗无线电干扰的能力较弱，因此在无线电信号受干扰条件下，难以稳定准确获取无人机与目标着陆场站间的相对位姿信息。惯性/视觉导航技术通过视觉传感器测量载体与目标之间的相对位置、姿态信息，与惯性信息进行融合，确保导航信息的精度、连续性、可靠性，并提高信息的更新速率，为实现无线电干扰情况下无人机高速着陆提供了可能。

2、目前的视觉相对位姿测量方法中，实现着陆导引的基础是事先必需已知跑道宽度，这是获取相对位置的关键，为此需要事先对跑道进行测绘，即只能降落在合作跑道。因此亟需解决跑道宽度测量问题，实现跑道“尺度恢复”(确定跑道具体为多少米)，以实现让惯性/视觉着陆导航技术帮助无人机在陌生跑道降落或者实现公路上的应急降落。

技术实现思路

1、本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

2、为此，本发明提供了一种基于惯性/视觉信息融合的目标尺度恢复方法。

3、本发明的技术解决方案如下：

4、根据一方面，提供一种基于惯性/视觉信息融合的目标尺度恢复方法，该方法包括：

5、基于视觉传感器获取前后两帧跑道图像并进行视觉相对位姿解算，前后两帧跑道图像分别对应第一个相机位置和第二个相机位置；

6、利用惯性传感器获取所述获取前后两帧图像时对应的载体位置和姿态，所述惯性传感器和视觉传感器固连；

7、对惯性和视觉位姿测量结果进行滤波融合获取第二个相机位置相对第一个相机位置的旋转矩阵和平移矩阵

8、根据所述旋转矩阵和平移矩阵以及第一个相机位置下的跑道起始线左端点在两帧跑道图像中齐次像素坐标和跑道起始线右端点两帧跑道图像中齐次像素坐标分别获取跑道起始线左端点和右端点在第一个相机位置下的相机坐标系下的坐标和

9、根据坐标和构建跑道宽度估计模型。

10、进一步地，所述获取跑道起始线左端点和右端点在第一个相机位置下的相机坐标系下的坐标，具体包括：

11、根据所述旋转矩阵和平移矩阵以及第一个相机位置下的跑道起始线左端点在两帧跑道图像中齐次像素坐标和跑道起始线右端点两帧跑道图像中齐次像素坐标分别获取z1l和z1r；

12、根据所获取z1l和z1r、相机内参以及跑道起始线左端点在前一帧图像中的齐次像素坐标和跑道起始线右端点在前一帧图像中的齐次像素坐标解算坐标和

13、进一步地，分别通过下式获取z1l和z1r：

14、

15、

16、其中，

17、在解算z1l时，

18、在解算z1r时，

19、[u1l v1l 1]t和[u2l v2l 1]t分别为跑道起始线左端点在前后两帧图像中的齐次像素坐标；[u1r v1r 1]t和[u2r v2r 1]t分别为跑道起始线右端点在前后两帧图像中的齐次像素坐标，k为相机内参。

20、进一步地，通过下式获取坐标和

21、

22、

23、其中，k为相机内参；[u1l v1l 1]t为跑道起始线左端点在前一帧图像中的齐次像素坐标；[u1r v1r 1]t为跑道起始线右端点在前一帧图像中的齐次像素坐标。

24、进一步地，通过下式根据跑道起始线左端点和右端点在第一个相机位置下的相机坐标构建跑道宽度估计模型：

25、

26、其中，w跑道宽度，[x1l y1l z1l]t为跑道起始线左端点在第一个相机位置下的相机坐标系下的坐标，[x1r y1r z1r]t为跑道起始线右端点在第一个相机位置下的相机坐标系下的坐标。

27、进一步地，当飞行器偏航角等于0时，通过下式获取w：

28、w＝x1r-x1l。

29、根据另一方面，提供一种计算机设备，包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述方法的步骤。

30、上述技术方案基于惯性和视觉信息建立陌生跑道宽度估计模型，能够摆脱着陆任务对跑道宽度等先验信息的依赖，实现无人机相对陌生跑道的位姿测量，赋予无人机在陌生机场跑道自主着陆的能力，大幅提升无人机执行任务的灵活性，解决了跑道宽度测量问题，实现跑道“尺度恢复”。本技术方案还可推广应用于各类视觉环境感知的场景，例如陌生障碍物识别定位等。

技术特征：

1.一种基于惯性/视觉信息融合的目标尺度恢复方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种基于惯性/视觉信息融合的目标尺度恢复方法，其特征在于，所述获取跑道起始线左端点和右端点在第一个相机位置下的相机坐标系下的坐标，具体包括：

3.根据权利要求2所述的一种基于惯性/视觉信息融合的目标尺度恢复方法，其特征在于，分别通过下式获取z1l和z1r：

4.根据权利要求3所述的一种基于惯性/视觉信息融合的目标尺度恢复方法，其特征在于，通过下式获取坐标

5.根据权利要求1-4任一项所述的一种基于惯性/视觉信息融合的目标尺度恢复方法，其特征在于，通过下式根据跑道起始线左端点和右端点在第一个相机位置下的相机坐标构建跑道宽度估计模型：

6.根据权利要求5所述的一种基于惯性/视觉信息融合的目标尺度恢复方法，其特征在于，当飞行器偏航角等于0时，通过下式获取w：

7.一种计算机设备，包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-6所述方法的步骤。

技术总结
本发明提供一种惯性/视觉信息融合的目标尺度恢复方法，该方法包括：对惯性和视觉位姿测量结果进行滤波融合获取第二个相机位置相对第一个相机位置的旋转矩阵和平移矩阵根据所述旋转矩阵和平移矩阵以及第一个相机位置下的跑道起始线左端点在两帧跑道图像中齐次像素坐标和跑道起始线右端点两帧跑道图像中齐次像素坐标分别获取跑道起始线左端点和右端点在第一个相机位置下的相机坐标系下的坐标；根据坐标构建跑道宽度估计模型。本发明能够解决跑道宽度测量问题，实现跑道“尺度恢复”。

技术研发人员：尚克军,李茜茜,扈光锋,徐策,刘崇亮,明丽,李至,王大元,焦浩,赵亮
受保护的技术使用者：北京自动化控制设备研究所
技术研发日：
技术公布日：2024/1/15