一种多传感器融合的建图方法及系统与流程

本申请涉及机器人和自动驾驶，尤其涉及一种多传感器融合的建图方法及系统。

背景技术：

1、使移动机器人能够在现实世界中执行任务并与人互动一直是向前发展的长期目标，其要解决的基本任务之一是赋予机器人位置感和环境感。即时定位与建图(simultaneous localization and mapping，slam)算法就是为了解决这一问题而设计的。由于光照、小视场、运动模糊等因素的影响，基于视觉的状态估计器在实践中的鲁棒性不好。而激光雷达传感器的宽视场、密度、范围和精度使其适用于导航、定位和测绘。

2、现有的激光雷达-惯性里程计imu工作可分为松耦合和紧耦合两类：松耦合方法分别处理两个传感器以推断它们的运动约束，而紧耦合方法通过联合优化直接融合激光雷达和惯性测量。loam作为松耦合方法执行点特征到边缘/平面扫描匹配，以找到激光雷达扫描之间的对应关系，imu测量则用于消除激光雷达扫描的偏斜，并在扫描匹配之前给出运动。与松耦合方法相比，紧耦合方法能够表现出更高的鲁棒性和准确性，例如lio-sam的紧耦合方法优化了因子图中关键帧姿态的滑动窗口，以实现更高的精度和鲁棒性，然而lio-sam在长走廊等相似场景中易发生退化，导致建图失败。

技术实现思路

1、本申请实施例提供了一种多传感器融合的建图方法及系统，用于解决如下技术问题：现有的建图方法鲁棒性差。

2、本申请实施例采用下述技术方案：

3、一方面，本申请实施例提供了一种多传感器融合的建图方法，所述方法包括：对双目相机采集的环境图像进行orb特征提取；利用视觉惯性里程计，通过所述orb特征，为激光雷达提供初始位姿；通过所述视觉惯性里程计的回环检测结果，为所述激光雷达提供点云配准初值；利用所述激光雷达与所述视觉惯性里程计，通过所述初始位姿与所述点云配准初值，更新地图。

4、在本申请说明书的一个或多个实施例中，在进行orb特征提取之前，所述方法还包括：通过所述双目相机的视差，获取所述orb特征的深度信息。

5、在本申请说明书的一个或多个实施例中，在进行orb特征提取之前，所述方法还包括：对所述激光雷达采集的点云数据进行点云特征提取；将提取的所述点云特征的深度信息，确定为所述orb特征的深度信息。

6、在本申请说明书的一个或多个实施例中，在进行orb特征提取之前，所述方法还包括：获取所述视觉惯性里程计中包含的惯性测量单元imu的预积分；利用所述imu的预积分对所述双目相机进行初始化。

7、在本申请说明书的一个或多个实施例中，所述激光雷达的点云配准过程采用icp配准算法实现。

8、在本申请说明书的一个或多个实施例中，通过所述视觉惯性里程计的回环检测结果，为所述激光雷达提供点云配准初值之前，所述方法还包括：若所述视觉惯性里程计中没有回环检测结果，则对所述激光雷达采集的预设范围内的点云数据进行配准；根据点云配准的结果，判断是否发生回环检测。

9、在本申请说明书的一个或多个实施例中，所述方法还包括：确定所述视觉惯性里程计发生回环检测；提取所述回环检测的结果，并将所述结果传递给所述激光雷达作为所述点云配置初值。

10、在本申请说明书的一个或多个实施例中，在更新地图之后，所述方法还包括：更新所述视觉惯性里程计中的imu预积分。

11、在本申请说明书的一个或多个实施例中，所述方法还包括：利用所述激光雷达与所述视觉惯性里程计进行多因子图优化处理，并根据处理结果，更新地图。

12、另一方面，本申请实施例还提供了一种多传感器融合的建图系统，所述系统包括：双目相机，用于采集环境图像，并对环境图像进行orb特征提取；视觉惯性里程计，用于通过所述orb特征，为激光雷达提供初始位姿；所述视觉惯性里程计，还用于通过回环检测结果，为所述激光雷达提供点云配准初值；所述激光雷达，用于通过所述初始位姿与所述点云配准初值更新地图。

13、本申请实施例提供的一种多传感器融合的建图方法及系统，具有以下有益效果：通过视觉惯性里程计为激光雷达提供初始位姿，以及通过将视觉惯性里程计中的回环检测结果，作为激光雷达的点云配准初值，实现了激光雷达与视觉惯性里程计之间的传感器耦合，为提高机器人建图过程中的鲁棒性与准确性提供保障，同时，视觉部分双目相机的初始化，可以通过视觉惯性里程计中imu的预积分实现，也有效避免了视觉初始化困难的不足。

技术特征：

1.一种多传感器融合的建图方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种多传感器融合的建图方法，其特征在于，在进行orb特征提取之前，所述方法还包括：

3.根据权利要求1所述的一种多传感器融合的建图方法，其特征在于，在进行orb特征提取之前，所述方法还包括：

4.根据权利要求1所述的一种多传感器融合的建图方法，其特征在于，在进行orb特征提取之前，所述方法还包括：

5.根据权利要求1所述的一种多传感器融合的建图方法，其特征在于，所述激光雷达的点云配准过程采用icp配准算法实现。

6.根据权利要求1所述的一种多传感器融合的建图方法，其特征在于，通过所述视觉惯性里程计的回环检测结果，为所述激光雷达提供点云配准初值之前，所述方法还包括：

7.根据权利要求6所述的一种多传感器融合的建图方法，其特征在于，所述方法还包括：

8.根据权利要求1所述的一种多传感器融合的建图方法，其特征在于，在更新地图之后，所述方法还包括：

9.根据权利要求1所述的一种多传感器融合的建图方法，其特征在于，所述方法还包括：

10.一种多传感器融合的建图系统，其特征在于，所述系统包括：

技术总结
本发明公开了一种多传感器融合的建图方法及系统，属于机器人和自动驾驶技术领域，用于解决现有的建图方法鲁棒性差的技术问题。方法包括：对双目相机采集的环境图像进行ORB特征提取；利用视觉惯性里程计，通过所述ORB特征，为激光雷达提供初始位姿；通过所述视觉惯性里程计的回环检测结果，为所述激光雷达提供点云配准初值；利用所述激光雷达与所述视觉惯性里程计，通过所述初始位姿与所述点云配准初值，更新地图。本申请通过上述方法实现了激光雷达与视觉惯性里程计之间的耦合，视觉能为激光提供初始位姿估计和点云配准的初值同时，激光还能够为视觉提供深度信息与初始化信息，从而提高机器人建图过程中的鲁棒性与准确性。

技术研发人员：蒋风洋,程瑶,王健,黄洋
受保护的技术使用者：山东新一代信息产业技术研究院有限公司
技术研发日：
技术公布日：2024/1/15