多镜头组合影像和激光雷达点云的自动配准方法及其系统

本发明涉及一种三维激光雷达与视觉系统之间的跨模态数据融合，特别涉及一种移动激光雷达点云和多镜头组合式影像之间的自动配准方法和系统，属于空间环境感知。

背景技术：

1、基于多传感器数据融合的移动测量系统(mms)为bim建模、城市规划、ar/vr提供了新的技术手段。典型的mms通常搭载激光雷达以及组合式全景相机等环境感知传感器。系统采集的可见光影像与激光雷达点云数据具有良好的互补性，可见光影像提供了场景中丰富的纹理信息，而激光雷达提供了相机所缺乏的深度信息，将两者数据进行有效的融合能够对物理世界中的场景进行快速的三维重建。

2、移动激光雷达点云与可见光影像进行配准融合中，遇到的挑战问题主要有两个：(1)传感器的标定误差。尽管多线稀疏激光雷达与可见光相机间的标定方法已被大量的研究，但传感器级别的标定精度依然难以满足更高级别数据融合的任务需求，期望能够达到亚像素精度；同时在数据采集过程中难以避免的机械震动也会对事先标定的传感器间的外参产生影响。(2)传感器间的时钟不同步。数据采集过程中，激光雷达与相机之间、相机与相机之间严格的时钟同步往往是难以做到的，使得基于激光雷达里程计推算的相机的位姿不准确。以上不可避免的因素都要求在后续的数据处理过程中采用数据驱动的配准方法。

3、国内外学者针对移动测量系统(mms)激光扫描数据与影像的配准方法开展了大量的研究，现有的配准方法主要分为三类：①2d-2d配准算法；②2d-3d配准算法；③影像特征点云与激光点云配准的3d-3d配准算法。基于2d-2d的方法将图像到点云配准的问题转化为图像到图像配准的过程。基于2d-3d的方法完全保留了来自不同模式的信息，理论上更有利于提高配准的精度。基于3d-3d的方法需要一系列图像进行三维重建，然后进行三维配准。目前文献中已知的配准方法，大多是基于拼接后的全景图与移动激光雷达点云进行配准，不适用于尚未拼接的多目组合式相机影像与移动激光雷达点云间的高精度自动化配准，且难以有效应对上述移动激光雷达点云与可见光影像间配准融合中遇到的两个挑战问题。

技术实现思路

1、针对移动测量系统(mms)在数据采集时传感器之间存在时钟不同步，即使给定激光雷达和相机的初始外参，仍难以实现高精度配准，且大部分基于特征的配准方法往往需要人工参与，对场景具有一定的依赖性，且难以实现鲁棒性的自动化配准的难题，本发明的主要提供一种基于图像初始位姿的多镜头组合影像和激光雷达点云的自动配准方法及其系统，以克服现有技术中存在的上述问题。

2、为了达到前述发明目的，本发明采用了以下方案：

3、本发明的一个方面提供了一种基于图像初始位姿的多镜头组合影像和移动激光雷达点云的自动配准方法，其包括以下步骤：

4、步骤1：构建多目组合式相机与激光雷达传感器的标定场景；

5、步骤2：标定多目组合式相机与激光雷达传感器的外参，得到多目组合式相机与激光雷达传感器的外参

6、步骤3：解算多镜头组合影像的初始位姿，具体包括：利用稀疏激光雷达采集场景的一帧点云帧数据ml；确定所述点云帧数据ml到世界坐标系的初始位姿根据所述多目组合式相机与激光雷达传感器的外参和所述初始位姿得到影像采集时刻的初始位姿

7、步骤4：根据序列影像生成与激光雷达点云尺度一致的世界坐标系下的稀疏图像特征点云mc，所述序列影像通过移动测量系统中搭载的可见光相机所获取；

8、步骤5：通过预设的点云匹配算法配准所述稀疏图像特征点云mc与所述激光雷达点云ml，得到所述稀疏图像特征点云mc到所述激光雷达点云ml的精确配准结果。

9、可以理解的，所述激光雷达点云ml可以理解为多帧点云帧数据ml的集合。

10、在一个实施例中，所述构建多目组合式相机与激光雷达传感器的标定场景具体包括：选择一个房间，在房间各墙壁中粘贴与多目组合式相机数量一致的棋盘格。

11、在一个实施例中，所述标定多目组合式相机与激光雷达传感器的外参具体包括：

12、步骤2.1：基于架站式激光雷达采集标定场景的全景影像ip与场景点云ms，利用组合式镜头采集标定场景的影像其中n为组合式全景相机的镜头数目，确保每幅影像中包含一个完整的棋盘格图案，利用稀疏激光雷达采集场景的点云帧数据ml；

13、步骤2.2：计算所述全景影像ip和所述标定场景的影像中棋盘格角点的2d坐标，根据所述全景影像ip与场景点云ms的对应关系得到棋盘格角点的3d坐标，再通过预设的位姿估算算法解算出多目组合式相机的位姿

14、步骤2.3：在所述场景点云ms和所述点云帧数据ml中分别选取三个线性无关的平面，通过平面拟合算法得到点云对应的平面方程，进而解算出稀疏激光雷达的位姿初值，再利用预设的点云匹配算法得到所述点云帧数据ml到所述场景点云ms的精确变换，得到优化后的稀疏激光雷达的位姿则多目组合式相机与激光雷达传感器的外参表示为：

15、

16、所述inv()为逆矩阵。

17、在一个实施例中，所述解算多镜头组合影像的初始位姿具体包括：通过激光雷达slam算法得到点云帧数据ml到世界坐标系的初始位姿记为根据所述多目组合式相机与激光雷达传感器的外参和所述初始位姿得到影像采集时刻的初始位姿

18、

19、在一个实施例中，所述步骤5具体包括：以激光雷达点云ml为参考基准，通过最小化稀疏特征点云与激光雷达点云之间的距离实现配置参数精细化；通过icp方法迭代优化，得到所述稀疏图像特征点云mc到所述激光雷达点云ml的精确配准结果。

20、本发明的另一个方面提供了一种基于图像初始位姿的多镜头组合影像和移动激光雷达点云的自动配准系统，所述配准系统包括：

21、场景构建模块，所述场景构建模块用于构建多目组合式相机与激光雷达传感器的标定场景；

22、外参标定模块，所述外参标定模块用于标定多目组合式相机与激光雷达传感器的外参，得到多目组合式相机与激光雷达传感器的外参

23、初始位姿解算模块，所述初始位姿解算模块用于解算多镜头组合影像的初始位姿，具体包括：利用稀疏激光雷达采集场景的一帧点云帧数据ml；确定所述点云帧数据ml到世界坐标系的初始位姿根据所述多目组合式相机与激光雷达传感器的外参和所述初始位姿得到影像采集时刻的初始位姿

24、稀疏图像特征点云生成模块，所述稀疏图像特征点云生成模块用于根据序列影像生成与激光雷达点云尺度一致的世界坐标系下的稀疏图像特征点云mc，所述序列影像通过移动测量系统中搭载的可见光相机所获取；

25、配准模块，所述配置模块用于通过预设的点云匹配算法配准所述稀疏图像特征点云mc与所述激光雷达点云ml，得到所述稀疏图像特征点云mc到所述激光雷达点云ml的精确配准结果。

26、在一个实施例中，所述构建多目组合式相机与激光雷达传感器的标定场景具体包括：选择一个房间，在房间各墙壁中粘贴与多目组合式相机数量一致的棋盘格。

27、在一个实施例中，所述标定多目组合式相机与激光雷达传感器的外参具体包括：

28、基于架站式激光雷达采集标定场景的全景影像ip与场景点云ms，利用组合式镜头采集标定场景的影像其中n为组合式全景相机的镜头数目，确保每幅影像中包含一个完整的棋盘格图案，利用稀疏激光雷达采集场景的点云帧数据ml；

29、计算所述全景影像ip和所述标定场景的影像中棋盘格角点的2d坐标，根据所述全景影像ip与场景点云ms的对应关系得到棋盘格角点的3d坐标，再通过预设的位姿估算算法解算出多目组合式相机的位姿

30、在所述场景点云ms和所述点云帧数据ml中分别选取三个线性无关的平面，通过平面拟合算法得到点云对应的平面方程，进而解算出稀疏激光雷达的位姿初值，再利用预设的点云匹配算法得到所述点云帧数据ml到所述场景点云ms的精确变换，得到优化后的稀疏激光雷达的位姿则多目组合式相机与激光雷达传感器的外参表示为：

31、

32、所述inv()为逆矩阵。

33、在一个实施例中，所述解算多镜头组合影像的初始位姿具体包括：通过激光雷达slam算法得到点云帧ml到世界坐标系的初始位姿记为根据所述多目组合式相机与激光雷达传感器的外参和所述初始位姿得到影像采集时刻的初始位姿

34、

35、在一个实施例中，所述配准模块具体用于：以激光雷达点云ml为参考基准，通过最小化稀疏特征点云与激光雷达点云之间的距离实现配置参数精细化；通过icp方法迭代优化，得到所述稀疏图像特征点云mc到所述激光雷达点云ml的精确配准结果。

36、与现有技术相比，本发明至少具有如下优点：本发明提供的多镜头组合影像和激光雷达点云的自动配准方法及其系统有效解决了3d-3d点云对齐中尺度统一及初值计算的问题，有着更高的配准精度，且能够实现自动化的配准。