一种三维点云与可见光图像融合方法与流程

本发明涉及多传感器标定及异源数据融合技术。具体涉及激光雷达和光学相机的标定和三维点云与二维光学图像的融合。

背景技术：

1、近年来随着激光雷达设备的不断完善，三维点云和可见光图像的融合技术日益成为研究热点。三维点云具有丰富的空间信息且不易受光照的影响，但是分辨率较低，缺少真实的色彩纹理信息。相反，光学图像能够获得真实的色彩纹理信息且具有较高的分辨率，但不包含三维空间信息。因此快速准确地将二者融合，可以提升数据的信息量，发挥二者的互补优势。二者的融合结果可以实现三维的真彩色表达，融合可视化结果在多个领域具有重要意义。如构建三维实体模型、建设智慧城市、地物分类及军用战争方面。当前的方法或因人工参与导致精度较低；或对环境场景要求较高；或需要专门设计和制作复杂的标定物，程序复杂且成本高。本发明避免了以往因人工匹配导致的误差较大的问题，同时不需要专门制作复杂的标定板，操作简单，可实施性强。

技术实现思路

1、有鉴于此，本发明提供了一种基于平面标定板的激光雷达与相机自动标定方法，并基于此方法进行三维点云和光学图像的融合。实现本发明的技术方案如下：

2、本发明公开了一种基于激光雷达与相机自动标定的三维点云和光学图像融合方法，包括以下步骤：

3、步骤一，将激光雷达和相机固定，保证不发生位置的相对变化。

4、步骤二，对光学相机进行内参标定，标定板选择棋盘格标定板。

5、步骤三，对激光雷达与相机系统进行联合标定，标定板应用平板矩形板，无特殊要求。多次更改标定板位置，获取每一位置的对应光学图像和点云。

6、步骤四，对每一位置的点云数据进行多帧帧间匹配以提高点云密度，提升融合效果。

7、步骤五，自动提取光学图像中特征点。通过canny算子对图像进行边缘检测，查找出标定板轮廓。运用改进的doulas-peucker算法对图像中的轮廓进行多边形拟合并进行筛选操作。提取上述筛选出矩形轮廓的顶点坐标，所得即为光学图像中特征点的坐标。

8、步骤六，自动提取三维点云中的同名特征点。应用ransac算法在场景中分割出标定板平面，同时计算平面法向量来提取平面板边缘点最外围的边界轮廓。采用ransac算法拟合出平面标定板轮廓的空间直线。建立空间直线方程。将相邻空间直线方程两两联立即可求得点云中平面标定板的特征点。

9、步骤七，通过相机内参和同名特征点坐标计算出激光雷达和光学相机系统的外参矩阵。

10、步骤八，应用步骤七中获得的系统外参矩阵，通过共线方程建立起物方点和像点的对应关系，将像点所具备的rgb信息赋予对应的点云模型中的点，从而实现融合。

11、与以往的方法相比，本发明的有益效果在于：

12、1、避免了以往人工选择特征点误差较大的问题，一定程度上提升了标定的精度和自动化程度。

13、2、不需要专门制作复杂的标定板，操作简单，可实施性强。

14、3、通过多帧点云帧间匹配的方法提升了点云密度，可以更加充分利用图像的彩色信息，在一定程度上提升可视化效果。

技术特征：

1.一种基于平面标定板的激光雷达与相机自动标定方法，其特征在于，无需进行人工匹配，从而减小误差。不需要专门制作复杂的标定板，操作简单，可实施性强。包括以下步骤：

2.如权利要求1所述的自动提取光学图像中特征点，其特征在于，包括以下步骤：

3.如权利要求1所述的自动提取三维点云中的同名特征点，其特征在于，包括以下步骤：

4.一种基于激光雷达与相机自动标定的三维点云和光学图像融合方法。应用权利1中获得的系统外参矩阵，通过共线方程建立起物方点和像点的对应关系，将像点所具备的rgb信息赋予对应的点云模型中的点，从而实现融合。

技术总结
本发明提供了一种基于平面标定板的激光雷达与相机自动标定方法，并基于此方法进行三维点云和光学图像的融合。该方法避免了以往因人工匹配导致的误差较大的问题，同时不需要专门制作复杂的标定板，操作简单，可实施性强。首先基于平面标定板对激光雷达与相机进行系统自动标定，获得激光雷达‑相机系统的外参矩阵；其次根据外参矩阵建立物点和像点的对应关系，将像点的RGB信息赋予对应的点云，从而实现融合。

技术研发人员：唐义,张佳,卞子煜,张余豪
受保护的技术使用者：苏州朗晖光电科技有限公司
技术研发日：
技术公布日：2024/1/13