一种用于机器人的激光雷达外参标定方法及相关装置

本发明属于图像处理领域，涉及一种用于机器人的激光雷达外参标定方法及相关装置。

背景技术：

1、准确的激光雷达外参和相机外参是多传感器融合算法的前提，因此需提供一个稳定有效的激光雷达外参标定方案。然而，现有激光雷达外参标定方案大多是面向扫描方式为重复性扫描的机械式激光雷达，不适用于非重复性扫描的转镜式激光雷达。对于非重复性扫描激光雷达外参标定，目前常用的是适用于非重复性扫描的含标定物的标定方案。

2、然而，含标定物的标定方案不适用于周围存在其他平面物体的情况，不能对点云密度自适应，而点云密度则与点云的积分时间，物体与激光雷达的距离和方向，以及激光雷达的类型有关。基于上述分析可见，含标定物的标定方案的泛化性和稳定性较差，特别是在棋盘格分割上容易产生误检。

技术实现思路

1、本发明的目的在于克服上述现有技术中，含标定物的外参标定方案的泛化性和稳定性较差，无法稳定地分割棋盘格标定物的缺点，提供一种用于机器人的激光雷达外参标定方法及相关装置。

2、为达到上述目的，本发明采用以下技术方案予以实现：

3、本发明第一方面，提供一种用于机器人的激光雷达外参标定方法，包括：

4、获取目标环境的相机图片和基于非重复性扫描激光雷达的点视图点云；

5、将点视图点云投影至图视图下，得到激光点强度图和激光点深度图；并在投影时以图像像素索引为键，以激光点索引为值，生成索引哈希表；

6、提取激光点深度图的边缘图，并提取边缘图的各轮廓点集合；以及将各轮廓点集合逐次映射至激光点深度图，并获取各轮廓点集合在激光点深度图中围成的闭合区域，以及对闭合区域进行区域增强操作，得到各候选图；

7、提取各候选图的棋盘格二维角点，并根据各候选图的棋盘格二维角点和索引哈希表，得到点视图的棋盘格点云；将棋盘格点云投影至平面得到棋盘格平面点云，并根据棋盘格平面点云得到棋盘格坐标系和激光雷达系的坐标变换矩阵；

8、构建棋盘格模型，并获取棋盘格模型系和棋盘格坐标系的坐标变换矩阵；

9、根据先验的棋盘格模型系下的三维角点、棋盘格模型系和棋盘格坐标系的坐标变换矩阵以及棋盘格坐标系和激光雷达系的坐标变换矩阵，得到激光雷达系的棋盘格三维角点；

10、提取相机图片的棋盘格二维角点，并根据相机图片的棋盘格二维角点和激光雷达系的棋盘格三维角点，得到相机和激光雷达的外参。

11、可选的，所述将点视图点云投影至图视图下，得到激光点强度图和激光点深度图包括：

12、利用各激光点的航向角、俯仰角、激光雷达的角度随机误差以及激光雷达的水平和竖直视场角，计算各激光点的像素位置；

13、将点视图点云中的各激光点的强度值和深度值作为像素值，结合各激光点的像素位置，得到激光点强度图和激光点深度图；并使用闭运算填充激光点强度图和激光点深度图中像素值为0的像素；

14、对闭合区域进行区域增强操作包括：将强度图中闭合区域外的像素值置为0。

15、可选的，所述提取激光点深度图的边缘图包括：

16、利用梯度卷积核对深度图进行二维卷积操作得到边缘图像，然后对边缘图像采用阈值分割得到激光点深度图的边缘图。

17、可选的，所述提取各候选图的棋盘格二维角点，并根据各候选图的棋盘格二维角点和索引哈希表，得到点视图的棋盘格点云包括：

18、使用opencv算法库的二维棋盘格检测算法判断各候选图是否存在棋盘格；并提取存在棋盘格的各候选图的棋盘格二维角点；

19、以存在棋盘格的各候选图的二维角点为输入，使用凸包拟合算法，生成存在棋盘格的各候选图的二维角点凸包；

20、以存在棋盘格的各候选图的二维角点凸包中的凸包点为输入，使用最小面积矩形拟合算法，在存在棋盘格的各候选图的上生成一个矩形区域，并将该矩形区域向外进行δ个像素边界的延展得到存在棋盘格的各候选图的棋盘格掩模；其中，δ表示相邻存在棋盘格的各候选图的两个棋盘格二维角点之间的像素距离；

21、根据各棋盘格掩模以及索引哈希表，以各棋盘格掩膜上的图像像素为键，索引出存在棋盘格的各候选图的棋盘格激光点索引，以及根据存在棋盘格的各候选图的棋盘格激光点索引得到点视图的棋盘格点云。

22、可选的，所述将棋盘格点云投影至平面得到棋盘格平面点云，并根据棋盘格平面点云得到棋盘格坐标系和激光雷达系的坐标变换矩阵包括：

23、对棋盘格点云使用点云体素下采样，得到下采样的棋盘格点云；

24、使用随机抽样一致算法处理下采样的棋盘格点云，得到降噪的棋盘格点云；

25、使用最小二乘法来拟合出一个平面，并将降噪的棋盘格点云正交投影到该平面，得到棋盘格平面点云；

26、对棋盘格平面点云使用主成分分析得到棋盘格坐标系和激光雷达系的坐标变换矩阵。

27、可选的，所述获取棋盘格模型系和棋盘格坐标系的坐标变换矩阵包括：

28、以棋盘格坐标系的棋盘格平面点云的激光点落在棋盘格模型上和落在正确位置的棋盘格模型的格子越多，代价函数的代价越低为优化目标，构建以棋盘格模型系和棋盘格坐标系的坐标变换矩阵为待优化参数的代价函数；

29、使用l-bfgs-b优化方法对代价函数进行求解，得到棋盘格模型系和棋盘格坐标系的坐标变换矩阵；

30、其中，所述落在正确位置的棋盘格模型的格子表示：激光点的强度大于给定强度阈值时，认为激光点应落在白色的棋盘格模型的格子上，否则激光点应落在黑色的棋盘格模型的格子上；

31、其中，所述强度阈值通过下述方式得到：通过核密度估计函数估测激光点强度的概率分布函数；对激光点强度的概率分布函数使用scipy算法库的峰值检测算法，得到两个最大峰值及其对应的强度值并平均，得到强度阈值。

32、可选的，所述根据相机图片的棋盘格二维角点和激光雷达系的棋盘格三维角点，得到相机和激光雷达的外参包括：

33、根据相机图片的棋盘格二维角点和激光雷达系的棋盘格三维角点，使用sqpnp求解器进行求解，得到相机和激光雷达的外参。

34、本发明第二方面，提供一种用于机器人的激光雷达外参标定系统，包括：

35、数据获取模块，用于获取目标环境的相机图片和基于非重复性扫描激光雷达的点视图点云；

36、投影模块，用于将点视图点云投影至图视图下，得到激光点强度图和激光点深度图；并在投影时以图像像素索引为键，以激光点索引为值，生成索引哈希表；

37、图分割模块，用于提取激光点深度图的边缘图，并提取边缘图的各轮廓点集合；以及将各轮廓点集合逐次映射至激光点深度图，并获取各轮廓点集合在激光点深度图中围成的闭合区域，以及对闭合区域进行区域增强操作，得到各候选图；

38、第一变换矩阵获取模块，用于提取各候选图的棋盘格二维角点，并根据各候选图的棋盘格二维角点和索引哈希表，得到点视图的棋盘格点云；将棋盘格点云投影至平面得到棋盘格平面点云，并根据棋盘格平面点云得到棋盘格坐标系和激光雷达系的坐标变换矩阵；

39、第二变换矩阵获取模块，用于构建棋盘格模型，并获取棋盘格模型系和棋盘格坐标系的坐标变换矩阵；

40、坐标系转换模块，用于根据先验的棋盘格模型系下的三维角点、棋盘格模型系和棋盘格坐标系的坐标变换矩阵以及棋盘格坐标系和激光雷达系的坐标变换矩阵，得到激光雷达系的棋盘格三维角点；

41、标定模块，用于提取相机图片的棋盘格二维角点，并根据相机图片的棋盘格二维角点和激光雷达系的棋盘格三维角点，得到相机和激光雷达的外参。

42、本发明第三方面，提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述用于机器人的激光雷达外参标定方法的步骤。

43、本发明第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述用于机器人的激光雷达外参标定方法的步骤。

44、与现有技术相比，本发明具有以下有益效果：

45、本发明用于机器人的激光雷达外参标定方法，通过将点视图点云投影至图视图下，得到激光点强度图和激光点深度图，然后提取激光点深度图的边缘图，并提取边缘图的各轮廓点集合，接着将各轮廓点集合逐次映射至激光点深度图，并获取各轮廓点集合在激光点深度图中围成的闭合区域，以及对闭合区域进行区域增强操作得到各候选图，然后提取各候选图的棋盘格二维角点，并根据各候选图的棋盘格二维角点和索引哈希表，得到点视图的棋盘格点云，实现了基于图视图的棋盘格标定物分割方案，减少对环境的依赖，具有通用性的同时表现出较高的稳定性，也无需对参数进行调整，在实际的应用中具有较强的用户友好性。接着将棋盘格点云投影至平面得到棋盘格平面点云，并根据棋盘格平面点云得到棋盘格坐标系和激光雷达系的坐标变换矩阵，然后构建棋盘格模型，并获取棋盘格模型系和棋盘格坐标系的坐标变换矩阵；根据先验的棋盘格模型系下的三维角点、棋盘格模型系和棋盘格坐标系的坐标变换矩阵以及棋盘格坐标系和激光雷达系的坐标变换矩阵，得到激光雷达系的棋盘格三维角点；最终提取相机图片的棋盘格二维角点，并根据相机图片的棋盘格二维角点和激光雷达系的棋盘格三维角点，得到相机和激光雷达的外参，整体标定方案稳定性强，精度高。