基于相机和激光雷达的在线联合标定方法以及系统与流程

本发明涉及图像处理，特别是涉及一种基于相机和激光雷达的在线联合标定方法以及系统。

背景技术：

1、在机器人研究和工程领域，为了采集完整的环境信息，通常需要配置多颗传感器进行数据采集。相机和激光雷达是比较常用的两种传感器设备。相机用于采集图像信息，包含被采集物体的颜色、纹理、亮度等信息。激光雷达用于采集点云信息，包含物体在三维空间的距离、形状等尺度信息和反射率等物理信息。基于相机和激光雷达的信息，机器人将二者进行融合，就可以得到更加丰富的环境信息。

2、相机和激光雷达被放置于机器人的不同部位上，相机采集的图像与激光雷达采集的点云是以不同的空间位置为起点对三维空间信息的描述结果。所以，激光点云信息与相机拍摄的图像信息是无法直接匹配的，需要通过对相机和激光雷达的联合标定技术将点云和图像进行对齐，从而保证数据描述空间一致性。

3、然而，在标定过程中，传统方法需要借助一个棋盘格或者其他已知固定模式的标定板作为标定工具，在采集标定数据后，通过提取标定板上的特征进行标定工作。传统方法天然地将标定环节和使用环节分隔开，但是，在后期使用过程中，采集的景物信息通常会更加复杂，实际使用场景的景物的距离更加多变，且出现在点云和图像中的位置也更加多样化，导致标定准确度偏低，从而无法获取相机和激光雷达一致性的数据。

技术实现思路

1、本发明的目的是解决传统方法标定准确度偏低的技术问题。为实现上述目的，本发明提供一种基于相机和激光雷达的在线联合标定方法以及系统。

2、本发明提供一种基于相机和激光雷达的在线联合标定方法，包括：

3、获取相机图像与激光点云，所述相机图像与所述激光点云覆盖至少部分相同环境区域；

4、对所述相机图像进行图像特征提取，获得图像特征点集，对所述激光点云进行点云特征提取，获得点云特征点集；

5、设置相机内参矩阵、相机畸变参数以及坐标系变换矩阵，根据所述相机内参矩阵、所述相机畸变参数以及所述坐标系变换矩阵对所述点云特征点集进行转换，获得每个所述点云特征点在图像中的像素点，形成投影像素点集；

6、根据所述图像特征点集与所述投影像素点集，计算每个所述图像特征点与每个所述投影像素点的距离差值；

7、查找每个所述投影像素点的投影近邻点，对所述投影像素点与所述投影近邻点进行直线拟合，获得投影直线方向向量；

8、查找每个所述图像特征点的图像近邻点，对所述图像特征点与所述图像近邻点进行直线拟合，获得图像直线方向向量，并计算所述投影直线方向向量与所述图像直线方向向量的夹角；

9、若所述距离差值小于或等于距离阈值，且所述夹角小于或等于夹角阈值时，则将所述距离差值进行求和计算，获得距离总和；

10、以最小化距离总和为条件，对所述相机内参矩阵、所述相机畸变参数以及所述坐标系变换矩阵进行求解标定。

11、在一个实施例中，所述对所述相机图像进行图像特征提取，获得图像特征点集，包括：

12、对所述相机图像进行灰度化处理，获得相机灰度图像；

13、对所述相机灰度图像进行高斯模糊处理，获得相机除噪图像；

14、根据边缘检测算法对所述相机除噪图像进行边缘检测，获得所述图像特征点集。

15、在一个实施例中，所述对所述激光点云进行点云特征提取，获得点云特征点集，包括：

16、对所述激光点云进行下采样处理，获得激光除噪点云；

17、对所述激光除噪点云进行点云分割处理，获得地面点云与非地面点云；

18、根据所述地面点云中每个点的反射强度信息，分割获得交通标线点云的外沿特征点集，形成地面点云特征点集；

19、根据所述非地面点云构建多维数据空间结构，并根据所述多维数据空间结构进行最近邻搜索，获得每个非地面点对应的近邻点集；

20、计算所述近邻点集中每个近邻点相对于所述非地面点的向量曲率，获得向量曲率集；

21、若所述向量曲率集中向量曲率变化值小于第一曲率变化阈值，则所述非地面点为非边缘点；

22、若所述向量曲率变化值大于第二曲率变化阈值，则所述非地面点为边缘点，形成非地面点云特征点集；

23、其中，所述地面点云特征点集与所述非地面点云特征点集形成所述点云特征点集。

24、在一个实施例中，所述对所述激光除噪点云进行点云分割处理，获得地面点云与非地面点云，包括：

25、对所述激光除噪点云的地面部分进行检测，获得所述地面点云，并在所述激光除噪点云中将所述地面点云进行分割，获得初始非地面点云；

26、在所述地面点云的法线方向上，获取预设高度的点云；

27、将所述初始非地面点云中所述预设高度的点云剔除，获得所述非地面点云。

28、在一个实施例中，所述对所述激光除噪点云进行点云分割处理，获得地面点云与非地面点云，还包括：

29、对所述初始非地面点云中无规则分布点云进行过滤处理，获得所述非地面点云。

30、本发明提供一种基于相机和激光雷达的在线联合标定系统，包括：

31、数据获取模块，用于获取相机图像与激光点云，所述相机图像与所述激光点云覆盖至少部分相同环境区域；

32、特征提取模块，用于对所述相机图像进行图像特征提取，获得图像特征点集，对所述激光点云进行点云特征提取，获得点云特征点集；

33、点云转换模块，用于设置相机内参矩阵、相机畸变参数以及坐标系变换矩阵，根据所述相机内参矩阵、所述相机畸变参数以及所述坐标系变换矩阵对所述点云特征点集进行转换，获得每个所述点云特征点在图像中的像素点，形成投影像素点集；

34、距离差值计算模块，用于根据所述图像特征点集与所述投影像素点集，计算每个所述图像特征点与每个所述投影像素点的距离差值；

35、方向向量获取模块，用于查找每个所述投影像素点的投影近邻点，对所述投影像素点与所述投影近邻点进行直线拟合，获得投影直线方向向量；

36、夹角计算模块，用于查找每个所述图像特征点的图像近邻点，对所述图像特征点与所述图像近邻点进行直线拟合，获得图像直线方向向量，并计算所述投影直线方向向量与所述图像直线方向向量的夹角；

37、距离总和计算模块，用于若所述距离差值小于或等于距离阈值，且所述夹角小于或等于夹角阈值时，则将所述距离差值进行求和计算，获得距离总和；

38、求解标定模块，用于以最小化距离总和为条件，对所述相机内参矩阵、所述相机畸变参数以及所述坐标系变换矩阵进行求解标定。

39、在一个实施例中，所述特征提取模块包括：

40、灰度处理模块，用于对所述相机图像进行灰度化处理，获得相机灰度图像；

41、高斯模糊处理模块，用于对所述相机灰度图像进行高斯模糊处理，获得相机除噪图像；

42、边缘检测模块，用于根据边缘检测算法对所述相机除噪图像进行边缘检测，获得所述图像特征点集。

43、在一个实施例中，所述特征提取模块包括：

44、下采样处理模块，用于对所述激光点云进行下采样处理，获得激光除噪点云；

45、点云分割模块，用于对所述激光除噪点云进行点云分割处理，获得地面点云与非地面点云；

46、地面点云特征点获取模块，用于根据所述地面点云中每个点的反射强度信息，分割获得交通标线点云的外沿特征点集，形成地面点云特征点集；

47、非地面近邻点获取模块，用于根据所述非地面点云构建多维数据空间结构，并根据所述多维数据空间结构进行最近邻搜索，获得每个非地面点对应的近邻点集；

48、向量曲率获取模块，用于计算所述近邻点集中每个近邻点相对于所述非地面点的向量曲率，获得向量曲率集；

49、非边缘点判断模块，用于若所述向量曲率集中向量曲率变化值小于第一曲率变化阈值，则所述非地面点为非边缘点；

50、非地面点云特征点获取模块，用于若所述向量曲率变化值大于第二曲率变化阈值，则所述非地面点为边缘点，形成非地面点云特征点集；

51、其中，所述地面点云特征点集与所述非地面点云特征点集形成所述点云特征点集。

52、在一个实施例中，所述点云分割模块包括：

53、初始点云划分模块，用于对所述激光除噪点云的地面部分进行检测，获得所述地面点云，并在所述激光除噪点云中将所述地面点云进行分割，获得初始非地面点云；

54、预设高度点云获取模块，用于在所述地面点云的法线方向上，获取预设高度的点云；

55、点云剔除模块，用于将所述初始非地面点云中所述预设高度的点云剔除，获得所述非地面点云。

56、在一个实施例中，所述点云分割模块还包括：

57、点云过滤模块，用于对所述初始非地面点云中无规则分布点云进行过滤处理，获得所述非地面点云。

58、上述基于相机和激光雷达的在线联合标定方法以及系统中，对相机图像与激光点云分别进行特征提取，获得图像特征点集与点云特征点集。将点云特征点集进行转换，形成投影像素点集。计算图像特征点与投影像素点的距离差值，并计算投影像素点对应的投影直线方向向量与图像特征点对应的图像直线方向向量的夹角。从而，根据距离差值与夹角分别与对应阈值进行对比分析，计算距离差值小于或等于距离阈值且夹角小于或等于夹角阈值条件下的距离总和，并以最小化距离总和为条件，对相机内参矩阵、相机畸变参数以及坐标系变换矩阵进行不断优化求解，获得对应的相机内参矩阵、相机畸变参数以及坐标系变换矩阵，完成了激光雷达与相机的在线联合标定。

59、从而，本发明在标定过程中不再需要以标定板等测量工具进行辅助，也无需特定的标定环境，依靠相机和激光雷达采集的图像和点云数据进行特征提取和匹配即可完成联合标定任务，简化了联合标定流程，将标定环节和使用环节合并，解决了标定环节和使用环节分隔开导致的准确度低的技术问题。通过本发明提供的方法，流程简单且约束性小，节省了两个环节之间的转换流程，减少了标定环境对标定过程和结果的影响，使标定参数的求解过程在使用场景中完成，消除了大量的操作环节，减少了人工参与，大大提高了标定效率，有利于工程落地实践，可以满足实际使用场景的多样化需求，提高了标定准确度，使得标定结果更加满足实际使用场景的精度需求。