基于标靶的激光雷达与相机标定方法、系统、电子设备与流程

1.本发明涉及摄像机校准技术领域，尤其涉及一种基于标靶的激光雷达与相机标定方法、系统、电子设备。


背景技术：

2.在自动驾驶、机器人和测绘等行业中，相机与激光雷达是两种广泛使用的传感器。相机可以提供高分辨率的环境信息(比如颜色信息、纹理信息)，但容易受光照条件影响；激光雷达可以提供准确的三维距离以及物体表面反射强度信息，但其分辨率通常不如相机。将这两种具有互补特性的传感器观测信息进行融合后，可以获得比单源观测更丰富精准的结果。然而，进行融合的前提条件是：1、精确的相机内参；2、相机与激光雷达之间的坐标系转换关系(外参)已知。
3.目前，大多数激光雷达与相机之间的外参标定方法还未实现自动化处理流程，或多或少需要人工操作，比如手动选取点云标靶位置。人工选取带来的误差可能会降低标定精度，也无法满足批量生产需求。还有一些标定方法通过固定传感器与标靶的相对位置来获取标靶的在点云坐标系中的位置范围，然而这种方式无法直接适用于不同的标定场地，灵活性比较差。为解决这些问题，本发明提出一种自动化程度高，可适用于不同场地，基于标靶的激光雷达与相机外参标定方法。
4.公开于该背景技术部分的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。


技术实现要素：

5.针对现有技术存在的问题，本发明提供一种基于标靶的激光雷达与相机标定方法、系统、电子设备。
6.本发明提供的一种基于标靶的激光雷达与相机标定方法，所述方法包括：
7.获取标靶的激光雷达点云数据和相机图像数据；
8.对所述点云数据进行筛选，获取所述标靶在所述激光雷达坐标系下的标靶三维信息；
9.基于所述图像数据，获取所述标靶在所述相机坐标系下的标靶三维信息；
10.基于预设的所述标靶与所述相机转换的多组外参，将所述激光雷达坐标系与相机坐标系下的两组标靶三维信息转换至同一坐标系下；
11.计算转换后的两组标靶三维信息的重合度，获取最大重合度对应的第一外参。
12.根据本发明提供的一种基于标靶的激光雷达与相机标定方法，所述方法还包括：
13.基于所述第一外参和所述标靶在所述相机坐标系下的标靶三维信息，获取所述标靶在所述激光雷达坐标系下的第一位姿；
14.基于所述第一位姿，确定所述标靶的中心点；
15.基于标靶的外形尺寸信息和所述中心点，获取标靶的三维边界框；
16.获取所述标靶在所述激光雷达坐标系下的标靶三维信息中的每个激光点，计算所有所述激光点到达所述三维边界框的距离之和；
17.以所述距离之和的最小化为优化方向，优化所述第一外参，形成第二外参。
18.根据本发明提供的一种基于标靶的激光雷达与相机标定方法，获取所述标靶在所述激光雷达坐标系下的标靶三维信息中的每个激光点，包括：
19.以所述标靶的中心点为球心，以预设的第一半径构成筛选球体；
20.将所述筛选球体内的激光点，作为所述标靶在所述激光雷达坐标系下的标靶三维信息中的激光点。
21.根据本发明提供的一种基于标靶的激光雷达与相机标定方法，获取所述标靶在所述激光雷达坐标系下的标靶三维信息中的每个激光点，包括：
22.对于所述标靶在所述激光雷达坐标系下的标靶三维信息中的所有激光点进行拟合，形成点云面；
23.计算所述标靶在所述激光雷达坐标系下的标靶三维信息中的所有激光点到所述点云面的点与面距离，将所述点与面距离大于预定的距离阈值的激光点剔除；
24.将剔除后剩余的激光点，作为所述标靶在所述激光雷达坐标系下的标靶三维信息中的激光点。
25.根据本发明提供的一种基于标靶的激光雷达与相机标定方法，获取标靶的激光雷达点云数据和相机图像数据，包括：
26.在所述激光雷达和所述相机的公共视野范围内设置多个标靶；
27.将所述相机、所述激光雷达固定为一个整体，并让所述相机和激光雷达的整体与所述标靶存在相对运动，获取多帧点云数据和图像数据。
28.根据本发明提供的一种基于标靶的激光雷达与相机标定方法，计算转换后的两组标靶三维信息的重合度，获取最大重合度对应的第一外参，包括：
29.基于所述多帧点云数据和图像数据的时间戳信息，将多帧的点云数据和图像数据按照时间配对；
30.基于配对的所述点云数据和所述图像数据，分别计算每一帧中转换后的两组标靶三维信息的重合度；
31.计算所有帧的重合度之和，获取重合度之和最大的外参，作为所述第一外参。
32.根据本发明提供的一种基于标靶的激光雷达与相机标定方法，对所述点云数据进行筛选，获取所述标靶在所述激光雷达坐标系下的标靶三维信息，包括：
33.基于所述点云数据，获取对应的二维的深度图；
34.基于所述深度图，获取每个像素与领域像素的角度差信息；
35.基于所述角度差信息，通过连通域分析将所述点云数据聚类形成若干第一点云簇；
36.通过描述子对所述第一点云簇的特征信息进行描述，获取关于所述若干第一点云簇的若干特征描述向量；
37.将所述若干特征描述向量和预定的标靶点云特征向量做匹配，获取匹配成功的第一点云簇，作为所述标靶在所述激光雷达坐标系下的标靶三维信息。
38.根据本发明提供的一种基于标靶的激光雷达与相机标定方法，计算转换后的两组
标靶三维信息的重合度，包括：
39.基于匹配成功的第一点云簇，获取所述深度图上的多个对应点；
40.基于所述标靶在所述相机坐标系下的标靶三维信息，获取所述标靶在所述相机坐标系下的中心点；
41.基于所述多组外参，将所述标靶在所述相机坐标系下的中心点转换为所述标靶在所述激光雷达坐标系下的多个中心点；
42.基于所述标靶在所述激光雷达坐标系下的多个中心点，统计所述多个对应点在所述深度图中标靶边界范围内的个数，作为所述转换后的两组标靶三维信息的重合度。
43.本发明还提供的一种基于标靶的激光雷达与相机标定系统，所述系统包括：
44.获取模块，用来获取标靶的激光雷达点云数据和相机图像数据；
45.点云筛选模块，用来对所述点云数据进行筛选，获取所述标靶在所述激光雷达坐标系下的标靶三维信息；
46.图像转换模块，用来基于所述图像数据，获取所述标靶在所述相机坐标系下的标靶三维信息；
47.转换模块，用来基于预设的所述标靶与所述相机转换的多组外参，将所述激光雷达坐标系与相机坐标系下的两组标靶三维信息转换至同一坐标系下；
48.计算模块，用来计算转换后的两组标靶三维信息的重合度，获取最大重合度对应的第一外参。
49.本发明还提供的一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述基于标靶的激光雷达与相机标定方法的步骤。
50.本发明提供的一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述基于标靶的激光雷达与相机标定方法的步骤。
51.本发明提供的基于标靶的激光雷达与相机标定方法、系统、电子设备，实现了一种高自动化，可适用于不同场景的激光雷达和相机外参标定方法。
附图说明
52.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
53.图1为本发明提供的一种基于标靶的激光雷达与相机标定方法流程示意图；
54.图2为本发明提供的一种基于标靶的激光雷达与相机标定系统结构示意图；
55.图3为本发明提供的一种电子设备的实体结构示意图。
具体实施方式
56.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，
而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
57.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的基于标靶的激光雷达与相机标定方法进行详细地说明。
58.图1为本发明提供的一种基于标靶的激光雷达与相机标定方法流程示意图，如图1所示，本发明提供的一种基于标靶的激光雷达与相机标定方法，方法可以包括如下步骤。
59.s100、获取标靶的激光雷达点云数据和相机图像数据。
60.可选地，获取标靶的激光雷达点云数据和相机图像数据，包括：
61.在激光雷达和相机的公共视野范围内设置多个标靶；
62.将相机、激光雷达固定为一个整体，并让相机和激光雷达的整体与标靶存在相对运动，获取多帧点云数据和图像数据。
63.优选地，在激光雷达和相机的公共视野范围内放置3至5个贴有二维码(apriltag)图案的正方形标靶。
64.优选地，沿着正对标靶图案的方向，以5km/h左右的速度前后移动相机和激光雷达的整体，收集30秒左右的激光雷达点云数据和相机图像数据。
65.s200、对点云数据进行筛选，获取标靶在激光雷达坐标系下的标靶三维信息。
66.可选地，对点云数据进行筛选，获取标靶在激光雷达坐标系下的标靶三维信息，包括：
67.基于点云数据，获取对应的二维的深度图(rangeimage)；
68.基于深度图，获取每个像素与领域像素的角度差信息；
69.基于角度差信息，通过连通域分析将点云数据聚类形成若干第一点云簇；
70.通过描述子对第一点云簇的特征信息进行描述，获取关于若干第一点云簇的若干特征描述向量；
71.将若干特征描述向量和预定的标靶点云特征向量做匹配，获取匹配成功的第一点云簇，作为标靶在激光雷达坐标系下的标靶三维信息。
72.优选地，根据激光雷达垂直以及水平方向的分辨率参数，将一帧点云数据转换为二维的深度图。
73.优选地，深度图是扇面坐标系，基于点云参数中的垂直角和水平角完成上述的深度图转换。
74.优选地，以四邻域的方式遍历深度图，使用邻域像素与当前像素的深度值，计算得到领域像素相对于当前像素的角度差信息β，遍历该深度图所有像素，再使用连通域分析将整帧点云进行聚类分割，得到一系列带有分类信息的点云簇，具体可以参考doi为10.1109/iros.2016.7759050的论文。
75.优选地，对于上述的聚类分割后的点云簇数据，通过主成分分析(principal component analysis，pca)将点云簇旋转变换至自身(点云簇中心为原点的坐标系)主轴方向上，以旋转后的点云为基础，选用三维点云全局描述子(multiview 2d projection，m2dp)对其特征信息进行描述，可得到一维的特征描述向量。
76.优选地，预定的标靶点云特征向量是根据标靶尺寸信息预先计算获得的，计算每个聚类获得的点云簇的特征描述向量和预定的标靶点云特征向量之间的相关性，按照向量
相关性对点云簇进行二值分类(即判断点云簇是否对应一个标靶)，即可得到较为准确的点云标靶检测结果。
77.s300、基于图像数据，获取标靶在相机坐标系下的标靶三维信息。
78.优选地，将图像数据的原始图像转换为灰度图进行二维码(apriltag)检测，得到标靶顶点像素坐标；再根据相机内参，使用透视n点投影方法(perspective-n-point，pnp)解算得到在相机坐标系下的标靶中心位置和姿态、以及标靶四个顶点的三维坐标。
79.s400、基于预设的标靶与相机转换的多组外参，将激光雷达坐标系与相机坐标系下的两组标靶三维信息转换至同一坐标系下。
80.优选地，以激光雷达-相机外参的设计值为基础，将外参的角度设计值乘上一系列扰动旋转矩阵，从而生成候选初始外参队列，即多组外参。其中，扰动旋转矩阵是以固定小角度步长采样俯仰角、偏航角、翻滚角计算得到。
81.s500、计算转换后的两组标靶三维信息的重合度，获取最大重合度对应的第一外参。
82.可选地，计算转换后的两组标靶三维信息的重合度，包括：
83.基于匹配成功的第一点云簇，获取深度图上的多个对应点；
84.基于标靶在相机坐标系下的标靶三维信息，获取标靶在相机坐标系下的中心点；
85.基于多组外参，将标靶在相机坐标系下的中心点转换为标靶在激光雷达坐标系下的多个中心点；
86.基于标靶在激光雷达坐标系下的多个中心点，统计多个对应点在深度图中标靶边界范围内的个数，作为转换后的两组标靶三维信息的重合度。
87.需要说明的是，上述通过扰动旋转矩阵获得的多组外参，即对激光雷达-相机外参的设计值栅格化的过程，通过栅格搜索的方法得到激光雷达和相机之间的第一外参，这个第一外参是相对第二外参精度较低的。
88.可选地，计算转换后的两组标靶三维信息的重合度，获取最大重合度对应的第一外参，包括：
89.基于多帧点云数据和图像数据的时间戳信息，将多帧的点云数据和图像数据按照时间配对；
90.基于配对的点云数据和图像数据，分别计算每一帧中转换后的两组标靶三维信息的重合度；
91.计算所有帧的重合度之和，获取重合度之和最大的外参，作为第一外参。
92.可选地，方法还包括：
93.基于第一外参和标靶在相机坐标系下的标靶三维信息，获取标靶在激光雷达坐标系下的第一位姿；
94.基于第一位姿，确定标靶的中心点；
95.基于标靶的外形尺寸信息和中心点，获取标靶的三维边界框；
96.获取标靶在激光雷达坐标系下的标靶三维信息中的每个激光点，计算所有激光点到达三维边界框的距离之和；
97.以距离之和的最小化为优化方向，优化第一外参，形成第二外参。
98.需要说明的是，基于第一位姿，确定标靶的中心点，预测的是标靶中心点在激光雷
达坐标系下的坐标。基于第一位姿，即能得到标靶点云簇和相机检测二维码(apriltag)标识之间的对应关系。
99.优选地，根据标靶宽度和厚度，以标靶的中心点为坐标系原点，建立三维边界框。
100.优选地，以距离之和的最小化为优化方向，包括通过列文伯格-马夸尔特(levenberg-marquardt，lm)非线性优化方法优化第一外参使得距离总和最小。第二外参是在第一外参的基础上，进一步进行的精细调整。这里的第二外参具有六个自由度，分别是x、y、z和俯仰角、偏航角、翻滚角。
101.进一步地，根据优化后的第二外参，将激光雷达坐标系下的点云转换至标靶坐标系下，统计点云中点到标靶中心的x、y、z距离，在标靶边界范围内的记为有效内点；根据有效内点个数与初始点云个数计算得出内点占比，以内点占比作为衡量标定结果有效与否的标准。
102.可选地，获取标靶在激光雷达坐标系下的标靶三维信息中的每个激光点，包括：
103.以标靶的中心点为球心，以预设的第一半径构成筛选球体；
104.将筛选球体内的激光点，作为标靶在激光雷达坐标系下的标靶三维信息中的激光点。
105.优选地，筛选之前，将整帧点云建立起kd树(k-dimensional tree)的数据结构。
106.优选地，第一半径比标靶的边长略大。防止过大的第一半径将属于其他标靶的点云囊括进入本标靶的点云簇。
107.可选地，获取标靶在激光雷达坐标系下的标靶三维信息中的每个激光点，包括：
108.对于标靶在激光雷达坐标系下的标靶三维信息中的所有激光点进行拟合，形成点云面；
109.计算标靶在激光雷达坐标系下的标靶三维信息中的所有激光点到点云面的点与面距离，将点与面距离大于预定的距离阈值的激光点剔除；
110.将剔除后剩余的激光点，作为标靶在激光雷达坐标系下的标靶三维信息中的激光点。
111.优选地，使用随机抽样一致算法(ransac)拟合形成点云面。
112.本实施例实现了一种高自动化，可适用于不同场景的激光雷达和相机外参标定方法；所实现的激光雷达点云标靶检测功能，不依赖于人工标注即可自动完成检测；采取栅格搜索的方法，可适用于外参初始值存在一定偏差的情况；相比于基于角点透视n点投影方法的解算方法，本方案中通过直接法优化获取第二外参可省去拟合角点的步骤，并且参与优化的观测点更多，在保证了优化精度的前提下，同时也减少计算时间。
113.下面对本发明提供的基于标靶的激光雷达与相机标定系统进行描述，下文描述的基于标靶的激光雷达与相机标定系统与上文描述的基于标靶的激光雷达与相机标定方法可相互对应参照。
114.图2为本发明提供的一种基于标靶的激光雷达与相机标定系统结构示意图，如图2所示，本发明还提供的一种基于标靶的激光雷达与相机标定系统，系统包括：
115.获取模块，用来获取标靶的激光雷达点云数据和相机图像数据；
116.点云筛选模块，用来对点云数据进行筛选，获取标靶在激光雷达坐标系下的标靶三维信息；
117.图像转换模块，用来基于图像数据，获取标靶在相机坐标系下的标靶三维信息；
118.转换模块，用来基于预设的标靶与相机转换的多组外参，将激光雷达坐标系与相机坐标系下的两组标靶三维信息转换至同一坐标系下；
119.计算模块，用来计算转换后的两组标靶三维信息的重合度，获取最大重合度对应的第一外参。
120.本实施例实现了一种高自动化，可适用于不同场景的激光雷达和相机外参标定方法。
121.图3为本发明提供的一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(communications interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行基于标靶的激光雷达与相机标定方法，所述方法包括：
122.获取标靶的激光雷达点云数据和相机图像数据；
123.对所述点云数据进行筛选，获取所述标靶在所述激光雷达坐标系下的标靶三维信息；
124.基于所述图像数据，获取所述标靶在所述相机坐标系下的标靶三维信息；
125.基于预设的所述标靶与所述相机转换的多组外参，将所述激光雷达坐标系与相机坐标系下的两组标靶三维信息转换至同一坐标系下；
126.计算转换后的两组标靶三维信息的重合度，获取最大重合度对应的第一外参。
127.此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
128.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于标靶的激光雷达与相机标定方法，所述方法包括：
129.获取标靶的激光雷达点云数据和相机图像数据；
130.对所述点云数据进行筛选，获取所述标靶在所述激光雷达坐标系下的标靶三维信息；
131.基于所述图像数据，获取所述标靶在所述相机坐标系下的标靶三维信息；
132.基于预设的所述标靶与所述相机转换的多组外参，将所述激光雷达坐标系与相机坐标系下的两组标靶三维信息转换至同一坐标系下；
133.计算转换后的两组标靶三维信息的重合度，获取最大重合度对应的第一外参。
134.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程
序，该计算机程序被处理器执行时实现以执行上述各提供的基于标靶的激光雷达与相机标定方法，所述方法包括：
135.获取标靶的激光雷达点云数据和相机图像数据；
136.对所述点云数据进行筛选，获取所述标靶在所述激光雷达坐标系下的标靶三维信息；
137.基于所述图像数据，获取所述标靶在所述相机坐标系下的标靶三维信息；
138.基于预设的所述标靶与所述相机转换的多组外参，将所述激光雷达坐标系与相机坐标系下的两组标靶三维信息转换至同一坐标系下；
139.计算转换后的两组标靶三维信息的重合度，获取最大重合度对应的第一外参。
140.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
141.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
142.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。