激光雷达与相机联合标定方法、装置、设备及存储介质

本发明涉及自动驾驶，尤其涉及一种激光雷达与相机联合标定方法、装置、电子设备及存储介质。

背景技术：

1、自动驾驶的实现依赖于传感器对环境的精确感知能力，单个传感器对环境感知的鲁棒性较差，不能保证系统安全可靠的运行。为了确保自动驾驶车辆在复杂多变的情况下能安全行驶，多传感器融合互补可以提供不同的环境信息。激光雷达和相机是自动驾驶环境感知中最常用的传感器，相机可以提供外部环境丰富的语义信息，激光雷达可以提供环境中物体的三维点云数据以及反射强度，可以很好的与相机提供的语义信息进行互补。激光雷达与相机联合标定获取二者之间的旋转平移矩阵，融合二者提取的环境感知信息，可以实现信息的高效利用。

2、对于激光雷达与相机的联合标定方案，一种是基于无目标的标定，利用场景的自然环境通过求解线面的几何约束来求出外参，基于无目标的标定方案精度不够高，鲁棒性较差。另一种是基于有目标的标定，利用设计的标定板构建激光点与相机点之间的约束关系。但是，现有的基于有目标的标定方案通常采用一帧点云数据，对于低线数的激光雷达，点云稀疏，不利于激光雷达与相机标定。此外，激光雷达与相机的联合标定通常先标定相机，再进行联合标定，标定相机时，标定板与相机的距离会影响相机内参，从而影响激光雷达与相机的联合标定结果。因此，需要亟需一种标定精度高的激光雷达与相机联合标定方法。

技术实现思路

1、本发明提供了一种激光雷达与相机联合标定方法、装置、设备及存储介质，以解决激光雷达与相机联合标定精度低的问题，可以在提高激光雷达与相机联合标定准确性的同时，提升联合标定效率。

2、根据本发明的一方面，提供了一种激光雷达与相机联合标定方法，所述方法由联合标定系统执行，所述联合标定系统包括激光雷达、相机和至少一个标定板；所述激光雷达和所述相机的相对位置固定，构成联合标定体；标定板放置于联合标定体的信息采集区域内；所述方法包括：

3、获取联合标定体中激光雷达的点云图，并根据相机生成的标定板图像信息，确定相机内部参数矩阵、畸变系数以及标定板至相机的旋转平移矩阵；

4、根据所述点云图，确定标定板的第一角点坐标集合；根据相机内部参数矩阵、畸变系数以及标定板至相机的旋转平移矩阵，确定标定板的第二角点坐标集合；

5、根据所述第一角点坐标集合、所述第二角点坐标集合、预先确定的联合标定函数以及所述联合标定函数匹配的约束条件，确定激光雷达与相机的联合标定结果。

6、根据本发明的另一方面，提供了一种激光雷达与相机联合标定装置，所述装置配置于联合标定系统，所述联合标定系统包括激光雷达、相机和至少一个标定板；所述激光雷达和所述相机的相对位置固定，构成联合标定体；标定板放置于联合标定体的信息采集区域内；该装置包括：

7、点云图和相机内参确定模块，用于获取联合标定体中激光雷达的点云图，并根据相机生成的标定板图像信息，确定相机内部参数矩阵、畸变系数以及标定板至相机的旋转平移矩阵；

8、角点坐标集合确定模块，用于根据所述点云图，确定标定板的第一角点坐标集合；根据相机内部参数矩阵、畸变系数以及标定板至相机的旋转平移矩阵，确定标定板的第二角点坐标集合；

9、联合标定结果确定模块，用于根据所述第一角点坐标集合、所述第二角点坐标集合、预先确定的联合标定函数以及所述联合标定函数匹配的约束条件，确定激光雷达与相机的联合标定结果。

10、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

11、至少一个处理器；以及

12、与所述至少一个处理器通信连接的存储器；其中，

13、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的激光雷达与相机联合标定方法。

14、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的激光雷达与相机联合标定方法。

15、本发明实施例的技术方案，获取联合标定体中激光雷达的点云图，并根据相机生成的标定板图像信息，确定相机内部参数矩阵、畸变系数以及标定板至相机的旋转平移矩阵；根据所述点云图，确定标定板的第一角点坐标集合；根据相机内部参数矩阵、畸变系数以及标定板至相机的旋转平移矩阵，确定标定板的第二角点坐标集合；根据所述第一角点坐标集合、所述第二角点坐标集合、预先确定的联合标定函数以及所述联合标定函数匹配的约束条件，确定激光雷达与相机的联合标定结果。该技术方案解决了激光雷达与相机联合标定精度低的问题，可以在提高激光雷达与相机联合标定准确性的同时，提升联合标定效率。

16、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种激光雷达与相机联合标定方法，其特征在于，所述方法由联合标定系统执行，所述联合标定系统包括激光雷达、相机和至少一个标定板；所述激光雷达和所述相机的相对位置固定，构成联合标定体；标定板放置于联合标定体的信息采集区域内；所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述联合标定系统中标定板数量为多个，各标定板之间不存在遮挡，所述标定板为矩形标定板，标定板的位姿包括上仰、下俯、左倾、右倾以及垂直；

3.根据权利要求2所述的方法，其特征在于，所述根据相机内部参数矩阵、畸变系数以及标定板至相机的旋转平移矩阵，确定标定板的第二角点坐标集合，包括：

4.根据权利要求3所述的方法，其特征在于，所述联合标定函数的表达式为：

5.根据权利要求4所述的方法，其特征在于，所述约束条件包括坐标相等条件和二维坐标恒定条件；

6.根据权利要求1所述的方法，其特征在于，所述获取联合标定体中激光雷达的点云图，包括：

7.根据权利要求6所述的方法，其特征在于，所述根据所述第一角点坐标集合、所述第二角点坐标集合、预先确定的联合标定函数以及所述联合标定函数匹配的约束条件，确定激光雷达与相机的联合标定结果，包括：

8.一种激光雷达与相机联合标定装置，其特征在于，所述装置配置于联合标定系统，所述联合标定系统包括激光雷达、相机和至少一个标定板；所述激光雷达和所述相机的相对位置固定，构成联合标定体；标定板放置于联合标定体的信息采集区域内；包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的激光雷达与相机联合标定方法。

技术总结
本发明公开了一种激光雷达与相机联合标定方法、装置、设备及存储介质。该方法包括：获取联合标定体中激光雷达的点云图，并根据相机生成的标定板图像信息，确定相机内部参数矩阵、畸变系数以及标定板至相机的旋转平移矩阵；根据点云图，确定标定板的第一角点坐标集合；根据相机内部参数矩阵、畸变系数以及标定板至相机的旋转平移矩阵，确定标定板的第二角点坐标集合；根据第一角点坐标集合、第二角点坐标集合、预先确定的联合标定函数以及联合标定函数匹配的约束条件，确定激光雷达与相机的联合标定结果。本技术方案解决了激光雷达与相机联合标定精度低的问题，可以在提高激光雷达与相机联合标定准确性的同时，提升联合标定效率。

技术研发人员：陈涛,张怡欢,王亮,戴一凡
受保护的技术使用者：清华大学苏州汽车研究院（吴江）
技术研发日：
技术公布日：2024/2/1