一种联合激光点云与图像的高效标注方法与流程

本发明涉及自动驾驶技术领域，尤其涉及一种联合激光点云与图像的高效标注方法。

背景技术：

在无人驾驶技术领域，传感器融合，尤其是低级融合成为了无人驾驶技术中行之有效的技术方案之一，通过识别与估计周围环境中车辆、车道线、行人、交通标识等关键要素的语义和几何信息，来辅助无人驾驶车辆对环境进行感知并规划行驶路线，目前主流的方法是使用激光雷达和摄像头对环境进行感知，激光雷达可以得到被观测环境准确的几何信息，摄像头则可以获得具有丰富纹理和颜色信息的图像，通过两者的融合能够获得较准确的环境信息。

该技术在实际应用中需要依赖于深度学习网络，然而训练基于低级融合数据的深度学习网络模型需要海量的进行了时间和空间对齐并且联合标注的激光点云与图像数据集，这样的数据集目前还未形成，因此研究新的有效的工具进行激光点云与图像数据集的联合标注具有重大的意义。

技术实现要素：

有鉴于此，本发明提出了一种人工干预量小，标注精度高的联合激光点云与图像的高效标注方法。

本发明的技术方案是这样实现的：本发明提供了一种联合激光点云与图像的高效标注方法，包括如下步骤：

s1、采集时间同步的三维激光点云数据和二维图像数据，利用平面棋盘格目标的自动化图像与激光点云数据进行初始外参自动化标定，并建立激光点云坐标系与图像坐标系的变换关系；

s2、对待标定图像进行自动目标识别实现预分割标注，通过人工检校的方式，修正误分割的标注，并对欠分割的物体进行补充标注，生成精确的图像标注框；

s3、将精确的图像标注框通过变换关系反投影到三维空间中，获得图像标注框对应的三维激光点云；

s4、对图像标注框对应的三维激光点云进行重分割聚类，对每个分割得到的子对象进行随机均匀采样生成种子点，利用基于图距离的搜索策略，对种子点进行生长，形成完整的点云对象，补偿变换关系不准确的误差；

s5、建立精确的图像标注框与激光点云对象的对应关系，取对象各自的中心点形成一系列的同名点对集，以初始化外参为初始值，最小化正投影误差，对变换关系进行精化；

所述图像标注框包括矩形标注框和多边形标注框。

在以上技术方案的基础上，优选的，步骤s1中初始外参自动化标定的方法包括：从三维激光点云中提取出标定板的平面模型及其对应的内点{qi＝(xi，yi，zi)，i＝1..m}，根据最小变元函数求解图像坐标系相对激光坐标系的旋转矩阵r(α，β，γ)，以及图像坐标系相对于激光坐标系的平移矩阵t(x，y，z)，其中pi对应着棋盘格角点的图像坐标系坐标集，qi，j对应着激光坐标系中平面标定板平面模型中的内点坐标集，ni′对应着标定板图像坐标系下的法向量。

在以上技术方案的基础上，优选的，所述初始外参自动化标定的方法还包括：根据方程r^*＝(m·n′)·(n·n′)^-1的svd分解获取旋转矩阵的初始值，式中r^*是图像坐标系相对激光坐标系的旋转矩阵，n矩阵是棋盘格在图像坐标系中的法向量在不同观测角度上的法向量排列形成的矩阵，m矩阵是棋盘格在激光点云坐标系下的法向量在不同观测角度上的法向量排列形成的矩阵，以初始旋转矩阵带代入优化最小变元函数，优化旋转矩阵及平移矩阵，直至最小变元函数收敛。

在以上技术方案的基础上，优选的，所述激光点云坐标系与图像坐标系的变换关系的方程包括：

正投影方程：

反投影方程：

式中(u，v)为所提取的棋盘格的角点在像平面坐标系的坐标，(x，y，z)为位于棋盘格上的激光点云在激光点云坐标系中的三维空间坐标，为激光点云坐标系向图像坐标的变换矩阵，rc2l和tc2l是图像坐标系向激光点云坐标系的变换矩阵，cx和cy分别是相机内参校正模型中的主点在像平面上水平x轴与垂直y轴的位置，单位是像素，fx和fy分别是相机在x方向和y方向上的焦距，(x，y，z)是激光点云坐标系中的坐标。

更进一步优选的，所述步骤s2中，生成精确的图像标注框的方法包括：

s21、利用图像预分割分类方法对二维图像进行预分割分类，获取图像中给定类别的bbox或基于像素的分类信息；

s22、通过人工检校的方式，对标注错误的或者标注不准确的预分割结果以及欠分割的图像进行人工标注；

s23、得到有图像标注框的二维图像。

在以上技术方案的基础上，优选的，所述步骤s3中图像标注框对应的三维激光点云的方法包括：

s31、获取二维图像中的图像标注框以及图像标注框的顶点坐标，通过变换关系将二维图像中的顶点坐标变换到三维坐标系中形成射线，多个顶点对应的射线形成棱锥；

s32、判断三维空间中的点是否在多棱锥体内，将空间中的点分为棱锥内的点和棱锥外的点，棱锥内的点组成的点集空间与标定框的图像对象构成三维映射关系。

在以上技术方案的基础上，优选的，所述步骤s4中三维激光点云进行重分割聚类的具体方法包括：

s41、根据三维映射计算三维空间中的点集空间对应二维平面中的反投影点集，通过对反投影点集进行给定聚类类别数的基于图距离度量的包括但不限于k均值聚类；

s42、在每个聚类块上进行随机的种子点生成，对每个种子点进行基于图距离的生长；

s43、通过人工干预的方式对生长过程的参数进行调节，使种子点生长至完整的反投影点集。

在以上技术方案的基础上，优选地，所述步骤s5中变换关系进行精化的方法还包括：

s51、通过提取多个激光点云对象的几何中心点以及对应图像标注框的中心点，获得一系列精准的同名点对；

s52、通过同名点对对外参矩阵进行优化，以初始外参矩阵为初始值对外参矩阵进行微调，实现外参精化。

在以上技术方案的基础上，优选的，所述图像标注框的中心点集为{pc}＝{(ui，vi，di)，i∈o}，所述激光点云对象的几何中心点集为{pl}＝{(xi，yi，zi)，i∈o}，所述外参矩阵方程为

在以上技术方案的基础上，优选的，以初始外参矩阵r(α，β，γ)与t(x，y，z)为初始值，通过非线性最优求解方法对外参矩阵方程进行求解，得到修正后的外参。

本发明的一种联合激光点云与图像的高效标注方法相对于现有技术具有以下有益效果：

(1)本发明联合图像与激光点云进行标注，实现图像与激光点云的同步高精度标注，大大降低了人工对激光点云理解的难度；

(2)本发明能够自适应搜索平面标定板，实现无人工干预的图像与激光点云的自动标定，降低人工标定的工作量；

(3)本发明实现激光点云与图像同名点的正反向投影，利用图像向激光点云反投影，实现图像辅助点云标注，通过反投影点云自己的重聚类以及再生长，补偿粗标定精度不够造成的点云标注误差，实现高精度的点云标注效果；

(4)本发明通过激光点云与图像对应目标的精确再确定，对初始外参进行精细微调，实现标定自学习，通过利用已有数据与模型，对图像进行预标注，同时结合标定关系，可以实现点云预标注，解决了远距离标定难的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种联合激光点云与图像的高效标注方法的流程图。

具体实施方式

下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

如图1所示，本发明的一种联合激光点云与图像的高效标注方法，其包括如下步骤：

s1、采集时间同步的三维激光点云数据和二维图像数据，利用平面棋盘格图像目标的自动化提取与激光点云数据进行初始外参自动化标定，并建立激光点云坐标系与图像坐标系的变换关系；

s2、对待标注图像进行自动目标识别实现预分割标注，通过人工检校的方式，修正误分割的标注，并对欠分割的物体进行补充标注，生成精确的图像标注框；

s3、将精确的图像标注框通过变换关系反投影到三维空间中，获得图像标注框对应的三维激光点云；

s4、对图像标注框对应的三维激光点云进行重分割聚类，对每个分割得到的子对象进行随机均匀采样生成种子点，利用基于图距离的搜索策略，对种子点进行生长，形成完整的点云对象，补偿变换关系不准确的误差；

s5、建立精确的图像标注框与激光点云对象的对应关系，取对象各自的中心点形成一系列的同名点对集，以初始化外参为初始值，最小化正投影误差，对变换关系进行精化；

所述图像标注框包括矩形标注框和多边形标注框。

在具体实施方式中，激光点云与图像坐标系的外参对应着激光点云坐标系与图像坐标系之间坐标的转换关系，通过寻找激光坐标系与图像坐标系中的同名点或者同名对象之间的对应关系，通过最小化正投影残差，可以求解外参的初始值，求解方程包括正投影方程和反投影方程。

所述正投影方程可以实现激光点云坐标系中三维坐标向二维图像坐标的转换，其表达式为：

所述反投影方程可以实现二维图像坐标系向三维激光点云坐标系的转换，其表达式为：

以上实施方式中，(u，v)为所提取的棋盘格的角点在像平面坐标系的坐标，(x，y，z)为位于棋盘格上的激光点云在激光点云坐标系中的三维空间坐标，为激光点云坐标系向图像坐标的变换矩阵，rc2l和tc2l是图像坐标系向激光点云坐标系的变换矩阵，cx和cy分别是相机内参校正模型中的主点在像平面上水平x轴与垂直y轴的位置，单位是像素，fx和fy分别是相机在x方向和y方向上的焦距，(x，y，z)是激光点云坐标系中的坐标。

在具体实施方式中，可以利用基于棋盘格标定板的图像坐标系与激光坐标系进行参数标定，包括但不限于使用张正友方法对摄有棋盘格目标的影像进行相机参数的标定，获取相机的诸如焦距、主点以及畸变参数等关键参数，在参数标定过程中提取棋盘格标定板的角点的坐标{(ui，vi)，i＝1..n}，根据反投影方程中内参矩阵计算角点坐标在图像坐标系中的三维坐标{pi＝(xi，yi，zi)，i＝1..n}。

在激光点云中利用包含但不限于ransac方法提取平面多模型，根据提取出的有界平面的大小和法向的信息，结合已有的先验信息，对诸如地面或远方建筑等较大的平面或者平面法矢接近垂直的平面进行筛除，最终获得平面标定板的平面模型以及对应的内点{qi＝(xi，yi，zi)，i＝1..m}；

为最小变元函数，其中r(α，β，γ)是图像坐标系相对于激光坐标系的旋转矩阵，t(α，β，γ)是图像坐标系相对于激光坐标系的平移矩阵，pi对应着棋盘格角点的图像坐标系坐标集，qi，j对应着激光坐标系中平面标定板平面模型中的内点坐标集，ni′对应着标定板图像坐标系下的法向量；

r^*＝(m·n′)·(n·n′)^-1为图像坐标系相对激光坐标系的旋转矩阵，先通过旋转矩阵的svd分解的方法获取旋转矩阵的初始值；n矩阵是棋盘格在图像坐标系中的法向量在不同观测角度上的法向量排列形成的矩阵，m矩阵是棋盘格在激光点云坐标系下的法向量在不同观测下的法向量排列形成的矩阵，通过svd分解的方法可以得到旋转矩阵的初始解。

在获得初始解的情况下，利用包括但不限于诸如nlopt等非线性优化方法可以以获得的旋转矩阵为初始矩阵，同步优化旋转矩阵以及平移矩阵，直至收敛。

在具体实施方式中，利用已有的神经网络模型，对待标注影像进行预分割，控制输出需要的类别，对预分类的结果进行人工检校，对标注错误的或者标注不准确的预分割结果以及欠分割的图像进行人工标注。

在已知初始外参的前提下，通过反投影方程实现二维边界框向三维点云空间的投射，图像上的二维平面坐标反投影到点云空间中会成为一条射线，因此多个点对应的射线形成棱锥，棱锥的顶点与原点的平移反映了相机与激光点云的视差；标定框外接的圆和棱锥的顶点组成一圆锥体，判定给定点是否在圆锥内。

在上述实施方式中，给定点与棱锥的顶点连接形成直线1、外接圆的圆心与棱锥顶点组成直线2，通过比较直线1和直线2之间的夹角与圆锥锥角的一半的大小关系，判断给定点是否在圆锥内。

在具体实施方式中，基于图距离的重聚类和再生长的过程包括，对反投影激光点云集在无向图上进行聚类算法，包括但不限于k均值聚类，对不同的子类进行随机选取种子点，以种子点为基础进行生长，通过人工干预的方式对生长过程的参数进行调节，使种子点生长至完整的反投影点集，生长原则如下式：

hij＝αp||pi-pj||+αi||ii-ij||

||pa-pj||＜ωmax/αp

式中，hij指点云中相邻点之间的边距，边距的值考虑了点之间的位置相邻关系以及激光点反射率。通过控制控制点重要性因子αp以及最大生长距离ωmax，控制同类别点云集的生长。

人工选择真正对应的图像框的激光点云目标的类别如果有不止一个点云集对应着同一个目标，则被标注为统一类别对象的点云集自动合并，不属于该正确对象的点云集被丢弃。

在具体实施方式中，获得了精细化的点云与图像的对应目标后，通过统计点云图像对的中心点的坐标，生成一组具有相同对象的对应点关系，其中图像坐标系下得到一系列点集{pc}＝{(ui，vi，di)，i∈o}，与之对应的激光点云目标的中心点构成了一系列点集{pl}＝{(xi，yi，zi)，i∈o}，通过最小化正投影残差，进一步优化外参数矩阵；

以初始外参矩阵r(α，β，γ)和t(x，y，z)为初始值，通过诸如nlopt方法优化外参矩阵方程可以得到修正之后的外参。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。