一种自动驾驶传感器联合标定靶和标定方法

本发明涉及自动驾驶传感器技术领域，具体的说是一种自动驾驶传感器联合标定靶和标定方法。

背景技术：

传感器标定是自动驾驶的基本需求，自动驾驶常见传感器组中的传感器包含可见光相机、激光雷达、毫米波雷达几种传感器，这些传感器具有不同的特点，并有着不同的和使用范围。其中，可见光相机擅长捕捉场景中的纹理细节，并有着较长的工作距离，但是其容易受到光照条件的干扰。激光雷达可以获取三维的点云数据，但其工作受天气和大气影响较大。毫米波雷达穿透雾、烟、灰尘的能力强，但是其易受金属物体干扰且提供的信息量有限。标定的目的是找到传感器的外参和内参。

通常标定的过程涉及在个模态数据中提取场景中的关键点，并使用相应算法对提取的关键点进行运算。由于各个模态的数据形式相差较大，场景中的不同的点在不同模态中提取难度不同。例如，黑板上的一个白色粉笔点可以较为容易地在可见光图像中被提取，却很难在激光雷达点云和毫米波雷达数据中被提取。

另一方面，目前涉及到所述三种传感器标定时，更多的是做两两之间的标定，例如，可将光相机和激光雷达的标定。同时联合三种模态的传感器进行标定的工作非常有限。

技术实现要素：

为了解决现有技术中的不足，本发明提供一种自动驾驶传感器联合标定靶和标定方法，旨在将三种模态的传感器进行联合标定。

为了实现上述目的，本发明采用的具体方案为：一种自动驾驶传感器联合标定靶，包括承载板，承载板上呈并排分布有若干用于反射毫米波雷达信号的角反射器，同时角反射器易被激光雷达和可见光相机捕获，承载板的表面涂抹有用于吸收毫米波的涂层。

一种自动驾驶传感器联合标定方法：包括以下步骤：

以权利要求1所述的联合标定靶为目标，通过数据采集模块进行数据采集，其中数据采集模块包括可见光相机、激光雷达和毫米波雷达；

使用数据预处理模块对采集到的数据进行数据预处理；

使用标定求解模块对预处理后的数据进行联合标定求解，以得到联合标定结果。

作为上述技术方案的进一步优化：所述数据预处理模块对采集到的数据进行数据预处理包括以下步骤：

可见光图像预处理，处理可见光图像数据；

激光雷达点云预处理，处理激光雷达点云数据；

毫米波雷达数据预处理，处理毫米波雷达数据。

作为上述技术方案的进一步优化：所述可见光图像预处理包括以下子步骤：

图像去畸变，针对可见光图像的径向畸变，进行畸变矫正；

图像降噪与增强，运行降噪算法对图像进行降噪增强处理；

标定靶可见光关键点提取，通过寻找角反射器中心三线段交点提取可见光图像中的特征点。

作为上述技术方案的进一步优化：所述图像去畸变包括：

建立表征畸变的数学模型：其中(u,v)和(u′,v′)分别是无畸变和有畸变情况下场景在图像中的归一坐标位置，f(r)是的函数，选择f(r)＝1+k1r²+k2r⁴+k3r⁶并对参数估计来恢复畸变，其中r为图像上的一点到图像光轴正中心点的距离，k为模型各阶的系数。

作为上述技术方案的进一步优化：所述激光雷达点云预处理包括以下子步骤：

点云去畸变，去除激光雷达的运动畸变；

点云滤波，采用双边滤波平滑三维个点；

标定靶点云关键点提取，在角反射器内部区域提取曲率最大的点作为特征点。

作为上述技术方案的进一步优化：所述点云去畸变包括：

为各激光雷达的激光束射出位置估计出一个对应的激光雷达姿态，将其表示为激光雷达的局部坐标系；

将每帧后续扫描到的激光点在当前激光雷达的局部坐标系的坐标，变换到该帧初始时刻的激光雷达局部坐标系中的坐标。

作为上述技术方案的进一步优化：所述毫米波雷达数据预处理包括以下子步骤：

数据滤波，采用区域剪裁的方法滤除非标定靶区域的雷达回波；

标定靶雷达数据关键点提取，标定靶区域的角反射器位置即雷达回波最强的位置，以此作为特征点。

作为上述技术方案的进一步优化：所述标定求解模块包括以下步骤：

对各个模态提取的特征点进行置信度分析；

结合置信度高的模态中关键点位置，联立更新各个模态所有关键点位置，实现关键点位置精准化；

基于加权最小二乘的各模态关键点关系求解，求解出各模态之间变换误差的总和最小的矩阵作为标定的结果。

作为上述技术方案的进一步优化：所述基于加权最小二乘的各模态关键点关系求解，求解出各模态之间变换误差的总和最小的矩阵作为标定的结果包括：

对各个模态中所有对应的关键点，同一点在激光雷达数据点云的坐标(x,y,z)到可见光图像的点(u,v)满足如下关系：

其中，为从激光雷达坐标系到可见光相机坐标系的变换，r为旋转量，t为平移量，m为相乘合并后的系数矩阵，为相机坐标系中点到二维图像的投影变换，fu、fv为相机内参的作用系数，u0、v0为相机外参的作用系数，标定过程是对矩阵和估计的过程；

毫米波雷达数据和可见光图像中对应点的变换关系建模为：

其中xra＝rsinα，yra＝rcosα，r和α对应毫米波雷达输出的目标点半径和方位角，hrar为毫米波雷达转换到激光雷达的变换矩阵；

标定过程是对矩阵进行估计的过程，基于加权最小二乘的各模态关键点关系求解，同时考虑矩阵和求解出使两两模态的变换误差的总和最小的矩阵作为联合标定的结果。

与现有技术相比，本发明的有益效果如下：

本发明设计一种可以同时被可见光相机、激光雷达、毫米波雷达感知相同特征点的联合标定靶。利用该联合标定靶，可以容易地在所述三种模态数据中提取同一个特征点。利用这些特征点，对各个模态所提取的特征点置信度进行分析，实现关键点位置的精准化，最终得到精确的联合标定结果。

附图说明

图1为本发明联合标定靶示意图；

图2为本发明联合标定流程图；

图3为本发明联合标定数据处理流程图；

附图说明：1、承载板，2、角反射器，3、数据采集模块，301、可见光相机，302、激光雷达，303、毫米波雷达，4、数据预处理模块，401、可见光图像预处理，4011、图像去畸变，4012、图像降噪与增强，4013、标定靶可见光关键点提取，402、激光雷达点云预处理，4021、点云去畸变，4022、点云滤波，4023、标定靶点云关键点提取，403、毫米波雷达数据预处理，4031、数据滤波，4032、标定靶雷达数据关键点提取，5、标定求解模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅附图，一种自动驾驶传感器联合标定靶，包括承载板1，承载板1上呈并排分布有若干用于反射毫米波雷达303信号的角反射器2，同时该角反射器2易被激光雷达302和可见光相机301捕获，承载板1的表面均匀涂抹有用于吸收毫米波的涂层，其中承载板1为厚度10mm的松木板，其长度为4m，宽度为1m，在承载板1上沿其宽度的0.5m处设有四个角反射器2，角反射器2用于最大程度反射毫米波雷达303信号，同时也易于被激光雷达302和可见光相机301捕获，四个角反射器2分别处在承载板1沿其长度的0.5m、1.5m、2.5m、3.5m处，角反射器2由镀锌白铁板制作，每个角反射器2由三个直角边为150mm的等腰直角三角形沿直角边焊接制作，其开口方向如图1所示，朝向图中下方承载板1的宽度方向相同，涂层为毫米波吸收材料，用于吸收毫米波雷达303发出的毫米波信号，使该信号不被反射，从而突出角反射器2区域的雷达回波，角反射器2的数量通常均多于1个。

一种自动驾驶传感器联合标定方法，包括以下步骤：

以上述联合标定靶为目标，通过数据采集模块3进行数据采集；

使用数据预处理模块4对采集到的数据进行数据预处理；

使用标定求解模块5对预处理后的数据进行联合标定求解，以得到联合标定结果；

数据采集模块3包括可见光相机301、激光雷达302和毫米波雷达303，可见光相机301为flirblackflyusb3.0工业相机配6mm镜头，激光雷达302使用32线的velodynevlp-32c，毫米波雷达303采用continentalars408-21，标定时距离联合标定靶约10米距离。

数据预处理模块4包括以下步骤：可见光图像预处理401，可见光图像预处理401包括以下子步骤：图像去畸变4011；图像降噪与增强4012；标定靶可见光关键点提取4013；其中图像去畸变4011主要针对径向畸变，对于径向畸变，表征畸变的数学模型为:

其中(u,v)和(u′,v′)分别是无畸变和有畸变情况下场景的在图像中的归一化坐标位置，f(r)是的函数，选择：

f(r)＝1+k1r²+k2r⁴+k3r⁶

并对参数估计来恢复畸变，其中r为图像上的一点到图像光轴正中心点的距离，k为模型各阶的系数；图像降噪使用bm3d算法。通过寻找角反射器2中心三线段交点提取可见光图像中的特征点。

激光雷达点云预处理402，激光雷达点云预处理402包括以下子步骤：点云去畸变4021；点云滤波4022；标定靶点云关键点提取4023点；其中点云去畸变4021主要是针对运动畸变，由于车辆的移动，导致采集到的激光点云并不是同一时刻的。但是通常激光雷达302输出一帧数据时认为所有扫描激光束是在同一位置和时刻的此输出的数据存在运动畸变。实施例解决运动畸变的关键是为各激光束的射出位置估计出一个对应的激光雷达302姿态，将其表示为激光雷达302的局部坐标系。将每帧后续扫描到的激光点在当前激光雷达302的局部坐标系的坐标，变换到该帧初始时刻的激光雷达302局部坐标系中的坐标。点云滤波4022采用双边滤波平滑三维各点，在角反射器2内部区域提取曲率最大的点作为特征点。

毫米波雷达数据预处理403，毫米波雷达数据预处理403包括以下子步骤：数据滤波4031；标定靶雷达数据关键点提取4032；其中数据滤波4031采用区域剪裁的方法滤除非标定靶区域的雷达回波，对标定靶区域，雷达回波最强的位置即角反射器2位置，以此作为特征点。

标定求解模块5包括以下步骤：

在各个模态特征提取的过程中，通过关键点响应强度作为置信度，对不同模态即可见光相机301、激光雷达302和毫米波雷达303中同一个关键点的置信度进行比较；

利用联合标定靶的形状先验，结合置信度高的模态中关键点位置，联立更新各个模态所有关键点位置；

对各个模态中所有对应的关键点，同一点在激光雷达302数据点云的坐标(x,y,z)到可见光图像的点(u,v)满足如下关系：

其中，为从激光雷达302坐标系到可见光相机301坐标系的变换，r为旋转量，t为平移量，m为相乘合并后的系数矩阵，为相机坐标系中点到二维图像的投影变换，fu、fv为相机内参的作用系数，u0、v0为相机外参的作用系数，标定过程是对矩阵和估计的过程。而毫米波雷达303数据和可见光图像中对应点的变换关系可以建模为：

其中xra＝rsinα，yra＝rcosα。r和α对应毫米波雷达303输出的目标点半径和方位角，hrar为毫米波雷达转换到激光雷达的变换矩阵。标定过程是对矩阵进行估计的过程。本实施例使用加权最小二乘的各模态关键点关系求解，同时考虑矩阵和求解出使两两模态的变换误差的总和最小的矩阵作为联合标定的结果。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。