基于对应掩模的端到端的摄像头与激光雷达外参标定方法与流程

本发明涉及摄像头与激光雷达的外参数标定方法，属于多传感器融合感知领域。特别是一种基于对应掩模的端到端的摄像头与激光雷达外参标定方法。

背景技术：

摄像头传感器具有成本低、纹理语义信息丰富以及帧率高等优点，但容易受到光照条件的限制并很难恢复出精确的几何信息。激光雷达传感器拥有客观的几何测量精度且基本不受光照条件的限制，但是其空间分辨率低、语义信息难以提取以及帧率较低。将两者具有互补特性的传感器结合起来应用，在目前3d重建、增强现实与虚拟现实以及无人驾驶的3d目标探测、多层次高精度地图构建与定位等领域吸引了大量的研究注意力并取得了不错的成果。随着无人驾驶技术的不断发展以及应用落地，低成本激光雷达不断被研究开发出来，给量产车辆使用激光与视觉融合的解决方法提供了可能。另一方面，随着深度学习的不断发展，单目深度感知等研究课题不断取得新成果，这一任务依赖海量带有深度信息标注的图像样本，而这些样本的标注需要借助激光雷达。得到准确的摄像头与激光雷达的外参关系是实现视觉与激光点云融合应用的前提与关键，因此实现准确而鲁棒的摄像头与激光雷达标定至关重要。

仅仅通过对传感器安装位置的量测不可能得到精密的外参数，要得到精度满足应用要求的外参数需要借助传感器得到的影像与激光点云数据。通过影像和对应激光点云进行外参标定的过程实际上就是寻求一个变换矩阵在两个坐标系之间相互转换的过程。激光点云与图像数据在语义、分辨率以及几何关系上存在较大的差距，利用这些多模数据进行变换关系求解的过程实质上是寻找一个测度弥补这些鸿沟的过程。其中一种思路是寻求一组3d-3d或者3d-2d的特征对，这些特征可能是点、线段或者平面的对象，这种方法往往需要借助特殊的场景和标志物。另一种方法是寻求图像和激光点云之间的相关性信息，例如使用图像光度与激光雷达反射率、图像光度不连续性与激光雷达深度不连续性等，该方法一般不依赖于标定物而只需要自然场景中的目标，所以往往可以在线标定。利用相关性信息的方法因其具有不确定性，标定精度严重依赖场景，并且无法在比较大范围的初始参数收敛到正确值，因而目前无法应用于数据采集车、车厂量产车等需要鲁棒、高精度以及自动化的场景中。本发明所研究的方法是基于标定物的精确鲁棒标定。

基于标定物的方法往往需要设计各式各样的标定板、标定球、标定孔或者其他标志等实验设备，提取的大多数具有确定性关系的3d-3d对应点对、3d-3d对应法向或者3d-2d的对应点，这些方法因为需要得到这些对应关系，所以往往需要对实验设置进行限制或者人工干预，并且优化的精度取决于对3d-3d或者3d-2d对应点、线的精确提取，极容易受到噪声干扰，且会随着实验条件的恶化而失去鲁棒性。正是基于这一点考虑，本发明寻求了一种图像中的掩模与激光点云中的点簇的对应关系，这一对应关系从整体上是明确的，但对于细节是模糊的，这一特性极大提高了系统抗噪能力与鲁棒性，简化了实验设置和步骤，达到了很高的精度。

与本发明较为接近的是基于棋盘格标定板的3d-2d的点对的方法，但是该方法利用棋盘格生成的是确定性对应关系，当环境复杂或噪声变大时，可能提取不到正确的对应点关系甚至提取不到棋盘格点云。与本发明接近的方法还有基于轮廓配准的自然场景的外参校准，但是该方法所依赖的自然景物具有极大的不确定性，自然景物图像以及激光点云轮廓的提取的精度严重影响最后外参标定的结果，这将给标定带来不确定性。本发明提供的外参标定方法使用棋盘格点云簇与棋盘格掩模区域的对象级3d-2d对应关系，并且设计了有效的提取棋盘格点云的方法，可以保证算法的精度、稳定性、抗噪性以及减少对环境的依赖。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种基于对应掩模的端到端的摄像头与激光雷达外参标定方法，以解决上述技术背景中提出的问题。

为实现上述目的，本发明通过以下技术方案来实现：

基于对应掩模的端到端的摄像头与激光雷达外参标定方法，包括以下步骤：

步骤一、获取通过激光雷达得到的点云数据，以及通过摄像头得到的图像序列数据；

步骤二、通过提取步骤一中摄像头所得的图像中棋盘格的角点、并结合棋盘格固有的参数，估计出棋盘格的掩模，然后根据棋盘格掩模进一步生成棋盘格掩模的欧式距离变换，即得棋盘格2d掩模距离变换；

步骤三、将步骤一中激光雷达获取的目标点云与背景点云进行地面点剔除，然后通过点云差分的方式去除背景点；即对剔除地面点后的点云对进行基于kd树的knn最近邻搜索匹配，从而去除背景点云；

步骤四、对步骤三中去除了背景点云与地面点云的剩下点云，进行基于距离图深度连续性测度的点云分割，将具有空间相关性的点云簇分割开；然后对分割开的各个点云簇分别进行基于ransac的平面提取，并给出相应的包含平面显著性的置信度得分，且将置信度得分最高的点云簇作为棋盘格候选点云簇；接着再对棋盘格候选点云簇，根据提取的平面方程生成该点云簇的距离图，将距离图进行二值化后删除离散的小的联通区域以消除位于平面上但不属于棋盘格的外点，即得棋盘格点云，也叫棋盘格的3d激光雷达点云；

步骤五、对步骤二得到棋盘格2d掩模距离变换与步骤四得到的棋盘格点云构造后向投影在距离变换场上的能量函数的损失函数，建立3d点集与2d区域的对应关系；

步骤六、基于步骤五所建立的3d点集与2d区域对应关系、并通过遗传算法，得到满足将3d点云投射到像平面区域的外参初值，然后通过lm方法对外参初值进一步优化得到精确的外参。

上述技术方案中，步骤二中，棋盘格掩模的具体估计方法为：获得摄像头所得图像中棋盘格的角点后，根据角点的像平面(u,v)坐标值以及棋盘格的固有参数计算棋盘格外围边框顶点的像平面坐标，即得棋盘格的二值掩模图；

其中，棋盘格外围边框顶点的uv坐标由下式所示：

当棋盘格无外边框时，的uv坐标可以简化为下式：

式(1)、(2)中，分别是点p1、p1+n以及p2的像平面uv坐标；p1、p1+n、p2、p2+n分别是左上角顶点附近自动提取的棋盘格角点，其中n是棋盘格坐标系y方向上角点的个数，δs是棋盘格正方形边长，是待求的棋盘格左上角外边框顶点，是该顶点距离棋盘格图案左上角顶点在x轴方向上的偏移，是该顶点距离棋盘格图案左上角顶点在y轴方向上的偏移。

上述计算方案中，步骤三中，进行地面点剔除的具体方法为：将无序的激光点云有序化，生成距离图，在距离图的每列上进行地面点的判定；

同一列相邻行上的两点所构成的向量与水平面的夹角将用来衡量该点是否为地面点的重要依据，其判断依据如下式所示：

式(3)中集合为地面点的集合，θk为pk与pk+1所生成向量与水平面的夹角，θt为地面点判断的阈值，实验中一般取为2度；pk-1、pk、pk+1为同一列上的激光点云。

上述技术方案中，步骤三中，通过点云差分的方式去除背景点的干扰，具体方法为：对剔除地面点后的点云对构建背景点云的kd树，并基于kd树使用knn方法寻找目标点云中与原始点云距离最近的点对，最近邻点对距离大于阈值的被认为是新增的点云而被过滤出来，即为去除背景点的点云；

通过点云差分的方式去除背景点采用如下公式：

式(4)中为相对背景新增的点集，pt为目标点云中的点，为搜索到的与pt距离最近的背景点云中的点，为目标帧去除了地面点的点集，为背景点云去除了地面点的点集，表示所有匹配点对欧式距离差，dt为所有匹配点对欧式距离差标准差的3倍。

上述技术方案中，步骤四中，对分割开的各个点云簇进行基于平面的置信度得分判定，将置信度得分最高的点云簇认定为棋盘格候选点云簇；具体的，通过下述公式进行置信度得分判定来将不包含棋盘格点云的点簇过滤掉：

通过式(5)计算每个候选点云簇的置信度得分scorecluster，其中，ninliers为当前点云簇的平面内点的数目，nouterliers为外点的数目，ncluster为当前簇所有点云的个数，为第i个点云簇所有点云的个数，为所有点云簇的点的总数，α与β分别是对应的系数，α设置为0.3，β设置为0.7。

上述技术方案中，步骤五中，基于步骤二得到棋盘格2d掩模的距离变换以及步骤四得到的棋盘格的3d激光雷达点云，通过后向传播将激光点云投射到距离变换场中，构造基于距离变换场的能量函数的损失函数，通过最小化该能量函数，求得精确的激光雷达相对于摄像头的外参变换；

其中，激光雷达相对于摄像头的外参变换的具体过程为：

(6-1)设当前棋盘格激光点云簇为q，对于每一个激光点qi，则

qi＝[xiyizi]^t，qi∈q；(6)

将每一个激光点qi投影到图像平面上得到点pi，则

pi∈p；(7)

其中，π()表示将像空间坐标投影到图像平面坐标的变换，即对于像空间坐标点pc＝[xcyczc]^t，有以下变换：

其中g()为摄像头畸变变换，fx、fy、cx、cy分别是摄像头镜头的x轴方向的焦距、y方向的焦距、x方向的主点以及y方向的主点，k1、k2、k3分别是镜头的径向畸变参数，p1、p2分别是切向畸变参数，pc像空间坐标系下的点，xc、yc、zc为pc的坐标值，xcg为像空间齐次坐标系下的x分量，ycg为像空间齐次坐标系下的y分量；

(6-2)表示激光雷达坐标系到相机坐标系的变化，它是一个从se(3)李代数空间到se(3)李群空间的指数映射，其中为se(3)李代数，它可以表示为旋转向量和平移向量；

其中r为激光雷达坐标系到摄像头坐标系的旋转矩阵，t为激光雷达坐标系到摄像头坐标系的平移矩阵；为se(3)空间的旋转量，ρ为se(3)空间的平移量；

(6-3)基于式(6)至式(11)，以及距离变换场的能量损失函数的定义，即得激光雷达相对于摄像头的外参，如下式所示：

式中ξ^*为优化的se(3)空间中的外参，m为观测样本的数量，nj为第j对观测值的棋盘格点数，为第j对观测值的棋盘格掩模距离变换分布，wij为第j对观测值第i个棋盘格点的权重，qi为第j次观测的棋盘格点云中的第i个点。

与现有技术相比，本发明的有益效果是：

1)现有技术中大多数基于标定物如棋盘格的标定方法，为了能够从复杂场景中提取到棋盘格点云，往往需要设置复杂的测度如棋盘格点云的平面度、点云长宽、点云密度等指标来滤除背景中的干扰点簇，本发明采用差分的方法去除大多数伪棋盘格点云候选簇，进而在显著的候选簇中选择出真正包含棋盘格的激光点云簇，这将显著降低系统设计的复杂度并提高对环境的适应性。

2)现有技术中大多数基于3d-2d点、线、面或者是3d-3d点、线、面等特征的外参估计方法，因为需要先准确估计得到激光点云空间中的3d的几何对象如顶点坐标、线方程或者面方程，这些参数的估计将会显著受到激光点云噪声的干扰，对于低成本的激光雷达很有可能会失效；同时基于3d-3d的方法一般需要得到标定物在相机坐标系空间的3d几何信息，该信息严重依赖准确的相机内参，当内参存在一定畸变时，标定精度会大大受限。本发明提出的直接基于对应掩模的方法，不需要提取3d空间的几何要素，根据距离变换的优化即可实现端到端的精确外参估计，使得外参估计的精度对噪声的耐受性大大增加，并且适应了低成本传感器数据质量的退化。

3)相较于目前大多数方法需要对标定板有很高的设计要求，并且对于标定数据采集的姿态、距离以及数量等有诸多要求，本发明只需要简单的棋盘格或者是平面板即可完成标定，且不需要对标定板的位姿提出新要求。

4)本发明提出了对棋盘格点云精化提取的新方法，可以应对操作员或者是支撑杆等与棋盘格近距离接触的目标进行有效分离，使得对标定数据采集时基本没有要求，减低了数据采集的难度，提高了对环境的适应性。

附图说明

图1为本发明中基于对应掩模的端到端的摄像头与激光雷达外参标定的流程图；

图2为从棋盘格左上角附近角点像平面坐标估计棋盘格外边框左上角顶点像平面坐标的示意图；

图3a为7x7的二进制掩模图像块，其中值为1的区域为掩模区域；

图3b为图3a图像块中，距离当前像素欧式距离最近的掩模区域的对应像素；其中每个灰度区域中数值表示对应掩模区域内像素的位置索引；

图3c为二值掩模图的距离变换图；其中每个灰度区域中数值表为对应的距离值；

图3d为距离变换场的灰度可视化图；

图4为地面点滤除的示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

参阅图1，本发明提供了一种基于对应掩模的端到端的摄像头与激光雷达外参标定方法，可以用于数据采集车、智能网联汽车量产车辆出厂时均需要进行多传感器外参之间的精确标定，包括以下步骤：

步骤一、获取通过激光雷达得到的点云数据，以及通过摄像头得到的图像序列数据；

步骤二、通过提取步骤一中摄像头所得的图像中棋盘格的角点、并结合棋盘格固有的参数，估计出棋盘格的掩模，然后根据棋盘格掩模进一步生成棋盘格掩模的欧式距离变换，即得棋盘格2d掩模距离变换；

其中，图像的棋盘格角点提取方法发展已比较完善，本发明使用已有方法提取图像中的棋盘格角点。获得摄像头所得图像中棋盘格的角点后，根据角点的像平面(u,v)坐标值以及棋盘格的固有参数计算棋盘格外围边框顶点的像平面坐标，即得棋盘格的二值掩模图；

如图2所示，为从棋盘格左上角附近角点像平面坐标估计棋盘格外边框左上角顶点像平面坐标的示意图。图2中，p1、p1+n、p2、p2+n分别是左上角顶点附近自动提取的棋盘格角点，其中n是棋盘格坐标系y方向上角点的个数，δs是棋盘格正方形边长，是待求的棋盘格左上角外边框顶点，是该顶点距离棋盘格图案左上角顶点在x轴方向上的偏移，是该顶点距离棋盘格图案左上角顶点在y轴方向上的偏移；不考虑畸变的情况下，棋盘格外围边框顶点的uv坐标由下式所示：

当棋盘格无外边框时，的uv坐标可以简化为下式：

式(1)、(2)中，分别是点p1、p1+n以及p2的像平面uv坐标；

以上关系式(1)和(2)的成立需要假设方块的角点提取满足正方形约束，且不考虑棋盘格图像的畸变。实验证明，由于棋盘格在观测样本中不会位于较大的视场内，因此棋盘格图像的畸变不明显。此外，棋盘格角点的提取精度在亚像素精度，基本可以满足正方形约束。因此基于上式的线性外推是可行的，事实证明，忽略畸变和角点提取噪声引入的棋盘格掩模提取误差基本可以忽略不计。

得到棋盘格的二值掩模图后，对棋盘格的二值掩模图进行了欧式距离变换，即位于棋盘格掩模内的像素坐标处的距离是0，越远离棋盘格掩模，距离值越大。

如图3a至图3d所示，为二进制掩模图生成距离变换的示意图，其中，图3a为7x7的二进制掩模图像块，其中值为1的区域为掩模区域；遍历图3a图像块中的每个像素，找到距离当前像素欧式距离最近的掩模区域的对应像素，如图3b所示，不同的灰度区域均代表着当前区域与同一个掩模区域内的像素点距离最近，其中每个灰度区域中数值表示对应掩模区域内像素的位置索引；计算当前像素与最近邻掩模区域像素的距离值，得到了二值掩模图的距离变换，如图3c所示，每个灰度区域中数值表为对应的距离值；图3d为距离变换场的灰度可视化图，灰度越深，表明当前像素与掩模区域距离越远。

欧式距离的掩模距离场可以非常巧妙的对区域配进行度量，并且具有良好的局部凸性。当每张图像上只存在一张棋盘格掩模时，可以保证在成像区域内对所有的观测值均具有良好的凸性，这一点对于迭代的快速收敛非常重要。

步骤三、将步骤一中激光雷达获取的目标点云与背景点云进行地面点剔除，然后通过点云差分的方式去除背景点；即对剔除地面点后的点云对进行基于kd树的knn最近邻搜索匹配，从而去除背景点云；

步骤三中，先滤除掉激光雷达获取目标点云与背景点云中的地面点以排除干扰，进而对目标点云与背景点云进行差分去除大多数复杂的背景。本发明中，通过将目标点云与背景点云差分来去除绝大多数背景点。由于车辆平台的振动、激光雷达旋转产生的振动以及激光点云的噪声等因素，使得即使车辆平台静止也无法使得目标点云的背景与背景点云完全重合。为了尽可能将背景点云滤除掉，对点云召回阈值进行了松弛，这一决定带来的影响会使得距离地面较近的棋盘格点会被认为与地面点过近而被滤除，从而破坏棋盘格点云的完整性，而点云提取的是否完整对最后外参估计有较重大的影响；因此需要先对地面点进行滤除，排除掉地面点的干扰。

其中，进行地面点剔除的具体方法为：将激光雷达获取的无序的激光点云有序化，生成距离图，在距离图的每列上进行地面点的判定；如图4所示为地面点滤除的示意图，其中pk-1、pk、pk+1等为同一列上的激光点云，同一列相邻行上的两点所构成的向量与水平面的夹角将用来衡量该点是否为地面点的重要依据，其判断依据如下式所示：

式(3)中集合为地面点的集合，θk为pk与pk+1所生成向量与水平面的夹角，θt为地面点判断的阈值，实验中一般取为2度；

步骤三中，为了防止复杂背景对棋盘格点云的提取产生干扰，通过点云差分的方式去除背景点的干扰。具体方法为：通过构建背景点云的kd树，使用knn方法寻找目标点云中与原始点云距离最近的点对，最近邻点对距离大于阈值的被认为是新增的点云而被过滤出来，即为去除背景点的点云；

通过点云差分的方式去除背景点采用如下公式：

式(4)中为相对背景新增的点集，pt为目标点云中的点，为搜索到的与pt距离最近的背景点云中的点，为目标帧去除了地面点的点集，为背景点云去除了地面点的点集，表示所有匹配点对欧式距离差，dt为所有匹配点对欧式距离差标准差的3倍。

相对背景新增的点云中还存在大量外点，我们必须将具有空间相关性的点云进一步聚类，从而将不包含棋盘格点云的点簇过滤掉。

步骤四、对步骤三中去除了背景点云与地面点云的剩下点云，即序列化点云，进行基于距离图深度连续性测度的点云分割，将具有空间相关性的点云簇分割开；然后对分割开的各个点云簇分别进行基于ransac算法的平面提取，并给出相应的包含平面显著性的置信度得分，且将置信度得分最高的点云簇作为棋盘格候选点云簇；接着再对棋盘格候选点云簇，根据提取的平面方程生成该点云簇的距离图，将距离图进行二值化后删除离散的小的联通区域以消除位于平面上但不属于棋盘格的外点，即得棋盘格点云；

具体的，通过下述公式进行置信度得分判定来将不包含棋盘格点云的点簇过滤掉：

通过式(5)计算每个候选点云簇的置信度得分scorecluster，其中，ninliers为当前点云簇的平面内点的数目，nouterliers为外点的数目，ncluster为当前簇所有点云的个数，为第i个点云簇所有点云的个数，为所有点云簇的点的总数，α与β分别是对应的系数，本发明中，α设置为0.3，β设置为0.7。

本发明根据棋盘格候选点云簇的最显著平面方程生成距离图，对距离图进行二值化并依据联通性进行外点的筛除，最终得到属于棋盘格的准确点云。本发明提取棋盘格点云的方法具有很强的环境适应性以及抗噪性，并且可以方便的拓展到观测场景有多块棋盘格的场景。

在应用时，操作员头部以及身子上的部分点与棋盘格处于同一平面上。事实上，操作员、支撑杆等于棋盘格接触的点云总会有一些处于棋盘格平面但是不属于棋盘格区域的外点。考虑到真实点云的噪声，为了提取到完整的棋盘格点云，往往会松弛棋盘格平面的平面度，这将进一步提高将上述外点误判为棋盘格点云的可能性，而这些外点是必须要滤除的。

本发明将候选棋盘格点云簇向该点云簇最显著的平面方程投影并计算每个点相对于平面的距离值，将该距离值有序化从而生成距离图图，对该距离图进行二值化，对二值图进行开运算以消除离散点和粘粘，进而提取出二值图中最大的连通区域，将该联通区域内的平面点最终筛选为棋盘格点云。

步骤五、对步骤二得到棋盘格2d掩模距离变换与步骤四得到的棋盘格点云构造后向投影在距离变换场上的能量函数损失函数，建立3d点集与2d区域的对应关系；

具体的，将步骤二得到棋盘格掩模在2d像平面上的距离变换以及步骤四得到的棋盘格的3d激光雷达点云，通过后向传播将激光点云投射到距离变换场中，构造基于距离变换场的能量函数，通过最小化该能量函数，求得精确的激光雷达相对于摄像头的外参变换；

其中，激光雷达相对于摄像头的外参变换的具体过程为：

(6-1)设当前棋盘格激光点云簇为q，对于每一个激光点qi，则

qi＝[xiyizi]^t，qi∈q；(6)

将每一个激光点qi投影到图像平面上得到点pi，则

pi∈p；(7)

其中，π()表示将像空间坐标投影到图像平面坐标的变换，即对于像空间坐标点pc＝[xcyczc]^t，有以下变换：

其中g()为摄像头畸变变换，fx、fy、cx、cy分别是摄像头镜头的x轴方向的焦距、y方向的焦距、x方向的主点以及y方向的主点，k1、k2、k3、p1、p2分别是镜头的径向畸变与切向畸变，pc为像空间坐标系下的点，xc、yc、zc为pc的坐标值，xcg为像空间齐次坐标系下的x分量，ycg为像空间齐次坐标系下的y分量；

(6-2)表示激光雷达坐标系到相机坐标系的变化，它是一个从se(3)李代数空间到se(3)李群空间的指数映射，其中为se(3)李代数，它可以表示为旋转向量和平移向量；

其中r为激光雷达坐标系到摄像头坐标系的旋转矩阵，t为激光雷达坐标系到摄像头坐标系的平移矩阵；

(6-3)基于式(6)至式(11)，以及距离变换场的能量损失函数的定义，即得激光雷达相对于摄像头的外参，如下式所示：

式中ξ^*为优化的se(3)空间中的外参，m为观测样本的数量，nj为第j对观测值的棋盘格点数，为第j对观测值的棋盘格掩模距离变换分布，wij为第j对观测值第i个棋盘格点的权重，qi为第j次观测的棋盘格点云中的第i个点。

由于该能量函数拥有良好的凸性并且求取解析雅可比矩阵，使用lm方法可快速收敛迭代到真值。

步骤六、基于步骤五所建立的3d点集与2d区域对应关系、并通过遗传算法，得到满足将3d点云投射到像平面区域的外参初值，然后通过lm方法对外参初值进一步优化得到精确的外参。

处于成像区域的能量函数是凸的，可以通过梯度下降方法求取最优值，但是成像区域以外施加了均一的较大的惩罚，因此会出现梯度消失的问题，为了使得本发明提供的外参标定方法可以从任一初值开始优化且不依赖于任何先验设置的信息，优化之前先使用遗传算法得到大致正确的初值。观测样本中棋盘格3d点云存在的少量非棋盘格点噪声因为样本平均的作用对整体的优化精度没有太大的影响，但为了进一步提高精度，本发明在优化过程中动态调整棋盘格点的权重，不断降低外点的权重以排除外点对精度的干扰。

数据采集车、智能网联汽车量产车辆出厂时均需要进行多传感器外参之间的精确标定，该过程往往需要能够鲁棒的标定出准确的外参并且不依赖具体环境。随着低成本传感器尤其是激光雷达的大量使用，激光雷达点云的噪声以及数据采集过程中的人为干扰将极大影响摄像头与激光雷达之间标定的精度、鲁棒性以及易用性，且现有的大量的标定方法为了弥补对场景的适应性，往往需要人工干预或者对实验场景进行限制，这大大增加了应用的难度和复杂性。本发明提出的基于对应掩模的端到端的摄像头与激光雷达外参标定方法求解外参数，可以实现全自动的精确的外参估计；寻求了一种图像中的掩模与激光点云中的点簇的对应关系，这一对应关系从整体上是明确的，但对于细节是模糊的，这一特性极大提高了系统抗噪能力与鲁棒性，简化了实验设置和步骤，达到了很高的精度。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。