激光雷达-摄像机联合标定靶和联合标定方法与流程

本发明属于多传感器联合标定技术领域，具体涉及一种激光雷达-摄像机联合标定靶，还涉及一种使用该联合标定靶对激光雷达-摄像机进行联合标定的方法。

背景技术：

在智能机器人的视觉导航中，使用多传感器数据融合技术，可以得到关于环境更加可靠、统一、精细的描述，以便决策、规划及控制。在进行像素级别的数据融合时，多传感器的标定是必须解决的问题之一。标定一般分为2个部分：各传感器自身参数的标定以及多传感器的联合标定。各传感器自身参数的标定是为了保证所采集数据的准确性，而多传感器的联合标定是为了多传感器数据的准确匹配。激光雷达与摄像机是机器人的主要传感器，激光雷达提供的距离信息和摄像机提供的色彩信息具有很强的互补性，因此融合两者的信息成为当今的研究热点。其中，摄像机标定问题已经得到较好的解决，如，基于径向排列约束的两步法、基于3d棋盘靶标的标定法以及平面模板标定法。关于激光雷达标定问题也有研究，如采用一根细杆子作为标定物面，如，针对摄像机和2d激光雷达，采用直角三角形平板或者采用梯形斜面标定板作为靶标，采用线条作为匹配特征得到标定结果。都是将激光雷达采集的距离信息图通过变换，使场景自然边缘更清晰突出，再提取边缘线条与摄像机拍摄的照片中检测出来的边缘相匹配；在传感器平台沿任意轨道移动过程中针对固定靶标多次采集数据，通过最小化不同视角拍摄的多帧间场景点的欧式投影偏差来得到标定结果等。然而由于扫描激光雷达的特殊性，它的角分辨率较低，通常仅为0.15°-3°，而且受混合像素的影响，距离突变的边缘部分往往得不到准确的距离值。

技术实现要素：

本发明实施例提供一种激光雷达-摄像机联合标定靶，在传感器和标定靶均不移动的情况下完成激光雷达和摄像机的联合标定，能够克服激光雷达角分辨率较低的实际使用局限性，距离突变的边缘部分能够得到准确的距离值，具有结构简单，制作成本低的特点，并适用于批量标定。

为了解决上述技术问题，本发明提供了一种激光雷达-摄像机联合标定靶，包括棋盘标定板和“l”字形标定板；所述“l”字形标定板包括第一平面立板和第二平面立板，所述第二平面立板相对于第一平面立板转角90°后固定在第一平面立板上；所述棋盘标定板平行于第一平面立板，且位于第一平面立板的视线前侧固定于第一平面立板上，所述棋盘标定板上排布有黑白棋盘格图案。

本发明一个较佳实施例中，进一步包括所述棋盘标定板在第一平面立板上位于第一平面立板和第二平面立板相接部位的下方。

本发明一个较佳实施例中，进一步包括所述第一平面立板和第二平面立板相接部位的延长线为铅垂线，所述黑白棋盘格图案的其中一条黑白分隔线的延长线与所述第一平面立板和第二平面立板相接部位的延长线重叠。

为了解决上述技术问题，本发明提供了一种激光雷达-摄像机联合标定方法，使用以上结构的联合标定靶对激光雷达和摄像机进行联合标定，包括以下步骤，

(1)激光雷达扫描“l”字形标定板，获取激光雷达和“l”字形标定板之间的相对位置关系[r1,t1]；

(2)摄像头拍摄棋盘标定板，获取摄像机和棋盘标定板之间的相对位置关系[r2,t2]；

(3)根据联合标定靶的结构获取棋盘标定板和“l”字形标定板之间的相对位置关系[r3,t3]；

(4)根据激光雷达和“l”字形标定板之间的相对位置关系[r1,t1]、摄像机和棋盘标定板之间的相对位置关系[r2,t2]和棋盘标定板和“l”字形标定板之间的相对位置关系[r3,t3]，确定激光雷达和摄像机之间的相对位置关系[r,t]。

本发明一个较佳实施例中，进一步包括步骤(1)中，获取激光雷达和“l”字形标定板之间相对位置关系[r1,t1]的过程为：

s1，激光雷达连续扫描第一平面立板和第二平面立板，获取打在第一平面立板和第二平面立板上的所有雷达点；

s2，筛选出属于第一平面立板的雷达点和属于第二平面立板的雷达点；

s3，基于最小二乘直线拟合法拟合属于第一平面立板的所有雷达点，获取第一条直线方程l1；基于最小二乘直线拟合法拟合属于第二平面立板的所有雷达点，获取第二条直线方程l2；

s4，计算第一条直线和第二条直线的交点p；

s5，根据激光雷达和“l”字形标定板之间的高度差确定以交点p为原点的“l”字形标定板坐标系。

本发明一个较佳实施例中，进一步包括步骤s2中，筛选雷达点的过程为，

当激光雷达自第二平面立板向第一平面立板扫描时，根据第二平面立板的长度预测打在第二平面立板上的雷达点有n(n为大于7的整数)个，基于最小二乘直线拟合法拟合第一个雷达点、第二个雷达点……第n-5个雷达点，获取筛选直线方程l3；

以所述筛选直线为基础确定位于第二平面立板和第一平面立板之间的分界雷达点，位于所述分界雷达点之前的所有雷达点为属于第二平面立板的雷达点，分界雷达点和以后的所有雷达点为属于第一平面立板的雷达点。

本发明一个较佳实施例中，进一步包括确定所述分界雷达点的过程为，

计算并判断第n-4个雷达点到筛选直线的距离是否满足激光雷达的测距精度：

若，第n-4个雷达点到筛选直线l3的距离满足激光雷达的测距精度，则第n-4个雷达点属于第二平面立板上的雷达点，继续判断第n-3个雷达点到筛选直线l3的距离是否满足激光雷达的测距精度；否则，第n-4个雷达点为分界雷达点；

若，第n-3个雷达点到筛选直线l3的距离满足激光雷达的测距精度，则第n-3个雷达点属于第二平面立板上的雷达点，继续判断第n-2个雷达点到筛选直线l3的距离是否满足激光雷达的测距精度；否则，第n-3个雷达点为分界雷达点；

以此类推，直至筛选出位于第二平面立板和第一平面立板之间的分界雷达点。

本发明一个较佳实施例中，进一步包括步骤(2)中，基于pnp算法获取摄像机和棋盘标定板之间的相对位置关系[r2,t2]。

本发明的有益效果：

本发明的激光雷达-摄像机联合标定靶，在传感器和标定靶均不移动的情况下完成激光雷达和摄像机的联合标定，能够克服激光雷达角分辨率较低的实际使用局限性，距离突变的边缘部分能够得到准确的距离值，具有结构简单，制作成本低的特点，并适用于批量标定。

本发明的激光雷法-摄像机联合标定方法，使用特定结构设计的联合标定靶以快速的对激光雷法和摄像机进行联合标定，可适用于批量标定，节约标定成本。其中，采用拟合方法标定激光雷达，准确性更高，更适合低分辨率激光雷达的联合标定。该联合标定方法还可以推广到单场景多摄像头与激光雷达的联合标定。

附图说明

图1是本发明优选实施例中联合标定靶的结构示意图；

图2是“l”字形标定板上雷达点的分布示意图；

图3是使用图1所示标定靶进行激光雷达摄像机联合标定时的位置标记图。

图中标号说明：2-棋盘标定板，4-第一平面立板，6-第二平面立板，8-棋盘格图案。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

实施例一

本实施例公开一种激光雷达-摄像机联合标定靶，参照图1所示，该联合标定靶包括棋盘标定板2和“l”字形标定板；上述“l”字形标定板包括第一平面立板4和第二平面立板6，上述第二平面立板6相对于第一平面立板4转角90°后固定在第一平面立板4上；上述棋盘标定板2平行于第一平面立板4，且位于第一平面立板4的视线前侧固定于第一平面立板4上，上述棋盘标定板2上排布有黑白棋盘格图案8。

以上结构的联合标定靶，棋盘标定板2为平面板结构，其上规则排布黑白棋盘格图案8；现有技术中，借助具有黑白棋盘格图案8的棋盘标定板2对摄像机进行标定，比如，基于棋盘标定法和pnp求姿态法求得摄像机的内参数与到棋盘标定板的外参数，此处的外参数为摄像机坐标系到棋盘坐标系之间的相对位置关系(包括平移关系和旋转关系)。

本实施例优化结构设计的“l”字形的标定板，具有作为主标定板的第一平面立板4和辅标定板的第二平面立板6，第二平面立板6垂直于第一平面立板4，两者相接部位的延长线为铅垂线。棋盘标定板2在第一平面立板4上位于第一平面立板4和第二平面立板6相接部位的下方。其中，上述黑白棋盘格图案8的其中一条黑白分隔线的延长线与上述第一平面立板4和第二平面立板6相接部位的延长线重叠。

以上结构设计的激光雷达-摄像机联合标定靶，在传感器和标定靶都不移动的情况下完成激光雷达和摄像机的联合标定，能够克服激光雷达角分辨率较低的实际使用局限性，距离突变的边缘部分能够得到准确的距离值，具有结构简单，制作成本低的特点，并适用于批量标定。

实施例二

本实施例公开一种激光雷达-摄像机联合标定方法，使用实施例一公开的联合标定靶对激光雷达-摄像机进行联合标定，标定靶放在两台摄像机的两个摄像头的视野范围内，并放在距离激光雷达2米左右的距离(激光雷达的测距范围为4米)。此处，摄像机的内参数已经使用现有技术中的方法标定好。

该联合标定方法包括以下具体步骤：

(1)激光雷达扫描“l”字形标定板，获取激光雷达和“l”字形标定板之间的相对位置关系[r1,t1]。

该步骤的具体实施过程如下：

s1，激光雷达连续扫描第一平面立板4和第二平面立板6，可以自第一平面立板4向第二平面立板6方向连续扫描，或者自第二平面立板6向第一平面立板4方向连续扫描。如图2所示，激光雷达自第二平面立板6向第一平面立板4方向连续扫描，激光雷达的光线数据依次打在第二平面立板6和第一平面立板4上，由于激光雷达测距误差的原因，点打在标定板上的联合形状不一定是直线的形状，而是在小区域内成波浪状。激光雷达扫描后在第一平面立板4和第二平面立板6上有多个离散的雷达点，获取打在第一平面立板4和第二平面立板6上的所有雷达点。

激光雷达连续扫描第一平面立板4和第二平面立板6，而第二平面立板6垂直固定在第一平面立板4上，离散的雷达点整体也呈现拐弯90度分布。本申请基于最小二乘直线拟合法来拟合第一平面立板4和第二平面立板6上的雷达点，联合标定靶的结构设计，使得分布在第一平面立板4和第二平面立板6上离线雷达点拟合后的直线在两者的相接部处相交。在拟合直线前，需要对待拟合的点做预处理，利于阈值判断两条相交直线上的“归属点”问题，即哪些雷达点属于第一平面立板，哪些雷达点属于第二平面立板。当激光雷达自第二平面立板6向第一平面立板4扫描时，因为扫描只有“l”字形标定板，故从激光扫描方向开始，初次有障碍物的地方一定是标定板的左侧。具体基于以下方式筛选出属于第一平面立板4的雷达点和属于第二平面立板6的雷达点：

根据第二平面立板6的长度预测打在第二平面立板6上的雷达点有n(n为大于7的整数)个，基于最小二乘直线拟合法拟合第二平面立板6上的第一个雷达点、第二个雷达点……第n-5个雷达点，获取筛选直线方程l3；

以上述筛选直线为基础确定位于第二平面立板和第一平面立板之间的分界雷达点，其中，确定所述分界雷达点的过程为，

计算并判断第n-4个雷达点到筛选直线的距离是否满足激光雷达的测距精度：

若，第n-4个雷达点到筛选直线l3的距离满足激光雷达的测距精度，则第n-4个雷达点属于第二平面立板上的雷达点，继续判断第n-3个雷达点到筛选直线l3的距离是否满足激光雷达的测距精度；否则，第n-4个雷达点为分界雷达点；

若，第n-3个雷达点到筛选直线l3的距离满足激光雷达的测距精度，则第n-3个雷达点属于第二平面立板上的雷达点，继续判断第n-2个雷达点到筛选直线l3的距离是否满足激光雷达的测距精度；否则，第n-3个雷达点为分界雷达点；

以此类推，直至筛选出位于第二平面立板和第一平面立板之间的分界雷达点，位于所述分界雷达点之前的所有雷达点为属于第二平面立板的雷达点，分界雷达点和以后的所有雷达点为属于第一平面立板的雷达点。

s3，基于最小二乘直线拟合法拟合属于第一平面立板的所有雷达点，获取第一条直线方程l1；基于最小二乘直线拟合法拟合属于第二平面立板的所有雷达点，获取第二条直线方程l2。基于最小二乘直线拟合法对多个离散点进行拟合获取拟合直线方程为现有技术，此处不再赘述。

s4，计算第一条直线和第二条直线的交点p。获取两条直线的方程后，通过解方程组的方式获取两条直线交点坐标为现有技术，此处不再赘述。

s5，如图3所示，根据激光雷达和“l”字形标定板之间的高度差确定以交点p为原点的“l”字形标定板坐标系。此处，“l”字形标定板相对于地面的高度，以及激光雷达相对于地面的高度已知，即两者之间的高度差已知，交点p的坐标已知，激光雷达的内参数坐标系已知，基于以上三个已知量，可以唯一确定“l”字形标定板以交点p为原点的坐标系，以此可以唯一确定激光雷达和“l”字形标定板之间的相对位置关系[r1,t1]。

(2)摄像头拍摄棋盘标定板，获取摄像机和棋盘标定板之间的相对位置关系[r2,t2]。此处，基于现有技术中的pnp算法获取摄像机和棋盘标定板之间的相对位置关系[r2,t2]。

(3)根据联合标定靶的结构设计获取棋盘标定板和“l”字形标定板之间的相对位置关系[r3,t3]。此处，基于联合标定靶的结构设计，棋盘标定板的原点o位于交点p的正下方，两者之间的高度差δh2唯一确定；即棋盘标定板和“l”字形标定板之间的相对位置关系[r3,t3]唯一确定。

(4)根据以上确定的激光雷达和“l”字形标定板之间的相对位置关系[r1,t1]、摄像机和棋盘标定板之间的相对位置关系[r2,t2]和棋盘标定板和“l”字形标定板之间的相对位置关系[r3,t3]，确定激光雷达和摄像机之间的相对位置关系[r,t]；以此，完成激光雷达和摄像机的联合标定。

本发明的激光雷法-摄像机联合标定方法，使用特定结构设计的联合标定靶能够快速的对激光雷法和摄像机进行联合标定，可适用于批量标定，节约标定成本。其中，采用拟合方法标定激光雷达，准确性更高，更适合低分辨率激光雷达的联合标定。该联合标定方法还可以推广到单场景多摄像头与激光雷达的联合标定。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。