一种用于激光雷达与相机联合标定的标定装置及标定方法与流程

本发明涉及激光雷达数据处理、图像数据处理以及多传感器数据融合领域，具体涉及一种用于激光雷达与相机联合标定的标定装置及其标定方法。

背景技术：

目前对于激光雷达与相机的联合应用愈加广泛，二者进行数据融合的前提是进行联合标定，即获取激光雷达坐标系与相机像素坐标系之间的关系。特征点法是最常用且简单的标定方法，其标定误差主要来源于特征点对分别在激光雷达坐标系与图像像素坐标系下特征点坐标的确定，主要与标定板的设计及相应标定方法有关，因此标定板的结构设计及其对应的标定方法至关重要，是保证后期数据处理准确性的前提。

用于激光雷达与相机联合标定的标定板设计形态各异，没有统一的标定板形状与标定方法。对于相机标定，多采用黑白棋盘格作为标定板，利用其较易检测到的角点进行标定与畸变校准；但是激光雷达只对深度信息敏感，黑白棋盘格不具有深度信息，所以无法利用其进行激光雷达标定。另外由于激光扫描线的不可见性无法在相机采集的图像中准确获得对应特征点的位置及坐标，因此以往的各种标定方法都存在很大的人工误差。

技术实现要素：

本发明的目的是为了克服现有技术中的不足，提供一种用于激光雷达与相机联合标定的标定装置及其标定方法，解决目前标定装置及标定方法不统一、适应性差、标定装置无法同时满足激光雷达与相机的标定需求且误差较大的问题。

本发明的目的是通过以下技术方案实现的：

一种用于激光雷达与相机联合标定的标定装置包括标定板、空心四面体挡板和支架，其中标定板上设置有深度信息和角点信息；

所述标定板由高宽比为1：2的矩形板构成，标定板的正面绘制有9×17个黑白相间的正方形格子，所述正方形格子的边长为l，标定板的中心设置有十字标志；标定板的左右两侧分别设置有宽度为l/2的标定板固定处，以最左下方的正方形格子的左下顶点为原点o，向右为x轴正方向，向上为y轴正方向，建立标定板坐标系，坐标系单位长度为l，则各正方形格子的顶点坐标从左到右，从下到上依次表示为：(0，0),(0，1)，(0，2)......(0，17)；(1，0),(1，1)，(1，2)......(1，17)，···(9，0),(9，1)，(9，2)......(9，17)；所述标定板中设置有四个等腰直角三角形ti(i＝1，2，3，4)，且四个等腰直角三角形位置打通形成三角形空洞，位于标定板正面的三角形空洞的顶点坐标分别为：(1，5)(4，8)(7，5)、(10，5)(13，8)(16，5)、(2，1)(5，4)(8，1)及(9，1)(12，4)(15，1)，各三角形空洞均满足腰长为底边长为6l；

所述空心四面体挡板由两个边长为的正三角形板构成，空心四面体挡板分别安装于各三角形空洞背面，空心四面体挡板的底面与三角形空洞等大，即直角边长为斜边长为6l；

所述支架相对称的设置于所述标定板的两侧用于固定标定板，支架的宽为l/2，支架的底部设置有底座，支架上设置有固定凹槽，所述固定凹槽的宽度与标定板的厚度相匹配，所述支架从上到下等间距的设置有前后贯通的通孔，所述通孔下方设置有位置标记，通过在不同高度的通孔内插入阻隔棒以调整标定板的高度。

其中，所述底座为棱台形结构，所述底座和支架通过螺钉连接固定；所述阻隔棒上设有螺纹，插入通孔后可通过对侧使用螺母进行固定。

其中，空心四面体挡板采用以下方式制作安装：

所述空心四面体挡板由长为宽为的长方形板裁切弯压而成，裁切部分分别为直角边为与的长方形左下角与右下角以及直角边为与的长方形左上角与右上角；弯压后产生的空心四面体挡板分为突起部分与非突起部分，突起部分与标定板构成四面体状，即空心四面体挡板突起部分非公共的两条边与三角形空洞的两条直角边完全贴合，将空心四面体挡板固定在三角形空洞后，正视标定板无空洞出现；空心四面体挡板突起部分两侧各有一个非突起部分，各非突起部分设有两个通孔，在标定板对应位置打上通孔后可利用螺丝与螺母可将空心四面体挡板固定在标定板上；

一种用于激光雷达与相机联合标定的标定方法，基于上述标定装置，可通过“拟合插值法”寻找特征点对进行激光雷达与相机进行联合标定，具体包括以下步骤：

步骤s1：调整标定板的位置和高度，使标定板与激光雷达、相机的视场角及分辨率相匹配，标定板高度设置应保证标定板主体中心十字标志与激光雷达中心高度一致；

步骤s2：使用激光雷达扫描标定板正面，同时使用相机拍照；

步骤s3：根据标定板结构，激光雷达一条扫描线将会存在6个距离的突变点，上述6个突变点在激光雷达坐标系下的坐标可通过点云直线拟合后求交点得知，选取扫描线与标定板上直角三角形直角边相交的4个距离突变点作为特征点，从左至右依次标记为m1、m2、m3、m4；

步骤s4：根据步骤s3中直线拟合求得的交点坐标可计算得到|m1m2|、|m2m3|、|m3m4|，根据上述距离值组合判断扫描线的位置区域；

步骤s5：根据标定板坐标系，每个等腰直角三角形的边都有对应的直线方程，对于m1点假设其x坐标为xm1，根据直线方程及m1点所在行数，即当前扫描线所在行数，求得其y坐标ym1＝f(xm1)；同理应用于m2、m3、m4点，将每个点坐标统一至只存在单未知数；

步骤s6：根据上述4点坐标、距离值及共线条件，求解出以上4点在直角坐标系中的坐标，具体求解方式如下：

设各点坐标为m1(xm1，ym1)、m2(xm2，ym2)、m3(xm3，ym3)、m4(xm4，ym4)，|m1m2|＝l1、|m3m4|＝l2，则有

步骤s7：通过处理相机拍摄的图像获得标定板各个角点在像素坐标系下的坐标，最后结合m1、m2、m3、m44点以及以上4点所在斜边对应的角点在直角坐标系中的坐标的对应关系，求解得到m1、m2、m3、m44点的像素坐标，具体求解如下：

设在标定板坐标系中m1点所在斜边对应的角点m1’、m1”及m1点的坐标分别为(x'm1,y'm1)(x”m1,y”m1)(xm1,ym1)，像素坐标系中上述3点坐标分别为(u1,v1)(u2,v2)(u,v)，则有

步骤s8：通过上述步骤获得4组特征点分别在激光雷达坐标系下的坐标与对应像素坐标系下的坐标，对于多线激光雷达假设雷达线数为n(n≥2)，将获得4n组特征点(4n≥5)，将特征点坐标代入坐标系转换方程求得激光雷达坐标系与相机坐标系之间的转换关系；对于单线激光雷达逐次调整标定板高度，分时获取更多特征点对信息，最终完成标定。

其中，步骤s4中的具体判断方法如下：

a)|m1m2|≤2l且7l<|m2m3|≤9l，表明扫描线在从上往下数第二行格子；

b)2l<|m1m2|≤4l且5l<|m2m3|≤7l，表明扫描线在从上往下数第三行；

c)4l<|m1m2|≤6l且3l<|m2m3|≤5l，表明扫描线在从上往下数第四行；

d)|m1m2|≤2l且5l<|m2m3|≤7l，表明扫描线在从上往下数第六行；

e)2l<|m1m2|≤4l且3l<|m2m3|≤5l，表明扫描线在从上往下数第七行；

f)4l<|m1m2|≤6l且l<|m2m3|≤3l，表明扫描线在从上往下数第八行。

其中，步骤s7中m1、m2、m3、m44点以及以上4点所在斜边对应的角点在直角坐标系中的坐标的对应关系包括共线关系以及各点在斜边两个临近角点间的距离分隔比。

与现有技术相比，本发明的技术方案所带来的有益效果是：

1.本发明通过在黑白棋盘格上建立具有深度信息的结构设计了一种可应用于激光雷达与相机联合标定的标定装置，相比于现在存在的各种标定板，综合考虑了图像处理过程中对于角点的高敏感度以及激光雷达数据处理时对于深度信息的高敏感度，可以快速实现激光雷达坐标系与相机坐标系之间的统一。

2.本发明提出了针对本标定装置的标定方法，通过直线拟合求解突变点在激光雷达坐标系下坐标，利用角点坐标与突变点坐标的共线、比例关系求解突变点在像素坐标系下的坐标，降低人工误差与随机误差，提高标定结果的准确性。

3.本发明实用性强、适用性广且安装简单，主要体现在：既可应用于单线激光雷达与相机的联合标定又可应用于多线激光雷达与相机的联合标定，又因本标定装置保留了黑白棋盘格的布局，也可用于单目相机与双目相机的标定；采用可调高度的支架固定的方式，方便应用于不同高度的标定情况；利用三角形形状进行特征点确定，三角形从上到下由小变大的结构使标定板适用于不同分辨率的激光雷达及相机；本标定装置结构简单，各部分均可通过现有板材通过喷涂、裁剪、弯压等操作快速成型，且各部分之间通过螺钉螺母连接，组装拆卸方便快捷，便于存放。

附图说明

图1是本发明标定装置中的标定板部分及标定板坐标系建立示意图；

图2是本发明标定装置中的空心四面体挡板裁切图与立体结构图；

图3是本发明标定装置中标定板与空心四面体挡板连接后侧视示意图；

图4是本发明标定装置中的支架结构示意图；

图5是本发明标定装置中的支架侧视示意图；

图6是本发明标定装置组装后的立体效果示意图；

图7是本发明标定方法中激光雷达扫描数据模拟图(以单扫描线为例)；

图8是本发明标定方法中特征点直角坐标系坐标计算模拟图(以单扫描线为例)；

图9是本发明标定方法中特征点图像像素坐标计算模拟图(以单扫描线为例)。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明是一种用于激光雷达与相机联合标定的标定装置及其标定方法，其标定装置包括同时存在深度信息以及角点信息的标定板、空心四面体挡板以及支架，标定方法即利用“拟合插值法”寻找特征点对进行激光雷达与相机联合标定的标定方法。

其中，标定装置中标定板为高宽比为1：2的矩形板，如图1所示，标定板中心设有十字标志，以十字标志为中心生成边长为l的正方形，以该正方形为对称中心拓展生成为9×17个黑白相间的正方形格子部分100，标定板左右两侧各有宽度为l/2的标定板固定处101，以最左下方的正方形的左下顶点为原点o，向右为x轴正方向，向上为y轴正方向，建立标定板坐标系，坐标系单位长度为l，则各正方形格子的顶点从左到右，从下到上依次可表示为：(0，0),(0，1)，(0，2)......(0，17)；(1，0),(1，1)，(1，2)......(1，17)，···(9，0),(9，1)，(9，2)......(9，17)。其中，标定板上设置4个等腰直角三角形ti(i＝1，2，3，4)并将上述等腰三角形位置打通形成三角形空洞，三角形空洞的顶点坐标分别为：a1(4，8)、b1(1，5)、c1(7，5)，a2(13，8)、b2(10，5)、c2(16，5)，a3(5，4)、b3(2，1)、c3(8，1)，a4(12，4)、b4(9，1)、c4(15，1)，各等腰直角三角形直角腰长为底边长为6l；

具体特殊设计的空心四面体挡板连接在上述的三角形空洞后面，即向后突起，空心四面体挡板的底面与三角形空洞等大(即直角边长为斜边长为6l)，其中两个侧面均为正三角形(边长为)；

具体的空心四面体挡板采用如下方式制作安装：该空心四面体挡板可由长为宽为的长方形板裁切弯压而成，裁切部分分别为以bd和cd为斜边、直角边为与的长方形左下角与右下角以及以ef和gi为斜边、直角边为与的长方形左上角与右上角；沿ab、ad、ac进行板材弯压，弯压后的挡板分可为突起部分102与非突起部分103(如图2右侧示图)，突起部分与标定板构成四面体状，即空心四面体挡板突起部分非公共的两条边(即图2右侧视图中的ab、ac)与三角形空洞的两条直角边(即图1中的aibi、aici，其中i＝1，2，3，4)完全贴合，此时，固定该挡板后，正视该标定板无空洞出现；空心四面体挡板突起部分两侧各有一个非突起部分，各非突起部分打有两个通孔即h1、h2、h3、h4，在标定板对应位置打上通孔后可利用螺丝104与螺母105可将空心四面体挡板固定在标定板上，固定后侧视图如图3所示，其中右侧为正面，左侧为背面；

标定板采用左右两个宽为l/2的支架108固定，如图4所示，支架均采用棱台106作为底座，支架108上设置有固定凹槽，固定凹槽的宽度与标定板厚度相匹配，支架从上到下等间距的设置有前后贯通的通孔107，通孔107下方标有相对位置标记，棱台与支架通过螺钉连接固定，侧视图如图5所示，使用时应将标定板插在左右支架的凹槽内，通过在不同高度的通孔处插入阻隔棒(如图4中109)可以调整标定板的高度，阻隔棒上打有螺纹，插入后可在对侧使用螺母(如图4中110)固定，整体组装效果图如图6所示；

对应上述标定板，利用“拟合插值法”寻找特征点对进行激光雷达与相机联合标定的标定方法，具体如下：

步骤s1：调整标定板的位置和高度，使之与激光雷达、相机的视场角及分辨率相匹配，标定板主体高度应保证标定板主体中心十字标志与激光雷达中心高度大体相当；

步骤s2：使用激光雷达扫描该标定板，同时使用相机拍照；

步骤s3：根据标定板结构，激光雷达一条扫描线将会存在6个距离的突变点，如图7所示，该6个点在激光雷达坐标系下的坐标可以通过点云直线拟合后求交点得知，选取扫描线与标定板上直角三角形直角边相交的的4个距离突变点作为特征点，从左至右依次记为m1、m2、m3、m4，如图8所示；

步骤s4：根据步骤s3中直线拟合后求得的交点坐标可以得到|m1m2|、|m2m3|、|m3m4|，根据其距离值组合可判断扫描线的位置区域，具体判断方法如下：

a)|m1m2|≤2l且7l<|m2m3|≤9l，表明扫描线在从上往下数第二行格子；

b)2l<|m1m2|≤4l且5l<|m2m3|≤7l，表明扫描线在从上往下数第三行；

c)4l<|m1m2|≤6l且3l<|m2m3|≤5l，表明扫描线在从上往下数第四行；

d)|m1m2|≤2l且5l<|m2m3|≤7l，表明扫描线在从上往下数第六行；

e)2l<|m1m2|≤4l且3l<|m2m3|≤5l，表明扫描线在从上往下数第七行；

f)4l<|m1m2|≤6l且l<|m2m3|≤3l，表明扫描线在从上往下数第八行；

步骤s5：根据上文所述的标定板坐标系，每个等腰直角三角形的边都有其对应的直线方程，那么对于m1点假设其x坐标为xm1，根据直线方程及m1点所在行数(即当前扫描线所在行数)即可求得其y坐标ym1＝f(xm1)具体如下：

假设根据步骤s4得出，2l<|m1m2|≤4l且3l<|m2m3|≤5l，即扫描线扫描到第七行，则m1点所在直线为y＝x-l，则m1点的坐标为(xm1，xm1-l)；同理m2点坐标为(xm2，-xm2+9l)，m3点坐标为(xm3，xm3-8l)，m4点坐标为(xm4，-xm4+16l)；

步骤s6：根据上述4点坐标、距离值及共线条件，即可求解出以上四点在直角坐标系中的坐标，具体求解方式如下：

设|m1m2|＝l1、|m3m4|＝l2，则有

步骤s7：通过处理相机拍摄的图像获得标定板各个角点在像素坐标系下的坐标，最后结合m1、m2、m3、m44点以及以上4点所在斜边对应的角点在直角坐标系中的坐标的对应关系(共线关系以及各点在斜边两个临近角点间的距离分隔比)即可求解得到m1、m2、m3、m44点的像素坐标，具体求解如下：

如图9所示，设在标定板坐标系中m1点所在斜边对应的角点m1’、m1”及m1点的坐标分别为(x'm1,y'm1)(x”m1,y”m1)(xm1,ym1)，像素坐标系中上述3点坐标分别为(u1,v1)(u2,v2)(u,v)，则有

步骤s8：通过上述步骤可以获得4组特征点分别在激光雷达坐标系下的坐标与对应的图像像素坐标系下的坐标，对于多线激光雷达假设雷达线数为n(n≥2)，将获得4n组特征点(4n≥5)，将各特征点坐标带入坐标系转换方程(3)即可求得激光雷达坐标系与相机坐标系之间的转换关系(即求解转换矩阵)；对于单线激光雷达由于一次扫描无法获得足够多特征点对的情况，可逐次调整标定板高度量，分时获取足够的特征点对信息。

式(3)中，(xn，yn，zn)为特征点在激光雷达坐标系下的坐标，(un，vn)为特征点在对应的图像像素坐标系下的坐标，n为获取的特征点个数，参数m构成的3×4矩阵为转换矩阵。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。