激光雷达和深度相机联合标定的标定板、标定方法和系统

1.本发明属于自主移动机器人技术领域，更具体地，涉及一种激光雷达和深度相机联合标定的标定板、标定方法和系统。


背景技术：

2.2d激光雷达和深度相机融合能很好弥补机器人环境感知特征少、受环境光线影响的问题，保障了移动机器人的高精度运行，并极大提高了移动机器人系统的鲁棒性。2d激光雷达和深度相机的联合标定旨在确定2d激光雷达深度相机间的坐标转换关系，但由于2d激光雷达的扫描平面很难在深度相机中发现，很难直接得到观测点在激光雷达坐标系下和深度相机坐标系下的对应关系，必需借助特定的标定板或一定的约束关系得到观测点在两坐标系下的对应位置。
3.目前已有方法可以实现2d激光雷达和相机的联合标定，一种典型方法是通过特定的镂空标定板捕获2d激光雷达的扫描特征信息，将标定板放置在显示器上，通过计算机将激光点复现在显示器上，再由相机去观测带有一条激光扫描线背景的标定板，得到相机坐标系和激光雷达坐标系下的对应点，利用最小二乘法求解相机和激光雷达的坐标转换关系；还有一种方法是通过结构化的环境，通过墙柱或墙角特征，利用激光雷达扫描到的点在相机观测到的墙柱或墙角线上作为约束，利用最小二乘法求解出激光雷达坐标系和相机坐标系间的旋转矩阵和平移矩阵。现有标定方法有的对于环境有较强的依赖性，在标定过程中需要进行多个角度观测，这就对环境的空旷性提出了更高的要求；有的观测次数多，需要进行十二次以上的不同角度不同位置才能确定激光雷达和相机的坐标转换关系，标定过程繁琐，效率低下；部分标定方法是在标定模型移动的情况下达到标定的效果，这就带来了深度相机和2d激光雷达观测数据时间同步的问题，时间不同步将会产生数据帧不匹配的现象。


技术实现要素：

4.针对相关技术的缺陷，本发明的目的在于提供一种激光雷达和深度相机联合标定的标定板、标定方法和系统，旨在解决现有联合标定方法的标定过程繁琐、数据帧时间不同步等问题。
5.为实现上述目的，本发明的一个方面提供了一种2d激光雷达和深度相机联合标定的标定板，包括第一平板、第二平板和第三平板；
6.所述第一平板和第二平板均为三角形，所述第一平板的三条边分别为ab边、bc边和ac边，所述第一平板的三条边分别为ad边、dc边和ac边所述第一平板和第二平板的ac边长度相等且重合，且所述第一平板和第二平板不共面；
7.所述第一平板的ab边和第二平板的ad边共一个顶点，且ab边与ad边位于所述第三平板所在平面内。
8.可选地，还包括第四平板；
9.所述第一平板的bc边和第二平板的dc边共一个顶点，且bc边与dc边位于所述第四平板所在平面内。
10.本发明的另一方面还提供了一种基于上述标定板的联合标定方法，其特征在于，包括以下步骤：
11.s1、将所述标定板置于2d激光雷达和深度相机的视野中，获取所述2d激光雷达和深度相机的观测数据；
12.s2、拟合所述2d激光雷达的扫描平面与所述第一平板、第二平板和第三平板的三条交线，获取所述三条交线的三个交点，并投影到相机坐标系下，其中，所述三个交点由所述三条交线两两相交得到；
13.s3、识别并提取所述标定板上的深度相机观测数据，根据观测数据在相机坐标系下的三维坐标点拟合得到所述第一平板、第二平板和第三平板分别所在的三个平面的平面方程，进而获取三条交线ab、ac、ad的空间直线方程，其中，所述三条交线ab、ac、ad由所述第一平板、第二平板和第三平板分别所在的三个平面两两相交得到；
14.s4、判断此时坐标转换参数是否已知；若是，继续执行步骤s5，若否，则执行步骤s6；
15.s5、进行误差校验，若通过误差校验，则结束标定过程；若未通过，执行步骤s6；
16.s6、利用所述三个交点在所述三条交线ab、ac、ad的空间直线方程上的约束关系，建立约束方程并求解而得到坐标转换参数；然后，调整标定模型相对于所述标定板的位姿，返回步骤s1。
17.进一步地，所述步骤s2中，拟合所述2d激光雷达的扫描平面与所述第一平板、第二平板和第三平板的三条交线，获取所述三条交线的三个交点包括：
18.识别并提取所述2d激光雷达落在所述标定板上的观测数据，利用相邻两点间的距离和斜率进行直线特征识别和分割，并将分割后的观测点拟合成三条直线；联立三条直线中的任意两条，获得三个交点在2d激光雷达坐标系下的坐标。
19.进一步地，所述步骤s2中，按照下列公式将三个交点投影到相机坐标系下：
[0020][0021]
式中，式中，表示2d激光雷达坐标系到相机坐标系的旋转矩阵，表示2d激光雷达坐标系到相机坐标系的平移矩阵，为2d激光雷达坐标系下的点坐标，为相机坐标系下的点坐标。
[0022]
进一步地，所述步骤s5具体包括：
[0023]
改变标定模型或是标定板的位姿，求解所述三个交点以及所述三条交线ab、ac、ad的直线方程，计算所述三个交点各自到所述三条交线ab、ac、ad的距离，若小于等于设定阈值，则判断误差校验已通过，无需修正；若大于所述设定阈值，则执行步骤s6。
[0024]
进一步地，所述步骤s6中，利用最小二乘法求解所述约束方程。
[0025]
进一步地，所述步骤s1中，设定深度相机左相机坐标系为基准坐标系。
[0026]
进一步地，所述步骤s3中，识别并提取所述标定板上的深度相机观测数据包括：
[0027]
提取所述第一平板、第二平板和第三平板在深度相机观测下的像素点，根据深度相机提供的sdk函数获取对应像素点在基准坐标系下的三维坐标值。
[0028]
本发明的又一方面还提供了一种2d激光雷达和深度相机联合标定的标定系统，包括：计算机可读存储介质和处理器；
[0029]
所述计算机可读存储介质用于存储可执行指令；
[0030]
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行上述的联合标定方法。
[0031]
通过本发明所构思的以上技术方案，与现有技术相比，能够取得下列有益效果：
[0032]
1、标定过程简单、标定效率高。只需要将标定板放置在2d激光雷达和深度相机能共同观测的地方，通过两个不同位置角度的观测数据即可求解出2d激光雷达和深度相机的坐标转换关系。
[0033]
2、本发明的联合标定方法每次调整位姿后，标定模型和标定板都是静止的，因此避免了2d激光雷达和深度相机数据帧时间不同步问题。
[0034]
3、标定板制作简单。标定板只需确保两个具有一定夹角的相交三角面同时与另一个平面相交，三个面两两相交形成三条相交直线，无垂直度和三角面夹角的具体角度要求，普通3d打印即可完成标定板的制作。
[0035]
4、无安装条件和环境条件限制。标定过程中对2d激光雷达和深度相机的水平安装和倾斜安装没有限制，对标定环境地面是否水平没有要求。对标定板放置位置没有要求，只需2d激光雷达的扫描点能落在关键特征面上即可。
[0036]
5、抗干扰能力强。通过前两次的观测数据得到的解作为初值，再次多次观测，根据点到直线的距离小于某个阈值实现2d激光雷达和深度相机标定结果的在线修正。
[0037]
6、适用范围广。本发明的标定板及标定方法除了实现2d激光雷达和深度相机联合标定外，还可以实现2d激光雷达的安装位姿标定。
附图说明
[0038]
图1是本发明实施例所采用的标定板示意图；
[0039]
图2是本发明实施例中标定系统示意图；
[0040]
图3是本发明实施例的标定方法示意图。
具体实施方式
[0041]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并
不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0042]
本发明的一个方面提供了一种2d激光雷达和深度相机联合标定的标定板，包括第一平板、第二平板和第三平板；
[0043]
所述第一平板和第二平板均为三角形，所述第一平板的三条边分别为ab边、bc边和ac边，所述第一平板的三条边分别为ad边、dc边和ac边所述第一平板和第二平板的ac边长度相等且重合，且所述第一平板和第二平板不共面；
[0044]
所述第一平板的ab边和第二平板的ad边共一个顶点，且ab边与ad边位于所述第三平板所在平面内。
[0045]
可选地，还包括第四平板；
[0046]
所述第一平板的bc边和第二平板的dc边共一个顶点，且bc边与dc边位于所述第四平板所在平面内。
[0047]
本发明的另一方面还提供了一种基于上述标定板的联合标定方法，其特征在于，包括以下步骤：
[0048]
s1、将所述标定板置于2d激光雷达和深度相机的视野中，获取所述2d激光雷达和深度相机的观测数据；
[0049]
s2、拟合所述2d激光雷达的扫描平面与所述第一平板、第二平板和第三平板的三条交线，获取所述三条交线的三个交点，并投影到相机坐标系下，其中，所述三个交点由所述三条交线两两相交得到；
[0050]
s3、识别并提取所述标定板上的深度相机观测数据，根据观测数据在相机坐标系下的三维坐标点拟合得到所述第一平板、第二平板和第三平板分别所在的三个平面的平面方程，进而获取三条交线ab、ac、ad的空间直线方程，其中，所述三条交线ab、ac、ad由所述第一平板、第二平板和第三平板分别所在的三个平面两两相交得到；
[0051]
s4、判断此时坐标转换参数是否已知；若是，继续执行步骤s5，若否，则执行步骤s6；
[0052]
s5、进行误差校验，若通过误差校验，则结束标定过程；若未通过，执行步骤s6；
[0053]
s6、利用所述三个交点在所述三条交线ab、ac、ad的空间直线方程上的约束关系，建立约束方程并求解而得到坐标转换参数；然后，调整标定模型相对于所述标定板的位姿，返回步骤s1。
[0054]
可以理解的是，本发明中s2与s3的步骤可以交换，也可以同时进行。
[0055]
下面结合一个优选实施例，对上述实施例中涉及的内容进行说明。
[0056]
图1是本发明实施例所采用的标定板示意图。标定板的主要特征是由两个具有一定夹角的相交三角面同时与两个相交矩形面相交，两三角面以及两矩形面的夹角大小没有限制，以2d激光雷达观测点尽可能多的落在三角面和一个矩形面上为宜，另一个矩形面可作为标定板的支撑面或是工作面。标定板的大小主要取决于2d激光雷达的角分辨率，可以通过增大工作矩形面的长度和三角面的夹角获得更多的观测点，提高标定准确率。本发明实施例中所用的标定系统如图2所示，包括上述标定板、深度相机和2d激光雷达。结合该图可以理解的是，图1中的矩形面不一定必须采用矩形，梯形或者其他不规则图形也可，只需便于扫描时获得直线ei即可。
[0057]
开始标定时，将标定板放置在2d激光雷达和深度相机能同时观测的位置，启动2d激光雷达和深度相机，采集2d激光雷达和深度相机的观测数据。2d激光雷达的数据是基于雷达坐标系o-x
lylzl
观测得到，深度相机的观测数据基于深度相机左相机坐标系o-xcyczc(下面简称相机坐标系)观测得到。
[0058]
对2d激光雷达的数据进行处理，首先进行2d激光雷达在标定板上观测数据的识别和提取，提取到标定板上的观测数据后，利用相邻两点间的距离和斜率变化进行直线特征识别和分割，并将分割后的数据点拟合成三条直线，如图2所示。将矩形平面pbdq上的点拟合成直线ei，平面abc上的点拟合成直线fg，平面acd上的点拟合成直线gh，分别联立三条直线中的任意两条，求得交点根据公式(1)将交点投影到相机坐标系下。
[0059][0060]
式中，式中，表示2d激光雷达坐标系到相机坐标系的旋转矩阵，t
lc
表示2d激光雷达坐标系到相机坐标系的平移矩阵。
[0061]
投影后有：
[0062][0063]
式中，l表示2d激光雷达坐标系，i表示2d激光雷达观测下的第i个交点。
[0064]
由投影结果知，只需求解九个未知数，就能得到2d激光雷达和深度相机坐标系转换的旋转矩阵和平移矩阵，只需联立九个相互独立的方程组即可。
[0065]
对深度相机的数据进行处理，首先是提取平面pbdq、平面abc、平面acd在深度相机观测下的像素点，根据深度相机提供的sdk函数获取对应像素点以左相机的相机坐标系为基准的三维坐标值。将各平面上四个以上像素点对应的三维坐标值拟合平面方程，联立平面pbdq、平面abc、平面acd中任意两个平面方程，得到直线ab、直线ac、直线ad的空间直线方程。
[0066]
假设平面pbdq、平面abc、平面acd的平面方程为：
[0067][0068]
则直线ab、直线ac、直线ad的空间直线方程为：
[0069][0070]
式中，a1、b1、c1、d1、a2、b2、c2、d2、a3、b3、c3、d3已知。
[0071]
由于点的坐标系投影不改变几何关系，2d激光雷达坐标系下的点投影到相机坐标系下后，其三个点应分别在直线ab、直线ac以及直线ad上，即：
[0072][0073]
整理得：
[0074][0075]
改变标定模型或是标定板的位姿，再次通过相同的步骤得到六个约束方程，联合第一次观测的方程组成超静定方程组，利用最小二乘法求解出旋转矩阵和平移矩阵的参数，进而确定2d激光雷达和深度相机的坐标转换。
[0076]
误差校验：求解出2d激光雷达坐标系到相机坐标系的旋转矩阵和平移矩阵后，改变标定模型或是标定板的位姿，求解f、g、h交点以及深度相机观测下的直线方程后，求解点到直线的距离，设定距离阈值，若求解结果小于等于设定阈值时，保留当下的坐标转换参数，标定结束；若求解结果大于设定阈值时，校验未通过，用此前的方法重新构建点线约束方程，代入之前的方程组中利用最小二乘法重新求解坐标转换参数。
[0077]
本发明实施例还提供了一种2d激光雷达和深度相机联合标定的标定系统，包括：计算机可读存储介质和处理器；
[0078]
所述计算机可读存储介质用于存储可执行指令；
[0079]
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行上述的
联合标定方法。
[0080]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。