基于直线自动检测的可见光与激光传感器外部标定方法
【专利摘要】本发明公开了一种基于直线自动检测的可见光与激光传感器外部标定方法，该方法设计一个特定的直线特征可见的立体标定靶；提取可见光图像中立体标定靶表面的直线特征，获取立体标定靶表面直线特征的激光点云数据，通过直线拟合和拟合直线相交的方法提取标定靶上直线特征的激光数据；利用提取到的标定靶表面直线特征上的激光点数据求解可见光传感器坐标系与激光器坐标系之间的旋转矩阵和平移向量的值，将激光传感器采集的深度距离数据标定到可激光传感器采集到的可见光图像。本发明的优点是：能够得到准确、稳定的标定结果，算法实现的复杂度较低，标定效率高。
【专利说明】
基于直线自动检测的可见光与激光传感器外部标定方法
技术领域
[0001] 本发明涉及激光传感技术，特别涉及一种基于利用立体标定靶获取特征直线自动 检测的可见光与激光传感器进行外部标定方法。
【背景技术】
[0002] 可见光传感器可以获得场景或物体的纹理细节信息，却无法获取其三维结构信 息；而激光扫描仪在机器立体视觉中起着越来越重要的作用，但是却因不能获取物体表面 的纹理信息，而导致无法重现逼真的真实场景。利用可见光与激光传感器的外部标定将可 见光所获得的物体表面纹理信息映射到利用激光重建了的三维模型上，就能够重建出场景 的真实三维效果。激光扫描仪与可见光的标定被广泛的用于移动机器人视觉、文物保护、地 形地貌重建等。
【发明内容】
[0003] 本发明的目的是提供一种基于直线自动检测的可见光与激光传感器外部标定方 法，能准确地将激光传感器采集到的深度信息标定到可见光图像，获取可见光图像中场景 或物体的深度距离坐标，得到更为准确、稳定的标定结果。
[0004] 为了解决上述技术问题，本发明采用以下技术方案。基于直线自动检测的可见光 与激光传感器外部标定方法，其步骤包括：
[0005] 1)设计一个具有直线特征可见的立体标定靶；
[0006] 2)利用所述光源装置的可见光传感器与激光传感器分别获取所述立体标定靶的 可见光图像与激光数据；
[0007] 3)利用Hough变换提取可见光图像中所述立体标定靶表面的直线特征；
[0008] 4)通过直线拟合和拟合直线相交的方法，提取立体标定靶上直线特征的激光数 据；
[0009] 5)利用提取到的立体标定靶表面直线特征上的激光点数据，求解可见光传感器坐 标系与激光传感器坐标系之间的旋转矩阵和平移向量；
[0010] 6)根据旋转矩阵和平移向量，将激光传感器采集的深度距离数据标定到可激光传 感器采集到的可见光图像上，完成标定。
[0011] 进一步，所述求解可见光传感器坐标系与激光传感器坐标系之间的旋转矩阵和平 移向量的方法为：
[0012] 1)将两个峰值点之间的数据拟合成直线，求出每两条直线的交点，求出的四条直 线的三个交点就是用于计算的直线点对；
[0013] 2)提取出的立体标定靶上直线特征的激光数据；
[0014] 3)将求出的直线点对代入下式：
[0015] aXwhi+aYwh2+ah3+bXwh4+bYwh5+bh6-Xwh7-Ywh8-h9 = 0 ；
[0016] 4)求出H矩阵，然后根据[ri r2 T==A^1H求出打~^~^其中六为相机内部参数矩阵；
[0017] 5)再根据旋转矩阵R的性质可知r3 = ri Xr2;得出R和T之后对其进行优化，将R进行 正交化;得到可见光传感器坐标系与激光传感器坐标系之间的旋转矩阵和平移向量的值。
[0018] 本发明的方法能够得到更为准确、稳定的标定结果，算法实现的复杂度较低。而且 当在相机已标定完成的情况下，还具有便于实现的优点，标定立方体可以随处放置，从而使 得标定可以非常方便的完成。
【附图说明】
[0019] 图1是本发明的外部标定示意图；
[0020]图2a是可见光传感器的标定板影像图；
[0021 ]图2b是激光传感器扫描立体标定靶的深度距离数据示意图；
[0022] 图3是本发明实施例的立体标定靶表面的直线特征图；
[0023] 图4是本发明实施例的立体标定靶表面直线特征的激光点云数据图；
[0024] 图5是本发明实施例的激光数据图；
[0025] 图6是本发明实施例采集到的激光点数据坐标在可见光图像中的标定结果。
[0026]图中：1.光源装置，2.立体标定靶。
【具体实施方式】
[0027] 以下结合附图和实施例对本发明作进一步说明。参见图1至图6,基于直线自动检 测的可见光/激光传感器外部标定方法，下面使用立体标定靶标定实验进行说明：
[0028] 1)如图1所示，设置一个含有可见光传感器和激光传感器的光源装置1，并且可见 光传感器和激光传感器的光轴平行，将立体标定靶2放置在光源装置1的可视范围内，且两 个设备获取同一个场景中立体标定靶2的数据；
[0029] 2)如图2a所示，通过可见光传感器获取立体标定靶2的图像信息，并通过激光传感 器获取立体标定靶2的距离信息，如图2b所示，光源装置1获取的立体标定靶2图像及光源装 置1获取的立体标定靶2深度距离数据；
[0030] 3)通过检测图像的边缘，然后利用Hough变换提取直线方程，并结合实际情况对直 线角度范围进行规范，只提取角度范围为[30,85]和[95，170]的直线，检测出五条直线之后 对其进行排序，得到五条直线的排序，然后将用在后续计算的中间三条棱的直线方程提取 出来，提取出的直线特征结果如图3所示；
[0031] 4)将放置了立体标定靶2的场景激光数据与没有放置立体标定靶2的场景激光数 据对应点进行相减，当相减的值大于一个设定的阈值时，该点即为标定立方体上的激光数 据，获取到的立体标定靶2表面直线特征的激光点云数据如图4所示；
[0032] 5)对于棱上的激光点通过直线拟合以及拟合直线相交的方法进行提取。考虑到激 光点的峰值点并不一定落在棱上，故将两个峰值点之间的数据拟合成直线，最后求出每两 条直线的交点，求出的四条直线的三个交点就是用于计算的直线点对;提取出的立体标定 靶2上直线特征的激光数据如图5所示;将求出的直线点对代入下式：
[0033] aXwhi+aYwh2+ah3+bXwh4+bYwh5+bh6-Xwh7-Ywh8-h9 = 0 ；
[0034] 求出H矩阵，然后根据[ri r2 T]=A 1H求出!1、^、!'，其中4为相机内部参数矩阵;再 根据旋转矩阵R的性质可知r3 = riXr2。得出R和T之后对其进行优化，将R进行正交化;得到 激光传感器坐标系与可见光激光器坐标系之间的旋转矩阵R和平移向量T的值为：
[0035]
[0036] 6)将步骤4)中获取的立体标定靶2表面直线特征的激光点云数据带入到可见光传 感器标定的外部参数和内部参数矩阵计算，可得上述激光点云数据在可见光图像中的标定 结果如图6所示。从图中可以看出，激光点云数据中的各激光点能够非常好的标定到可见光 图像中，并能够非常直观的反映出立体标定靶2在图中的立体轮廓。
【主权项】
1. 基于直线自动检测的可见光与激光传感器外部标定方法，包括一个立体标定靶和光 源装置，所述光源装置由可见光传感器和激光传感器构成，其特征在于，其步骤包括： 1) 设计一个具有直线特征可见的立体标定靶； 2) 利用所述光源装置的可见光传感器与激光传感器分别获取所述立体标定靶的可见 光图像与激光数据； 3) 利用Hough变换提取可见光图像中所述立体标定靶表面的直线特征； 4) 通过直线拟合和拟合直线相交的方法，提取立体标定靶上直线特征的激光数据； 5) 利用提取到的立体标定靶表面直线特征上的激光点数据，求解可见光传感器坐标系 与激光传感器坐标系之间的旋转矩阵和平移向量； 6) 根据旋转矩阵和平移向量，将激光传感器采集的深度距离数据标定到可激光传感器 采集到的可见光图像上，完成标定。2. 根据权利要求1所述的基于直线自动检测的可见光与激光传感器外部标定方法，其 特征在于，所述求解可见光传感器坐标系与激光传感器坐标系之间的旋转矩阵和平移向量 的方法为： 1) 将两个峰值点之间的数据拟合成直线，求出每两条直线的交点，求出的四条直线的 三个交点就是用于计算的直线点对； 2) 提取出的立体标定靶上直线特征的激光数据； 3) 将求出的直线点对代入下式： 31Xwhi+&Ywh2+&h3+bXwh4+bYwh5+bh6_Xwh7 _Ywh8_h9 - 0; 4) 求出Η矩阵，然后根据[ri r2 Τ]=Α4Η求出^2、!'，其中4为相机内部参数矩阵； 5) 再根据旋转矩阵R的性质可知r3 = n X r2;得出R和T之后对其进行优化，将R进行正交 化;得到可见光传感器坐标系与激光传感器坐标系之间的旋转矩阵和平移向量的值。
【文档编号】G06T7/00GK105844658SQ201610392801
【公开日】2016年8月10日
【申请日】2016年6月6日
【发明人】陈震, 张聪炫, 杨小平, 江少锋, 危水根
【申请人】南昌航空大学