一种智能车激光传感器与相机在线标定方法与流程

本发明属于计算机视觉与智能交通领域，特别涉及一种智能车激光传感器与相机在线标定方法。

背景技术：

智能车辆(intelligentvehicle，iv)是集环境感知、规划决策、多等级辅助驾驶等功能于一体的综合系统，它集中运用了计算机、现代传感、信息融合、通讯、人工智能及自动控制等技术，是典型的高新技术综合体，是一个国家科研实力和产业水平的重要标志。环境感知技术是智能车三大关键技术之一，主动传感激光系统，即三维激光雷达是其中的重要传感器，可以感知障碍物的深度信息，并取得了部分成功的应用，但该传感器存在分辨率低、无法感知rgb信息等问题，制约了其在智能车技术研发和应用上的推广。而被动可见光传感，即相机，在分辨率、感知rgb信息等方面具有显著优势，但无法感知深度信息。近年来，大量研究团队和机构在利用可见光传感完成交通场景感知方面做出了很多卓有成效的研究，基于视觉的交通要素和障碍物感知成为该领域的研究热点。

将三维激光雷达和相机标定起来以后，就可以充分利用两种传感器的优势，综合rgb信息和深度信息，对所感知的物体类别和位置做出准确判断，使无人车做出相关决策。但传统的离线标定方法难以获得精确的标定参数，在车辆运动过程中也存在传感器的偏移问题使得标定参数发生改变。因此，如何设计一套可靠的标定系统使得无人车在长时间的运行中能够高精度的自动在线修正标定参数在无人车的感知技术中非常关键。

技术实现要素：

本发明的目的在于提供一种智能车激光传感器与相机在线标定方法，以解决上述问题。

为实现上述目的，本发明采用以下技术方案：

一种智能车激光传感器与相机在线标定方法，包括以下步骤：

步骤1，将gps/ins惯性导航系统、工业相机和三维激光雷达安装在智能车上，并通过gps/ins惯性导航系统、工业相机和三维激光雷达采集依次采集位姿数据、图像数据和激光数据；

步骤2，步骤1采集的数据通过工控机存储，并连接千兆网交换机；手动选取激光数据和图像数据中的标定板，然后对相机内参进行标定，得到精确相机内参；对激光雷达与相机外参进行标定，得到激光与相机初始外参；

步骤3，步骤1的位姿数据，利用坐标变换对自然场景激光数据和图像数据进行时间对齐，并校正激光数据的畸变；

步骤4，对步骤3时间对齐后的激光数据和图像数据分别提取激光数据和图像数据的边缘信息，并对提取的激光数据和图像数据进行预处理；并对图像边界图进行反向距离变换，通过梯度下降的方法优化外部标定参数使得激光与图像的边缘得到精确对齐，优化得到的外部标定参数就是所需的最终标定参数。

进一步的，对相机内参进行标定，根据标定板的实际大小和标定板中黑白格在图像中的位置计算出标定板在相机坐标系中的位置，再通过最小化重投影误差的方式计算出所需标定相机的内部参数；相机的内部参数包括相机的焦距、主点、偏态系数以及畸变系数；标定板为黑白相间的棋盘格。

进一步的，对激光雷达与相机外参进行标定，计算标定板在相机坐标系中的位置和激光坐标系中的位置，通过计算两个坐标系的外参使得激光中的标定板和图像中的标定板对齐；激光与相机的外部参数包括相机坐标系与激光坐标系的旋转关系和平移关系；具体方法如下：

利用标定相机内参是使用的标定板完成相机与激光坐标系的联合标定；将标定板摆放不同的姿态和位置，保证其在两个坐标系均可观测，然后采集对于那个的图像和激光数据组成数据对；对于图像数据，利用张正友标定法标定时定义标定板黑白格图形的两条边缘为x轴和y轴，垂直于标定板的平面方向为z轴；对标定板图像数据进行处理得到标定板坐标系到相机坐标系的旋转平移变换关系，并以标定板平面法向量θc,i和其到摄像机坐标系距离αc,i表示第i帧图像中标定板相对于摄像机坐标系的位姿；对于激光数据，手动选取出位于标定板平面的激光数据点后，利用ransac方法和最小二乘法鲁棒的估计第i帧标定板平面相对于激光坐标系的位姿，其中标定板平面法向量用θl,i表示，平面到激光坐标系原点的距离为αl,i；由此，标定激光坐标系与摄像机坐标系之间的位姿变换即求解使标定板通过两种不同的数据观测方式在同一坐标系中的表示差别最小的旋转矩阵r与平移向量t。

进一步的，步骤3中，获得位姿数据，并获得图像时间戳和激光时间戳，使用线性插值的方法得到获取每个激光点时刻车体的位姿和获取图像时刻的车体位姿；通过坐标转换对三维激光点的值进行重新计算，从而校正激光的畸变并将其和图像实现时间对齐。

进一步的，激光数据的预处理包括使用车辆位姿校正激光数据和提取激光点云中的边界点；通过时间戳得到采集到图像的时刻t0和获取到某个激光点的时刻t1；通过线性插值可以获得t0时刻对应的位姿和t1时刻对应的位姿；这两个时刻位姿对应的旋转矩阵和车辆坐标分别为r0,p0和r1,p1；由于车辆的运动，车辆上的激光坐标系也在不断运动，激光校正就是将每个激光点在t1时刻的激光坐标系下的坐标(x1,y1,z1)^t转换到t0时刻下激光坐标系下的坐标(x0,y0,z0)^t，转换公式如下：

激光点云数据共有64线，每个点都有一个标号表明其属于第几条线，提取激光边界点需要单独在每束线上分别进行提取；在对激光点进行校正后，首先使用高斯过程去除地面上的激光点；分割掉路面激光点后，对每束线上的激光点按角度排列，再用聚类算法在该束线上进行聚类，将距离较近的激光点聚为一类，然后就可以得到若干的类；某个类的左/右类间距离定义为该类的最左/右侧点与其他类中的点的最小距离；然后选择所含激光点数较多的类且左或右类间距离大于阈值θ的类，如果激光的左/右间距大于θ那么就令左/右侧激光点即为激光边界点；令激光边界点的值为1，非边界点的值为0；得到激光点云的二值边界图像x；用数学语言描述即为xx,y,z∈(0,1)；其中(x,y,z)为激光点的三维坐标。

进一步的，图像数据预处理包括提取图像边界和对图像边界进行反向距离变换；图像边界提取使用结构化随机森林提取图像边界点，得到边界图像，它提取图像中轮廓信息，并给每个图像中每个像素点赋予不同的权重；然后对这些点按阈值分割，得到一个二值边界图e，其中边界点为1，非边界点为0；随后对图像进行反向距离变换，得到预处理所需的图像d；d中坐标为(i,j)的像素点的灰度值的计算公式如下式所示：

其中x,y为图像中任意一点的坐标值，γ为一常数。

进一步的，步骤4中优化外部参数采用迭代的方法来优化目标函数；目标函数如下式所示：

其中f遍历选择的所有帧，p遍历x^f中所有的三维激光点，(i,j)是第f帧激光点云第p个激光点通过离线方法得到的相机内参所映射在图像上的坐标；假设外参对应的3*3的旋转矩阵和3*1的平移向量分别为r和t，设相机内参中的焦距为f，主点为u0,v0，像素点在x方向和y方向的长度分别为dx和dy，激光点坐标为(x,y,z)；采用齐次坐标的形式的话，(i,j)可用下式计算得到：

其中k为尺度因子；

外参包括6个参数，有三个旋转角度，即偏航角俯仰角以及横滚角并且这三个角度唯一的对应着一个旋转矩阵r；有三个方向的平移量，在坐标轴x方向的平移量tx，y方向的平移量ty和z方向的平移tz，这三个平移量唯一对应着一个平移向量t；对当前外参进行扰动，即对每个角度加减0.1度或不变，对每个平移量加减0.1m或不变，即可得到729个新的邻域参数；然后在这些参数里找一个对应目标函数最大的参数作为新的外部参数，如此循环，直到外参不再改变，停止迭代，所得外参即为所要求的参数。

与现有技术相比，本发明有以下技术效果：

本发明实现对激光雷达与相机的高精度标定，利用离线标定模块提供的初始值，并进一步进行在线优化，从而完成激光雷达与相机的高精度标定。

本发明采用低成本的标定物和计算平台，对所使用的自然场景没有过高的要求，可广泛应用于使用了各种配置方案无人车的激光雷达和相机的高精度动态标定，对无人车的感知技术有着十分重要的意义。

附图说明

图1为本发明的流程框图。

图2为本发明的系统硬件关系图。

图3为本发明激光坐标系和摄像机坐标系的定义示意图，其中：(a)侧视图，(b)俯视图。

图4为本发明的反向距离变换示意图。其中上部为原图，下部为变换后的图片。

具体实施方式

以下结合附图对本发明进一步说明：

一种智能车激光传感器与相机在线标定方法，包括以下步骤：

步骤1，将gps/ins惯性导航系统、工业相机和三维激光雷达安装在智能车上，并通过gps/ins惯性导航系统、工业相机和三维激光雷达采集依次采集位姿数据、图像数据和激光数据；

步骤2，步骤1采集的数据通过工控机存储，并连接千兆网交换机；手动选取激光数据和图像数据中的标定板，然后对相机内参进行标定，得到精确相机内参；对激光雷达与相机外参进行标定，得到激光与相机初始外参；

步骤3，步骤1的位姿数据，利用坐标变换对自然场景激光数据和图像数据进行时间对齐，并校正激光数据的畸变；

步骤4，对步骤3时间对齐后的激光数据和图像数据分别提取激光数据和图像数据的边缘信息，并对提取的激光数据和图像数据进行预处理；并对图像边界图进行反向距离变换，通过梯度下降的方法优化外部标定参数使得激光与图像的边缘得到精确对齐，优化得到的外部标定参数就是所需的最终标定参数。

该激光雷达与相机高精度标定系统工作原理：主要包括离线标定和在线标定两部分，离线标定法利用张正友标定法得到精确的相机内参和cmu激光相机联合标定工具箱完成激光雷达和相机的外部参数；在线标定法首先获得车辆的全局位姿数据，并对三维激光数据进行坐标变换，完成畸变校正和时间对齐。然后使用聚类的算法提取激光中的边界点，使用结构化随机森林的方法提取对应于激光的图像中的轮廓，并对其进行二值化得到边界图像，再对边界图像进行反向距离变换从而为距离边界不同的像素赋予不同的灰度值。最后，利用先前得到的相机内参和投射投影原理将激光边界点映射在图像中，并迭代优化激光雷达与相机的外部标定参数使得映射在图像中的激光点的对应的像素灰度值最大。最后优化得到的外部标定参数和预先标定好的相机内部参数即为所需的高精度标定参数。

目前该系统已应用于西安交通大学人工智能与机器人研究所视觉认知计算与智能车实验室的“夸父一号”无人驾驶平台上激光雷达和相机的标定结果，并顺利在各种不同场景下完成测试，每次均能得到可靠有效的标定参数，表明该算法是稳定鲁棒的。

(一)实验平台硬件介绍

1)相机和镜头：

采集道路场景使用的相机为加拿大pointgrey公司的grasshopper2高分辨率ccd摄像机，其具体参数如表所示。摄像机配套的镜头为kowa手动光圈百万像素镜头。本发明中选择的kowa镜头焦距为25mm，其详细参数如表所示。

表1grasshopper2摄像机规格指标

表2kowa镜头规格指标

2)gps/ins惯导系统：

实验平台安装的惯导系统为加拿大novatel公司的span-lci。由惯性测量单元(imu)、gps接收机和gps天线等组成，同时，配备了数据传输单元(dtu)传输差分改正数，组合多种定位设备实现高精度的全局定位。

使用的惯导系统的各项性能指标如表所示：

表3span-lci惯导系统性能指标

3)工控机：

实验平台使用的工控机为凌华公司的车载刀片服务器adlink嵌入式电脑，体积小、可挂式安装、运算速度快，同时配置了固态硬盘，其指标如表4所示：

表4adlink工控机性能指标

4)三维激光雷达：

实验平台上安装的三维激光雷达是美国velodyne公司生产的64线激光雷达hdl-64e，其扫描线数多、覆盖范围广、数据量丰富，可以较逼真的还原场景。

各硬件的连接关系如图1所示。系统计算负载在车载刀片服务器adlink嵌入式电脑(分为位姿工控机、交通灯工控机以及激光工控机)上进行；所有模块间通过千兆以太网，以udp数据包方式进行通信。系统成本低廉、功耗低，且具有较高的整体移植性，适合批量推广应用。

激光雷达与相机在线标定时，需要对齐激光数据和图像数据。激光数据从三维激光雷达获取，原始数据通过千兆以太网传输到激光工控机，经过数据解析从极坐标系转换到激光坐标系下，同时也存储了经过时间戳同步后的激光数据对应时间戳。图像数据通过摄像机抓取，然后通过千兆网接口传输到交通灯工控机上，同时保存对准后的图像时间戳。获取两种传感器的原始数据后，开始进行对齐操作，完成标定后保存相机与激光标定的结果到本地硬盘中供其他模块使用。

(二)本发明的软件系统介绍如下：

1)开发平台

本发明采用windows10操作系统作为软件的运行平台，windows操作系统具有支持图形化显示和多任务机制，操作简单，实时性高，运行稳定等优点。程序主要使用matlab语言开发，同时部分开发在visualstudio2015编译环境下使用c++语言完成，并使用了opencv库辅助图像处理过程。

2)系统框架设计

整个系统如图2所示，输入为gps数据、图像序列数据和激光序列数据，设计工作包含两大部分：(1)相机内参以及激光雷达和相机之间外参的离线标定；(2)在线标定激光雷达与相机。

离线过程包括相机内参标定和相机外参标定。

(1)相机内参标定

本发明采用广泛使用的张正友标定法标定相机内部参数(即相机内参)。标定的思路为，首先只考虑相机的4个线性参数进行初步标定，计算得到内参初始值，在此基础上标定畸变参数，然后以线性参数为初始值，对标定参数进行重新优化，直至得到收敛的线性和非线性参数。内参标定主要用于坐标系之间的旋转平移参数的求解。

(2)激光雷达与相机外参标定

对于激光雷达与相机之间外参的离线标定，本发明利用标定相机内参是使用的标定板完成相机与激光坐标系的联合标定。将标定板摆放不同的姿态和位置，保证其在两个坐标系均可观测，然后采集对于那个的图像和激光数据组成数据对。对于图像数据，利用张正友标定法标定时定义标定板黑白格图形的两条边缘为x轴和y轴，垂直于标定板的平面方向为z轴。对标定板图像数据进行处理，不仅可以返回相机的内部参数，还可以得到标定板坐标系到相机坐标系的旋转平移变换关系，并以标定板平面法向量θc,i和其到摄像机坐标系距离αc,i表示第i帧图像中标定板相对于摄像机坐标系的位姿。对于激光数据，手动选取出位于标定板平面的激光数据点后，利用ransac方法和最小二乘法鲁棒的估计第i帧标定板平面相对于激光坐标系的位姿，其中标定板平面法向量用θl,i表示，平面到激光坐标系原点的距离为αl,i。由此，标定激光坐标系与摄像机坐标系之间的位姿变换即求解使标定板通过两种不同的数据观测方式在同一坐标系中的表示差别最小的旋转矩阵r与平移向量t。

在线过程中主要包括激光预处理、图像预处理和优化标定参数三个重要过程。

(1)激光预处理

激光预处理包括使用车辆位姿校正激光数据和提取激光点云中的边界点。通过时间戳可知采集到图像的时刻t0和获取到某个激光点的时刻t1。通过线性插值可以获得t0时刻对应的位姿和t1时刻对应的位姿。这两个时刻位姿对应的旋转矩阵和车辆坐标分别为r0,p0和r1,p1。由于车辆的运动，车辆上的激光坐标系也在不断运动，激光校正就是将每个激光点在t1时刻的激光坐标系下的坐标(x1,y1,z1)^t转换到t0时刻下激光坐标系下的坐标(x0,y0,z0)^t，转换公式如下：

激光点云数据共有64线，每个点都有一个标号表明其属于第几条线，提取激光边界点需要单独在每束线上分别进行提取。在对激光点进行校正后，首先使用高斯过程去除地面上的激光点，这一方法由谌彤童在2012年提出。分割掉路面激光点后，对每束线上的激光点按角度排列，再用聚类算法在该束线上进行聚类，将距离较近的激光点聚为一类，然后就可以得到若干的类。某个类的左/右类间距离定义为该类的最左/右侧点与其他类中的点的最小距离。然后选择所含激光点数较多的类且左或右类间距离大于阈值θ的类，如果激光的左/右间距大于θ那么就令左/右侧激光点即为激光边界点。令激光边界点的值为1，非边界点的值为0。如此我们即可得到激光点云的二值边界图像x。用数学语言描述即为xx,y,z∈(0,1)。其中(x,y,z)为激光点的三维坐标。

(2)图像预处理

图像预处理包括提取图像边界和对图像边界进行反向距离变换。图像边界提取使用结构化随机森林提取图像边界点，得到边界图像，这一方法由piotr在2013年提出，它可以提取图像中轮廓信息，并给每个图像中每个像素点赋予不同的权重。然后对这些点按阈值分割，得到一个二值边界图e，其中边界点为1，非边界点为0。随后对图像进行反向距离变换，得到预处理所需的图像d。d中坐标为(i,j)的像素点的灰度值的计算公式如下式所示：

其中x,y为图像中任意一点的坐标值，γ为一常数，本发明设其为0.98。

(3)优化外部参数

优化外部参数采用迭代的方法来优化目标函数。目标函数如下式所示：

其中f遍历选择的所有帧，p遍历x^f中所有的三维激光点，(i,j)是第f帧激光点云第p个激光点通过离线方法得到的相机内参所映射在图像上的坐标。假设外参对应的3*3的旋转矩阵和3*1的平移向量分别为r和t，设相机内参中的焦距为f，主点为u0,v0，像素点在x方向和y方向的长度分别为dx和dy，激光点坐标为(x,y,z)。采用齐次坐标的形式的话，(i,j)可用下式计算得到：

其中k为尺度因子。

外参包括6个参数，有三个旋转角度，即偏航角俯仰角以及横滚角并且这三个角度唯一的对应着一个旋转矩阵r；有三个方向的平移量，在坐标轴x方向的平移量tx，y方向的平移量ty和z方向的平移tz，这三个平移量唯一对应着一个平移向量t。对当前外参进行扰动，即对每个角度加减0.1度或不变，对每个平移量加减0.1m或不变，即可得到729个新的邻域参数。然后在这些参数里找一个对应目标函数最大的参数作为新的外部参数，如此循环，直到外参不再改变，停止迭代，所得外参即为所要求的参数。

与传统的激光雷达相机标定方法比，本发明充分利用了自然场景中的信息，使得标定精度具有显著的提高，并且可以自动地更新标定参数以校准传感器的偏移。利用位姿数据对激光点云进行畸变校正，有效改善了激光点云在车辆高速运动场景下的畸变问题。可广泛用于配备了三维激光雷达和摄像机的无人驾驶汽车中。