一种基于摄像机和激光雷达的可行区域检测方法与流程

本发明属于智能交通领域，涉及可行区域检测技术领域，具体涉及一种基于摄像机和激光雷达的可行区域检测方法。

背景技术：

随着社会和科技技术的发展，车辆的需求剧增带来一系列问题，智能交通系统成为解决诸多问题的重要途径，无人驾驶车是智能交通系统的重要组成部分，而可靠的环境感知能力对自主巡航控制、碰撞预警和路径规划起到至关重要的作用。路面可行驶区域的检测，对于车辆的路径规划和局部感知能够提供更丰富的信息。

采用单一摄像机图像处理的方法检测可行区域，无法提供距离信息且三维信息测量精度较低，双目相机由于成本低廉，信息量大的优势在机器人构图、定位导航等应用中获得广泛应用。而图像的光照鲁棒性较差，得到的点云存在噪声大、精度不高等问题，同样也制约了实际应用。

附图说明

图1为本发明所述方法的主流程图；

图2为从融合数据中提取可行区域流程图。

名词解释：pcl：pointcloudlibrary，是指点云库。

技术实现要素：

有鉴于此，本发明的目的在于提供基于摄像机和激光雷达的可行区域检测方法，充分发挥多传感器融合的优点，提高可行区域的检测精度、稳定性及鲁棒性，并能实时的检测可行区域，克服单一传感器在环境感知应用中存在的诸多问题。为达到上述目的，本发明提供如下技术方案一种基于摄像机和激光雷达的可行区域检测方法包括如下步骤：

步骤1：采用激光雷达获取道路环境点云数据，采用双目摄像机获取道路环境图像数据；所述激光雷达点云数据包括多个包含三维坐标信息的扫描点；所述图像数据包含道路可行区域的左右图像；

步骤2：对双目摄像机和激光雷达进行联合标定到车辆坐标系；

步骤3：对双目摄像机获取的左右图像进行预处理，采用半全局匹配算法进行立体匹配，获取视差图，并采用pcl进行三维重建，获取像素的三维信息；

步骤4：对激光雷达每帧数据进行预处理，并根据阈值除去一定高度的点云，获取大致可行区域点集；

步骤5：对于处理后的雷达点云和三维重建后的像素点，采用一种基于距离的方法融合，提取可行区域。

进一步，所述激光雷达为16线雷达，所述摄像机为双目摄像机。

进一步，步骤2所述的双目摄像机和激光雷达进行联合标定到车辆坐标系，方法包括：

s201首先，设置传感器坐标系和车辆坐标系，统一以车前方为y轴，向左为x轴，向上为z轴，原点分别为传感器的中心和车辆中心；

s202先标定双目相机，根据张正友标定法，求得相机内外参数，按照式(1)将像素坐标数据转换到相机坐标系下，然后采用多个标定物，手动测量其在车辆坐标系ov-xvyvzv下的坐标，以及在左右相机坐标系中的位置，按照式(2)求得旋转矩阵rc和平移向量tc；

式中：rc，tc分别为数据由摄像机坐标系转为车辆坐标系的旋转矩阵和平移矩阵，f为相机焦距，1/dx和1/dy表示：x方向和y方向的每单位长度包含多少像素个数，可为小数；γ为扭曲因子，取0；u0、v0分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。

s203再标定雷达，采用多个标定物，手动测量其在车辆坐标系ov-xvyvzv下的坐标，及其在雷达坐标系的坐标，按照式(3)求得旋转矩阵rl和平移向量tl，标定到车辆坐标系下：

进一步，步骤3所述对双目摄像机获取的左右图像进行预处理，采用半全局匹配算法进行立体匹配，获取视差图，并采用pcl进行三维重建，方法包括：

s301对左右图像进行预处理包括直方图均衡化和中值滤波去噪；

s302采用半全局匹配算法进行立体匹配，获取视差图：首先依据全局匹配的能量函数，采用扫描线最优化将二维问题变为多个一维问题，每一个问题都可以用动态规划进行解决。一个像素点的邻域像素点通常认为有8个，所以采用8路不同方向的扫描线来进行匹配代价的聚合，最后通过求解该半全局能量函数的最小值来获得最佳视差。

s303采用pcl进行三维重建：采用pcl进行三维重建，获取每个像素点的真实三维位置。

进一步，所述步骤4具体为：对激光雷达每帧数据进行预处理，设置高度阈值，滤除所有阈值外的点，获取地面大致可行区域。

进一步，步骤5所述对于处理后的雷达点云和三维重建后的像素点，采用一种基于距离的方法融合，提取可行区域，方法为：

s501首先，根据对雷达点云和三维像素点的z值按照设定阈值进行分段，统计每段内点集的数目，根据阈值滤除点集数目较少的段；

s502然后，对于每个点的x值，根据所设置的距离阈值dx，计算每段内点之间x距离小于距离阈值点的数目，保留前50％的段；

s503最后，对剩下的段，对于每个点的y值，根据所设置的距离阈值dy，计算每段内点之间y距离小于距离阈值点的数目，保留前50％的段，保留的点为可行区域候选点。

s504对处理后的点集采用ransac算法进行拟合，即可获取可行区域。

本发明的有益效果在于：

(1)本发明采用16线激光雷达作为雷达点云数据采集传感器，克服了多线激光雷

达成本高、点云数据庞大、计算量复杂的缺点。本发明能够快速、准确地从融合的数据中提取出可行区域候选点。

(2)本发明提出采用双目摄像头，采用半匹配的策略进行立体匹配，提高了匹配速率和精度，并采用pcl进行三维重建，获取较精确的图像像素点三维信息，提高了匹配速率和精度。

(3)本发明提出采用一种基于距离的方法进行融合数据的处理，以及从融合数据中提取可行区域候选点，并采用ransac算法进行拟合，获取最终可行区域。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

如图1所示，本实施例选用16线激光雷达作为雷达点云数据采集传感器，双目摄像机作为图像数据采集传感器，通过编写算法以实现一种无人驾驶车中的可行区域检测方法，包括以下步骤：

步骤1：采用激光雷达获取道路环境点云数据，采用双目摄像机获取道路环境图像数据；所述道路环境点云数据包括多个包含三维坐标信息的扫描点；所述图像数据包含道路可行区域的左右图像；

步骤2：对双目摄像机和激光雷达进行联合标定到车辆坐标系；

步骤3：对双目摄像机获取的左右图像进行预处理，采用半全局匹配算法进行立体匹配，获取视差图，并采用pcl进行三维重建，获取像素的三维信息；

步骤4：对激光雷达每帧数据进行预处理，并根据阈值除去一定高度的点云，获取大致可行区域点集；

步骤5：对于处理后的雷达点云和三维重建后的像素点，采用一种基于距离的方法融合，提取可行区域。

所述步骤1的激光雷达为16线雷达，所述摄像机为双目摄像机。

所述步骤2双目摄像机和激光雷达进行联合标定到车辆坐标系，方法包括：

(1)首先，设置传感器坐标系和车辆坐标系，统一以车前方为y轴，向左为x轴，向上为z轴，原点分别为传感器的中心和车辆中心；

(2)先标定双目相机，根据张正友标定法，求得相机内外参数，按照式(1)将像素坐标数据转换到相机坐标系下，然后采用多个标定物，手动测量其在车辆坐标系ov-xvyvzv下的坐标，以及在左右相机坐标系中的位置，按照式(2)求得旋转矩阵rc和平移向量tc；

式中：rc，tc分别为数据由摄像机坐标系转为车辆坐标系的旋转矩阵和平移矩阵，f为相机焦距，1/dx和1/dy表示：x方向和y方向的每单位长度包含多少像素个数，可为小数；γ为扭曲因子，取0；u0、v0分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。

(3)再标定雷达，采用多个标定物，手动测量其在车辆坐标系ov-xvyvzv下的坐标，及其在雷达坐标系的坐标，按照式(3)求得旋转矩阵rl和平移向量tl，标定到车辆坐标系下：

所述步骤3所述对双目摄像机获取的左右图像进行预处理，采用半全局匹配算法进行立体匹配，获取视差图，并采用pcl进行三维重建，方法包括：

(1)对左右图像进行预处理包括直方图均衡化和中值滤波去噪；

(2)采用半全局匹配算法进行立体匹配，获取视差图：首先依据全局匹配的能量函数，采用扫描线最优化将二维问题变为多个一维问题，每一个问题都可以用动态规划进行解决。一个像素点的邻域像素点通常认为有8个，所以采用8路不同方向的扫描线来进行匹配代价的聚合，最后通过求解该半全局能量函数的最小值来获得最佳视差。

(3)采用pcl进行三维重建：采用pcl进行三维重建，获取每个像素点的真实三维位置。

所述步骤4具体为：对激光雷达每帧数据进行预处理，设置高度阈值，滤除所有阈值外的点，获取地面大致可行区域。

如图2所示，步骤5所述对于处理后的雷达点云和三维重建后的像素点，采用一种基于距离的方法融合，提取可行区域，方法为：

(1)首先，根据对雷达点云和三维像素点的z值按照设定阈值进行分段，统计每段内点集的数目，根据阈值滤除点集数目较少的段；

(2)然后，对于每个点的x值，根据所设置的距离阈值dx，计算每段内点之间x距离小于距离阈值点的数目，保留前50％的段；

(3)最后，对剩下的段，对于每个点的y值，根据所设置的距离阈值dy，计算每段内点之间y距离小于距离阈值点的数目，保留前50％的段，保留的点为可行区域候选点。

(4)对处理后的点集采用ransac算法进行拟合，即可获取可行区域。