利用激光雷达和视觉传感器融合构建动静态栅格地图的方法与流程

本发明属于无人驾驶汽车
技术领域：
，尤其涉及一种利用激光雷达和视觉传感器融合构建动静态栅格地图的方法。
背景技术：
：目前对于环境的描述，大致可以分为栅格地图、几何信息地图和拓扑地图。栅格地图法将整个环境划分为若干相同大小的栅格，对于每个栅格指出其中是否存在障碍物。在无人驾驶汽车领域，利用激光雷达实时生成车辆当前行驶区域的栅格地图，标明可行驶区域，障碍物的方位、速度等，是实现无人驾驶汽车局部路径规划、避障、安全预测等的基本技术。现有利用激光雷达生成栅格地图的方法，主要关注可行驶区域的构建，缺乏对于行驶区域中的机动车、非机动车、行人等交通行为主体的识别和行为特征的估计。这些交通行为主体的动态特性对于无人驾驶汽车的局部路径规划和避障等非常重要。技术实现要素：本发明的目的在于克服上述技术的不足，而提供一种利用激光雷达和视觉传感器融合构建动静态栅格地图的方法，通过分类标识静态目标和动态目标，为无人驾驶汽车提供安全可靠、可预测的局部道路区域信息。本发明为实现上述目的，采用以下技术方案：一种利用激光雷达和视觉传感器融合构建动静态栅格地图的方法，其特征是：联合标定行驶车辆的激光雷达和视觉传感器，通过分类标识静态目标和动态目标，并确保传感器信息时间同步；在车辆行进过程中，每一周期都执行以下步骤构建多维度动静态栅格地图，具体步骤如下：步骤一、采集激光雷达点云数据，利用点云数据高程信息进行地面区域分割，对点云数据聚类得到静态目标，所述静态目标即静态障碍物无需区分其类型，只需要得到他们的位置和形状；建立初始栅格图；步骤二、采集视觉传感器图像数据，使用图像检测算法得到动态目标，检测出图像中存在的行人、机动车和非机动车动态目标的位置及尺寸信息，并对每一个动态目标标记其类型；步骤三、将激光雷达和视觉传感器得到的数据进行融合；将动态目标投影到激光雷达点云数据，去除动态目标点云重新聚类，重新聚类得到更新后的静态目标；步骤四、在栅格图上标记目标类型以及动态目标的多位属性信息，生成多维度动静态栅格地图。所述激光雷达和视觉传感器对得到的数据进行融合具体方法：1)以激光雷达安装位置作为雷达坐标系原点ol，车辆前进方向为zl轴，yl轴指向车体上方，xl-yl-zl轴满足右手螺旋定则；以视觉传感器光心作为相机坐标系原点oc，光轴方向为zc轴，垂直光轴向下的方向为yc轴，xc-yc-zc轴满足右手螺旋定则；图像坐标系(vx，vy)，坐标原点为图像左上角；使用标定板对激光雷达和视觉传感器进行标定，可以得到利用激光雷达坐标系和视觉传感器相机坐标系之间的变换关系：其中r为旋转矩阵，t为平移向量，根据视觉传感器成像原理，相机坐标系与图像坐标系之间的变换关系：其中，fx、fy为焦距，xc、yc为光心图像坐标，综合上述公式，激光雷达到图像坐标系的变换关系：利用上述公式的逆变换，将检测到的图像中的动态目标投影到激光雷达点云数据上，得到动态目标的点云集合，从初始的静态目标点云集合中去除动态目标点云集合，更新点云数据，生成聚类结果；2)对于静态目标，在三维栅格图点上赋予静态目标类型；3)对于动态目标点云集合，计算其凸包，估计其速度和运动方向，在凸包对应的三维栅格点上，赋予动态目标编号、类型、运动速度和方向多维属性。所述动态目标指交通行为主体，主要是机动车、非机动车和行人；楼房和树木静止物体为静态目标；所述目标编号是对所有动态目标进行编号，编号的作用是为目标的运动估计提供信息，即对同一个物体的运动轨迹、运动速度和方向进行估计，同时对同一个物体进行追踪；所述目标类型即行人、机动车和非机动车的动态目标分类，类型信息为无人驾驶车的决策提供了基础；确定动态目标的速度以及运动方向。有益效果：与现有技术相比，本发明为多维度动静态栅格地图，地图在车辆行驶过程中生成。本发明构建的动静态栅格地图可以表示当前车辆周围的道路状态，例如可行驶区域、周围的障碍物、障碍物的运动状态等等，为车辆在当前局部区域安全行驶提供信息，为无人驾驶汽车提供安全可靠、可预测的局部道路区域信息。利用无人驾驶汽车上的视觉传感器又可以丰富栅格地图的信息。附图说明图1是动静态栅格地图构建方法流程图；图2是二维栅格地图示意图；图3是处理激光点云数据后得到的初始静态栅格图。具体实施方式下面结合较佳实施例详细说明本发明的具体实施方式。详见附图1、2，本实施例提供了一种利用激光雷达和视觉传感器融合构建动静态栅格地图的方法，联合标定行驶车辆的激光雷达和视觉传感器，通过分类标识静态目标和动态目标，并确保传感器信息时间同步；在车辆行进过程中，每一周期都执行以下步骤构建多维度动静态栅格地图，具体步骤如下：步骤一、利用velodyne16线激光雷达采集激光雷达点云数据。利用点云数据高程信息进行地面区域分割。对点云数据聚类得到静态目标，所述静态目标即静态障碍物无需区分其类型，只需要得到它们的位置和形状；在点云数据上标记静态障碍物，并建立初始栅格图；同时该数据还将用于步骤三的数据融合；以激光雷达安装位置作为雷达坐标系原点ol，车辆前进方向为zl轴，yl轴指向车体上方，xl-yl-zl轴满足右手螺旋定则。则得到的点云数据的每个点i的坐标在雷达坐标系下可表示为(xi，yi，zi)。根据高度信息yi可分割出地面区域。初始的激光点云数据能够体现出无人驾驶汽车周边的障碍物信息，先将三维点云数据投影到二维平面上，形成静态栅格图。忽略汽车的垂向运动，yl轴既指向车体上方，也垂直于路面，故将(xi，yi，zi)投影到二维的路面平面上为(xi，zi)。栅格图的范围为以ol为中心向前50米，向左右各20米的区域，在不考虑倒车的情况下，忽略车后方区域。详见附图2，为中心向前5米，左右各2.5米的二维栅格地图示意图，图中每个格子代表一个0.1米×0.1米的栅格。详见附图3，根据投影到二维平面上的(xi，zi)坐标，该点所在的栅格标记为1，即黑色，所有黑子格子的区域代表障碍物占据的区域。附图3为根据下表点云数据处理后得到的初始静态栅格图。点坐标1(-2，0.48)2(-1.54，4.97)3(2.48，4.79)……(xi，zi)，i∈[4，n-1]n(-2.48，3.97)步骤二、利用basleraca1920-40彩色相机采集视觉传感器图像数据，利用图像检测算法得到动态目标，检测出图像中存在的行人、机动车和非机动车动态目标的位置及尺寸信息，并对每一个动态目标标记其类型；图像坐标系(vx，vy)的坐标原点为图像左上角。现在图像坐标系下得到如下表的动态目标信息。步骤三、将激光雷达和视觉传感器得到的数据进行融合；将动态目标投影到激光雷达点云数据，去除动态目标点云后重新进行聚类，得到更新后的静态目标；更新初始栅格图；步骤四、在栅格图上标记目标类型以及动态目标的多位属性信息，生成多维度动静态栅格地图。所述激光雷达和视觉传感器对得到的数据进行融合具体方法：1)以激光雷达安装位置作为雷达坐标系原点ol，车辆前进方向为zl轴，yl轴指向车体上方，xl-yl-zl轴满足右手螺旋定则；以视觉传感器光心作为相机坐标系原点oc，光轴方向为zc轴，垂直光轴向下的方向为yc轴，xc-yc-zc轴满足右手螺旋定则；图像坐标系(vx，vy)，坐标原点为图像左上角；使用标定板对激光雷达和视觉传感器进行标定，可以得到利用激光雷达坐标系和视觉传感器相机坐标系之间的变换关系：其中r为旋转矩阵，t为平移向量，根据视觉传感器成像原理，相机坐标系与图像坐标系之间的变换关系：其中，fx、fy为焦距，xc、yc为光心图像坐标，综合上述公式，激光雷达到图像坐标系的变换关系：利用上述公式的逆变换，将检测到的图像中的动态目标投影到激光雷达点云数据上，得到动态目标的点云集合，从初始的静态目标点云集合中去除动态目标点云集合，更新点云数据，生成聚类结果；将步骤二中得到的动态目标1在图像中的位置(-1000，-400)，经上式做逆投影变换可得到该点在雷达坐标系下的坐标(xj，yj，zj)＝(-0.1，0.5，32.4)，并根据该目标的尺寸信息(长3.8m，宽1.7m，高1.4m)，可以得到该车的点云区域。依次类推，对每一个动态目标都依据上式做逆投影变换，最终可以从原始点云中去掉所有动态目标的点云集合。将点云数据重新投影到三维，得到三维栅格图。2)对于静态目标，在三维栅格图点上赋予静态目标类型；3)对于动态目标点云集合，计算其凸包，估计其速度和运动方向，在凸包对应的三维栅格点上，赋予动态目标编号、类型、运动速度和方向多维属性。下表为本实施例得到的三维栅格地图，其中栅格编号用(x，y，z)表示，x，y，z分别代表在该方向上是第几个栅格。该地图中有两个静态目标，由于静态目标只需得到位置和形状，不需要标记其他信息，因此只记录静态目标所在的栅格。动态目标一共有3个，标记在该目标的凸包所对应的三维栅格点上，每个动态目标还需标记编号、类型、运动速度和方向几个属性。所述动态目标指交通行为主体，主要是机动车、非机动车和行人；楼房和树木静止物体为静态目标；所述目标编号是对所有动态目标进行编号，编号的作用是为目标的运动估计提供信息，即对同一个物体的运动轨迹、运动速度和方向进行估计，同时对同一个物体进行追踪；所述目标类型即动态目标的分类(行人、机动车、非机动车)，类型信息为无人驾驶车的决策提供了基础；确定动态目标的速度以及运动方向。上述参照实施例对该一种利用激光雷达和视觉传感器融合构建动静态栅格地图的方法进行的详细描述，是说明性的而不是限定性的，可按照所限定范围列举出若干个实施例，因此在不脱离本发明总体构思下的变化和修改，应属本发明的保护范围之内。当前第1页12