自动驾驶系统的多传感器信息融合方法

本发明涉及无人车领域，具体涉及一种自动驾驶系统的多传感器信息融合方法。

背景技术：

1、在机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域(region of interest，以下简称为roi)。在halcon、opencv、matlab等机器视觉软件上常用到各种算子(operator)和函数来求得感兴趣区域roi，并进行图像的下一步处理。

2、随着传感器融合技术、人工智能、大数据处理与分析、计算机视觉等领域技术的发展与突破，汽车智能化成为汽车产业发展的重要研究方向。自动驾驶汽车，又称无人驾驶汽车或轮式移动机器人，其系统主要由感知、决策、控制三个部分组成。作为自动化载具，自动驾驶汽车必须具备在无人操作的情况下感测周围环境能力，即智能环境感知，这一能力要求自动驾驶系统可以将各个传感器的数据信息融合，实时获取无人车周边环境以及自身状态信息，然后通过决策规划层来分析处理传感器感知数据，对车辆周围环境信息全面、准确地感知是行车安全性和智能性的保障。基于传感器融合技术的冗余感知系统利用多种具有互补特性的传感器来增强感知能力，实现全天候环境感知，在自动驾驶领域有着广阔的发展前景，是智能环境感知技术的发展趋势。

3、采用传感器融合检测的方式进行目标检测是感知阶段中的一项基础性关键工作，可以为自动驾驶汽车提供了感知道路场景中的行人、车辆等目标的类别信息、定位信息以及位置姿态、物理尺寸等参数信息，检测效果的好坏直接影响到决策规划系统的后续处理。

4、但是，现有的传感器融合检测方法漏检率高，对重叠物体的检测准确率低，实时性差，直接影响到决策规划系统的后续处理效果。

技术实现思路

1、本发明的目的是针对现有技术对应的不足，提供一种自动驾驶系统的多传感器信息融合方法，在复杂的交通环境下快速生成各种障碍物的roi区域，结合两个传感器的优点，对障碍物信息进行快速精确的高鲁棒性判断。

2、本发明的目的是采用下述方案实现的：一种自动驾驶系统的多传感器信息融合方法，包括以下步骤：

3、1)利用激光雷达实时获取车辆周围环境的空间三维信息，形成原始点云数据集；

4、2)将原始点云数据集中的地面点云数据与非地面点云数据分离；

5、3)根据地面点云数据的反射率信息设置车辆通行区域，并对非地面点云数据进行滤波，得到若干障碍物点云数据；

6、4)采用聚类算法分别对各障碍物点云数据进行处理，得到各障碍物点云数据对应的三维边界框；

7、5)通过相机获取前方环境信息的rgb图像，并将rgb图像作为像素平面；离线获取激光雷达的内、外参矩阵，并将激光雷达的内、外参矩阵的乘积作为投影变换矩阵；

8、6)将各障碍物点云数据对应的三维边界框利用投影变换矩阵分别投影至相机坐标系下，采用动态阈值算法对相机坐标系下各三维边界框进行放大处理，再通过离线获取相机内参矩阵，将相机坐标系下的各个三维边界框分别投影到像素平面，得到对应的障碍物边界框；

9、7)根据像素平面中的各障碍物边界框，分别得到对应的各障碍物roi区域，并获取各障碍物的类别信息与置信度；

10、8)采用贪心算法融合各障碍物roi区域，得到最终roi区域，并获取最终roi区域内各障碍物的类别信息与置信度；

11、9)利用基于改进yager合成规则的d-s证据理论融合算法合成规则，采用下列公式计算融合后障碍物类别检测的置信度以及其他未知类别障碍物的置信度：

12、

13、式中，m(a)为融合后障碍物类别检测的置信度，m(x)为其他未知类别障碍物的置信度，an为第n种障碍物的类别信息，n为障碍物类别总数，k表示不同传感器检测到最终roi区域中障碍物类别的冲突程度，ε为检测结果的可信度，mn(an)为第n种类型的传感器检测到最终roi区域中an类障碍物的置信度，mi(a)为第i种传感器输出的对a类障碍物的置信度，mi(x)为第i种传感器输出的对其他未知类别障碍物的置信度，为融合后输出的障碍物类别为空集的置信度，恒为零。

14、优选地，所述最终roi区域内各障碍物的类别信息与置信度采用2d图像检测算法获取。

15、优选地，所述各障碍物roi区域的类别信息与置信度均采用3d点云检测算法获取。

16、优选地，采用贪心算法融合各障碍物roi区域，得到最终roi区域的具体步骤如下：

17、①分别获取各障碍物roi区域四个顶点在像素平面内的横、纵坐标极值；

18、②利用各障碍物roi区域四个顶点在像素平面内的横、纵坐标极值，将当前时刻像素平面内的所有障碍物roi区域分别转换为对应的障碍物矩阵，形成障碍物矩阵集合，用于表示各个障碍物在当前时刻的像素平面上对应的roi区域；

19、③建立一个最终roi区域障碍物集合，用于存储最终roi区域中各障碍物的坐标信息；

20、④将障碍物矩阵集合中的障碍物矩阵按照左边界升序排列；

21、⑤将障碍物矩阵集合中按照左边界升序排列后的第一个障碍物矩阵加入最终roi区域障碍物集合；

22、⑥按照下列方式依次将障碍物矩阵集合中的障碍物矩阵加入最终roi区域障碍物集合：

23、⑴若当前选取的障碍物矩阵的横坐标最小值＜最终roi区域障碍物集合中最后一个障碍物矩阵的横坐标最大值，则将当前选取的障碍物矩阵加入最终roi区域障碍物集合，并与最终roi区域障碍物集合中其他障碍物矩阵升序排列；

24、(2)若当前选取的障碍物矩阵的横坐标最小值≥最终roi区域障碍物集合中最后一个障碍物矩阵的横坐标最大值，则比较最终roi区域障碍物集合中最后一个障碍物矩阵的横坐标最大值与当前选取的障碍物矩阵的横坐标最大值的大小：

25、若最终roi区域障碍物集合中最后一个障碍物矩阵的横坐标最大值≤当前选取的障碍物矩阵的横坐标最大值，将最终roi区域障碍物集合中最后一个障碍物矩阵的横坐标最大值修改为当前选取的障碍物矩阵的横坐标最大值；

26、若最终roi区域障碍物集合中最后一个障碍物矩阵的横坐标最大值＞当前选取的障碍物矩阵的横坐标最大值，则最终roi区域障碍物集合中最后一个障碍物矩阵的横坐标最大值不变。

27、优选地，对非地面点云数据进行滤波得到若干障碍物点云数据采用的方式为直通滤波、或者体素下采样滤波，以减少点云数量，避免增加计算负担。

28、优选地，所述聚类算法为三维空间聚类算法，采用聚类算法分别对各障碍物点云数据进行处理，得到各障碍物点云数据对应的三维边界框的具体步骤如下：

29、①通过三维空间聚类算法得到障碍物点云数据对应的若干独立点云簇；

30、②采用定向边界框(orientedboundingbox，obb)对步骤①所述的独立点云簇进行拟合得到三维边界框(3dboudingbox)。

31、优选地，所述聚类算法为二维平面聚类算法，采用聚类算法分别对各障碍物点云数据进行处理，得到各障碍物点云数据对应的三维边界框的具体步骤如下：

32、①对障碍物点云数据采用kd-tree存储实现高效索引；

33、②在点云二维平面进行降维得到该障碍物点云数据对应的若干独立点云簇；

34、③拟合步骤②所述的若干独立点云簇得到对应的二维边界框；

35、④根据kd-tree索引获取步骤②所述独立点云簇在三维坐标系中z轴上的上界坐标值以及下界坐标值(即偏离均值标准差的个数)，将所述上界坐标值与下界坐标值之差作为高度差；

36、⑤根据高度差将二维边界框转换为三维边界框。

37、优选地，所述障碍物点云数据对应的二维边界框采用最小面积外接矩形法(即mer)或lshapefit法拟合障碍物点云数据对应的若干独立点云簇得到。

38、优选地，所述z轴在三维坐标系中垂直于地面轴。

39、本发明的优点在于以下三点：

40、①本发明生成感兴趣区域速度比较快；

41、②结合激光雷达以及相机这两个传感器的优点，在激光雷达输出检测结果的同时给相机提供一个roi区域，达到一个传感器具有多种用途的效果，鲁棒性强；

42、③本发明大大降低了漏检率，增强了检测的实时性，提高了对重叠障碍物的检测准确率以及决策规划系统的后续处理效果。