一种基于车辆的凹陷类障碍物检测方法与流程

1.本发明属于无人车辆障碍感知技术领域，尤其涉及一种基于车辆的凹陷类障碍物检测方法。


背景技术：

2.无人车是车辆的一种，也称为轮式移动机器人，主要依靠车内的以计算机系统为主的智能驾驶系统来实现无人驾驶的目的。如今，无人车辆在军事、民用等各个领域已经被成功应用。
3.无人车在移动过程中通过传感器获取的信息完成对周围环境的感知和自身的定位，并根据任务目标采取相应的路径规划和控制决策。无人车能够安全可靠的导航并行驶离不开一个良好的障碍检测系统。
4.在复杂的野外环境下，障碍物的种类繁多，例如有凹坑、岩石、树干、陡坡、坑洞等，这些障碍物及其周围区域对于无人车而言均为难以安全通行的，因此被定义为不可通行区域。多数障碍物的大小尺寸不一，形状各异，既有突出路面的也有低于路面的，有些还处在很多杂草或者低矮灌木丛中间，难以分辨。在目前的研究中，多以凸形障碍物为研究基准，当遇到凹陷形状的障碍物时，难以准确的识别低于路面的障碍物，导致控制决策出错。


技术实现要素：

5.本发明的目的是提供一种基于车辆的凹陷类障碍物检测方法，以准确的识别凹陷类障碍物。
6.本发明采用以下技术方案：一种基于车辆的凹陷类障碍物检测方法，包括以下步骤：
7.通过摄像设备获取车辆检测范围内的图像，同时通过激光雷达获取车辆检测范围内的点云数据；
8.基于yolo检测方法提取图像中凹障碍物的第一轮廓，且提取点云数据中凹障碍物的第二轮廓；
9.对第一轮廓和第二轮廓进行标定，得到标定后凹障碍物的投影图像；
10.计算投影图像中第一轮廓的投影和第二轮廓的投影的交并比值，当交并比值大于等于阈值时，在投影图像上生成凹障碍物的轮廓。
11.进一步地，提取点云数据中凹障碍物的第二轮廓包括：
12.采用线性插值方法来填充无效点，得到去除无效点后的点云数据；
13.计算去除无效点后的点云数据中每一行当前点与其后向的相邻点之间的距离，当该距离大于距离阈值时，将当前点标记为轮廓点；
14.遍历点云数据，得到正向轮廓点集，作为第二轮廓。
15.进一步地，得到正向轮廓点集之后还包括：
16.反向遍历点云数据，得到反向轮廓点集；
17.将正向轮廓点集和反向轮廓点集进行与运算，将与运算后的轮廓点集作为第二轮廓。
18.进一步地，对第一轮廓和第二轮廓进行标定包括：
19.获取标定板顶点在图像坐标系中的第一3d坐标及其在激光雷达坐标系中的第二3d坐标；
20.根据第一3d坐标和第二3d坐标生成旋转平移矩阵，通过旋转平移矩阵完成第一轮廓和第二轮廓的标定。
21.进一步地，在投影图像上生成凹障碍物的轮廓包括：
22.根据第一轮廓和第二轮廓生成轮廓并集；
23.选取轮廓并集中的极值点；
24.根据极值点生成凹障碍物的轮廓。
25.进一步地，当交并比值小于阈值时：
26.将第二轮廓作为凹障碍物的轮廓。
27.进一步地，第一轮廓、第二轮廓和凹障碍物的轮廓均为矩形。
28.本发明的另一种技术方案：一种基于车辆的凹陷类障碍物检测装置，包括：
29.检测模块，用于通过摄像设备获取车辆检测范围内的图像，同时通过激光雷达获取车辆检测范围内的点云数据；
30.提取模块，用于基于yolo检测方法提取图像中凹障碍物的第一轮廓，且提取点云数据中凹障碍物的第二轮廓；
31.标定模块，用于对第一轮廓和第二轮廓进行标定，得到标定后凹障碍物的投影图像；
32.计算生成模块，用于计算投影图像中第一轮廓的投影和第二轮廓的投影的交并比值，当交并比值大于等于阈值时，在投影图像上生成凹障碍物的轮廓。
33.本发明的另一种技术方案：一种基于车辆的凹陷类障碍物检测装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一种基于车辆的凹陷类障碍物检测方法。
34.本发明的另一种技术方案：一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述任一种基于车辆的凹陷类障碍物检测方法。
35.本发明的有益效果是：本发明通过同时获取车辆检测范围内的图像和点云数据，并分别提取图像和点云数据中凹障碍物的轮廓，可以通过不同数据源的数据提升检测的准确性，再将得到的两个轮廓标定到同一投影图像中，结合交并比方法生成凹障碍物的最终轮廓，可以增加识别结果的准确性。
附图说明
36.图1为本发明实施例中矩形凹坑类凹障碍物的场景示意图；
37.图2为本发明实施例一种基于车辆的凹陷类障碍物检测方法的流程图；
38.图3为本发明实施例中激光雷达每一线上的扇形激光束落在地面上的形状示意图；
39.图4为本发明实施例中车身左右倾斜时激光雷达单条线束扫描得到的形状示意图；
40.图5为本发明实施例中线型摄像机模型示意图；
41.图6为本发明实施例中标定装置的示意图；
42.图7为本发明另一实施例中一种基于车辆的凹陷类障碍物检测装置的模块示意图；
43.图8为本发明另一实施例中一种基于车辆的凹陷类障碍物检测装置的示意图。
具体实施方式
44.下面结合附图和具体实施方式对本发明进行详细说明。
45.无人车在野外条件下工作时会碰到各种障碍物，障碍物对无人车的安全行驶造成了极大的威胁，并在很大程度上制约了行进的速度。因此，为了实现无人车在复杂环境中的安全行驶，本发明中提出了基于地面无人车辆的凹陷类障碍物多传感器融合检测方法，使得无人车具备准确的检测、识别与定位障碍物能力，以弥补地面无人车辆中感知领域的空白，完善现有的无人车感知系统方案，使自主无人车具备复杂野外环境的通行能力，对野外作战系统的发展有一定的影响意义。
46.具体的，关于凹障碍物几何特征，在本发明中凹障碍物是指低于地面的障碍物。常见的凹障碍物有土坑、水坑、地洞等。在凹障碍物的形状包括圆形、椭圆形、矩形等。在本发明实施例中，凹障碍物以矩形凹坑为例，其形状如图1所示。
47.本发明公开了一种基于车辆的凹陷类障碍物检测方法，如图2所示，包括以下步骤：
48.s110、通过摄像设备获取车辆检测范围内的图像，同时通过激光雷达获取车辆检测范围内的点云数据；s120、基于yolo检测方法提取图像中凹障碍物的第一轮廓，且提取点云数据中凹障碍物的第二轮廓；s130、对第一轮廓和第二轮廓进行标定，得到标定后凹障碍物的投影图像；s140、计算投影图像中第一轮廓的投影和第二轮廓的投影的交并比值，当交并比值大于等于阈值时，在投影图像上生成凹障碍物的轮廓。
49.本发明通过同时获取车辆检测范围内的图像和点云数据，并分别提取图像和点云数据中凹障碍物的轮廓，可以通过不同数据源的数据提升检测的准确性，再将得到的两个轮廓标定到同一投影图像中，结合交并比方法生成凹障碍物的最终轮廓，可以增加识别结果的准确性。
50.本发明采用了相机与激光雷达结合使用的方法检测凹形障碍物。首先采集凹障碍物的样本进行训练，然后设计评价标准，在这一评价标准上，使用训练出来的权重检测凹障碍物。
51.当采集图像时，摄像设备可以是相机、手机、摄像机等具有拍照功能的设备。摄像设备主要基于视觉的深度学习凹障碍物检测方法。目前，基于机器视觉的凹障碍物检测算法存在检测速度较慢的问题。针对该问题，本实施例采用一种基于yolo算法的实时检测方法。yolo检测算法的基本模型由卷积层，池化层以及全连接层组成，具有强鲁棒性以及能够快速并准确的完成凹障碍物的检测任务。
52.在训练过程中，采用小批量梯度下降法和冲量，因为冲量可以使得训练的过程更
加收敛。基于yolo损失函数的倒数，运用反向传播法不断更新参数，减少损失函数直至收敛。在测试过程中，计算检测边界框和参考标准框的iou值(iou是intersection overunion的简称，是一种测量在特定数据集中检测相应物体准确度的一个标准。iou是一个简单的测量标准，只要是在输出中得出一个预测范围(bounding boxes)的任务都可以用iou来进行测量)，以此判断结果中的真正例、假正例和反假例。当iou≥0.5，为真正例；当iou＜0.5时，为假正例。当iou＝0，则为反假例。最后，计算查准率和查全率等。
53.激光雷达部分，本实施例提出基于几何特征的凹障碍物检测算法。落在地面的激光雷达点与落入凹障碍物内部的激光雷达点在几何特征上呈现明显差异，具体表现为落入凹障碍物内部的激光雷达点到激光雷达的距离将会变大。根据这一几何特性，在激光雷达点云中分离出落入凹障碍物内部的激光雷达点，然后采用欧式聚类进行分割，即可得到凹障碍物的方位和大小。
54.本实施例中，基于激光雷达的凹障碍物检测方法具体为：
55.如使用的激光雷达为32线激光雷达，激光雷达安装在无人车车顶，其每个激光扫描束都采用幅向圆周扫描。在凹障碍处，单个激光扫描束返回的点云数据呈现幅向局部凸性，多个激光扫描束的返回值呈现跳变的现象，且凹障碍宽度越宽，距离返回值跳变越明显，即凹障碍区域的几何特征越显著。
56.具体的，激光雷达每一线上的扇形激光束落在地面上呈现为圆形，如图3所示，仅截取了车辆前方的半圆形为例。矩形pqbc为凹障碍物，在圆o的圆周上，任意一点到圆心o的距离均为d
om
，即圆的半径。但是当激光束扫描到凹障碍物的时候，落入凹障碍物内的激光点将会落入其后壁上，那么此时雷达点到圆心o的距离就变成了d
on
，显然有d
on
＞d
om
。
57.基于上述模型，遍历激光雷达每一线上的点云数据，就能在点云数据中找到所有凹障碍区域的特征点。然后对于凹障碍物区域的特征点进行欧式聚类，即可得到凹障碍物的具体方位和大小。
58.更为具体的步骤如下：
59.(1)首先创建一个m
×
n的矩阵m来存储点云，对点云排序以便后序处理。其中，m是激光雷达的线束数目，n是由激光雷达的水平分辨率决定的，比如一个水平分辨率0.2
°
的激光雷达可以把[
‑
90
°
90
°
]分成900份，那么n即为900。
[0060]
对于每一个三维点p
i
＝(x,y,z)，可由公式和得到垂直角度ω和水平角度通过比较ω和激光雷达的垂直角度关系表(一般激光雷达出厂说明书中均有)，可以确定每个点属于的通道数，即可确定对应的m值。而对应的n值可以通过寻找离角最近的水平角度区间确定。这样可以填满整个m矩阵。此时的m矩阵可能存在无效点，所以，采用线性插值方法来填充无效点。
[0061]
(2)然后对每一行(即m)的所有相邻点计算水平距离差，即计算点云数据中每一行当前点与其后向的相邻点之间的距离，当该距离大于距离阈值e时，将当前点标记为轮廓点。如下述公式所示：
[0062][0063]
其中，δdis
j,j+1
为点云数据中某一行中第j个点和第j+1个点之间的水平距离差，当该距离大于距离阈值时，将x
j
和y
j
标记为x
k
和y
k
，表示该点为轮廓点。
[0064]
(3)当对所有点正向遍历一遍后，找到满足δdis
j,j+1
≥e的所有点，这些都是潜在的凹障碍点。这时，组合这些潜在的障碍点创建一个二值图像b1(即正向轮廓点集)，障碍单赋值1，其他点赋值0。另外，考虑到车身在路面上可能向左/右倾斜，如图4所示，导致单条线束扫到地面不是均匀的圆形，而是一个向左/右倾斜的椭圆形，这样很可能将凹坑右/左边的点均误检成凹障碍物。所以为了减小误检概率，增强检测的鲁棒性，采用了二次遍历的方法。当正向遍历完激光雷达点云数据后，再从反方向遍历一次，得到另外一个二值图像b2(即反向轮廓点集)，最后，通过将b1和b2进行与运算，得到最终的二值图像b，它是表示凹陷类障碍物概率的二进制矩阵，最后，通过经典的连通域算法对属于凹障碍物的点进行聚类，得到最终的检测结果，即第二轮廓。
[0065]
在本发明实施例中，由于传感器工作平台不同或提供观测信息的采样间隔、坐标系不同造成传感器自身偏差和观测误差的存在，使得多传感器在融合前需要数据配准，即多传感器数据“无误差”转换时通常需要的时空配准过程，主要包括时间配准和空间配准两部分。
[0066]
针对时空配准问题，本发明提出了一种3d点对应3d点的标定算法。时间配准主要将各传感器采集到的观测信息从不同步时刻转换到同一时刻。空间配准则主要完成各传感器同一平台不同坐标系或不同平台不同坐标系下观测数据到同一平台同一坐标系的转换。在进行完相机和激光雷达的时空配准之后，相机和激光雷达的检测结果就处于同一时间和同一空间坐标系下。
[0067]
时间配准：
[0068]
传感器在时间上的数据融合就是传感器数据在时间上的同步，由于不同传感器的采样频率不尽相同，传感器采集到的并不一定是同一时刻的信息。本实施例从实时性的角度出发，没有采用gps授时的方式，取而代之采用了线程同步的方式。在程序中创建雷达数据接收线程和相机数据接收线程，当每次采集当前帧图像时获取雷达当前时刻的数据。这样就将雷达数据和相机数据进行了时间上的同步。
[0069]
空间配准：
[0070]
摄像机数学模型描述了三维场景经变换后投影到二维图像的过程，摄像机数学模型确定后，就能知道三维场景中的某点在二维图像中的投影点的位置。下面以线性摄像机模型为例，介绍摄像机的标定。线性摄像机模型，如图5所示，在该模型中，有一个投影中心o和一个图像平面w，世界坐标系中的任意一点p在图像平面上具有对应的投影点n，n即是p和o的延伸线与图像平面w的交点。
[0071]
这种透视投影关系可表示为：
[0072][0073]
上式中，是世界坐标系的齐次坐标，是图像平面的齐次
坐标，λ是缩放因子，是一个3*4的透视投影矩阵，由摄像机的内外参数共同决定。
[0074]
透视投影矩阵可以分解为k为摄像机的内参数，可表示为f
x
与f
y
分别为x和y方向的等效焦距，u0和v0为图像像素中心的坐标，即光轴与图像平面的交点。
[0075]
内参数表示在摄像机坐标系内物点与像点之间的投影关系，可以通过张氏标定法获得。r为摄像机外部参数的旋转矩阵，t为摄像机外部参数的平移向量，两者确定了相机安装的朝向和位置，外参数表示了相机坐标系和世界坐标系的几何变换关系。
[0076]
激光雷达和相机的联合标定：
[0077]
激光雷达和相机作为野外自主感知最重要的两个传感器，因其各自特点，使得传感器融合，成为一种更优的检测方案。激光雷达分辨率强、测距精度高、实时性能较好，但激光雷达受障碍物材料特性、天气因素(如雨雾天气)等影响较大。摄像机提供丰富的颜色和特征信息，可以通过最先进的算法来检测感兴趣的物体，但相机中获取的二维图像没有景深信息，不能通过图像获取障碍物的三维信息。因此，本实施例中采用雷达相机联合标定方法(即lidar_camera_calibration)，将激光雷达点云投影到图像平面上。
[0078]
传统的激光雷达和相机的联合标定采用相机2d点和激光雷达3d点对应来实现。相机2d点坐标通过求标定板顶点坐标获得(角点关键点提取)，激光雷达3d点通过拟合标定板边界直线求得顶点3d坐标。最终求解pnp问题来获得对应的坐标转移矩阵，如下式所示：
[0079][0080]
其中，f为相机焦距f
x
＝f/dx，1/dx为x方向1毫米内像素的个数，f
y
＝f/dy，1/dy为y方向1毫米内像素的个数，c
x
和c
y
分别为图像中心点位置的横纵坐标值，t1为激光雷达坐标系在相机坐标系下x方向的平移，t2为激光雷达坐标系在相机坐标系下y方向的平移、t3为激光雷达坐标系在相机坐标系下z方向的平移，为激光雷达坐标系相对于相机坐标系的旋转矩阵。
[0081]
采用多个对应点将问题转化为雷达坐标系到相机坐标系重投影的最优化问题，求解最终的r、t，如下式所示：
[0082][0083]
但这样的处理方式依赖于高分辨率的激光雷达，否则求取的3d点坐标有很大误差，使得最终的数据融合结果不那么精确。针对这样的情况，本实施例中提出一种3d点对应3d点的标定方法，so(3)是3*3的组阵，是实数。
[0084]
实验装置如下图6所示，在标定之前，将相机和激光雷达按照预先设定的位置固定好。如果纸板的尺寸和aruco标记的位置是已知的，那么，标定板顶点在aruco标记坐标系下
的位置可以很容易地计算出来。aruco标记能够提供相机坐标系和雷达坐标系之间的旋转平移矩阵。
[0085]
进而，标定方法具体为：获取标定板顶点在图像坐标系中的第一3d坐标及其在激光雷达坐标系中的第二3d坐标；根据第一3d坐标和第二3d坐标生成旋转平移矩阵，通过旋转平移矩阵完成第一轮廓和第二轮廓的标定。
[0086]
标定板顶点在velodyne激光雷达下的3d坐标则通过直线拟合的方式获得。由于lidar扫描线的水平特性，如果标记物的一侧保持与地面平行，那么可以获得垂直边缘，但不一定能获得水平边缘。为了克服这个问题，将板倾斜，使其在边缘之一和接地平面之间形成一定的角度。通过这样的设置，总能在标定板的四个边缘上获得点，从而利用ransac(随机采用一致性算法)法将边缘点拟合成线，并求得交点。
[0087]
接着，通过icp(迭代最近邻)方法求得对应点之间的旋转平移矩阵，并将算法应用于多帧情况下用以消除噪声点带来的影响。
[0088]
假设我们已经得到两组点云对，要最小化的目标函数如下式，最终可以得到相机和激光雷达之间的旋转矩阵r和平移矩阵t。
[0089][0090]
最终将激光雷达3d点投影到图像平面上。
[0091]
通过上述的方法完成了多源异构传感器时间与空间上的对齐，接下来提出了基于交并集的多传感器融合方法。该方法对各传感器采集到的数据进行融合。数据融合的第一个目的是为了把雷达坐标系、摄像机坐标系、图像像素坐标系统一起来。坐标系的统一和建立有利于环境感知传感器对环境和障碍物具体距离和方位的测量，摄像机外部参数的标定可以把雷达扫描点投影到图像上，在图像坐标系上形成动态的目标区域，有利于后续结合摄像机与雷达各自的感知特点，进行障碍物区域划分，从而增强系统的鲁棒性，有效提高检测准确率，降低识别的虚警率。
[0092]
目标匹配采用判断不同传感器所检测出的障碍物边界框交并比(intersection over union)的方法，即计算每个矩形框面积的交集和并集的比值，比值最大且大于一定阈值的认为是同一目标，在本实施例中，设置阈值为0.5。两边界框a、b交并比的计算式为：
[0093][0094]
当得到的iou值大于等于阈值时，则根据第一轮廓和第二轮廓生成轮廓并集，再选取该并集的极值点，最后根据选取的极值点，生成凹障碍物的轮廓。
[0095]
由于传感器检测结果存在漏检、虚警等情况，因此，如果得到的iou值小于阈值，则说明二者的匹配存在问题，出现了错误，则以激光雷达数据为准，即将第二轮廓作为凹障碍物的轮廓进行标记。退一步讲，万一激光雷达识别错误，则采用图片的第一轮廓作为凹障碍物的轮廓进行标记。
[0096]
综上，因此本发明提出了一种多传感器融和算法，采取计算交并比的方法将多种传感器得到的结果进行融合，将融合后的检测结果呈现在图像上，这样可以增强系统的鲁棒性，有效提高检测准确率，降低识别的虚警率。
[0097]
本发明另一实施例还公开了一种基于车辆的凹陷类障碍物检测装置，如图7所示，
包括以下模块：
[0098]
检测模块210，用于通过摄像设备获取车辆检测范围内的图像，同时通过激光雷达获取车辆检测范围内的点云数据；提取模块220，用于基于yolo检测方法提取图像中凹障碍物的第一轮廓，且提取点云数据中凹障碍物的第二轮廓；标定模块230，用于对第一轮廓和第二轮廓进行标定，得到标定后凹障碍物的投影图像；计算生成模块240，用于计算投影图像中第一轮廓的投影和第二轮廓的投影的交并比值，当交并比值大于等于阈值时，在投影图像上生成凹障碍物的轮廓。
[0099]
需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0100]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将所述装置的内部结构划分成不同的功模块，以完成以上描述的全部或者部分功能。实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0101]
本发明的另一实施例还公开了一种基于车辆的凹陷类障碍物检测装置，如图8所示，包括存储器31、处理器32以及存储在存储器31中并可在处理器32上运行的计算机程序33，处理器32执行计算机程序33时实现上述任一种基于车辆的凹陷类障碍物检测方法。
[0102]
本发明的另一种技术方案：一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述任一种基于车辆的凹陷类障碍物检测方法。
[0103]
所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
[0104]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0105]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。