一种基于多传感器数据融合的拒马桩整体检测方法及系统

1.本发明涉及无人车感知目标检测技术领域，特别是涉及一种基于多传感器数据融合的拒马桩整体检测方法及系统。


背景技术：

2.无人车目标检测任务不同于一般场景下的目标检测任务，一般场景下的目标检测任务只需要检测出场景中有什么目标，而不需要对目标的位置进行精准的定位，并输出目标的精准位置坐标。而在无人车行驶的过程中需要躲避障碍物，所以不仅需要检测出场景中有什么目标，还需要对目标的位置进行精准的定位。
3.无人车在进行目标检测的过程中常采用激光雷达和摄像头这两种传感器采集数据。普通摄像头具有造价低廉、可以采集到目标丰富的色彩信息等优势。但是普通摄像头无法采集到目标的三维坐标信息。双目摄像头虽然可以通过计算得到目标的三维坐标信息，但是精度远不如激光雷达的定位精度高。激光雷达虽然无法获取目标丰富的色彩信息，但是其可以精确的得到目标的三维坐标信息。
4.无人车目标检测是无人驾驶领域的关键技术之一。由于无人车行驶过程中处于安全的考虑，对于检测的精确度要求很高，并且还需要在检测的同时精确的获取到目标的定位信息，以便后续进行避障。因此，如何提高检测精确度和定位精确度是进行无人车目标检测的研究热点。
5.但是目前无人车目标检测领域应用研究多集中在只使用激光雷达进行目标检测或者只使用双目相机进行目标检测。而只使用激光雷达进行目标检测虽然保证了目标定位的精确度，但是由于缺少物体的色彩信息，进行目标检测的依据只是物体的三维形状特征，这带来的目标检测精确度的下降，并可能导致错检和漏检。只使用双目相机的目标检测方法，虽然充分利用了物体的色彩信息，有较高的检测精确度，但因为定位不准确，故导致定位精确度降低了。


技术实现要素：

6.有鉴于此，本发明提供了一种基于多传感器数据融合的拒马桩整体检测方法及系统，既利用了摄像头可以获取物体丰富的色彩信息的优势，又利用了激光雷达可以精确的获得目标的三维坐标信息的优势，从而在无人车拒马桩测任务中，能够实时精确的识别出拒马桩并且对拒马桩的位置进行精准定位。
7.为实现上述目的，本发明提供了如下方案：
8.一种基于多传感器数据融合的拒马桩整体检测方法，包括：
9.获取拍摄图像，并根据所述拍摄图像得到目标二维筛选框；
10.获取三维点云数据，对所述三维点云数据进行过滤，得到不包含地面的过滤点云数据；
11.对所述过滤点云数据进行聚类，得到若干个初始三维检测框；
12.基于所述目标二维筛选框对若干个所述初始三维检测框进行筛选，得到三维检测框集；
13.将所述三维检测框集中的中心点距离激光雷达坐标系原点最近的三维检测框作为三维筛选框；
14.基于所述三维筛选框对所述过滤点云数据进行筛选，得到目标点云数据。
15.优选地，所述获取拍摄图像，并根据所述拍摄图像集得到目标二维筛选框，具体为：
16.获取拍摄图像，并将所述拍摄图像输入改进的yolov5神经网络中，得到所述目标二维筛选框；改进的yolov5神经网络嵌入ros机器人操作系统中。
17.优选地，所述对所述过滤点云数据进行聚类，得到若干个三维检测框，具体为：
18.基于欧氏距离对所述过滤点云数据进行聚类，得到若干个所述三维检测框。
19.优选地，所述基于所述目标二维筛选框对若干个所述初始三维检测框进行筛选，得到三维检测框集，包括：
20.将所述二维候选框从像素坐标系转换到激光雷达坐标系，得到激光雷达坐标系下的二维筛选框；
21.基于所述二维筛选框对若干个所述初始三维检测框进行筛选，得到所述三维检测框集。
22.优选地，所述基于所述三维筛选框对所述过滤点云数据进行筛选，得到目标点云数据，包括：
23.将所述过滤点云数据中位于所述三维筛选框内的点云进行筛选，得到所述目标点云数据。
24.本发明还提供了一种基于多传感器数据融合的拒马桩整体检测系统，包括：
25.图像模块，用于获取拍摄图像，并根据所述拍摄图像得到目标二维筛选框；
26.点云模块，用于获取三维点云数据，对所述三维点云数据进行过滤，得到不包含地面的过滤点云数据；
27.聚类模块，用于对所述过滤点云数据进行聚类，得到若干个初始三维检测框；
28.二维筛选模块，用于基于所述目标二维筛选框对若干个所述初始三维检测框进行筛选，得到三维检测框集；
29.三维选取模块，用于将所述三维检测框集中的中心点距离激光雷达坐标系原点最近的三维检测框作为三维筛选框；
30.三维筛选模块，用于基于所述三维筛选框对所述过滤点云数据进行筛选，得到目标点云数据。
31.优选地，所述图像模块具体为：
32.获取拍摄图像，并将所述拍摄图像输入改进的yolov5神经网络中，得到所述目标二维筛选框；改进的yolov5神经网络嵌入ros机器人操作系统中。
33.优选地，所述聚类模块具体为：
34.基于欧氏距离对所述过滤点云数据进行聚类，得到若干个所述三维检测框。
35.优选地，所述二维筛选模块包括：
36.坐标转换单元，用于将所述二维候选框从像素坐标系转换到激光雷达坐标系，得
到激光雷达坐标系下的二维筛选框；
37.二维筛选单元，用于基于所述二维筛选框对若干个所述初始三维检测框进行筛选，得到所述三维检测框集。
38.优选地，所述三维筛选模块具体为：
39.将所述过滤点云数据中位于所述三维筛选框内的点云进行筛选，得到所述目标点云数据。。
40.根据本发明提供的具体实施例，本发明公开了以下技术效果：
41.本发明涉及一种基于多传感器数据融合的拒马桩整体检测方法及系统，方法包括：获取拍摄图像，并根据所述拍摄图像得到目标二维筛选框；获取三维点云数据，对所述三维点云数据进行过滤，得到不包含地面的过滤点云数据；对所述过滤点云数据进行聚类，得到若干个初始三维检测框；基于所述目标二维筛选框对若干个所述初始三维检测框进行筛选，得到三维检测框集；将所述三维检测框集中的中心点距离激光雷达坐标系原点最近的三维检测框作为三维筛选框；基于所述三维筛选框对所述过滤点云数据进行筛选，得到目标点云数据。本发明既利用了摄像头可以获取物体丰富的色彩信息的优势，又利用了激光雷达可以精确的获得目标的三维坐标信息，从而在无人车拒马桩测任务中，能够实时精确的识别出拒马桩并且对拒马桩的位置进行精准定位。
附图说明
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
43.图1为本发明基于多传感器数据融合的拒马桩整体检测方法流程图；
44.图2为本发明生成的目标二维筛选框示意图；
45.图3为本发明聚类得到的若干个初始三维检测框示意图；
46.图4为本发明基于多传感器数据融合的拒马桩整体检测系统结构图；
47.图5为本发明中相机坐标系与激光雷达坐标系关系示意图；
48.图6为本发明实际场景中的聚类效果示意图。
49.图7为本发明实际场景中的最终检测效果示意图。
50.符号说明：1-图像模块，2-点云模块，3-聚类模块，4-二维筛选模块，5
‑ꢀ
三维选取模块，6-三维筛选模块。
具体实施方式
51.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.本发明的目的是提供一种基于多传感器数据融合的拒马桩整体检测方法及系统，既利用了摄像头可以获取物体丰富的色彩信息的优势，又利用了激光雷达可以精确的获得
目标的三维坐标信息，从而在无人车拒马桩测任务中，能够实时精确的识别出拒马桩并且对拒马桩的位置进行精准定位。
53.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
54.图1为本发明基于多传感器数据融合的拒马桩整体检测方法流程图。如图 1所示，本发明提供了一种基于多传感器数据融合的拒马桩整体检测方法，包括：
55.步骤s1，获取拍摄图像，并根据所述拍摄图像得到目标二维筛选框。
56.具体地，将所述拍摄图像输入改进的yolov5神经网络中，得到所述目标二维筛选框。改进的yolov5神经网络已经嵌入ros机器人操作系统中。所述拍摄图像基于单目相机获取。
57.本实施例中，将原始yolov5神经网络中的推理部分进行了修改，通过加入cv_bridge函数，可以实时接收ros机器人系统中的图像消息格式的图像数据。生成的目标二维筛选框如图2所示。
58.步骤s2，获取三维点云数据，对所述三维点云数据进行过滤，得到不包含地面的过滤点云数据。所述三维点云数据基于激光雷达获取。
59.步骤s3，对所述过滤点云数据进行聚类，得到若干个初始三维检测框。
60.优选地，基于欧氏距离对所述过滤点云数据进行聚类，得到若干个所述初始三维检测框。
61.首先随机选取一个初始种子点，采用kd-tree近邻搜索查询到离该种子点最近的k个点，再选取这k个点中与初始种子点的距离小于设定阈值的点聚为一类，然后重新选取第二个未被分类的点云作为种子点，进行以上操作。直到所有点云数据都被分类完毕后结束，得到若干个初始三维检测框，如图3所示。
62.最后得到每个类别点云簇中的x轴坐标最小值xmin，y轴坐标最小值ymin，z轴坐标最小值zmin，x轴坐标最大值xmax，y轴坐标最大值ymax，z 轴坐标最大值zmax。则每个类别点云簇形成的初始三维检测框的中心点坐标为初始三维检测框的长宽高分别为xmax-xmin、ymax-ymin和zmax-zmin。
63.步骤s4，基于所述二维筛选框对若干个所述初始三维检测框进行筛选，得到三维检测框集。如图6所示，图6中每个物体聚类为一个类，长方体是二维筛选框所包含的范围，用二维筛选框筛选三维检测框就是要筛选出位于长方体范围内的物体生成的三维检测框。
64.步骤s5，将所述三维检测框集中的中心点距离激光雷达坐标系原点最近的三维检测框作为三维筛选框。
65.由于二维筛选框是对图像数据进行目标检测后产生的，所以丢失了目标的 z轴坐标。因此不能作为筛选最终目标点云的筛选框，需要用二维筛选框筛选出其范围内的初始三维检测框并提取出这些范围内三维检测框中，中心点距离激光雷达坐标系原点最近的三维检测框作为最终得到的三维筛选框。这个三维筛选框作为最终用来筛选目标点云的筛选框。
66.图6中长方体中形状类似大写英文字母m的物体是实际我们要检测的拒马桩，而整个长方体中除了包含拒马桩以外还包含的背景物体。进一步提取出中心点距离激光雷达坐
标系原点最近的三维检测框就是要去掉背景物体生成的三维检测框，从而得到最终三维筛选框。
67.具体地，将所述二维筛选框从像素坐标系转换到激光雷达坐标系，得到激光雷达坐标系下的二维筛选框，相机坐标系与激光雷达坐标系之间的关系的示意图如图5所示，转换公式如下：
[0068][0069]
式中：其中u、v分别是像素坐标系下的坐标，u0、v0分别是图像坐标系下的坐标，像素坐标系和图像坐标系是平移的关系。如图5所示，xoy坐标系为图像坐标系，uo1v坐标系为像素坐标系，d
x
、dy分别是单个像素在像平面的长和宽，f为相机的焦距，r为旋转矩阵、t为平移矩阵。xw,yw,zw分别是激光雷达坐标系下的坐标。
[0070]
步骤s6，基于若干个所述三维检测框对去地面后的点云数据进行筛选，得到目标点云数据。
[0071]
将所述不包含地面的过滤点云数据中位于所述三维点云筛选框内的点进行筛选，得到所述目标点云数据。
[0072]
整体筛选过程的公式如下：
[0073]
point_out＝bbox
min
_3d&&bbox_2d&point_in；
[0074]
式中：point_in是过滤点云数据，bbox
min
_3d取值为true或者false，表示点云是否在三维点云筛选框内，bbox_2d取值为true或者false，表示点云是否在二维点云筛选框内，point_out表示输出的目标点云数据。
[0075]
通过实验发现，当激光雷达(实验用的是16线的激光雷达)与拒马的距离超过10m之后，拒马的点云就非常稀疏了，12m左右只有个别点。此时就需要对拒马的点云进行补点。
[0076]
本实施例中，对得到的目标点云数据的顶部进行补点，补出来是一个矩形的点云，矩形的长和宽是拒马的长和宽。具体补点步骤是从坐标为(x
min
,y
min
)向坐标为(x
max
,y
max
)以步长为0.2米进行补点。最后拒马检测和定位的结果在rviz 点云可视化软件中可以查看。如图7所示是本发明在实际应用场景中的最终检测效果示意图。图中长方形框内的点云为最终检测出来的目标点云数据。
[0077]
本发明提供了一种兼顾了性价比，又能很好的运用多传感器采集到的数据进行目标检测与定位的方法，基于该融合检测方法，可以精准的对目标进行检测，并且对目标进行定位，同时降低了对处理器性能大需求，提高了性价比。
[0078]
图4为本发明基于多传感器数据融合的拒马桩整体检测系统结构图。如图 4所示，本发明提供了一种基于多传感器数据融合的拒马桩整体检测系统，包括：图像模块1、点云模块2、聚类模块3、二维筛选模块4、三维选取模块5 和三维筛选模块6。
[0079]
所述图像模块1用于获取拍摄图像，并根据所述拍摄图像得到目标二维筛选框。
[0080]
所述点云模块2用于获取三维点云数据，对所述三维点云数据进行过滤，得到不包含地面的过滤点云数据。
[0081]
所述聚类模块3用于对所述过滤点云数据进行聚类，得到若干个初始三维检测框。
[0082]
所述二维筛选模块4用于基于所述目标二维筛选框对若干个所述初始三维检测框进行筛选，得到三维检测框集。
[0083]
所述三维选取模块5用于将所述三维检测框集中的中心点距离激光雷达坐标系原点最近的三维检测框作为三维筛选框。
[0084]
所述三维筛选模块6用于基于所述三维筛选框对所述过滤点云数据进行筛选，得到目标点云数据。
[0085]
可选地，所述图像模块1具体为：
[0086]
获取拍摄图像，并将所述拍摄图像输入改进的yolov5神经网络中，得到所述目标二维筛选框；改进的yolov5神经网络嵌入ros机器人操作系统中。
[0087]
可选地，所述聚类模块3具体为：
[0088]
基于欧氏距离对所述过滤点云数据进行聚类，得到若干个所述三维检测框。
[0089]
可选地，所述二维筛选模块4包括：
[0090]
坐标转换单元，用于将所述二维候选框从像素坐标系转换到激光雷达坐标系，得到激光雷达坐标系下的二维筛选框。
[0091]
二维筛选单元，用于基于所述二维筛选框对若干个所述初始三维检测框进行筛选，得到所述三维检测框集。
[0092]
可选地，所述三维筛选模块6具体为：
[0093]
将所述过滤点云数据中位于所述三维筛选框内的点云进行筛选，得到所述目标点云数据。
[0094]
上述的拒马桩整体检测系统运行于ubuntu18.04操作系统，编程语言采用 python3.6，使用了python库中的matplotlib、pandas、math、opencv与numpy 等，可以实时输出检测到的目标点云数据，并且可以在点云可视化系统rviz 中实时观察目标的图像数据和点云数据，以便无人车系统后续进行路径规划的时候可以根据输出的目标点云数据进行实时避障。
[0095]
拒马桩整体检测系统通过单目相机采集到物体的拍摄图像后，将数据送入当前性能优秀的目标检测神经网络yolov5后，输出目标二维筛选框。同时通过激光雷达采集到目标的三维点云数据后，将数据进行处理后与图像数据进行算法上的融合处理。最终输出目标的检测结果和定位结果，具有检测精度和定位精度都非常高，并且需要的硬件平台成本低廉的优势。
[0096]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0097]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。