一种基于多雷达数据融合的环境感知方法及系统与流程

1.本发明属于车辆环境感知技术领域，具体涉及智能驾驶车辆的多雷达环境感知数据融合技术。


背景技术：

2.智能驾驶车辆需要感知系统在不同环境和工况下保持稳定检测，其一般由毫米波、超声波、环视、周视以及激光雷达组成，其中视觉传感器作为主传感器感知系统受光线影响较大，多激光雷达融合进行目标检测可以有效增加感知系统的适应性和鲁棒性，特别是在光线较弱引起视觉传感器目标检测能力不足或者失效的情况。另外，较单雷达系统，多雷达系统盲区更小，对周围环境的感知能力更强,能较为有效地增强系统的感知安全性能。中国专利文献cn201911178929.2公开了一种多激光雷达的汽车驾驶障碍物检测方法及系统, 其采用高精度地图和激光雷达相结合,并且需要借助其他传感器来确定roi区域，具有强依赖性。中国专利文献cn202010379056.8公开了 一种基于多激光雷达数据融合的方法, 其是基于多激光雷达数据融合的方法，可以有效地将多个激光雷达的数据充分利用，但该方法转换复杂，处理耗时，不具有扩展性和较好的实用性。


技术实现要素：

3.本发明针对现有技术存在的不足，提供一种多雷达数据融合的环境感知方法，目的是建立一个可扩展、可以独立工作、实用性强的多雷达数据融合环境感知系统。
4.本发明的技术方案如下：一种多雷达数据融合的环境感知方法，其包括如下步骤：步骤1，获取点云信息：由多个雷达获取车辆周围环境信息，得到点云数据；步骤2，点云畸变补偿：结合imu的信息求得每一个点云所在的雷达位置与初始位置的转换关系，将每一帧的所有点都转换到初始雷达位置；步骤3，坐标系转换：将畸变补偿之后的点云经标定文件完成从雷达坐标系到车体坐标系的转换，得到车体坐标系下的点云；步骤4，建立栅格地图：包括设定栅格地图，确定栅格区域，然后进行点云投影，最后判别栅格的属性，建立得到栅格地图；步骤5，目标聚类和筛选：根据栅格占据状态来进行目标聚类，删除异常目标；步骤6，目标可视化。
5.以上方法中，多雷达原始数据需要经过驱动转成程序预先定义结构，激光雷达原始的数据结构是以udp包的形式发送，每一个udp数据包由若干个block组成，每一个block包含了同一时刻激光雷达所有激光发射器的数据，在计算处理单元经过专门的雷达数据驱动将udp数据包以单线和单帧的形式存储。另外，不同雷达点云数据到车体坐标系下的转换驱动是由原始的雷达标定信息在惯性导航单元数据修正的基础上得到，然后以比点云扫描频率更高的频率传递给感知系统的处理单元，所以处理单元的主要输入接口有：经点云驱
动处理后的单线单帧点云数据以及经转换驱动处理后的不同雷达
‑
车体的转换矩阵。
6.本方法将数据转换到车体坐标系以后，通过先验知识进行滤波，以减小后续对算力和栅格图的负载。栅格地图相关参数可以根据实际场景通过配置文件进行修改，达到场景
‑
程序、算力
‑
效率的更好匹配。不同雷达的数据投影到栅格平面（oxy面），并根据点云的（x,y）位置信息将所有点云放到不同id的栅格过程中，并在此过程中，通过去噪处理模块删除异常点云，以减小噪点对感知系统的干扰。点云投影完成之后，根据点云远距离具有稀疏性的特点，不同距离采用不同策略来判别栅格的属性，可以有效减少误检和漏检的概率,一张有效栅格图的建立对于后续目标聚类效果和效率有着重要影响。
7.所述步骤4建立栅格地图的具体方法如下：步骤4.1，设定栅格地图：设定栅格地图的大小以及分辨率，结合车辆在栅格中的位置，确定栅格区域，即前向检测距离、后向检测距离以及侧向检测距离；步骤4.2，进行点云投影：将不同雷达的点云数据投影到栅格平面（oxy面），并根据点云的（x,y）位置信息将所有点云放到不同id的栅格中，在此过程中，通过去噪处理删除异常点云；步骤4.3，判别栅格的属性：对于每一个栅格的属性，对于近处的点云通过计算栅格内最高点与最低点的高度差，如果高度差大于阈值x，则判定为目标栅格，反之则不是目标栅格；对于远处的点云具有稀疏性，根据绝对高度即栅格内最高点是否高于阈值y，若是，则判定为目标栅格，反之则判定为非目标栅格。
8.本方法基于栅格图的目标检测将整张图进行遍历并进行聚类，考虑到点云在远处具有稀疏性，聚类阈值需要根据距离自适应修改，这样可以有效降低目标检测的过分割与欠分割，对于聚类完成的目标进行筛选，将一部分不符合条件的目标滤除，筛选条件可以通过配置文件灵活进行修改以满足场景需要。
9.所述步骤5的目标聚类和筛选具体为：目标聚类采用泛洪法，对于远处的目标栅格，聚类阈值大，近处的目标栅格，聚类阈值小，基于栅格图的目标检测将整张图进行遍历并进行聚类；筛选是根据经验或者实验来确定异常目标的约束条件来删除异常目标，得到一系列检测目标及相关的信息包括尺寸和速度等。
10.本方法在目标可视化阶段，通过修改可视化配置参数可以设定显示为二维矩形框、原始二维凸包以及三维框。
11.进一步，本方法中，所述雷达至少布置一个在车顶作为主雷达，并在车辆两侧距地面0.35
‑
0.5m位置至少各安装一个作为侧雷达。所述侧雷达要设置8
‑
10
°
的安装倾角，所述侧雷达在车头两侧或者后视镜下方。
12.本发明还进一步提供实现上述方法的多雷达数据融合的环境感知系统。
13.采用以上方法的具体优点如下：优点1：基于栅格地图的点云目标检测，由于机械式雷达点云存在近密远疏的特点，在聚类的时候如果聚类阈值不变，容易造成远处目标的过分割。本方法考虑到激光雷达的点云特点，根据距离远近设置了不同的阈值（近处阈值小，远处阈值大），并结合实际使用的效果确定不同距离阈值的确定，有效解决了目标过分割和欠分割的问题，在其它感知系统失效的简单场景能独立工作。
14.优点2：由于激光雷达在车体近处容易产生盲区，一般是安装高度越高，盲区越大，
所以在车体较低位置处对称低线束雷达（兼顾成本需求），为了进一步减小盲区，雷达以一定的侧倾角度进行安装，实际使用中，对于车体侧向目标（轿车、卡拉车）能全部检测，车体侧向目标（行人）约有0.5m盲区，自车侧向盲区较其他方法有明显优势；优点3：本方法在扩展性方面也具有明显优势，针对激光雷达安装数量的调整，算法不需要进行任何改动，只需在配置文件里更改其点云通道名和标定参数，另外，可视化方面，通过修改可视化的配置参数，可以呈现不同的目标感知效果，以满足不同用户的需求，具有较好的扩展性。
附图说明
15.图1 多雷达数据融合的环境感知系统算法处理框架图；图2 目标栅格地图建立模块流程图；图3目标聚类及可视化模块流程图；图4多雷达数据融合的环境感知系统安装位置示意图。
具体实施方式
16.在此描述本公开的实施例。然而，应该理解，所公开的实施例仅仅是示例，其他实施例可采用各种和可选的形式。附图不一定按照比例绘制；可能会夸大或最小化一些特征，以示出具体部件的细节。因此，在此公开的具体结构和功能性细节不应该被解释为限制，而仅仅作为用于教导本领域的技术人员以各种方式使用本发明的代表性基础。如本领域的普 通技术人员将理解的，参照任一幅图示出和描述的各个特征可与在一幅或多幅其他附图中 示出的特征组合，以产生未被明确示出或描述的实施例。示出的特征的组合为典型应用提 供代表性实施例。然而，可期望与本公开的教导一致的特征的各种组合和变型用于具体应用或实施方式。
17.本发明采用的系统主要由多个雷达、以及承载用的支架、接线盒、高速网线以及算法单元组成。图4大致示意了主雷达33、侧雷达34和侧雷达35安装位置关系。
18.雷达主要安装位置：一个主雷达安装在车顶，其测量距离10%反射率下可以达到150m,另外较小的垂直角分辨率和水平角分辨率，在本实施例中，设计为在扫描频率10hz下，水平角分辨率为0.2
°
，垂直角分辨在中间区域为 0 .33
°
，这样可以更好的对目标进行描绘，使得打到目标物体上的点云数量更多，点云线更密，可以较早的发现前方目标进而给规划控制留出更多的时间。但是由于主雷达垂直安装距离离地面较高，使得其在自车周围有较大盲区。所以需要在车辆两侧较低位置安装线束相对较少的激光雷达，本实施例中实际为0.35m左右，这样可以兼顾应用效果和实际成本，并且根据需要人为设置一定的安装倾角，本实施例中实际为9
°
左右，以有效减小盲区。侧雷达在车头两侧或者后视镜下方，车身后方雷达可以视需求安装，系统框架有预设的接口，可以快速接入新增雷达数据。
19.图1整体描述了整个方法的框架部分，激光雷达2、激光雷达3和激光雷达4在供电满足条件以及自身状态正常的情况下，会按照既定的策略产生点云udp包，每个雷达的出厂设置参数都不一样，需要加载对应的参数文件5进行修正，然后一起接入原始点云驱动程序6，最终得到预先定义的激光雷达7、激光雷达8和激光雷达9点云数据格式。
20.步骤1：获取点云信息：在车辆运动过程中，激光雷达不断获取周围环境的信息，表
现形式为一圈一圈的点云。
21.步骤2：点云畸变补偿：由于雷达本身随着车体的运动，会使得同一帧点云里面的点是在不同位置采集的，也就是点云畸变，点云畸变对后续的处理精度带来负面影响，因此需要结合imu12的信息求得每一个点云所在的雷达位置与初始位置的转换关系，进而将每一帧的所有点都转换到初始雷达位置。
22.步骤3：坐标系转换：进行畸变补偿之后的点云经标定文件13完成从雷达坐标系—车体坐标系的转换，得到车体坐标系下的点云14。
23.步骤4，建立栅格地图：为了减少运算量和提高效率，通过判断点是否位于感兴趣区域15，将部分打到车身上的点以及对目标检测没有贡献的点给滤除掉16，位于感兴趣区域的点来建立栅格地图17，栅格地图主要涉及前向检测距离、后向检测距离以及侧向检测距离的设定、栅格分辨率的确定和栅格占据状态判断策略选择等。得到一张完整栅格图之后可以根据栅格占据状态来进行目标聚类和可视化18。
24.步骤5，目标聚类：该过程主要是聚类策略的确定、聚类阈值的确定。
25.步骤6，目标可视化：主要是可视化内容的选择，可视化模块可以选择输出二维的凸包、二维的矩形框以及三维的凸包、三维大框。
26.图2较为详细的描述步骤4的栅格地图建立过程：19设定栅格地图的大小以及分辨率，结合车辆在栅格中的位置，可以确定栅格区域20，即前向检测距离、后向检测距离以及侧向检测距离，可以针对不同的场景来灵活设定参数，以达到检测效果和效率的平衡，一般来讲，栅格地图越大，分辨率越小，检测精度较高，但是算法耗时会较长，对于某些场景比如只关注左右紧邻的两车道信息，就可以将侧向距离设定小一些，对于高速的场景前向检测距离就需要设定大一些。对于车体坐标下的激光雷达点，一部分点是噪点或者异常点，需要通过噪点剔除模块21进行筛选，对于非噪点将其放入栅格。对于每一个栅格的属性，在近处通过计算栅格内最高点与最低点的高度差，如果高度差大于某一阈值，如阈值x，则判定为目标栅格，反之则不是目标栅格；由于远处的点云具有稀疏性，远处栅格里面的点会比较少，根据绝对高度即栅格内最高点是否高于某一阈值，如阈值y，若比阈值大，则判定为目标栅格，反之则判定为非目标栅格。阈值x和y都可以通过根据实验效果获得。
27.图3较为详细的描述了步骤5目标聚类和筛选的过程：在建立栅格地图以及栅格属性之后进行目标聚类26，聚类方法采用泛洪法，对于远处的目标栅格，聚类阈值大，近处的目标栅格，聚类阈值小，具体阈值的获取在这种大的原则下需要根据实验效果进行确定，这样可以有效减少过分割和欠分割。由于根据单纯依赖高度信息的目标检测还是会出现检测不准的情况，需要根据经验或者实验来确定异常目标的约束条件27来删除异常目标28，该过程完成之后，可以得到一系列检测目标及相关的信息包括尺寸和速度等。这些信息可以给到下游的模块以及可视化。
28.在目标可视化过程中，通过采用可视化配置参数，可以将目标设定显示为二维矩形框、原始二维凸包和/或三维框。
29.本发明进一步的实施例是一种多雷达数据融合的环境感知系统，实现以上方法，其包括多个雷达以及处理单元，所述处理单元包括：点云数据获取模块，被配置为通过多个雷达获取车辆周围环境信息，得到点云数
据；点云畸变补偿模块，结被配置为结合imu的信息求得每一个点云所在的雷达位置与初始位置的转换关系，将每一帧的所有点都转换到初始雷达位置；坐标系转换模块，被配置为将畸变补偿之后的点云经标定文件完成从雷达坐标系到车体坐标系的转换，得到车体坐标系下的点云；栅格地图建立模块，被配置为设定栅格地图，确定栅格区域，然后进行点云投影，最后判别栅格的属性；目标聚类和筛选模块，被配置为根据栅格占据状态来进行目标聚类，删除异常目标；目标可视化模块。
30.所述处理单元系统有预设的接口，用于接入新增雷达数据。
31.虽然在上面描述了示例性实施例，但是并不意味着这些实施例描述了由权利要求 所包含的所有可能形式。在说明书中使用的词语是描述性词语而非限制性词语，应该理解 到，在不脱离本公开的精神和范围的情况下可进行各种改变。如之前描述的，各个实施例的 特征可组合，以形成可能未明确描述或示出的本发明的进一步的实施例。虽然各个实施例可能已经被描述为提供优点或者在一个或多个期望特性方面优于其他实施例或现有技术实施方式，但是本领域的普通技术人员认识到，根据具体应用和实施方式，一个或多个特征或特性可折衷，以实现期望的总体系统属性。这些属性可包括但是不限于成本、强度、耐用性、生命周期成本、外观、尺寸、可制造性、功能鲁棒性等。这样，被描述为在一个或多个特性方面比其他实施例或现有技术实施方式更不令人期望的实施例不在本公开的范围之外，且可期望用于具体应用。