一种路侧激光雷达超视距感知系统及其工作方法

1.本发明属于智能交通领域，具体涉及一种路侧激光雷达超视距感知系统及其工作方法。


背景技术：

2.自动驾驶是一项可以提高交通效率、减少交通事故的重要技术。环境感知是自动驾驶系统的核心组成部分，直接影响自动驾驶系统的决策和控制。为实现自动驾驶系统的环境感知能力，通常会为车辆配备大量的传感器和高性能计算平台。但为车辆堆砌传感器的方式存在若干问题：1.存在感知盲区，例如在路口处易受其它车辆阻挡，无法感知到盲区中的障碍物；2.成本高昂，大量的传感器直接提高了自动驾驶的成本，并且需要配备高算力的计算平台。
3.自动驾驶除了在环境感知方面存在问题，在车辆协同上也存在缺陷。由于车辆缺乏实时的全局交通信息，只能根据自身的感知结果进行独立决策。因此，车辆难以优化交通流、减少路口拥堵。


技术实现要素：

4.本发明的目的在于克服现有技术的不足之处，提出一种路侧激光雷达超视距感知系统及其工作方法。本发明借助路侧系统实现实时的低功耗车辆超视距感知，从而减少车辆的感知盲区、降低车辆对自身传感器的依赖，同时该方法可以较高的实时性直接输出目标检测与运动预测结果，既减少了自动驾驶中车辆的感知盲区、大量配置传感器的问题，也对激光雷达感知的流程进行了精简、并在性能和功耗之间进行了平衡。并且该系统收集全局的交通信息，并将其反馈给车辆，使车辆能够根据全局交通信息优化自身决策，实现更好的车辆协同、交通流优化。
5.本发明首先提供了一种路侧激光雷达超视距感知系统，其包括：激光雷达、边缘低功耗计算平台、通信模块、电源模块和云端服务器；
6.电源模块为激光雷达、边缘低功耗计算平台和通信模块供电；激光雷达与边缘低功耗计算平台相连，为其提供原始点云数据；边缘低功耗计算平台将原始的点云数据进行预处理后，通过激光雷达感知方法进行环境感知，计算环境感知结果；通信模块将边缘低功耗计算平台的感知结果发送至云端服务器。
7.作为本发明的优选方案，所述的边缘低功耗计算平台包括预处理模块，主干网络和多任务模块；
8.所述的预处理模块用于对激光雷达获取的原始点云数据进行预处理，获得点云特征图；
9.所述的主干网络为特征提取深度学习网络，根据预处理模块的点云特征图，获得单一尺度的最终特征图；
10.所述多任务模块根据主干网络获得的最终特征图实现目标检测与运动预测。
11.作为本发明的优选方案，所述的预处理模块对原始点云数据先进行去地面过滤；再对剩余的点云数据以俯视视角进行投影，并进行格栅化处理，使点云投影至z平面的格栅上，再对每个格栅内的点云进行特征提取。
12.作为本发明的优选方案，所述的主干网络基于efficientdet网络，并在 efficientdet网络的bifpn层后增加了mosf融合层，mosf融合层将bifpn层输出的多尺度特征图融合为单一尺度的特征图。
13.作为本发明的优选方案，所述的主干网络首先使用efficientdet网络进行特征提取，efficientdet的bifpn层会输出多个不同尺度的特征图；
14.mosf融合层将bifpn层输出的多个不同尺度特征图融合为单一尺度的特征图，其中mosf融合层对多个不同尺度的特征图进行跨层连接，利用上采样卷积和下采样卷积使特征图改变自身分辨率，高分辨率的特征图下采样与低分辨率特征图进行融合，低分辨率的特征图上采样与高分辨率特征图进行融合。
15.作为本发明的优选方案，所述的多任务模块采用多检测头方式实现，其中四个检测头用于目标检测，输出目标类别、xyz三维坐标系的检测框、物体方向角；一个检测头用于输出运动预测的结果，即物体未来的坐标。
16.作为本发明的优选方案，所述的通信模块利用5g或wlan的方式将边缘计算平台的感知结果发送至云端服务器。
17.本发明还提供了一种上述路侧激光雷达超视距感知系统的工作方法：当车辆、行人等目标物体进入路侧激光雷达超视距感知系统的感知范围时，路侧激光雷达超视距感知系统计算出目标对象的类型、中心坐标、朝向、尺寸、预测的运动坐标，并将其作为路侧感知结果发送至云端服务器；云端服务器获取路侧感知结果后，一方面将其作为实时交通状态的来源数据；另一方面将路侧感知结果，分发给路侧激光雷达超视距感知系统覆盖范围内的车辆，使车辆获取路侧的感知结果，实现超视距感知。
18.与现有技术相比，本发明所具有的有益效果有：
19.本发明设计了路侧激光雷达感知系统，并为其设计了数据上云、数据分发车辆的功能，从而使得车辆可以获取来自路侧的感知结果，提升车辆的感知范围、减少感知盲区、增强驾驶的安全性、减少对自身传感器的依赖。
20.本发明设计了路侧激光雷达感知系统的云端部分，云端获取每一个路侧感知系统的实时感知结果，从而构建全局的交通信息，并将拥堵情况下发至车辆, 从而使得车辆获取实时的全局交通信息。车辆可根据实时全局交通信息进行更优的决策，减少交通拥堵问题，提升车辆决策的协同性。
21.本发明设计了包含时序信息的轻量化激光雷达感知深度学习网络，可以直接输出目标检测和运动预测两项感知结果，简化了感知流程，同时可以达到良好的实时性与精度。
附图说明
22.图1是本发明的路侧激光雷达超视距感知系统的模块示意图；
23.图2是路侧轻量化端到端激光雷达感知方法流程图；
24.图3是本发明的激光雷达感知网络mosf融合层；
25.图4是本发明的激光雷达感知网络多任务层结构；
26.图5是本发明的激光雷达感知网络在路侧感知单元系统上进行模型加速的方式。
具体实施方式
27.下面结合具体实施方式对本发明做进一步阐述和说明。所述实施例仅是本公开内容的示范且不圈定限制范围。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。
28.如图1所示，本发明首先提供了一种路侧激光雷达超视距感知系统，其包括：激光雷达、边缘低功耗计算平台、通信模块、电源模块和云端服务器；
29.电源模块为激光雷达、边缘低功耗计算平台和通信模块供电；激光雷达与边缘低功耗计算平台相连，为其提供原始点云数据；边缘低功耗计算平台将原始的点云数据进行预处理后，通过激光雷达感知方法进行环境感知，计算环境感知结果；通信模块将边缘低功耗计算平台的感知结果发送至云端服务器。
30.在本实施例中，所述的边缘低功耗计算平台包括预处理模块，主干网络和多任务模块，如图2所示；所述的预处理模块用于对激光雷达获取的原始点云数据进行预处理，获得点云特征图；所述的主干网络为特征提取深度学习网络，根据预处理模块的点云特征图，获得单一尺度的最终特征图；所述多任务模块根据主干网络获得的最终特征图实现目标检测与运动预测。
31.进一步的，所述的预处理模块对原始点云数据先进行去地面过滤；再对剩余的点云数据以俯视视角进行投影，并进行格栅化处理，使点云投影至z平面的格栅上，再对每个格栅内的点云进行特征提取。
32.在本实施例中，预处理首先使用ray ground filter方法对原始激光雷达点云数据进行地面点云滤除。其次去除多余空间的点云，本发明保留x、y、z轴数值分别在[-51.2,51.2]、[-51.2,51.2]、[-5,3]m内的点云。随后对剩余的点云进行格栅化，选取0.2m*0.2m大小的格栅大小，在z平面上将点云划分为 512*512大小的网格。最终基于格栅化以后的点云数据进行特征提取，完成激光雷达点云数据的预处理过程，生成点云特征图。特征提取过程中，使用当前 t时刻的点云数据、上一时刻t-1的点云数据
……
共连续5个时刻的点云数据。从中提取出地面高度ground、格栅内的最大z值maxz、平均z值averagez、平均点云反射强度averageintensity、点云密度pointdensity、最大x值maxx、最大y值maxy，从而对每个格栅提取10个通道的数据，最后构成 512*512*10的特征图。每隔通道的数据如下表所示。
[0033]
[0034][0035]
进一步的，所述的主干网络基于efficientdet网络，并在efficientdet网络的bifpn层后增加了mosf融合层，mosf融合层将bifpn层输出的多尺度特征图融合为单一尺度的特征图。
[0036]
作为本发明的优选方案，所述的主干网络首先使用efficientdet网络进行特征提取，efficientdet的bifpn层会输出多个不同尺度的特征图；
[0037]
mosf(multi-to-single fusion)融合层的结构如图3所示，mosf融合层将 bifpn层输出的多个不同尺度特征图融合为单一尺度的特征图，其中mosf融合层对多个不同尺度的特征图进行跨层连接，利用上采样卷积和下采样卷积使特征图改变自身分辨率，高分辨率的特征图下采样与低分辨率特征图进行融合，低分辨率的特征图上采样与高分辨率特征图进行融合。
[0038]
进一步的，所述的多任务模块采用多检测头方式实现，如图4所示。其中四个检测头用于目标检测，输出目标类别、xyz三维坐标系的检测框、物体方向角，如图4所示；一个检测头用于输出运动预测的结果，即物体未来的坐标。具体的，对于主干网络mosf层输出的特征图，首先使用一次共享卷积进行高维语义提取。再使用五个独立的检测头进行独立的卷积，获得五个感知结果，分别为目标对象类别、检测框的xy坐标和尺寸、检测框的z坐标和尺寸、方向角、未来每隔0.5s共五个时刻的运动预测值。运动预测值包含xy坐标和方向角。
[0039]
进一步的，所述的通信模块利用5g或wlan的方式将边缘计算平台的感知结果发送至云端服务器。
[0040]
本发明路侧激光雷达超视距感知系统使用nvidia jetson agx xavier边缘计算平台、及velodyne 16线激光雷达。边缘计算平台基于jetpack 4.4环境，使用ubuntu18.04系统，并部署了ros系统平台、深度学习环境，可使用有线网络/4g/wifi进行网络通信。
[0041]
对于上文的路侧轻量化端到端激光雷达感知方法，首先对其进行整体的模型加速，加快其运行速度，流程如图5所示。模型基于pytorch训练得来，将模型转换为onnx格式，再利用tensorrt进行读取和推理。路侧轻量化端到端激光雷达感知方法的预处理过程，使用cuda编写，以进一步提升其计算速度。
[0042]
路侧激光雷达超视距感知系统的软件工作流程如图1所示。激光雷达获取原始点云数据后，基于ros平台的ros-kinetic-velodynetopic发布原始数据。计算模块获取该原始数据后将其进行格式转换，转为array类型并基于cuda进行预处理过程，将其转换为激光雷达感知模型需要的特征图。利用tensorrt将特征图输入激光雷达感知模型，感知模型计算得到目标对象的感知结果。计算模块基于感知结果进行后处理，将目标对象的坐标、朝向从激光雷达自身的坐标系转换至全局坐标系，并将结果送入通信模块。通信模块基于twisted网络通信框架，将路侧激光雷达超视距感知系统的感知结果发送至云端。
[0043]
云端是独立工作的云计算平台，该平台接收到各个路侧激光雷达超视距感知系统发送的感知结果后，分析当前时刻与路侧激光雷达超视距感知系统较近的车辆，并将感知
结果发送至相应的车辆。基于此，车辆可以获取周边路侧激光雷达超视距感知系统的感知结果。以此提升自己的感知范围和感知能力，减少感知盲区、减少对自身传感器的依赖。同时，云端将路侧的感知结果汇总分析，包含各个路侧系统周边的车辆数量、速度等信息，从而构建全局的实时交通状态。云端将交通状态发送至车辆，使车辆获取交通状态进而做出更优的全局决策。
[0044]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。