基于车路协同的点云目标检测和盲区目标检测方法及系统与流程

本发明属于车载雷达检测领域，尤其涉及一种基于车路协同的点云目标检测和盲区目标检测方法及系统。

背景技术：

目前，在点云和图像的目标识别向的卷积神经网络研究领域，通常采用一种检索建议区域的方法来缩小网络数据处理量，从而提高点云目标或者图像目标识别算法的运行速度，frustumpointnets就是点云目标识别算法中的主要代表。但是该方法存在一个重大的缺点，就是在实际的路况中，由于路面上目标较多，导致锥形建议区域也相对较多，这使得最后的总建议区域面积非常大，甚至接近原始的360度点云数据。在此情况下，frustumpointnets算法相对pointnet++的速度提高有效性将大打折扣，导致算法处理速度低，目标检测速度提升效果不明显。另外，因为车路协同非常强调数据的实时性、时空同步性，所以该场景下对算法的检测速度提出了非常严苛的要求。而在实际应用中速度提升效果不明显的frustumpointnets方法显然不能很好地满足要求，因为其检测速度将接近改进前的pointntes++算法，而pointnets++算法的检测速度本身就相对较慢。

除此之外，目前自动驾驶车辆通过搭载大量、多种类的传感器，取得了相对可靠的自动性能。但是在园区场景下的自动驾驶仍然面临着盲区目标检测问题，因为车辆本身在人车混流的园区内处于较为复杂的路况中，且车载传感器安装高度较低，受行人、车辆、绿化带以及地形的影响，不可避免地存在许多传感盲区。在无法获知盲区内的行人以及车辆信息的情况下，自动驾驶车辆将处于高风险的驾驶状态，并且盲区内物体的运动不确定性会给路径规划带来极大困难，这使得园区内的自动驾驶存在显著的安全隐患。

技术实现要素：

本发明所要解决的技术问题是：解决现有技术的不足，提出了可以解决点云目标神经网络检测速度不足和盲区目标检测的一种基于车路协同的点云目标检测和盲区目标检测方法及系统。

第一方面，本发明实施例提供一种基于车路协同的点云目标检测和盲区目标检测方法，所述方法包括：

图像目标检测和位置测算；

基于校核器进行目标分类；

依据校核器的目标分类结果，决定目标的检测方案；

使用pointnet++算法进行点云目标检测。

第二方面，本发明实施例还提供一种基于车路协同的点云目标检测和盲区目标检测的设备，所述设备包括：

检测模块：用于图像目标检测和位置测算；

分类模块：用于基于校核器进行目标分类；

选择模块：用于依据校核器的目标分类结果，决定目标的检测方案；

计算模块：用于使用pointnet++算法进行点云目标的检测。

第三方面，本发明实施例还提供一种设备，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于车路协同的点云目标检测和盲区目标检测的方法中的各个步骤。

第四方面，本发明实施例中还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于车路协同的点云目标检测和盲区目标检测的方法中的各个步骤。

本发明实施例提供一种基于车路协同的点云目标检测和盲区目标检测的方法，该方法包括：图像目标检测和位置测算；基于校核器进行目标分类；依据校核器的目标分类结果，决定目标的检测方案；使用pointnet++算法进行点云目标检测。通过巧妙地改变相机的位置和提出方形检索建议区域，应用到车路协同感知的新场景中去，同时达到了生成更优点云检索建议区域和盲区内目标检测的效果，还保证了路灯故障下单车智能的独立性不受任何影响，因为路灯故障时，所有目标都被校核器判断为仅被车检测到的目标，而该类目标将被决策为继续沿用搭载在车辆上的原frustumpointnets算法，感知结果与路灯无关。这使得搭载了本发明的智能汽车，在路侧智能设备的辅助下，具有更快速、更全面和更安全的目标感知性能。

附图说明

下面结合附图详述本发明的具体结构

图1为本发明的流程图；

图2为本发明的方形检索建议区域与frustumpointnets算法的锥形检索建议区域的对比图；

图3为本发明的盲区目标检测示意图；

图4为本发明的校核器目标分类示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供了一种基于车路协同的点云目标检测和盲区目标检测的方法，包括：

步骤101、图像目标检测和位置测算。

其中，使用faster-rcnn算法对车辆端的结构光深度相机和路灯侧的双目相机采集到的图像，进行车辆和行人的识别；识别出车辆和行人的目标后，车辆根据自身深度相机的图像信息和深度信息得到各个目标相对车辆的距离和角度；车辆端获取路灯根据自身的图像信息和双目视差法得到处理后的各个目标相对车辆的距离和角度。

步骤102、基于校核器进行目标分类。

其中，车辆端配置一种校核器；车辆端实时获取自身和所述路灯得到的目标位置信息，调用校核器对所有目标位置进行交集和并集处理，使得车辆端感知到校核器处理出来的的三类目标。这三类目标为车辆与路灯共同检测到的目标、车辆单独检测到的目标、路灯单独检测到的目标。

步骤103、依据校核器的结果，决定目标的检测方案。

其中，车辆端根据校核器的结果，决定每一个目标的检测方案。

步骤104、使用pointnet++算法进行点云目标检测。

其中，车辆端汇总所有目标的检测方案，并生成相应的检索建议区域，得出最终的全局检索建议区域；然后车辆端提取出所述全局检索建议区域内的点云，丢弃非区域内的点云数据；最后使用点云检测程序，使用pointnet++算法进行点云目标识别；得到目标的三维边界框，完成全局目标检测。

进一步的，所述图像目标检测和位置测算包括：

使用faster-rcnn算法对车辆端的结构光深度相机和路灯侧的双目相机采集到的图像进行车辆和行人的识别；

车辆根据所述结构光深度相机的图像信息和深度信息获取各个目标相对车辆的距离和角度；

车辆端获取路灯根据自身的图像信息和双目视差法得到处理后的各个目标相对车辆的距离和角度。

进一步的，所述基于校核器进行目标分类包括：

车辆端配置一校核器；

车辆端实时获取并汇总自身和所述路灯得到的目标位置信息，调用校核器对所有目标位置进行交集、并集处理以及目标分类处理；

经过校核器处理，所述车辆端一共感知到三类目标。

进一步的，所述车辆端感知到的三类目标为车辆与所述路灯共同检测到的目标、车辆单独检测到的目标、所述路灯单独检测到的目标。

进一步的，依据校核器的结果，决定目标的检测方案包括：

车辆端根据校核器的结果，决定每一个目标的检测方案。

进一步的，对于不同目标采用不同的检测方案包括：

所述车辆与路灯共同检测到的目标的检测方案包括：

车辆端拥有自身所述深度相机与所述路灯侧设备检测的目标的相对位置信息；

车辆端丢弃自身所述结构光深度相机检测出的目标的位置信息，直接使用所述路灯提供的位置信息生成三维方形检索建议区域；

所述车辆单独检测到目标的检测方案包括：

车辆端拥有自身所述深度相机检测到的目标的位置信息；

车辆端根据该目标的位置信息，使用frustumpointnets算法中的锥形建议区域生成方法，生成锥形检索建议区域；

所述路灯单独检测到目标的检测方案包括：

车辆端直接使用所述路灯侧设备检测出的目标的位置信息。

进一步的，所述点云目标的检测包括：

车辆端汇总所有目标的检测方案，并生成相应的检索建议区域，得出最终的全局检索建议区域；

车辆端提取出所述全局检索建议区域内的点云，丢弃非区域内的点云数据；

车辆端使用点云检测程序，使用pointnet++算法进行点云目标识别；

得到目标的三维边界框，完成全局目标检测。

进一步的，还包含无人车辆、车载16线激光雷达、车载深度相机、至少两个的带5g通讯设备的智慧路灯、至少两个的双目相机、车载计算机、至少两台的边缘云的计算机。

具体地，对于上述三类目标：

车辆与路灯共同检测到的目标的检测方案的具体步骤包括：车辆端拥有自身所述深度相机与所述路灯侧设备检测的目标的相对位置信息；车辆端丢弃自身所述深度相机检测出的目标的位置信息，直接使用所述路灯提供的位置信息生成三维方形检索建议区域。

车辆单独检测到目标的检测方案的具体步骤包括：车辆端拥有自身所述深度相机检测到的目标的位置信息；车辆端使用frustumpointnets算法中的锥形建议区域生成方法，生成锥形检索建议区域。

路灯单独检测到目标的检测方案的具体步骤包括：车辆端直接使用所述路灯侧设备检测出的目标的位置信息。

在本实施例中，使用faster-rcnn算法对车辆端的结构光深度相机和路灯侧的双目相机采集到的图像，进行车辆和行人的识别(车载计算机处理深度相机图像识别，路灯侧计算机处理双目相机图像识别)。在识别出车辆和行人目标后，车辆根据自身深度相机的图像信息和深度信息可以得出各个目标相对车辆的距离和角度。而路灯根据自身的图像信息和双目视差法可以得到各个目标在相机坐标下三维坐标，然后根据各个目标的三维坐标即可算出各个目标相对车辆的距离和角度。车辆上配置一种校核器(校核器是一个安装在无人车辆端计算机上的程序)，依靠路灯和车辆之间的实时通讯(路灯将在第一步中得到的目标位置信息实时地发送给车辆)，车辆端在接收到这些信息后调用校核器，对来自路侧双目相机和来自车载相机的所有目标位置信息进行交集、并集处理以及目标分类处理。通过校核器的处理，无人车辆计算机端将感知到以下三类目标：车辆与路灯共同检测到的目标，车单独检测到的目标，路灯单独检测到的目标。接下来，依据校核器的结果，来决定每一个目标的检测方案。

对于车辆与路灯共同检测到的目标，采用检测方案1。方案1：在此情况下，无人车辆端的计算机中拥有两份该目标的相对位置信息(一份由自身车载相机检测所得，一份接收自路侧设备)，此时车辆丢弃由自身深度相机检测出的位置信息，直接使用路灯提供的位置信息来生成一个三维方形检索建议区域。

对于车辆单独检测到的目标，采用检测方案2。方案2：在此情况下，无人车辆端的计算机中只拥有一份该目标的位置信息，即由车辆自身深度相机检测出的位置信息。无人车辆端的计算机将使用往常的frustumpointnets算法中的锥形建议区域生成方法，来生成一个锥形检索建议区域。

对于路灯单独检测到的目标，采用检测方案3。方案3：在此情况下，无人车辆端的计算机中只拥有一份该目标的位置信息，即由路侧相机检测出的位置信息。车辆直接使用由路灯提供的位置信息作为目标的位置信息。

将上面一步中所有目标的检测方案汇总，生成对应的检索建议区域并作并集处理，得到最终的全局检索建议区域。然后将这个总检索区域内的所有点云提取出来(丢弃掉非区域内的点云数据)，然后送到车载计算机的点云检测程序中，使用pointnet++算法进行点云目标识别，并得到目标的三维边界框，从而完成全局目标检测并提高检测精度。

综上所述，本发明提供的一种基于车路协同的点云目标检测和盲区目标检测方法及系统，通过巧妙地改变相机的位置和提出方形检索建议区域，应用到车路协同感知的新场景中去，同时达到了生成更优点云检索建议区域的效果(对于车和路侧相机同时看到的目标)，以及盲区内目标检测的效果(对于路侧相机感知到的但车辆智能无法感知到的目标)，还保证了在路灯故障的情况下单车智能的独立性不受任何影响(路灯故障时，所有目标都被校核器判断为仅被车检测到的目标，该类目标将被决策为继续沿用搭载在车辆上的原frustumpointnets算法，感知结果与路灯无关)。这使得搭载了本发明的智能汽车，在路侧智能设备的辅助下，具有更快速、更全面和更安全的目标感知性能。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。