一种目标区域检测的方法、系统、设备和存储介质与流程

本发明涉及自动驾驶系统领域，更具体地，特别是指一种目标区域检测的方法、系统、设备和存储介质。

背景技术：

1、自动驾驶系统在道路上需要实时感知环境，以便及时对路况作出响应。然而，如果系统无法通过交通系统及时了解到临时施工的提示并对施工道路进行封禁，就有可能导致自动驾驶车辆仍然按照路线规划进入施工道路，从而引发安全事故。因此，及时检测道路施工的存在并确定其在地图中的位置信息非常重要。一旦检测到道路施工，自动驾驶车辆就可以采取相应的规避措施，例如避障或者改变行驶路线，以确保行驶安全。

2、然而，目前还没有一种广泛应用的方法能够准确检测路面上的施工情况，并确定施工道路的范围。主要问题在于施工行为本身缺乏固定的形态，难以单纯依赖图像传感器通过目标检测的方式进行有效检测。此外，临时路面施工往往无法及时更新到自动驾驶系统的高精地图中。因此，急需一种精准且高效的路面施工检测方法来准确定位施工现场。

技术实现思路

1、有鉴于此，本发明实施例的目的在于提出一种目标区域检测的方法、系统、电子设备及计算机可读存储介质，本发明同时考虑图像、激光、超声波等多种感知信息，通过算法模型综合分析融合这些不同特征源的特征，可以更准确地检测出施工现场所具有的共性物体，并进一步确定施工事件的位置和范围，本发明实施例能够有效应对路面施工的复杂情况，为自动驾驶车辆的行驶提供可靠的道路交通安全保护。

2、基于上述目的，本发明实施例的一方面提供了一种目标区域检测的方法，包括如下步骤：采集目标区域的视频流、稠密点云数据和稀疏点云数据；对所述视频流中的图像帧、所述稠密点云数据和所述稀疏点云数据分别进行处理得到第一特征嵌入向量、第二特征嵌入向量和第三特征嵌入向量；将所述第一特征嵌入向量、第二特征嵌入向量和第三特征嵌入向量分别投影到bev空间下得到第一bev特征嵌入向量、第二bev特征嵌入向量和第三bev特征嵌入向量；以及将所述第一bev特征嵌入向量、第二bev特征嵌入向量和第三bev特征嵌入向量融合得到bev特征融合特征，并根据所述bev特征融合特征确定所述目标区域中是否存在预设状况。

3、在一些实施方式中，所述对所述视频流中的图像帧、所述稠密点云数据和所述稀疏点云数据分别进行处理得到第一特征嵌入向量、第二特征嵌入向量和第三特征嵌入向量的步骤包括：通过体素特征提取器和3d稀疏卷积层对所述稠密点云数据进行处理以得到第二特征嵌入向量。

4、在一些实施方式中，所述通过体素特征提取器和3d稀疏卷积层对所述稠密点云数据进行处理以得到第二特征嵌入向量的步骤包括：通过对3d稀疏卷积层中输入输出不为空的数据建立位置哈希表和rulebook，并对有效数据计算卷积。

5、在一些实施方式中，所述对所述视频流中的图像帧、所述稠密点云数据和所述稀疏点云数据分别进行处理得到第一特征嵌入向量、第二特征嵌入向量和第三特征嵌入向量的步骤包括：通过叠加多个体素特征编码层对所述稀疏点云数据进行处理以得到第三特征嵌入向量。

6、在一些实施方式中，所述通过叠加多个体素特征编码层对所述稀疏点云数据进行处理以得到第三特征嵌入向量的步骤包括：将稀疏点云数据转化成体素数据，使用卷积神经网络对所述体素数据进行处理，并输出每个体素中是否存在物体以及物体的具体位置、大小和朝向。

7、在一些实施方式中，所述将所述第一特征嵌入向量、第二特征嵌入向量和第三特征嵌入向量分别投影到bev空间下得到第一bev特征嵌入向量、第二bev特征嵌入向量和第三bev特征嵌入向量的步骤包括：将所述第一特征嵌入向量的每个特征像素沿着相机光线分散到多个离散点，并通过所述多个离散点对应的深度概率对关联特征进行重新缩放以生成相机特征点云。

8、在一些实施方式中，所述通过所述多个离散点对应的深度概率对关联特征进行重新缩放以生成相机特征点云的步骤包括：根据离散点的数量、相机的数量、相机特征图的尺寸确定所述相机特征点云的大小。

9、在一些实施方式中，所述将所述第一特征嵌入向量、第二特征嵌入向量和第三特征嵌入向量分别投影到bev空间下得到第一bev特征嵌入向量、第二bev特征嵌入向量和第三bev特征嵌入向量的步骤包括：将所述相机特征点云在x轴和y轴上量化，并根据量化的步长确定bev网格；以及使用bev池化操作聚合所述bev网格内的所有特征，并将所述所有特征沿z轴展平。

10、在一些实施方式中，所述将所述第一特征嵌入向量、第二特征嵌入向量和第三特征嵌入向量分别投影到bev空间下得到第一bev特征嵌入向量、第二bev特征嵌入向量和第三bev特征嵌入向量的步骤包括：设置离散化时的分辨率，并根据所述分辨率生成对应大小的第二bev特征嵌入向量和第三bev特征嵌入向量。

11、在一些实施方式中，所述根据所述bev特征融合特征确定所述目标区域中是否存在预设状况的步骤包括：根据所述bev特征融合特征输出3d目标检测的施工现场分类结果和回归位置信息，所述回归位置信息包括回归3d框的几何中心坐标、长宽高和朝向角。

12、本发明实施例的另一方面，提供了一种目标区域检测的系统，包括：采集模块，配置用于采集目标区域的视频流、稠密点云数据和稀疏点云数据；处理模块，配置用于对所述视频流中的图像帧、所述稠密点云数据和所述稀疏点云数据分别进行处理得到第一特征嵌入向量、第二特征嵌入向量和第三特征嵌入向量；投影模块，配置用于将所述第一特征嵌入向量、第二特征嵌入向量和第三特征嵌入向量分别投影到bev空间下得到第一bev特征嵌入向量、第二bev特征嵌入向量和第三bev特征嵌入向量；以及融合模块，配置用于将所述第一bev特征嵌入向量、第二bev特征嵌入向量和第三bev特征嵌入向量融合得到bev特征融合特征，并根据所述bev特征融合特征确定所述目标区域中是否存在预设状况。

13、本发明实施例的又一方面，还提供了一种电子设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。

14、本发明实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。

15、本发明具有以下有益技术效果：同时考虑图像、激光、超声波等多种感知信息，通过算法模型综合分析融合这些不同特征源的特征，可以更准确地检测出施工现场所具有的共性物体，并进一步确定施工事件的位置和范围，本发明实施例能够有效应对路面施工的复杂情况，为自动驾驶车辆的行驶提供可靠的道路交通安全保护。

技术特征：

1.一种目标区域检测的方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的目标区域检测的方法，其特征在于，所述对所述视频流中的图像帧、所述稠密点云数据和所述稀疏点云数据分别进行处理得到第一特征嵌入向量、第二特征嵌入向量和第三特征嵌入向量的步骤包括：

3.根据权利要求2所述的目标区域检测的方法，其特征在于，所述通过体素特征提取器和3d稀疏卷积层对所述稠密点云数据进行处理以得到第二特征嵌入向量的步骤包括：

4.根据权利要求1所述的目标区域检测的方法，其特征在于，所述对所述视频流中的图像帧、所述稠密点云数据和所述稀疏点云数据分别进行处理得到第一特征嵌入向量、第二特征嵌入向量和第三特征嵌入向量的步骤包括：

5.根据权利要求4所述的目标区域检测的方法，其特征在于，所述通过叠加多个体素特征编码层对所述稀疏点云数据进行处理以得到第三特征嵌入向量的步骤包括：

6.根据权利要求1所述的目标区域检测的方法，其特征在于，所述将所述第一特征嵌入向量、第二特征嵌入向量和第三特征嵌入向量分别投影到bev空间下得到第一bev特征嵌入向量、第二bev特征嵌入向量和第三bev特征嵌入向量的步骤包括：

7.根据权利要求6所述的目标区域检测的方法，其特征在于，所述通过所述多个离散点对应的深度概率对关联特征进行重新缩放以生成相机特征点云的步骤包括：

8.根据权利要求7所述的目标区域检测的方法，其特征在于，所述将所述第一特征嵌入向量、第二特征嵌入向量和第三特征嵌入向量分别投影到bev空间下得到第一bev特征嵌入向量、第二bev特征嵌入向量和第三bev特征嵌入向量的步骤包括：

9.根据权利要求1所述的目标区域检测的方法，其特征在于，所述将所述第一特征嵌入向量、第二特征嵌入向量和第三特征嵌入向量分别投影到bev空间下得到第一bev特征嵌入向量、第二bev特征嵌入向量和第三bev特征嵌入向量的步骤包括：

10.根据权利要求1所述的目标区域检测的方法，其特征在于，所述根据所述bev特征融合特征确定所述目标区域中是否存在预设状况的步骤包括：

11.一种目标区域检测的系统，其特征在于，包括：

12. 一种电子设备，其特征在于，包括：

13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-10任意一项所述方法的步骤。

技术总结
本发明提供一种目标区域检测的方法、系统、设备和存储介质，方法包括：采集目标区域的视频流、稠密点云数据和稀疏点云数据；对视频流中的图像帧、稠密点云数据和稀疏点云数据分别进行处理得到第一、第二和第三特征嵌入向量；将第一、第二和第三特征嵌入向量分别投影到BEV空间下得到第一BEV特征嵌入向量、第二BEV特征嵌入向量和第三BEV特征嵌入向量；以及将第一BEV特征嵌入向量、第二BEV特征嵌入向量和第三BEV特征嵌入向量融合得到BEV特征融合特征，并根据BEV特征融合特征确定目标区域中是否存在预设状况。本发明多模态的综合检测方法能够有效应对路面施工的复杂情况，为自动驾驶车辆的行驶提供可靠的保护。

技术研发人员：康晓,郭振华,芮建秋,刘俊,沈彧,夏建文,王佳利,张令军
受保护的技术使用者：苏州市大数据集团有限公司
技术研发日：
技术公布日：2024/3/31