基于三维占用栅格驾驶场景模拟方法、系统、设备及介质与流程

本申请实施例涉及计算机视觉，特别涉及一种基于三维占用栅格驾驶场景模拟方法、系统、设备及介质。

背景技术：

1、人类驾驶员可以通过视觉系统轻松识别复杂的交通场景，这种精确的环境感知能力对于车辆的控制非常重要。我们需要驾驶系统可以描述道路上的各类物体，如不规则的大卡车、静态的障碍物、运动的行人等。

2、传统的3d框、点云分割、bev分割、lidar分割等表征方式难以准确描述周围的环境，从而影响了驾驶系统的性能。比如：三维对象检测采用3d框作为自动驾驶中的感知目标，这种表示方式只关心前景物体并过度简化了物体的几何形状信息，无法描述不规则物体。lidar分割的任务是点级三维场景理解。它需要点云作为输入，价格昂贵，且lidar在三维场景描述中受到有限的感测范围和稀疏性的影响，因此难以完整的描述三维环境。

技术实现思路

1、本申请实施例提供一种基于三维占用栅格驾驶场景模拟方法、系统、设备及介质，基于三维占用栅格表征提出了一个通用的框架结构，能够从环视图像中构建三维环境的三维占用栅格描述，并支持下游的多个感知及规控任务。

2、为解决上述技术问题，第一方面，本申请实施例提供一种基于三维占用栅格驾驶场景模拟方法，包括以下步骤：首先，基于视觉输入，构建三维空间占用栅格描述符；然后，基于占用栅格描述符，实现下游任务；其中，基于视觉输入，构建三维空间占用栅格描述符，包括：从环视图像中提取图像特征；基于bev编码器，获取bev特征；采用体素解码器，在体素空间对图像特征和所述bev特征进行解码，得到三维空间占用栅格描述符。

3、在一些示例性实施例中，下游任务包括3d语义场景重建、3d检测、bev分割以及运动规划。

4、在一些示例性实施例中，在基于占用栅格描述符，实现下游任务之后，还包括：基于nuscenes数据集，构建占用栅格数据集。

5、在一些示例性实施例中，基于nuscenes数据集，构建占用栅格数据集，包括：将nuscenes数据集中稀疏点云累积为密集点云，并对运动前景物体进行处理，构建占用栅格数据集。

6、在一些示例性实施例中，将nuscenes数据集中稀疏点云累积为密集点云，并对运动前景物体进行处理，包括：基于3d框，将点云分解为静态背景点云和物体点云；分别在世界坐标系、物体坐标系中累积所述背景点云以及所述物体点云，得到稠密的点云；基于稠密的点云，对三维空间进行体素化处理，并基于投票法得到体素的标签，生成占用栅格数据，得到占用栅格数据集。

7、在一些示例性实施例中，占用栅格数据集包括34149帧、700个训练场景以及150个验证场景。

8、第二方面，本申请实施例还提供了一种基于三维占用栅格驾驶场景模拟系统，包括：依次连接的占用栅格构建模块以及应用模块；占用栅格构建模块用于根据视觉输入，构建三维空间占用栅格描述符；应用模块用于根据占用栅格描述符，实现下游任务；其中，基于视觉输入，构建三维空间占用栅格描述符，包括：从环视图像中提取图像特征；基于bev编码器，获取bev特征；采用体素解码器，在体素空间对所述图像特征和所述bev特征进行解码，得到三维空间占用栅格描述符。

9、在一些示例性实施例中，上述基于三维占用栅格驾驶场景模拟系统还包括：评估模块；评估模块用于根据nuscenes数据集，构建占用栅格数据集，并基于占用栅格数据集对模拟系统进行评估。

10、另外，本申请还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述基于三维占用栅格驾驶场景模拟方法。

11、另外，本申请还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述基于三维占用栅格驾驶场景模拟方法。

12、本申请实施例提供的技术方案至少具有以下优点：

13、本申请实施例提供一种基于三维占用栅格驾驶场景模拟方法、系统、设备及介质，该方法包括以下步骤：首先，基于视觉输入，构建三维空间占用栅格描述符；然后，基于占用栅格描述符，实现下游任务；其中，基于视觉输入，构建三维空间占用栅格描述符，包括：从环视图像中提取图像特征；基于bev编码器，获取bev特征；采用体素解码器，在体素空间对图像特征和所述bev特征进行解码，得到三维空间占用栅格描述符。

14、本申请基于占用栅格occupancy表征提出了一个通用的框架结构occnet，基于环视图像构建鲁棒的占用栅格特征，从环视图像中构建三维环境的占用栅格描述并支持下游的多个感知及规控任务。occnet包含两个阶段，occupancy重建和occupancy利用。在occupancy重建阶段，首先从环视图像上提取特征，采用bev编码器获取bev特征，然后使用级联的体素解码器在体素空间对特征解码获得高质量的占用栅格描述符。在occupancy利用阶段，基于占用栅格描述符，本申请能够实现各种下游任务，如3d检测和3d语义场景重建。基于bev空间的地图分割，本申请能够实现规划控制任务。

技术特征：

1.一种基于三维占用栅格驾驶场景模拟方法，其特征在于，包括：

2.根据权利要求1所述的基于三维占用栅格驾驶场景模拟方法，其特征在于，所述下游任务包括3d语义场景重建、3d检测、bev分割以及运动规划。

3.根据权利要求1所述的基于三维占用栅格驾驶场景模拟方法，其特征在于，在基于所述占用栅格描述符，实现下游任务之后，还包括：

4.根据权利要求3所述的基于三维占用栅格驾驶场景模拟方法，其特征在于，所述基于nuscenes数据集，构建占用栅格数据集，包括：

5.根据权利要求4所述的基于三维占用栅格驾驶场景模拟方法，其特征在于，所述将nuscenes数据集中稀疏点云累积为密集点云，并对运动前景物体进行处理，包括：

6.根据权利要求4所述的基于三维占用栅格驾驶场景模拟方法，其特征在于，所述占用栅格数据集包括34149帧、700个训练场景以及150个验证场景。

7.一种基于三维占用栅格驾驶场景模拟系统，其特征在于，包括：依次连接的占用栅格构建模块以及应用模块；

8.根据权利要求7所述的基于三维占用栅格驾驶场景模拟系统，其特征在于，还包括：评估模块；

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一所述的基于三维占用栅格驾驶场景模拟方法。

技术总结
本申请涉及计算机视觉技术领域，特别涉及一种基于三维占用栅格驾驶场景模拟方法、系统、设备及介质，该方法包括以下步骤：首先，基于视觉输入，构建三维空间占用栅格描述符；然后，基于占用栅格描述符，实现下游任务；其中，基于视觉输入，构建三维空间占用栅格描述符，包括：从环视图像中提取图像特征；基于BEV编码器，获取BEV特征；采用体素解码器，在体素空间对图像特征和BEV特征进行解码，得到三维空间占用栅格描述符。本申请提供的基于三维占用栅格驾驶场景模拟方法，基于三维占用栅格表征提出了一个通用的框架结构，能够从环视图像中构建三维环境的三维占用栅格描述，并支持下游的多个感知及规控任务。

技术研发人员：李弘扬,司马崇昊,童文文,邓瀚铭,陈立,卢乐炜,乔宇
受保护的技术使用者：上海人工智能创新中心
技术研发日：
技术公布日：2024/1/13