一种自动驾驶视觉感知方法与系统与流程

本说明书涉及自动驾驶领域，特别涉及一种自动驾驶视觉感知方法与系统。

背景技术：

1、自动驾驶往往依赖于雷达进行障碍物的识别，但在港口这样的特殊区域，往往会存在复杂的环境和工况。例如，港口的自动驾驶车辆需要与各种场桥、岸桥、堆高机等流机进行近距离作业，车辆距离集装箱很近，锁站很窄。在这种情况下，自动驾驶车辆往往比普通场景下需要更高的距离精度以及对障碍物更敏锐的感知。但目前常常使用的激光雷达存在语义信息少，线束稀疏，并且存在扫描盲区等问题，导致其精度无法满足使用需求。

2、因此，需要提出一种自动驾驶视觉感知方法与系统，为港口内自动驾驶车辆提供视觉冗余感知安全，满足车辆驾驶需求。

技术实现思路

1、本说明书一个或多个实施例提供一种自动驾驶视觉感知方法，包括：获取待处理图像；基于语义分割模型，对所述待处理图像进行处理，确定所述待处理图像中目标对象的语义轮廓信息；其中，所述语义分割模型基于样本图像训练得到，模型训练的标签数据至少基于所述样本图像及所述样本图像对应的雷达点云数据确定；基于所述语义轮廓信息，确定所述目标对象的深度信息。

2、本说明书实施例之一提供一种自动驾驶视觉感知系统，包括：获取模块、模型处理模块、确定模块；所述获取模块用于获取待处理图像；所述模型处理模块用于基于语义分割模型，对所述待处理图像进行处理，确定所述待处理图像中目标对象的语义轮廓信息；其中，所述语义分割模型基于样本图像训练得到，模型训练的标签数据至少基于所述样本图像及所述样本图像对应的雷达点云数据确定；所述确定模块用于基于所述语义轮廓信息，确定所述目标对象的深度信息。

3、本说明书一个或多个实施例提供一种自动驾驶视觉感知装置，包括处理器，所述处理器用于执行所述的自动驾驶视觉感知方法。

4、本说明书一个或多个实施例提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行自动驾驶视觉感知方法。

技术特征：

1.一种自动驾驶视觉感知方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述标签数据通过如下方式确定：

3.根据权利要求2所述的方法，其特征在于，所述将所述雷达点云数据投射到所述样本图像，得到所述样本对象的点云标注结果包括：

4.根据权利要求2所述的方法，其特征在于，所述基于所述点云标注结果和所述初步标注结果，确定所述样本对象的目标标注结果包括：

5.根据权利要求4所述的方法，其特征在于，所述对所述点云标注结果中的所述点云标准轮廓和所述初步标注结果中的所述初步标注轮廓求并集，得到轮廓并集包括：

6.根据权利要求1所述的方法，其特征在于，所述基于所述语义轮廓信息，确定所述目标对象的深度信息包括：

7.根据权利要求6所述的方法，其特征在于，所述基于所述凸包，确定所述目标对象的更新轮廓点包括：

8.一种自动驾驶视觉感知系统，其特征在于，包括：获取模块、模型处理模块、确定模块；

9.一种自动驾驶视觉感知装置，包括处理器，所述处理器用于执行权利要求1～7中任一项所述的方法。

10.一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如权利要求1～7任一项所述的方法。

技术总结
本说明书实施例提供一种自动驾驶视觉感知方法，该方法包括：获取待处理图像；基于语义分割模型，对待处理图像进行处理，确定待处理图像中目标对象的语义轮廓信息；其中，语义分割模型基于样本图像训练得到，模型训练的标签数据至少基于样本图像及样本图像对应的雷达点云数据确定；基于语义轮廓信息，确定目标对象的深度信息。

技术研发人员：兰晓松,刘羿,何贝
受保护的技术使用者：北京斯年智驾科技有限公司
技术研发日：
技术公布日：2024/5/16