一种车辆行驶环境感知方法、装置、电子设备及存储介质

本发明涉及环境感知，尤其涉及一种车辆行驶环境感知方法、装置、电子设备及存储介质。

背景技术：

1、包括车载毫米波雷达和相机在内的车载传感器是智能驾驶系统的关键组成部分，为车辆提供了环境感知能力。雷达可以利用无线电波测量物体的距离、速度和角度，优势在于能够在恶劣天气条件下稳定工作，并且对光照变化不敏感。相机则提供了丰富的视觉信息，包括颜色、形状和纹理，有助于识别路标、交通信号和行人等。

2、在实际场景中，为了获取更准确的周围环境映射，通常可以通过以下两种方式实现：

3、1、增加传感器：许多车企为了提高性能，会选择增加多种传感器、如雷达、摄像头、激光雷达(lidar)和超声波传感器。雷达能够在各种气候条件下检测距离和速度，摄像头提供高分辨率的视觉信息，lidar以高精度捕捉三维空间数据，超声波传感器则适用于近距离检测。这些传感器的数据被综合处理，支持了诸如自动驾驶、先进驾驶辅助系统(adas)以及其他安全特性。

4、2、使用决策级融合策略：各传感器独立进行特征提取和决策(如物体检测、分类)，然后将这些决策合并以形成最终决策，融合方法大多采用概率的方法，如基于贝叶斯理论和基于卡尔曼滤波的方法等等。这种融合方法对传感器之间的同步要求不高且便于维护。

5、然而，增加传感器会带来成本增加的问题。而使用决策级融合的方法，会缺失掉中间大量丰富的特征信息，早期处理阶段可能遗漏的细节信息无法在后续步骤中恢复，导致环境感知效果较差。

技术实现思路

1、本发明提供了一种车辆行驶环境感知方法、装置、电子设备及存储介质，用于解决现有的车辆行驶环境感知方法感知效果较差的技术问题。

2、本发明提供了一种车辆行驶环境感知方法，所述车辆安装有车载雷达和相机；所述方法包括：

3、接收所述车载雷达上传的雷达点云数据和所述相机采集的图像数据；

4、从所述雷达点云数据中提取雷达特征；

5、从所述图像数据中提取图像特征和深度估计；

6、采用所述图像特征、所述雷达点云数据和所述雷达特征确定目标雷达点；

7、根据所述目标雷达点和所述深度估计生成视锥体视图融合特征；

8、通过注意力机制融合所述视锥体视图融合特征和所述雷达特征，得到目标融合特征；

9、根据所述目标融合特征生成环境感知数据。

10、可选地，所述采用所述图像特征、所述雷达点云数据和所述雷达特征确定目标雷达点的步骤，包括：

11、将所述图像特征输入全卷积网络得到目标建议边界框；

12、通过自适应阈值关联所述目标建议边界框、所述雷达点云数据和所述雷达特征确定目标雷达点。

13、可选地，所述通过自适应阈值关联所述目标建议边界框、所述雷达点云数据和所述雷达特征确定目标雷达点的步骤，包括：

14、获取所述目标建议边界框的角点坐标；

15、将所述角点坐标作为转化为极坐标系下的角点极坐标；

16、将所述雷达点云数据转化为极坐标系下的点云极坐标；

17、根据所述角点极坐标生成雷达点自适应阈值；

18、根据所述雷达特征、所述点云极坐标和所述雷达点自适应阈值从所述雷达点云数据中筛选目标雷达点。

19、可选地，所述雷达点自适应阈值包括雷达点方位角方向阈值和雷达点径向距离选择阈值；所述根据所述角点极坐标生成雷达点自适应阈值的步骤，包括：

20、根据所述角点极坐标计算最左边角点角度、最右边角点角度、最前面角点径向距离和最后面角点径向距离；

21、采用所述最左边角点角度和所述最右边角点角度生成雷达点方位角方向阈值；

22、采用所述最前面角点径向距离和所述最后面角点径向距离生成雷达点径向距离选择阈值。

23、可选地，所述根据所述目标雷达点和所述深度估计生成视锥体视图融合特征的步骤，包括：

24、根据所述目标雷达点计算雷达占用率；

25、采用所述雷达占用率和所述深度估计，将所述图像特征转换为视锥体视图融合特征。

26、本发明还提供了一种车辆行驶环境感知装置，所述车辆安装有车载雷达和相机；所述装置包括：

27、接收模块，用于接收所述车载雷达上传的雷达点云数据和所述相机采集的图像数据；

28、雷达特征提取模块，用于从所述雷达点云数据中提取雷达特征；

29、图像特征和深度估计提取模块，用于从所述图像数据中提取图像特征和深度估计；

30、目标雷达点确定模块，用于采用所述图像特征、所述雷达点云数据和所述雷达特征确定目标雷达点；

31、视锥体视图融合特征生成模块，用于根据所述目标雷达点和所述深度估计生成视锥体视图融合特征；

32、目标融合特征生成模块，用于通过注意力机制融合所述视锥体视图融合特征和所述雷达特征，得到目标融合特征；

33、环境感知数据生成模块，用于根据所述目标融合特征生成环境感知数据。

34、可选地，所述目标雷达点确定模块，包括：

35、目标建议边界框获取子模块，用于将所述图像特征输入全卷积网络得到目标建议边界框；

36、目标雷达点确定子模块，用于通过自适应阈值关联所述目标建议边界框、所述雷达点云数据和所述雷达特征确定目标雷达点。

37、可选地，所述目标雷达点确定子模块，包括：

38、角点坐标获取单元，用于获取所述目标建议边界框的角点坐标；

39、角点极坐标转化单元，用于将所述角点坐标作为转化为极坐标系下的角点极坐标；

40、点云极坐标转化单元，用于将所述雷达点云数据转化为极坐标系下的点云极坐标；

41、雷达点自适应阈值生成单元，用于根据所述角点极坐标生成雷达点自适应阈值；

42、目标雷达点筛选单元，用于根据所述雷达特征、所述点云极坐标和所述雷达点自适应阈值从所述雷达点云数据中筛选目标雷达点。

43、本发明还提供了一种电子设备，所述设备包括处理器以及存储器：

44、所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

45、所述处理器用于根据所述程序代码中的指令执行如上任一项所述的车辆行驶环境感知方法。

46、本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行如上任一项所述的车辆行驶环境感知方法。

47、从以上技术方案可以看出，本发明具有以下优点：本发明提供了一种车辆行驶环境感知方法，包括：接收车载雷达上传的雷达点云数据和相机采集的图像数据；从雷达点云数据中提取雷达特征；从图像数据中提取图像特征和深度估计；采用图像特征、雷达点云数据和雷达特征确定目标雷达点；根据目标雷达点和深度估计生成视锥体视图融合特征；通过注意力机制融合视锥体视图融合特征和雷达特征，得到目标融合特征；根据目标融合特征生成环境感知数据。

48、本发明通过将雷达特征和图像特征进行融合，来确定图像中的目标雷达点；接着使用一种视锥体的方法作为融合数据的载体，便于可视化和后续的融合；然后使用注意力机制将视锥体视图融合特征与雷达特征进行融合，从而使得目标有丰富的环境感知数据。提高了车辆行驶环境感知的效果。