车辆环境感知方法、装置、电子设备和存储介质与流程

本申请涉及车辆工程，具体而言，涉及一种车辆环境感知方法、装置、电子设备和存储介质。

背景技术：

1、随着人工智能技术的不断发展与进步，驾驶员辅助系统（advanced drivingassistance system，adas）的应用越来越广泛，也为驾驶员的日常驾驶提供了很好的帮助。adas通过全景式监控影像系统（around view monitor，avm）实现，avm是由传统倒车影像系统发展而来，摒弃了传统倒车影像系统只能查看车辆后方路况的弊端，为驾驶员的车辆操控提供了有力的参考依据，通过车辆四周的四路广角摄像头拍摄的实时画面，生成360度环视影像，并显示于多媒体屏幕上。

2、现有技术中通过avm对车辆的四周环境进行感知，其对驾驶员的辅助作用依赖于驾驶员对环视影像的主动分析，驾驶员在驾驶过程中需要集中注意力专注于路况信息，无法及时、准确和全面地识别车辆四周环境中的危险因素，安全提示效果差。

技术实现思路

1、本申请提供一种车辆环境感知方法、装置、电子设备和存储介质，用于解决现有的车辆环境感知方法依赖于驾驶员对环视影像的主动分析，安全提示效果差的技术问题。

2、本申请提供一种车辆环境感知方法，包括：

3、获取目标车辆四周的环境图像，并对所述环境图像进行拼接得到全景环视图像；

4、对各个环境图像进行障碍物检测，确定各个环境图像中障碍物的位置信息，并基于各个障碍物的位置信息确定所述目标车辆的盲区碰撞预警信息；

5、对所述全景环视图像进行车道线检测，确定所述全景环视图像中车道线的位置信息，并基于所述车道线的位置信息确定所述目标车辆的车道偏离预警信息；

6、在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息。

7、在一些实施例中，所述对各个环境图像进行障碍物检测，确定各个环境图像中障碍物的位置信息，并基于各个障碍物的位置信息确定所述目标车辆的盲区碰撞预警信息，包括：

8、基于行人检测模型或者车辆检测模型对各个环境图像进行障碍物检测，确定所述各个环境图像中的障碍物以及各个障碍物在对应的环境图像中的图像位置；

9、基于各个环境图像的图像坐标系与所述目标车辆所在的世界坐标系之间的坐标转换关系，以及各个障碍物在对应的环境图像中的图像位置，确定各个障碍物在所述世界坐标系中的空间位置；所述世界坐标系以所述目标车辆的中心为原点；

10、基于各个障碍物在所述世界坐标系中的空间位置，确定各个障碍物与所述目标车辆之间的空间距离；

11、基于各个障碍物与所述目标车辆之间的空间距离，确定各个障碍物的预警等级；

12、基于各个障碍物的图像位置和预警等级，生成所述目标车辆的盲区碰撞预警信息。

13、在一些实施例中，所述对所述全景环视图像进行车道线检测，确定所述全景环视图像中车道线的位置信息，并基于所述车道线的位置信息确定所述目标车辆的车道偏离预警信息，包括：

14、基于车道线检测模型对所述全景环视图像进行车道线检测，确定各个车道线在所述全景环视图像中的图像位置；

15、基于各个车道线的图像位置以及所述目标车辆的图像位置，生成所述目标车辆的车道偏离预警信息。

16、在一些实施例中，所述对所述环境图像进行拼接得到全景环视图像，包括：

17、基于采集所述环境图像的相机的内参矩阵和外参矩阵，确定所述环境图像所在的图像坐标系与世界坐标系之间的坐标转换关系；

18、基于所述坐标转换关系，确定所述环境图像中的像素点在世界坐标系中对应的空间点；

19、在所述世界坐标系中构建三维曲面网格模型，确定所述空间点在所述三维曲面网格模型中对应的网格位置，将所述像素点的图像信息投影到所述网格位置，得到所述全景环视图像。

20、在一些实施例中，所述在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息，包括：

21、基于固定视角，生成所述全景环视图像对应的二维环视图像；

22、基于活动视角，生成所述全景环视图像对应的三维环视图像；

23、将所述盲区碰撞预警信息和所述车道偏离预警信息加载至所述二维环视图像和所述三维环视图像；

24、在同一界面中显示所述二维环视图像和所述三维环视图像。

25、在一些实施例中，所述在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息，包括：

26、将所述目标车辆四周的图像区域划分为多个盲区碰撞警示块；

27、基于所述盲区碰撞预警信息中障碍物的图像位置，确定所述障碍物所在的盲区碰撞警示块；

28、基于所述障碍物的预警等级，设置所述盲区碰撞警示块的显示形态，和/或，采用语音播放所述盲区碰撞预警信息。

29、在一些实施例中，所述在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息，包括：

30、基于所述车道偏离预警信息中的各个车道线的图像位置以及所述目标车辆的图像位置，确定所述目标车辆偏离的行驶车道；

31、设置所述行驶车道的车道线的显示形态，和/或，采用语音播放所述车道偏离预警信息。

32、本申请提供一种车辆环境感知装置，包括：

33、图像采集单元，用于获取目标车辆四周的环境图像，并对所述环境图像进行拼接得到全景环视图像；

34、盲区预警单元，用于对各个环境图像进行障碍物检测，确定各个环境图像中障碍物的位置信息，并基于各个障碍物的位置信息确定所述目标车辆的盲区碰撞预警信息；

35、车道预警单元，用于对所述全景环视图像进行车道线检测，确定所述全景环视图像中车道线的位置信息，并基于所述车道线的位置信息确定所述目标车辆的车道偏离预警信息；

36、融合显示单元，用于在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息。

37、本申请提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的车辆环境感知方法。

38、本申请提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的车辆环境感知方法。

39、本申请提供的车辆环境感知方法、装置、电子设备和存储介质，实现了根据车辆四周的环境图像自动进行障碍物检测和车道线检测，并将检测得到的盲区碰撞预警信息和车道偏离预警信息显示在全景环视图像中，无需驾驶员对环视图像进行主动分析，可以直观地向驾驶员进行展示并发出预警，使得驾驶员能够及时、准确和全面地感知车辆的四周环境，识别危险因素并做出准确地判断，提高了车辆行驶安全的提示效果，使得驾驶员可以集中注意力专注于路况信息，提高了车辆驾驶的安全性。

技术特征：

1.一种车辆环境感知方法，其特征在于，包括：

2.根据权利要求1所述的车辆环境感知方法，其特征在于，所述对各个环境图像进行障碍物检测，确定各个环境图像中障碍物的位置信息，并基于各个障碍物的位置信息确定所述目标车辆的盲区碰撞预警信息，包括：

3.根据权利要求1所述的车辆环境感知方法，其特征在于，所述对所述全景环视图像进行车道线检测，确定所述全景环视图像中车道线的位置信息，并基于所述车道线的位置信息确定所述目标车辆的车道偏离预警信息，包括：

4.根据权利要求1所述的车辆环境感知方法，其特征在于，所述对所述环境图像进行拼接得到全景环视图像，包括：

5.根据权利要求1所述的车辆环境感知方法，其特征在于，所述在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息，包括：

6.根据权利要求1至5任一项所述的车辆环境感知方法，其特征在于，所述在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息，包括：

7.根据权利要求1至5任一项所述的车辆环境感知方法，其特征在于，所述在所述全景环视图像中显示所述盲区碰撞预警信息和所述车道偏离预警信息，包括：

8.一种车辆环境感知装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的车辆环境感知方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的车辆环境感知方法。

技术总结
本申请公开了一种车辆环境感知方法、装置、电子设备和存储介质，涉及车辆工程技术领域，其中方法包括：获取目标车辆四周的环境图像，并对环境图像进行拼接得到全景环视图像；对各个环境图像进行障碍物检测，确定各个环境图像中障碍物的位置信息，并基于各个障碍物的位置信息确定目标车辆的盲区碰撞预警信息；对全景环视图像进行车道线检测，确定全景环视图像中车道线的位置信息，并基于车道线的位置信息确定目标车辆的车道偏离预警信息；在全景环视图像中显示盲区碰撞预警信息和车道偏离预警信息。本申请提供的方法和装置，使得驾驶员能够及时、准确和全面地感知车辆的四周环境，提高了车辆行驶安全的提示效果，提高了车辆驾驶的安全性。

技术研发人员：王帅炀,闫海龙,朱海荣,杨玉玲
受保护的技术使用者：杭州鸿泉物联网技术股份有限公司
技术研发日：
技术公布日：2024/1/13