一种智能驾驶车辆车道线与障碍物识别定位方法及系统

本发明涉及车辆环境感知，尤其涉及一种智能驾驶车辆车道线与障碍物识别定位方法及系统。

背景技术：

1、随着国家对节能减排的重视，新能源汽车迅速发展普及，车辆智能化技术也成为了研究的热点。车辆环境感知技术是实现车辆智能驾驶的关键技术，机器视觉和深度学习的发展为这一技术的实现提供了强力支撑。车道线与障碍物是车辆进行环境感知的核心识别目标，目前，已有一些车企和学者对车道线和障碍物识别技术进行了一定的研究。中国发明专利cn110414387b公开了一种基于道路分割的车道线多任务学习检测方法，将vgg-16作为主干网络，采用scnn结构构建车道线检测子网络。中国发明专利cn116486381a公开了一种障碍物识别方法，将yolov5s网络结构中的fpn+pan结构替换为加权双向金字塔结构，并进行障碍物识别模型的训练。

2、上述方法大多是对车辆行驶环境中的车道线和障碍物进行单独识别，且未对车道线和障碍物进行空间实时定位，无法满足车辆智能驾驶所需的具体环境目标的实时感知定位信息。

技术实现思路

1、本发明的目的是为了解决现有技术中的问题，而提出的一种智能驾驶车辆车道线与障碍物识别定位方法及系统。

2、一种智能驾驶车辆车道线与障碍物识别定位系统，包括车辆、ecu、双目立体相机、边缘计算控制器和车载显示屏，所述双目立体相机安装在车辆前挡风玻璃顶部中间位置，所述ecu、边缘计算控制器和车载显示屏均安装在车辆内部，所述边缘计算控制器主要包含gpu、固态硬盘和通信接口，所述边缘计算控制器通过车载通信总线分别与ecu、双目立体相机和车载显示屏进行信息传输；

3、所述双目立体相机用于实时获取车道线和障碍物图像并将信息传输给边缘计算控制器，所述gpu为图像目标识别提供算力支持，所述固态硬盘为控制器操作系统、深度学习环境、图像等提供存储空间。

4、本发明还提出一种智能驾驶车辆车道线与障碍物识别定位方法，包括以下步骤：

5、s1、获取车道线和障碍物数据集；

6、s2、设计车道线和障碍物实时识别网络，在yolov7深度学习网络结构中添加nam，提高目标识别精度；

7、s3、将步骤s1中的训练集图像及标注文件输入到识别网络进行训练获得实时识别模型权重文件，并在测试集上进行车道线和障碍物识别模型的识别效果评价；

8、s4、车辆智能驾驶过程中，通过安装于车辆前方的双目立体相机实时获取包含车道线和障碍物的图像，输入到实时识别网络中，再通过双目立体相机对识别到的目标进行空间定位，完成对车道线和障碍物的实时识别定位。

9、优选地，所述步骤s1中，车道线和障碍物数据集包含开源数据集和自建数据集，开源数据集选择bdd100k数据集，所述双目立体相机实际获取车道线和障碍物图像并进行数据清洗、数据增强和图像标注操作构成自建数据集。

10、优选地，所述步骤s2中，nam包含通道注意力和空间注意力子模块，所述nam添加在yolov7深度学习网络中backbone结构之后的增强特征网络部分，yolov7深度学习网络中backbone结构通过nam连接elan和sppcspc模块及连接cbs和contact。

11、优选地，所述步骤s3中，车道线评价指标为识别分割精度accuracy、交并比iou和平均交并比miou，障碍物识别精度评价指标为精确率precision、召回率recall、平均精度map。

12、优选地，所述图像标注是通过labelme和roboflow标注软件对自建数据集图像中的车道线和障碍物分别进行手动标注。

13、优选地，所述步骤s1中，所述车道线和障碍物数据集按照4:1的比例划分训练集和测试集。

14、与现有的技术相比，本发明优点在于：

15、1、本发明提供了一种智能驾驶车辆车道线与障碍物识别定位系统，通过双目立体相机和边缘计算控制器实现对目标的识别定位功能，通过与ecu之间的通信实现信息传输，其具有结构简单、安装方便和实现成本较低的特点。

16、2、本发明提供了一种智能驾驶车辆车道线与障碍物识别定位方法，通过深度学习训练得到的识别模型可同时识别车辆行驶环境中的车道线和各种障碍物，并采用双目立体相机对识别目标进行空间定位，能够实现车道线和障碍物的实时识别与定位。

17、3、本发明提供的车道线与障碍物识别定位方法可部署到本发明提供的边缘计算控制器中，实现了软硬件一体化，提高了目标识别速度和精度，有利于车道线与障碍物识别定位技术的推广与应用。

技术特征：

1.一种智能驾驶车辆车道线与障碍物识别定位系统，其特征在于：包括车辆(1)、ecu(2)、双目立体相机(3)、边缘计算控制器(4)和车载显示屏(5)，所述双目立体相机(3)安装在车辆(1)前挡风玻璃顶部中间位置，所述ecu(2)、边缘计算控制器(4)和车载显示屏(5)均安装在车辆(1)内部，所述边缘计算控制器(4)主要包含gpu(7)、固态硬盘(8)和通信接口(9)，所述边缘计算控制器(4)通过车载通信总线(6)分别与ecu(2)、双目立体相机(3)和车载显示屏(5)进行信息传输；

2.一种智能驾驶车辆车道线与障碍物识别定位方法，使用如权利要求1所述的定位系统，其特征在于：包括以下步骤：

3.根据权利要求2所述的一种智能驾驶车辆车道线与障碍物识别定位方法，其特征在于：所述步骤s1中，车道线和障碍物数据集包含开源数据集和自建数据集，开源数据集选择bdd100k数据集，所述双目立体相机(3)实际获取车道线和障碍物图像并进行数据清洗、数据增强和图像标注操作构成自建数据集。

4.根据权利要求2所述的一种智能驾驶车辆车道线与障碍物识别定位方法，其特征在于：所述步骤s2中，nam包含通道注意力和空间注意力子模块，所述nam添加在yolov7深度学习网络中backbone结构之后的增强特征网络部分，yolov7深度学习网络中backbone结构通过nam连接elan和sppcspc模块及连接cbs和contact。

5.根据权利要求2所述的一种智能驾驶车辆车道线与障碍物识别定位方法及系统，其特征在于：所述步骤s3中，车道线评价指标为识别分割精度accuracy、交并比iou和平均交并比miou，障碍物识别精度评价指标为精确率precision、召回率recall、平均精度map。

6.根据权利要求3所述的一种智能驾驶车辆车道线与障碍物识别定位方法及系统，其特征在于：所述图像标注是通过labelme和roboflow标注软件对自建数据集图像中的车道线和障碍物分别进行手动标注。

7.根据权利要求2所述的一种智能驾驶车辆车道线与障碍物识别定位方法及系统，其特征在于：所述步骤s1中，所述车道线和障碍物数据集按照4:1的比例划分训练集和测试集。

技术总结
本发明公开了一种智能驾驶车辆车道线与障碍物识别定位方法及系统，涉及车辆环境感知技术领域，包括以下步骤：S1、获取车道线和障碍物数据集；S2、设计车道线和障碍物实时识别网络，在YOLOv7深度学习网络结构中添加NAM，提高目标识别精度；S3、将步骤S1中的训练集图像及标注文件输入到识别网络进行训练获得实时识别模型权重文件，并在测试集上进行车道线和障碍物识别模型的识别效果评价，本发明提出的一种智能驾驶车辆车道线与障碍物识别定位方法及系统，可以在车辆智能驾驶过程中对车道线和障碍物进行实时地识别与定位，可满足车辆智能驾驶对环境目标的识别准确度、定位精度和实时性需求。

技术研发人员：提艳,赵晓雨,陈方舟,马陈坚松
受保护的技术使用者：江苏理工学院
技术研发日：
技术公布日：2024/3/24