改进的YOLOv5s网络模型的车道线种类识别方法

本发明涉及辅助驾驶，具体为一种改进的yolov5s网络模型的车道线种类识别方法。

背景技术：

1、随着人们生活水平的不断提高，汽车作为现代社会最常见的交通工具，已经成为了大众日常生活中必不可少的一部分。汽车的出现是我们的生活变得更加敏捷，而随之而来的交通事故也频繁发生，这不仅极大的危害了人们的生命安全，而且造成了巨额的财产损失，阻碍社会的发展。

2、在诸多的道路交通事故中，由于驾驶员自身原因造成的交通事故占比很大。为了解决这些交通问题，一些研究人员开始对辅助驾驶系统展开了大量的研究。辅助驾驶系统利用先进的技术手段来自动代替驾驶员原来的一部分驾驶任务，能够显著减少驾驶员的负担并帮助其规避做出错误的操作与判断。

3、辅助驾驶系统主要是利用不同类型的车载摄像头来提取车辆附近的环境信息，将信息上传到云平台，通过计算机视觉算法与技术对行车道路的车道线或可能出现的障碍物做出识别判断，来智能提醒驾驶员进行相应的操作。辅助驾驶系统主要分为感知、决策、控制和执行四个模块。而车道线种类识别属于辅助驾驶中非常重要的感知模块，它能为辅助驾驶的后续三个模块做出先导作用。这项技术对于能够主动减少交通事故的发生具有重要的应用价值。

4、如中国专利公开了一种确定驾驶辅助系统和/或自动驾驶系统的控制参数的方法，申请号：202211083416.5，该方法包括以下步骤：获取本车辆和周围车辆的行驶数据，其中，所述行驶数据包括本车辆和周围车辆的姿态信息以及本车辆与周围车辆之间的位置关系(s1)；获取本车辆当前所在的行车道的车道线信息(s2)；基于所述行驶数据和所述车道线信息确定驾驶辅助系统和/或自动驾驶系统的控制参数(s3)。这种方法的缺点是：在车道线识别方面，绝大多数的检测方法中均是对车道线的几何模型进行检测，未对车道线的种类进行识别。这类方法可以让汽车去跟踪所检测出的车道线，让汽车进行车道保持辅助，但如果驾驶员想进行超车或变道行驶，则此类方法无法去识别出车道线的种类，那么汽车将无法判断在行驶过程中是否在遵守交通标线的前提下进行超车、变道或调头等操作。

技术实现思路

1、针对现有技术的不足，本发明提供了一种改进的yolov5s网络模型的车道线种类识别方法。

2、为实现以上目的，本发明通过以下技术方案予以实现：一种改进的yolov5s网络模型的车道线种类识别方法，包括以下步骤：s01：利用车载摄像头拍摄前方包含车道线的道路视频，并对视频进行截帧操作，获取车道线图像；

3、s02：对包含车道线的道路图像进行逆透视变换，获取反应真实世界的鸟瞰图，作为车道线种类识别的数据集；

4、s03：对数据图像进行标注，获取需要检测的目标在图像中的位置与类别，并对数据集进行训练集、验证集和测试集的划分；

5、s04：使用siou损失函数替换原始的iou损失函数，并在卷积层中使用非线性激活函数frelu，来提升识别的鲁棒性；

6、s05：搭建用于模型训练的网络结构，在yolov5s的基础上，使用基于fasternet轻量化模型的c3_faster模块，并引入eca注意力机制提升检测精度；

7、s06：设置用于训练的超参数，优化模型，基于改进后的yolov5s算法对训练集进行训练，获得收敛效果最好的模型文件；

8、s07：对车辆实时拍摄的前方道路视频进行逆透视变换，使用训练好的模型置入到辅助驾驶系统中，进行车道线种类识别。

9、优选地，在s01中，通过车载摄像头获取前方包含道路标线的车道视频，对视频进行截帧操作，平均每20帧截取一张道路图像，并对图像进行筛选，剔除不包含车道线的道路图像，收集不同天气、不同亮暗程度的道路图像。

10、优选地，s02中，采用逆透视变换的方法将拍摄获取的道路图像转换成反映真实世界的鸟瞰图道路图像。

11、优选地，s03中，通过逆透视变换得到用于模型训练的数据集图像。数据集图像包含白色虚线、白色实线、黄色虚线、黄色实线、白色虚实线、双黄实线、双黄虚线和黄色虚实线八种车道线种类，其中白色虚实线和黄色虚实线根据行车位置，可分为左虚线右实线和左实线右虚线，对数据集进行8:1:1的比例划分训练集、验证集和测试集，并对训练集样本进行移位、缩放、增亮、旋转、随机裁剪、添加噪声数据增强的操作，使用labelimg对训练集和验证集样本进行标注工作，生成.txt文件存入到数据文件夹中。

12、优选地，s04中，siou损失函数各个cost函数定义如下：

13、

14、其中为真实框中心坐标，为预测框中心坐标；

15、distance cost：δ＝∑t＝x,y(1-e-γρt)＝2-e-γρx-e-γρy

16、其中γ＝2-λ，cw、ch为真实框和预测框最小外接矩形的宽和高；

17、shape cost：

18、其中w、h为预测框的宽和高，wgt、hgt为真实框的宽和高，θ控制对形状损失的关注程度，为了避免过于关注形状损失而降低对预测框的移动，将参数范围定于[2,6]；

19、

20、最终，将siou损失函数定义为：

21、。

22、

23、优选地，s05中，将原yolov5网络中的c3模块替换成基于fasternet轻量化模型的c3_faster模块，在每个c3模块中加入fasternet块堆栈。fasternet块包含一个pconv层，之后连接两个1×1卷积层，在这两个卷积层之间放置标准化函数和激活函数。

24、优选地，标准化函数使用bn层；激活函数采用frelu函数。

25、优选地，s06中，对每次迭代都计算损失率，观察损失率使其达到最小，直至模型收敛；将迭代次数设置为300；批次大小设置为16。

26、本发明的有益效果是：本发明能够为辅助驾驶系统中的变道辅助提供相邻交通标线的信息，能够实时识别出前方道路的车道线种类，让汽车能够在不违反交通标线规则的情况下，正常进行超车、变道和调头等操作。

27、本发明利用了改进后的yolov5s算法去进行车道线种类的识别训练，最终的训练模型的map值达到了93.15％。相比于原yolov5s算法，map值提升了3.07％；同时也降低了模型的参数量，加快了模型的推断速度，保证了辅助驾驶系统的实时性与精确性。

技术特征：

1.一种改进的yolov5s网络模型的车道线种类识别方法，其特征在于：包括以下步骤：s01：利用车载摄像头拍摄前方包含车道线的道路视频，并对视频进行截帧操作，获取车道线图像；

2.根据权利要求1所述的改进的yolov5s网络模型的车道线种类识别方法，其特征在于：在s01中，通过车载摄像头获取前方包含道路标线的车道视频，对视频进行截帧操作，平均每20帧截取一张道路图像，并对图像进行筛选，剔除不包含车道线的道路图像，收集不同天气、不同亮暗程度的道路图像。

3.根据权利要求1所述的改进的yolov5s网络模型的车道线种类识别方法，其特征在于：s02中，采用逆透视变换的方法将拍摄获取的道路图像转换成反映真实世界的鸟瞰图道路图像。

4.根据权利要求1所述的改进的yolov5s网络模型的车道线种类识别方法，其特征在于：s03中，通过逆透视变换得到用于模型训练的数据集图像。数据集图像包含白色虚线、白色实线、黄色虚线、黄色实线、白色虚实线、双黄实线、双黄虚线和黄色虚实线八种车道线种类，其中白色虚实线和黄色虚实线根据行车位置，可分为左虚线右实线和左实线右虚线，对数据集进行8:1:1的比例划分训练集、验证集和测试集，并对训练集样本进行移位、缩放、增亮、旋转、随机裁剪、添加噪声数据增强的操作，使用label img对训练集和验证集样本进行标注工作，生成.txt文件存入到数据文件夹中。

5.根据权利要求1所述的改进的yolov5s网络模型的车道线种类识别方法，其特征在于：s04中，siou损失函数各个cost函数定义如下：

6.根据权利要求1所述的改进的yolov5s网络模型的车道线种类识别方法，其特征在于：s05中，将原yolov5网络中的c3模块替换成基于fasternet轻量化模型的c3_faster模块，在每个c3模块中加入fasternet块堆栈。fasternet块包含一个pconv层，之后连接两个1×1卷积层，在这两个卷积层之间放置标准化函数和激活函数。

7.根据权利要求6所述的改进的yolov5s网络模型的车道线种类识别方法，其特征在于：标准化函数使用bn层；激活函数采用frelu函数。

8.根据权利要求1所述的改进的yolov5s网络模型的车道线种类识别方法，其特征在于：s06中，对每次迭代都计算损失率，观察损失率使其达到最小，直至模型收敛；将迭代次数设置为300；批次大小设置为16。

技术总结
本发明涉及辅助驾驶技术领域，具体为一种改进的YOLOv5s网络模型的车道线种类识别方法，包括以下步骤：利用车载摄像头拍摄前方包含车道线的道路视频，获取车道线图像；对包含车道线的道路图像进行逆透视变换，获取反应真实世界的鸟瞰图；对数据图像进行标注，获取需要检测的目标在图像中的位置与类别；替换原始网络中的损失函数，并在卷积层中引入新的激活函数；搭建用于模型训练的网络结构；设置用于训练的超参数，优化模型；对车辆实时拍摄的前方道路视频进行逆透视变换，使用训练好的模型置入到辅助驾驶系统中，进行车道线种类识别。本发明降低了模型的参数量，加快了模型的推断速度，保证了辅助驾驶系统的实时性与精确性。

技术研发人员：刘伯禹,王永强,周聪玲,王昊,蔡磊,张玉东,黄相迪
受保护的技术使用者：天津科技大学
技术研发日：
技术公布日：2024/1/14