一种基于改进的DeeplabV3+模型的车道线检测方法

本发明属于图像数据处理领域，具有涉及一种基于改进的deeplabv3+模型的车道线检测方法。

背景技术：

1、环境感知作为自动驾驶的三大核心技术之一，为自动驾驶车辆提供正确的周遭环境信息，从而决定车辆各项行驶参数。而基于图像识别的车道线检测又是环境感知的核心部分，因此，车道线准确检测对无人驾驶安全、高效地参与交通起到至关重要的作用。

2、在深度学习尚未大规模运用到各行各业前，人们主要通过直观手段和数学方法为主的传统方法让计算机理解“车道线”的存在，建立自主识别能力。传统方法主要包括基于特征的方法和基于模型的方法。基于特征的算法通过提取车道线的纹理、颜色和形状等高阶特征，从而对图中的像素点进行分类；基于模型的算法通过特征提取，匹配预先设定好的数学模型，然后确定模型的参数，从而拟合车道线。基于机器视觉的车道线检测方法面临诸多难题：1)因光照、天气易改变同一场景成像后的像素值，使得基于像素值操作的这些传统方法性能易受光照、天气干扰。2)在基于模型的方法中，不同模型对应不同的参数量，选取不合适的模型会导致求解模型的速度缓慢，且可能由于车道线形状与假设的模型不相符而导致检测效果较差。

3、基于深度学习的车道线检测方法，通过设计并训练神经网络，可以使网络自主学习到多角度、多层次、更为准确的车道线特征，较传统方法更鲁棒、更优越。目前大多数主流的图像分割模型均是基全卷积神经网络模型，该模型以编解码模式作为主要的网络结构，接收任意尺寸的输入图像。该模型首先使用卷积操作提取目标物体的特征，然后使用转置卷积操作对最后一个卷积层输出的特征图进行上采样，使其逐步恢复至原图大小，最后结合跳层连接结构，实现了较高精度的语义分割。随后，基于编解码结构，segnet模型、pspnet模型和deeplab系列的语义分割通用模型应运而生。后人陆续对这些网络模型进行改进，应用于车道线检测中。

4、文献moujtahid s,benmokhtar r,breheret a,et al.spatial-unet:deeplearning-based lane detection using fisheye cameras for autonomous driving[c]//international conference on image analysis and processing.springer,cham,2022:576-586.公开了一种spatial-unet模型，在u-net模型的基础上结合车道线的位置信息和先验信息，有效地检测和推断了由鱼眼摄像机拍摄的车道线。上述模型取得了较好地检测效果，但车道线检测准确性与实时性的兼顾性弱，欠缺对大曲率车道线等复杂车道线检测的全面考量。

技术实现思路

1、本发明提供了一种基于改进的deeplabv3+模型的车道线检测方法，该方法能够实时的，较为准确的检测车道线。

2、一种基于改进的deeplabv3+模型的车道线检测方法，包括：

3、获得车道线图像数据集及其初始标签，对车道线图像数据集进行预处理得到训练样本集，保留初始标签中的车道线部分得到最终标签；

4、构建改进的deeplabv3+模型，改进的deeplabv3+模型包括mobilenetv2网络、多尺度特征增强aspp模块和分块赋权双注意力机制模块；将训练样本输入至mobilenetv2网络得到浅层特征和深层特征，将深层特征输入至多尺度特征增强aspp模块得到第一融合特征图，所述分块赋权双注意力机制模块包括通道注意力机制、分区域赋权空间注意力机制和像素赋权空间注意力机制，通过通道注意力机制对第一融合特征图的特征通道分配权重得到第一分配权重特征图，通过分区域赋权空间注意力机制对第一分配权重图进行区域权重划分得到第二分配权重特征图，采用像素赋权空间注意力机制对第二分配权重特征图进行像素权重划分得到深层特征图，将所述深层特征图进行上采样，将上采样结果与浅层特征通过跳层连接融合得到第二融合特征图，将第二融合特征图再次输入分块赋权双注意力机制模块得到最终融合特征图，将最终融合特征图进行上采样得到样本预测数据；

5、构建总的损失函数，总的损失函数包括二分类交叉熵损失函数和集合相似度度量函数，基于样本预测数据和最终标签分别构建二分类交叉熵损失函数和相似度度量函数；基于训练样本集通过总的损失函数训练改进的deeplabv3+模型得到车道线检测模型；

6、应用时，将车道线图像数据输入至车道线检测模型得到车道线检测图。

7、所述车道线图像数据集包括大曲率车道线图像数据、车道线破损图像数据、长直型车道线图像数据和大曲率眩光路段图像数据。

8、所述对车道线图像数据集进行预处理得到训练样本集，包括：对车道线图像数据集进行裁剪保留车道线部分完成对车道线图像数据的纯化，将纯化的结果进行旋转、压缩或人为加噪得到训练样本集。

9、所述保留初始标签中的车道线部分得到最终标签，包括：将初始标签中的车道线的像素值赋值为255，其他的交通规则信息的像素值赋值为0。

10、所述多尺度特征增强aspp模块包括采样率分别为3,6,9,12,15,18和24的空洞深度可分离卷积、1×1的卷积和image pooling，将深层特征分别输入至3,6,9,12,15,18和24的空洞深度可分离卷积、1×1的卷积和image pooling，将得到结果融合后得到第一融合特征图。

11、所述通过通道注意力机制对第一融合特征图的特征通道分配权重得到第一分配权重图，包括：

12、所述通道注意力机制包括最大池化层、全局平均池化层和sigmoid函数，将第一融合特征图分别输入最大池化层和全局平均池化层，将得到的最大池化结果和全局平均池化结果相加后通过sigmoid函数进行激活得到分配给第一融合特征图中每个特征通道的权重，将得到的权重与对应的第一融合特征图相乘得到第一分配权重特征图。

13、所述通过分区域赋权空间注意力机制对第一分配权重图进行区域权重划分，包括：

14、将第一分配权重图通过平均池化将特征通道维度降为一个特征通道，将降为一个特征通道的第一分配权重图划分为多个区域，每个区域分别进行最大池化和平均池化，将得到的最大池化结果和平均池化结果进行加和，将加和结果依次通过多个卷积和激活函数得到不同区域的区域权重信息，将区域权重信息和第一分配权重特征图相乘得到第二分配权重特征图。

15、所述总的损失函数l为：

16、l＝lbce+ldice

17、

18、

19、其中，lbce为二分类交叉熵损失函数，ldice为集合相似度度量函数，yi为第i个像素点的最终标签，yi为第i个像素点的预测数据，n为图像的像素点个数，车道线像素点为1，背景像素点为0。损失函数采用加权二分类交叉熵损失，赋予车道线和背景不同权重，提高模型对车道线检测的分割精度

20、与现有技术相比，本发明的有益效果为：

21、本发明提供了多尺度特征增强aspp模块，该模块组合不同采样率的并行空洞卷积层，提高模型对于边缘车道线和远处车道线的识别能力，其次利用深度可分离卷积，减少模型参数量，降低计算机内存开销，然后在多尺度特征增强aspp模块后添加分块赋权双注意力机制模块，合理调整通道、空间两方面的注意力资源，使得图像通道、空间上表征能力强的特征信息被充分利用。为解决车道线数据集正负样本失衡问题。本发明提出的改进deeplabv3+模型能够兼顾平均交并比与检测速度，对车道线的检测效果良好。