一种车道线预测和车道线缺陷检测方法

本发明涉及自动驾驶领域，尤其是涉及到人工智能领域的深度学习技术和自动驾驶场景的一种车道线预测和车道线缺陷检测方法。

背景技术：

1、随着科技的发达，自动驾驶技术和先进的驾驶辅助系统在车辆行驶过程中的应用越来越多，为了保障车辆在行驶途中确定车辆所在的车道位置，其中最为关键的便是车道线的精准预测。与此同时场景的需求刺激和深度学习技术的快速发展下，通过计算机视觉的方式来获取车辆周围的视觉信息，并对车辆所在车道线的位置做出精准的预测受到了广大研究者的关注。同时，为了能够及时准确的对道路车道线进行养护检修，设计道路车道线缺陷的检测装置具有十分重要的意义。

2、目前，传统的车道检测方法主要是基于深度学习对低层次的卷积操作用来提取特征或者是边界点的启发式搜索算法完成对车道线的预测。但是车道线不仅具有高级语义，还具有特点的局部模式需要通过低层次的特征才能精准的定位到。以上传统的方法在车道线清晰、无遮挡等情况下的准确率还是不错的，但是在一些退化、模糊、遮挡等场景下的检测效果不理想。同时，车道线预测的精度提升和车辆行驶的安全也受到了复杂场景中的车道线不清晰、严重退化等问题的巨大影响。

技术实现思路

1、针对上述问题，本发明提供一种车道线预测和车道线缺陷检测方法，以实现对现有场景中车道线模糊、严重退化的精准预测；预测车道线的同时，对车道线进行缺陷检测，将缺陷图通过串口线以数据流的方式传到plc，plc发送读取指令，实时读取gps中的位置信息并返回到上位机；上位机将实时位置信息和车道线缺陷图像一并上传到相关负责部门，便于及时维护。

2、本发明提供如下技术方案：一种车道线预测和车道线缺陷检测方法，包括如下步骤：

3、步骤1、调节车载摄像头的角度获取各种情况下的真实的道路车道线正视图，对图片中的车道线进行准确的标注，构成训练数据集，并对训练数据集进行数据增强；

4、步骤2、模型搭建，在编码器中设计mbma注意力模块，获得车道线特征信息特征图，在解码器中搭建解耦的车道线分割头和车道线缺陷检测头对车道线进行预测和缺陷检测；

5、步骤3、利用步骤1中处理后的数据对步骤2中搭建好的模型进行训练；通过复合损失函数反向传播计算的损失，以及对模型及时更新，并保留训练好的模型；

6、步骤4、模型训练完成后，测试模型，取超过设定阈值的模型进行封装部署，将部署好的模型用于车道线预测和缺陷检测。

7、所述的步骤1包括，步骤11、通过plc控制器控制灰点工业相机进行拍照，同时plc控制器实时读取gps中的经纬度位置信息后上传到上位机，上位机通过调用地图接口生成车道位置信息，根据微调函数 的计算结果，控制plc中的微调指令去调整左侧相机和右侧相机的横向视场角、纵向视场角，以保证能够拍摄到远端和完整的正视图车道线作为数据集来源；

8、其中定义同向车道最外面两侧的宽度为1，其中为上位机返回的车辆到左侧同向车道的距离，同时车辆距离右侧通向车道的距离为1-；定义左侧距离和右侧距离的差值作为车辆在同向车道中的位置，当，时，车辆在车道的中间位置，将相机角度调整到135°和45°；当， 时，车辆在车道的最左侧位置；当，=1 时，车辆在车道的最右侧位置；

9、

10、

11、步骤12、对正视图中的车道线进行分析取舍以及标注，生成josn标签格式的数据集，然后对采集到的正视图调整大小为720×1280，为了提高泛化能力，对缩放后的图像采用随机旋转、移动和翻转相结合的增强方法，用于模型的训练。

12、所述步骤2包括，步骤21、选择轻量级的csp-darknet骨干网络进行特征的提取，在其中嵌入设计的mbma注意力模块，对正视图中的细长车道线高级语义信息的捕捉和有效的关注到车道线区域；

13、步骤22、mbma注意力模块通过两个分支去捕获通道的信息和空间位置感知信息，输入为b×c×h×w的特征图，将特征图在通道上均分为双分支f1为c/2×h×w和为c/2×h×w，其中通道分支中使用了layernorm正则化函数中样本特征的归一化权重因子α来生成注意力权重，将f1首先经过5×5的卷积来获取大的感受野，然后将特征调整为h×w×c/2并输入到layernorm中通过逐通道的计算样本特征内部的均值和标准差，再经过一个 线性映射，把归一化的特征通过可学习的参数 α和映射出到新的特征分布上，最后使用注意力权重生函数 计算出每个通道样本的得分，与相乘得到注意通道注意力权重；空间分支首先经过3×3的卷积来获取与通道分支不同感受野的特征信息，再分别经过自适应最大池化和自适应平均池化以分别对空间h和w两个方向进行空间位置信息的编码，使尺寸变为c×h×1和c×w×1，得到这两个方向的特征信息；将两个特征信息相加后，经过1×1卷积层调整通道数并进行特征融合；经过一层正则化函数和非线性激活函数对特征信息进行一个空间映射；将其沿着h和w两个空间维度方向分解为两个单独的特征层，经过两个1×1的卷积调整尺度后使用sigmoid激活函数，最终得到行和列的分支注意力权重和，将三个权重相乘得到最终的注意力权重乘 到输入特征得到最终的注意力特征图 ；

14、mbma注意力模块计算公式如下：

15、

16、

17、

18、其中mean 代表通道中每个样本的平均值；代表通道中每个样本的方差，代表坐标水平方向的编码通道； 是代表可学习的归一化权重因子参数；为可学习的偏执参数，逐元素相乘, σ 代表sigmoid激活函数；

19、

20、

21、

22、其中 σ 代表sigmoid激活函数；β是1×1的卷积， 代表坐标水平方向的编码通道；是代表坐标竖直方向的编码通道；为初始输入特征，逐元素相乘。

23、步骤23、将从解码器模块中输出的最后一层特征图加入注意力模块进行特征加权增强后经过卷积和上采样送入到检测器中，其尺寸为80×80×256；

24、步骤24、车道线解耦检测器包括并行的车道线分割检测头和车道线缺陷检测头：车道线分割头是把最近邻插值上采样后的输出特征作为输入，经过1×1的卷积层、正则化层和hardswish激活函数再经过一层1×1的卷积层来对像素级的特征和边缘信息进行融合，最后的结果作为输出；

25、车道线分割检测头采用下式：

26、

27、步骤25、车道线缺陷检测头，首先通过一个全连接层，然后通过两个1×1级联的卷积层来融合空间位置信息和深层特征信息，同时使用了正则化函数和激活函数，防止模型更新时梯度消失，加速模型的收敛，有助于做缺陷检测；

28、车道线缺陷检测头的公式如下：

29、。

30、所述步骤3包括，步骤31、将数据预处理后的车道线正视图输入到模型中，以1e-3初始化的学习率，使用adam优化算法使得复合损夫函数最小来训练模型，其动量为0.937，批量大小为16，训练迭代次数为300；

31、步骤32、复合总损失函数为， 

32、其中为总损失函数，为车道线缺陷检测损失函数，为车道线分割预测的损失函数为损失系数；

33、车道线分割预测损失函数为： 。

34、其中为分割损失，使用交叉熵损失函数：

35、

36、其中,是模型对于标签=1的预测概率， ∈[0,1]是平衡因子；

37、为回归损失，因为背景区域和前景区域不平衡，车道线的像素比较稀疏，所以需要额外添加一个liou 损失来更好的反应车道线区域，为损失系数；

38、车道线缺陷检测总损失函数为：

39、其中为车道线缺陷检测的总损失函数：为分类损失， 为置信度损失，选择使用focal-loss；为回归损失，使用ciou损失函数，为损失系数；

40、

41、其中,∈[0,1]是模型对于标签y=l的预测概率,∈[0,1]是平衡因子,(1-p)是样本难度权重调制因子。

42、其中和 损失函数中的损失系数初始值在pytorch中使用了t.random()随机生成，考虑到分割任务和检测任务联合训练时对于特征信息选择的差异性，设计了一种损失系数的自适应更新函数fun，函数通过计算每一轮分类、回归、置信度得分等不同任务的损失函数占总损失函数的比例大小，作为自适应调整损失系数的依据。保证模型寻找梯度下降最优解的速度加快、模型检测的实时性等，又对更新的损失系数进行了归一化操作。这样就可以保障模型可以根据每一轮训练结束后的损失系数的大小来有针对性的对不同任务进行训练。

43、自适应更新函数fun公式如下：

44、

45、其中为更新后的损失系数, 为平衡参数来微调比例占比同时避免分母为0的情况，为损失函数个数，为初始的损失系数。

46、所述步骤4中，步骤41：把原始车道线正视图大小调整为720×1280，后输入到模型中并加载好预训练权重，得到车道线预测和缺陷检测结果；步骤42： plc控制器会控制灰点工业相机进行拍摄，同时为了能够拍摄到远端和完整的正视图车道线，plc控制还调整相机角度，当上位机接收到相机传来采集正视图完成的信号后，上位机会调用部署好的模型，检测完成过后，检测结果通过usb串口以数据流的方式传到plc控制器，同时plc控制器通过串口读取gps中实时位置信息并返回给上位机，当上位机收到位置信息后会将缺陷图片数据和位置信息数据通过http协议上传到服务器，由服务器发送的相关部门，以达到及时维护的目的。

47、通过上述描述可以看出，本方案中，1、在编码器模块中选择了轻量级csp-darknet骨干网络并在其中嵌入了设计的mbma注意力模块用于车道线的特征提取，优化过程中梯度重复的问题。它还支持特征传播和功能重用，从而减少参数和计算量，保证了实时性。2、本发明中加入mbma注意力模块，操作捕获跨通道的信息，还能捕获方向感知和位置感知的信息，通过强化信息表示的方法增强特征。通过三个分支生成的注意力权重和输入特征图相乘，使得模型更有效的关注到车道线区域和对正视图中的细长车道线高级语义信息的捕捉。3、本发明在解码器模块中有车道线解耦检测器，车道线解耦检测器包括并行的分割检测头和缺陷检测头，将语义分割和目标检测任务级联在一起进行训练和推理。4.本发明中涉及到上位机、plc、相机、服务器和gps定位模块；实现了根据车道线预测和缺陷检测模型的结果去控制plc中断信号，读取gps中的位置信息，同时将数据传送到上位机。最后由上位机将缺陷图片数据和位置信息数据通过http协议上传到服务器，由服务器转发到相关部门，以达到及时维护的作用。