基于深度学习的低光照环境车道线检测方法

本发明涉及计算机视觉、车道线检测与自动驾驶环境感知的，尤其是指一种基于深度学习的低光照环境车道线检测方法。

背景技术：

1、自动驾驶环境感知是自动驾驶感知技术中非常重要的一环，感知在自动驾驶三大环节：感知、决策、控制中，起到为决策模块提供准确有效的道路信息的作用，直接影响到决策与控制的表现。车道线检测是自动驾驶环境感知的一个重要组成部分。

2、自动驾驶常用的传感器主要有三类：摄像头、激光雷达、毫米波雷达，由于雷达的成本较高，且比起雷达点云较为敏感的材质与高度特征，车道线的视觉特征更为显著，常为白色或黄色的直线或曲线，因此车道线检测的研究热点主要集中在基于摄像头的视觉算法。

3、随着计算机视觉的不断发展，在基于摄像头的车道线检测研究中，研究者们提出了很多种方法，大体可以分为几类：基于几何与机器学习的车道线检测方法、将车道线检测任务视为目标检测任务的车道线检测方法、将车道线检测任务视为语义分割任务的车道线检测方法、将车道线检测任务视为关键点检测与回归任务的车道线检测方法。其中基于几何与机器学习的车道线检测方法虽然速度快，但精度很低；将车道线检测视为语义分割任务或目标检测任务的检测方法虽然精度高，但速度太慢；针对自动驾驶场景下的实时性与稳定性需求，更为合适的方法是将车道线检测任务视为关键点检测与回归任务的车道线检测方法。其次，因为摄像头对光照敏感，过低的可见度会影响车道线检测的精度，因此不论哪种方法都存在黑暗条件下检测准确率较低的问题。

4、综上所述，目前虽然存在多种车道线检测方法，但面对自动驾驶的实时性稳定性需求以及多变的光照条件，其表现不完全满足需求，黑暗条件下的检测精度都有待提高。因此亟需对现有车道线检测网络进行改进，提出基于深度学习的低光照环境车道线检测方法以解决上述问题。

技术实现思路

1、本发明的目的在于解决自动驾驶场景中车道线检测实时性与准确性不均衡的问题以及因光照变化引起的车道线检测精度下降的问题，提供了一种基于深度学习的低光照环境车道线检测方法，通过深度学习方法提高车道线检测速度与精度，可更准确更快速地检测低光照环境下的车道线，进一步提高自动驾驶的安全性与可靠性。

2、为实现上述目的，本发明所提供的技术方案为：基于深度学习的低光照环境车道线检测方法，包括以下步骤：

3、1)获取车道线数据集tusimple；

4、2)对tusimple进行预处理，并按比例划分为训练集与验证集；

5、3)把训练集送入构建的基于深度学习的车道线检测网络进行训练，并用验证集验证训练效果，以车道线检测网络在验证集上的表现确定最佳车道线检测网络模型权重参数，用其构建最优的车道线检测网络模型；其中，基于深度学习的车道线检测网络由resnet50主干网络、cot注意力模块和两个mlp(多层感知器)模块构成，resnet50主干网络用于提取输入车道线图像的特征，cot注意力模块用于筛选resnet50主干网络提取的特征中的关键特征，并输入到两个mlp模块中，一个mlp模块用于进行车道线的分类，另一个mlp模块用于进行车道线的定位；

6、4)获取多曝光图像数据集sice，用于训练构建的低光照增强网络，得到最优的低光照增强网络模型；其中，低光照增强网络共有6层，前3层各由1个32通道的3*3卷积层构成，后3层各由2个32通道的3*3卷积层融合构成，并设计损失函数对其进行优化；

7、5)对步骤3)得到的最优的车道线检测网络模型与步骤4)得到的最优的的低光照增强网络模型进行量化与部署；

8、6)将车辆前置摄像头采集的道路图像逐帧输入部署好的低光照增强网络模型中，得到增强图像，再将增强图像输入到部署好的车道线检测网络模型中，得到车道线检测结果，并将结果绘制在输入图像上，实现检测结果的可视化。

9、进一步，在步骤1)中，获取的车道线数据集tusimple，包括车道线图片和车道线图片的标注文件。

10、进一步，在步骤2)中，预处理包括将tusimple的图像分割为若干行，记录其中包含车道线的区域的坐标范围，写入tusimple的标注文件中；训练集和验证集的划分比例按需调整，但应满足训练集规模大于验证集规模。

11、进一步，在步骤3)中，当有图像输入时，车道线检测网络首先通过resnet50主干网络对在步骤2)中已分割的各行图像进行深度特征提取；接着，通过cot注意力模块筛选关键特征，并将其转化为高维特征向量，再展平为一维行向量后，分别输入至两个mlp模块进行处理；两个mlp模块中，一个mlp模块负责车道线的定位，用于寻找车道线上各像素点的坐标，将该mlp模块的输出结果送至一个softmax模块中，该softmax模块输出的结果是输入的各行中，每行包含的各个坐标有车道线经过的概率，得到该行车道线预测结果的公式为：

12、

13、式中，为第i行的定位预测值，j是对输入行所有横坐标的遍历，j是输入行中所有像素点的横坐标集合，pbi,j是第i行、第j个横坐标处的概率值，即softmax模块在该处的输出值；

14、定义车道线结构损失函数对该mlp模块进行优化：

15、lstr＝λlshape+lsim  (2)

16、式中，lstr为车道线结构损失函数，lshape为车道线外形损失函数，lsim为车道线像素点相似度损失函数，λ为车道线像素点相似度损失权重系数；

17、定义车道线外形损失函数lshape如下：

18、

19、式中，h为图像分割后的行数，k为对h的遍历，表示第k行的定位预测值，表示第k+1行的定位预测值，表示第k+2行的定位预测值，ωshape为针对车道线外形损失的随机扰动；

20、定义车道线像素点相似度损失函数lsim如下：

21、

22、式中，a为图像分割后的行数，b为对a的遍历，pb为对应第b行的mlp模块输出值，pb+1为对应第b+1行的mlp模块输出值，ωsim为针对车道线像素点相似度损失的随机扰动；

23、另一个mlp模块进行分类，判断步骤2)分割好的某行是否含有车道线像素点，对定位结果起到辅助判别作用；将分类结果送入一个softmax模块中，输出分类预测值，定义车道线分类损失函数如下：

24、

25、式中，lcls为车道线分类损失函数，n为输入该mlp模块的像素点的总数，n为对n的遍历，pc代表softmax模块的输出，pcn为第n个像素点通过softmax模块的输出；

26、车道线检测网络结合两个mlp模块的输出进行分析；当用于分类的mlp模块判定某一图像行不包含车道线时，若存在与之相对应的定位预测值，则认为这些预测值缺乏可信度，因此将放弃该行的全部定位预测结果；反之，若用于分类的mlp模块确认某行图像中存在车道线，那么该行的车道线预测结果将通过式(1)进行计算；

27、得到最终输出的车道线坐标后，再通过三阶螺旋线进行最小二乘拟合得到车道线检测结果，待拟合的方程如下：

28、y＝m0+m1x+m2x2+m3x3(6)

29、式中，y为车道线某一点在图像中的纵坐标，x为车道线某一点在图像中的横坐标，m0、m1、m2、m3均为待拟合的螺旋线系数；

30、通过验证集验证车道线检测网络的表现时，采用准确率作为指标，准确率acc的计算公式为：

31、

32、式中，cregion表示正确预测为车道线的点的总数，sregion表示车道线上所有点的总数；选取在验证集上取得最大acc值的车道线检测网络模型权重参数作为最佳车道线检测网络模型权重参数，利用该权重参数构建最优的车道线检测网络模型。

33、进一步，在步骤4)中，sice包含同一场景在不同曝光条件下的图像；低光照增强网络的损失函数la为：

34、la＝w1ls+w2le+w3lc(8)

35、式中，w1、w2、w3均为权重；

36、空间一致性损失ls的计算公式如下：

37、

38、式中，k是像素数，c、d是对像素的遍历，r(c)是第c个像素的4邻域，y是增强图像，x是输入图像；

39、曝光控制损失le的计算公式如下：

40、

41、以16*16作为一个大像素区域，式中的nr为输入图像中大像素区域的个数，k是对大像素区域的遍历，fk是第k个大像素区域中亮度的平均值，e为位于(0,1)的常数；

42、颜色恒定损失lc的计算公式如下：

43、

44、式中，(p,q)遍历了r、g、b三个颜色通道中所有的两两组合η，jp表示颜色通道p的亮度平均值，jq表示颜色通道q的亮度平均值；

45、用sice训练低光照增强网络得到多个低光照增强网络模型，选取其中使式(8)计算值最小的低光照增强网络模型为最优的低光照增强网络模型。

46、进一步，在步骤5)中，将步骤3)得到的最优的车道线检测网络模型和步骤4)得到的最优的低光照增强网络模型进行int8量化，并转换为onnx格式的模型，再将onnx格式的模型转换为tensorrt格式的模型，完成模型的部署。

47、本发明与现有技术相比，具有如下优点与有益效果：

48、1、本发明构建了基于深度学习的车道线检测网络，使用resnet50主干网络充分提取了车道线图像的特征，增加cot注意力模块使得网络的性能与网络的抗干扰能力得到进一步提高，最后用两个mlp模块分别完成分类任务和定位任务；以此法构建的车道线检测网络具有较高的检测准确性与实时性。

49、2、本发明采用低光照增强网络对输入图像进行光照增强，亮度正常的图像不会受到影响，亮度较暗的图像会变亮，改善了车道线检测网络在低光照环境下的检测表现。

50、3、本发明将车道线检测网络模型和低光照增强网络模型进行tensorrt部署，能够更充分的发挥gpu的性能，提高车道线检测的实时性。