基于特征引导注意力的车道线检测方法、装置及设备

本发明涉及车道线检测，尤其是指一种基于特征引导注意力的车道线检测方法、装置、设备及可读存储介质。

背景技术：

1、车道线作为约束车辆在道路上行驶的重要线索，其在现代汽车先进驾驶辅助系统和自动驾驶系统中发挥着至关重要的作用。帮助智能车辆更好的定位和更安全的驾驶，是车道线检测系统的目标。

2、在实际的车道线检测中，由于存在许多恶劣的场景，如恶劣的天气、昏暗或耀眼的光、车道线被其他车辆遮挡等，虽然人类能够容易地推断车道线位置并根据上下环境填充被遮挡的部分，但对于车道线检测任务来说，如果没有高级语义和全局上下文信息则很难区分车道线和周围环境。现有技术提出了一种消息传递机制来收集全局上下文信息，但该方法执行逐像素预测，难以满足实时性的要求。

3、并且，现有的基于线锚的车道线检测任务没有重复利用局部特征和全局特征，容易造成漏检和误检。对车道线的局部几何形状进行建模并集成到全局特征中，容易将地标误认为是车道线造成误检。构建具有全局特征的全连接层来检测车道，则容易造成预测车道的不准确定位。

技术实现思路

1、为此，本发明所要解决的技术问题在于克服现有技术中车道线检测方法在恶劣场景中检测不准确，且难以满足实时性的问题。

2、为解决上述技术问题，本发明提供了一种基于特征引导注意力的车道线检测方法，具体步骤包括：

3、使用特征残差神经网络作为车道线检测模型的骨干网络，对包含车道线的图片进行车道线特征提取，输出多尺寸的特征图；

4、其中，所述特征残差神经网络包括基本残差块和特征引导注意力组成的基本块；所述特征引导注意力组成的基本块采用跳跃连接，包括多个卷积块、批量归一化层、整流线性单元激活函数层和特征引导注意力；所述特征引导注意力基于卷积注意力模块构建，将输入特征图经过卷积注意力模块处理，输出空间细化图，将输入特征图和空间细化图经由通道混洗操作得到最终输出的细化特征图；

5、使用均衡特征金字塔网络作为车道线检测模型的跨尺度特征融合模块，对所述特征残差神经网络生成的每一个尺寸的特征，通过上下采样操作生成金字塔对应的多个尺寸，再将相同尺寸的特征图融合；

6、使用roigather作为车道线检测模型的检测模块，将所述均衡特征金字塔网络融合后的多尺寸特征图输入至roigather检测模块，迭代更新预设定的车道线，输出最终检测出的车道线。

7、在本发明的一个实施例中，所述使用特征残差神经网络作为车道线检测模型的骨干网络对包含车道线的图片进行车道线特征提取，输出多尺寸的特征图包括：

8、将待检测的车道线图像依次输入卷积层、批量归一化层、整流线性单元激活函数、卷积层和批量归一化层，将输出作为特征引导注意力的输入特征图像；

9、所述特征引导注意力将所述输入特征图经过卷积注意力模块处理，输出空间细化图，将输入特征图和空间细化图经由通道混洗操作得到最终输出的细化特征图；

10、采用跳跃连接将所述待检测的车道线图像与所述特征引导注意力输出的细化特征图混洗，再经过整流线性单元激活函数输出多尺寸的特征图。

11、在本发明的一个实施例中，所述以空间细化图作为引导，与输入特征图经由通道混洗操作具体为，将空间细化图和输入特征图的每个通道经由混洗操作以交替方式重新布置，得到最终输出的细化特征图，公式为：

12、fout＝σ(gc7×7(cs([fin,fs])))

13、其中，fout为最终输出的细化特征图，σ表示sigmoid操作，cs(·)表示通道混洗操作，gc7×7·表示具有7×7内核大小的组卷积层，fin为输入特征图，fs为空间细化图。

14、在本发明的一个实施例中，所述空间细化图fs由通道细化图fc应用2d空间注意力得来，具体公式为：

15、

16、其中fsrm为空间注意力映射；

17、所述通道细化图通过应用1d通道注意力从输入特征图fin中找到重要通道得来，具体公式为：

18、

19、其中fcrm为通道注意力映射；

20、所述通道注意力映射fcrm具体公式为：

21、

22、所述空间注意力映射fsrm具体公式为：

23、

24、其中mlp为多层感知器，隐藏层数量为rc/r×1×1，c为特征图中的通道数，r为缩减比，w1和w0为多层感知器的权重，为跨通道维度的全局平均池化操作的特征，为跨通道维度的全局最大池化操作的特征，为跨空间维度的全局平均池化操作的特征，为跨空间维度的全局最大池化操作处理的特征。

25、在本发明的一个实施例中，所述均衡特征金字塔网络作为跨尺度特征融合模块，对所述特征残差神经网络生成的每一个尺寸的特征，通过上下采样操作生成金字塔对应的多个尺寸，使用空洞卷积进行上采样操作，使用卷积核和步幅进行下采样。

26、在本发明的一个实施例中，所述将所述均衡特征金字塔网络融合后的多尺寸特征图输入至roigather检测模块，迭代更新预设定的车道线，输出最终检测出的车道线的具体方法包括：

27、将预设定的车道线分配给所述均衡特征金字塔网络输出的最小尺寸特征图后，其中每条预设定的车道线有n个点；从所述预设定的车道线中统一采样np个点，使用双线性插值来计算输入特征的确切值，超出图片范围的特征进行补零，获得每条预设定车道线的roi特征c为特征图中的通道数；

28、对所述每条预设定车道线的roi特征执行9×9的一维卷积，收集每个通道像素的附近特征；

29、使用全连通算法进一步提取得到预设定车道线的特征x′p∈rc×1；

30、调整全局特征图xf∈rc×h×w的大小，使之与所述均衡特征金字塔网络输出的最小尺寸特征图尺寸相同，并展平为x′f∈rc×hw；

31、建立所述进一步提取得到的预设定车道线的特征x′p和全局特征图x′f的关系，得到预设定车道线的特征与全局特征图之间的注意力矩阵w；

32、通过所述注意力矩阵w计算得到聚合特征g，将聚合特征g与预设定车道线的特征x′p相加，作为新的预设定车道线分配给所述均衡特征金字塔网络输出的下一层特征图，依次循环，直到所有均衡特征金字塔网络输出的特征图都被利用。

33、在本发明的一个实施例中，所述预设定车道线的特征x′p与全局特征图x′f之间的注意力矩阵w为：

34、

35、其中f为归一化函数softmax，c为特征图中的通道数；

36、所述聚合特征

37、本发明还提供了一种基于特征引导注意力的车道线检测装置，包括：

38、特征提取模块，使用特征残差神经网络作为车道线检测模型的骨干网络，对包含车道线的图片进行车道线特征提取，输出多尺寸的特征图；其中，所述特征残差神经网络包括基本残差块和特征引导注意力组成的基本块；所述特征引导注意力组成的基本块采用跳跃连接，包括多个卷积块、批量归一化层、整流线性单元激活函数层和特征引导注意力；所述特征引导注意力基于卷积注意力模块构建，将输入特征图经过卷积注意力模块处理，输出空间细化图，将输入特征图和空间细化图经由通道混洗操作得到最终输出的细化特征图；

39、特征融合模块，使用均衡特征金字塔网络作为车道线检测模型的跨尺度特征融合模块，对所述特征残差神经网络生成的每一个尺寸的特征，通过上下采样操作生成金字塔对应的多个尺寸，再将相同尺寸的特征图融合；

40、车道线检测模块，使用roigather作为车道线检测模型的检测模块，将所述均衡特征金字塔网络融合后的多尺寸特征图输入至roigather检测模块，迭代更新预设定的车道线，输出最终检测出的车道线。

41、本发明还提供了一种基于特征引导注意力的车道线检测设备，包括：

42、摄像头采集单元，用于采集车道线图像；

43、存储器，用于存储计算机程序；

44、处理器，用于处理所述摄像头采集单元采集的车道线图像，执行所述计算机程序时实现上述基于特征引导注意力的车道线检测方法的步骤，输出最终检测出的车道线。

45、本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于特征引导注意力的车道线检测方法的步骤。

46、本发明的上述技术方案相比现有技术具有以下优点：

47、本发明所述的基于特征引导注意力车道线检测方法首先利用全局特征粗略定位车道，对全局特征进行细化从而得到精细的局部特征，以获得更精确的位置和高精度的检测结果，通过集中分析重点区域，在保证精度的同时提高了检测速度。在检测车道线的任务，尤其是恶劣环境下具有更高的准确性，并且相比逐像素预测的方法检测速度更快，能够满足实时性的要求。

48、本发明所述的特征引导注意力组成的基本块将更多的注意力集中在车道线像素和更重要的通道信息上。所述特征引导注意力以从粗到细的方式生成细化特征图，并将输入特征图和空间细化图经由通道混洗操作得到最终输出的细化特征图，使得空间注意力特征和通道注意力特征之间的信息充分交换，强调了特征中的重要信息。

49、本发明所述的均衡特征金字塔网络充分的利用了全局特征和局部特征，解决了高层特征随着融合过程逐渐淡化，造成损失细节信息的问题，实现在不同层级之间进行均衡的特征融合，减小了车道线检测的误检率和漏检率。