一种基于矩形注意力机制的车道线检测方法

本发明涉及图像处理和车辆智能驾驶领域，尤其是指一种基于矩形注意力机制的车道线检测方法、装置、设备以及计算机可读存储介质。

背景技术：

1、车道线检测是一项具有挑战性的任务，需要在高实时性下预测复杂的车道线拓扑形状，并同时区分不同类型的车道。近十年来，自动驾驶技术逐渐成为计算机视觉领域的研究热点，并受到学术界和产业界的广泛关注。为了确保自动驾驶车辆的安全行驶，自动驾驶系统需要准确地理解车道线的空间信息。因此，从前置摄像头获取的图像中快速计算车道线的形状和位置信息是自动驾驶系统中至关重要的一步，这要求车道线检测既要具有高准确性，又要具有高实时性。

2、近些年大部分的研究将车道线检测视为实例分割或目标检测问题来解决。基于实例分割的方法大多采用多类别分类方式将像素点分割为车道线或者背景。基于检测的方法利用锚的思想来预测车道线，但也有一些方法利用车道线自身特性，使用锚线来扩大锚的特征范围，以此预测车道线实例。但本技术发明人在实现本技术实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：当面对一些极端情况，例如道路遮挡，这些方法的检测性能往往不佳。在这种情况下，如何从图像中提取隐藏的车道线信息显得至关重要。

3、建立在图像实例分割基础上的方法，会预测出特征图中所有像素点的类别，但是对于车道线检测任务来讲，车道线本身的曲线特性就决定了车道线所含像素点占整张特征图的比例极小，大多数预测的像素点与车道线无关，就导致模型在分割过程中的计算效率低。

4、基于锚检测方法的不足之处：大多数车道线图像只会存在2-5条车道线，但是模型会预测出上百个锚，这就导致模型长尾效应明显，需要使用nms(non-maximumsuppression)后处理方法来去除冗余的车道线锚。

技术实现思路

1、为此，本发明所要解决的技术问题在于提供一种基于矩形注意力机制的车道线检测方法，以克服现有自动驾驶中存在的道路被遮挡情况下难以检测车道线及检测效率低的问题。

2、为解决上述技术问题，本发明提供了一种基于矩形注意力机制的车道线检测方法，包括：获取车道线图像f∈rc×h′×w′，其中c为通道数，h′为图像高度，w′为图像宽度；将所述车道线图像输入到已训练收敛的基于矩形注意力机制的车道线检测模型中，对所述车道线图像进行卷积操作得到下采样后的特征图，所述下采样后的特征图尺寸为fds∈rc×p×w′，其中，c为通道数，p为图像高度，w′为图像宽度；将所述下采样后的特征图通过注意力机制网络得到q、k、v，其中q∈rp×w′×c′、k∈rp×c′×w′、v∈rp×c×w′，所述q和所述k通过仿射变换操作后生成注意力特征图a，通过softmax层计算所述注意力图a中各点与其处在同一水平方向上各个点的关联度，将所述注意力特征图a与所述v之间通过矩阵乘法操作，得到注意力加权后的特征图fo∈rc×p×w′，将注意力加权后的特征图上每一点与该点处于同一行内所有点的上下文特征信息聚合起来，将其经过卷积操作得到与原始输入特征图尺寸一致的上采样后的车道线特征图；将所述上采样后的车道线特征图输入所述基于矩形注意力机制的车道线检测模型的关键点检测网络中，输出所述上采样后的车道线特征图中包含车道线起始点在内的所有关键点坐标；采用基于距离的聚类网络，通过关键点坐标与其所属起始点间的偏移量来将关键点聚类为车道线实例。

3、优选地，所述基于矩形注意力机制的车道线检测模型的训练集车道线图像为tusimple。

4、优选地，通过设置卷积核的尺寸参数、步长参数、填充值参数对所述车道线图像进行两次相同的卷积操作，得到下采样后的特征图。

5、优选地，所述关键点检测网络的损失函数计算公式如下：

6、

7、

8、其中，ζyx为起始点权重参数，lf为二分类平衡交叉熵损失函数，h′为特征图的高度，w′为特征图的宽度,x∈[w′l,w′-w′r]and y∈[h′-h′b,h′]为非起始点区域,x∈[0,w′l]or x∈[w′-w′r,w′]or y∈[0,h′]为起始点区域,w′l、w′r、h′b分别代表起始点区域的左宽度、右宽度、底部宽度，a代表非起始点区域的权重系数，b代表起始点区域的权重系数。

9、优选地，所述采用基于距离的聚类网络，通过关键点坐标与其所属起始点间的偏移量来将关键点聚类为车道线实例的损失函数为：

10、

11、其中，h′为特征图的高度，w′为特征图的宽度，oyx分别代表的是预测点与预测起始点之间的偏移量、实际点与实际起始点之间的偏移量。

12、优选地，所述基于矩形注意力机制的车道线检测模型中，网络的整体损失函数公式为：

13、ltotal＝λpointlpoint+λoffsetloffset

14、其中，λpoint、λoffset分别为关键点和偏移量损失函数的权重值，lpoint为关键点检测网络的损失函数，loffset为基于距离的聚类网络损失函数。

15、优选地，采用基于距离的聚类网络，通过关键点坐标与其所属起始点间的偏移量来将关键点聚类为车道线实例，包括：

16、设置起始点距离阈值；

17、选取一个关键点与其对应起始点之间的坐标偏移量值小于1，将其视为车道线实例的候选起始点；

18、根据关键点与其对应起始点之间的坐标偏移量计算剩余关键点的理论起始点，保留与所述候选起始点之间距离小于所述起始点距离阈值的理论起始点，大于所述起始点距离阈值的点被视作误差点；

19、保留下的所有起始点集中在一个区域，所述起始点包括候选起始和理论起始点，将所述区域的中心视为该车道线实例的实际起始点；

20、最后将属于同一个起始点的关键点聚类为同一个车道线实例。

21、本发明还提供了一种基于矩形注意力机制的车道线检测装置，包括：

22、检测样本获取模块：获取车道线图像f∈rc×h′×w′，其中，c为通道数，h′为图像高度，w′为图像宽度；

23、图像初始化模块：将所述车道线图像输入到已训练收敛的基于矩形注意力机制的车道线检测模型中，对所述车道线图像进行卷积操作得到下采样后的特征图，所述下采样后的特征图为fds∈rc×p×w′，p＝h′/4，其中，c为通道数，p为图像高度，w′为图像宽度；

24、特征提取模块：将所述下采样后的特征图通过注意力机制网络得到q、k、v，其中q∈rp×w′×c′、k∈rp×c′×w′、v∈rp×c×w′，所述q和所述k通过仿射变换操作后生成注意力特征图a，通过softmax层计算所述注意力图a中各点与其处在同一水平方向上各个点的关联度，将所述注意力特征图a与所述v之间通过矩阵乘法操作，得到注意力加权后的特征图fo∈rc×p×w′，将注意力加权后的特征图上每一点与该点处于同一行内所有点的上下文特征信息聚合起来，将其经过卷积操作得到与原始输入特征图尺寸一致的上采样后的车道线特征图；

25、关键点检测模块：将所述上采样后的车道线特征图输入所述基于矩形注意力机制的车道线检测模型的关键点检测网络中，输出所述上采样后的车道线特征图中包含车道线起始点在内的所有关键点坐标；

26、车道线循迹模块：采用基于距离的聚类网络，通过关键点坐标与其所属起始点间的偏移量来将关键点聚类为车道线实例。

27、本发明还提供了一种基于矩形注意力机制的车道线检测设备，包括：

28、车道线图像采集装置，用于采集车道线图像；

29、上位机，与所述车道线图像采集装置通讯连接，接收所述车道线图像，执行所述计算机程序时，实现如上述所述的一种基于矩形注意力机制的车道线检测方法的步骤，得到车道线图像对应的车道线实例图像；

30、显示装置：与所述上位机通讯连接，用于显示所述车道线实例图像。

31、本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上如上述任一项所述的一种基于矩形注意力机制的车道线检测方法的步骤。

32、本发明的上述技术方案相比现有技术具有以下优点：

33、本发明所提供的一种基于矩形注意力机制的车道线检测方法针对自动驾驶中存在的难检测车道线场景，通过将车道线图像下采样，将车道线图像中每个关键点的注意力范围集中在一个矩形区域，并通过注意力机制网络得到注意力加权后的特征图，将注意力加权后的特征图上每一点与该点处于同一行内所有点的上下文特征信息聚合起来，不需要考虑整张图像的全局信息，就可以构建未被遮挡车道线与被遮挡车道线在同一水平区域下的关联，减少了算法所使用的计算资源，加快了模型在推理阶段的速度。

34、另外，提出了一种用于车道线关键点检测的损失函数，该损失函数引入了起始点权重参数ζyx，增加了起始点在关键点中的重要性占比，以此间接地提高模型预测准确度。