一种基于跨层优化的车道线检测方法与流程

1.本发明涉及计算机视觉领域的一种车道线图像处理方法，具体涉及一种基于跨层优化的车道线检测方法。


背景技术：

2.车道线检测是计算机视觉领域的重要任务。它是与深度学习相互促进和发展的领域，可以应用到自动驾驶或者辅助驾驶中，为其提供道路车道线的信息，进而帮助智能车辆更好的定位车辆位置。
3.车道线检测是计算机视觉中一个非常具有挑战性的任务。车道线是一个交通标志，具有非常高层次语义信息。车道线的形状和一些路标相似，但是在它们有着不同的语义信息。高层向的特征对车道线检测非常重要。但是车道线的外观简单，需要低级的局部特征来准确定位。因此，在车道线检测任务中，利用高级和低级特征来预测车道线的位置非常重要。以往的方法也有致力于利用高级或者低级特征来改进车道线检测方法的。在国际顶级会议eccv2020上发表的《ultra fast structure-aware deep lane detection》利用了高级的全局特征来检测车道线。而在国际顶级会议cvpr2021上发表的《detecting lane marker from bottom up via key point》则提出一种基于局部线段检测再聚合成一整段车道线的方法。这两种方法，前者只关注了高级的全局特征，而后者则只注重局部的特征。这些方法没有结合使用高级和低级的特征，因此检测精度不高。


技术实现要素：

4.为了解决背景技术中存在的问题，本发明提供了一种基于跨层优化的车道线检测方法。该方法很好地结合了高级特征和低级特征来优化车道线检测的过程，并提升检测效果。
5.本发明所采用的技术方案如下：
6.(1)输入道路图片并利用卷积神经网络提取得到道路图片中的金字塔层次特征图；
7.所述的道路图片是由车辆车头前方、侧方、后方其中之一或者多种结合下的摄像头朝向行驶前方采集获得。
8.(2)利用较高层次的金字塔层次特征图来通过检测器初步检测定位车道线参数，再将检测定位到的车道线参数作为相对较低层次特征的输入继续检测；
9.(3)不断重复步骤(2)的优化过程并达到预设次数，得到最终预测的车道线；
10.(4)训练由(1)-(3)构成的车道线检测模型，重复步骤(1)-(3)并利用损失函数进行车道线检测模型优化，直到车道线检测模型收敛；
11.(5)车道线检测模型训练完毕后，将训练后的车道线检测模型用于车道线检测的任务，对实时待测的道路图片得到道路图片中的车道线位置。
12.所述步骤(1)中，所述的卷积神经网络包括多个卷积模块，输入的道路图片经过连
续多个卷积模块处理后再将相邻不同的卷积模块处理后的结果进行传递叠加获得多幅金字塔层次特征图。
13.所述的卷积模块是主要由卷积、非线性变化、批量归一化等依次连接构成。
14.所述步骤(1)中，卷积神经网络具体是将输入的道路图片经过连续多个卷积模块处理，每次卷积模块处理后获得骨干特征图。
15.所述的包含三个卷积模块，以三个卷积模块为例，按照三个卷积模块的顺序依次共获得高层次、中层次、低层次的三幅骨干特征图，将高层次的骨干特征图再经过一次卷积模块处理后获得高层次的金字塔层次特征图，将中层次的骨干特征图再经过一次卷积模块处理后获得的结果和高层次的金字塔层次特征图相加获得中层次的金字塔层次特征图，将低层次的骨干特征图再经过一次卷积模块处理后获得的结果和中层次的金字塔层次特征图相加获得低层次的金字塔层次特征图。
16.高层次、中层次、低层次的三幅金字塔层次特征图分辨率逐渐增大，语义信息逐渐减少。
17.所述步骤(2)中，在高层次、中层次、低层次的三幅金字塔层次特征图之间通过多个检测器进行传递。
18.所述步骤(2)中，将高层次的金字塔层次特征图和预定义好的车道线参数p0输入到第一个检测器处理中获得第一定位车道线参数refine p0，将车道线参数refine p0和中层次的金字塔层次特征图进行roialign处理提取获得第一车道线参数p1；
19.再将中层次的金字塔层次特征图和第一车道线参数p1经过第二个检测器处理获得第二定位车道线参数refine p1，将第二定位车道线参数refine p1和低层次的金字塔层次特征图进行roialign处理提取获得第二车道线参数p2；
20.再将低层次的金字塔层次特征图和第二车道线参数p2经过第三个检测器处理获得第三定位车道线参数refine p2，作为车道线检测模型的输出。
21.所述的步骤(1)中通过特征金字塔网络fpn提取获得了不同层次的金字塔层次特征图，l0,l1，
…
，l
n-1
,分别表示n层金字塔层次特征图，从l0到l
n-1
特征的分辨率逐渐增大，语义信息逐渐减少；
22.然后在步骤(2)中，按照以下公式表示的优化过程定义如下：
[0023][0024][0025]
p
t
＝argmin loss(p
t
，g)
[0026]
其中，f
t-1
对应车道线的特征，表示优化函数r
t
之后的车道线参数估计值；r
t
表示第t个检测器中的优化过程，l
t-1
(p
t-1
)表示roialign，g表示车道线的真值，koss(p
t
，g)表示计算损失函数，argmin表示优化损失函数得到最优的参数。
[0027]
所述步骤(5)中，对于车道线分类采用损失函数为focal loss，对车道线位置回归采用损失函数为smooth-l1 loss。
[0028]
卷积神经网络的输入都是图片，卷积神经网络是车道线(包含类别分类和位置回归)，生成p1，p2的过程就是回归和分类的过程。
[0029]
本发明方法具有以下有益效果：
[0030]
本发明提出基于基于跨层优化的车道线检测方法，该方法结合高层次和低层次的网络特征来检测车道线，提升检测精度。
[0031]
本发明可以很好的运用到各种车道线检测网络中，在主流车道线检测数据集culane上有很大的精度提升，展示了算法的优越性。
附图说明
[0032]
图1为本发明提出的框架图。
具体实施方式
[0033]
下面结合附图和具体实施方式对本发明做进一步阐述和说明。
[0034]
如图1所示，本发明的实施例情况包括如下：
[0035]
(1)输入道路图片并利用卷积神经网络提取得到道路图片中的金字塔层次特征图；
[0036]
步骤(1)中，卷积神经网络包括多个卷积模块，输入的道路图片经过连续多个卷积模块处理后再将相邻不同的卷积模块处理后的结果进行传递叠加获得多幅金字塔层次特征图。
[0037]
卷积神经网络具体是将输入的道路图片经过连续三个卷积模块处理，每次卷积模块处理后获得一幅骨干特征图，按照三个卷积模块的顺序依次共获得高层次、中层次、低层次的三幅骨干特征图，将高层次的骨干特征图再经过一次卷积模块处理后获得最高层次的金字塔层次特征图，将中层次的骨干特征图再经过一次卷积模块处理后获得的结果和最高层次的金字塔层次特征图相加获得中层次的金字塔层次特征图，将低层次的骨干特征图再经过一次卷积模块处理后获得的结果和中层次的金字塔层次特征图相加获得低层次的金字塔层次特征图。
[0038]
高层次、中层次、低层次的三幅金字塔层次特征图分辨率逐渐增大，语义信息逐渐减少。
[0039]
(2)利用较高层次的金字塔层次特征图来通过检测器初步检测定位车道线参数，再将检测定位到的车道线参数作为相对较低层次特征的输入继续检测；
[0040]
所述步骤(2)中，将高层次的金字塔层次特征图和预定义好的车道线参数p0输入到第一个检测器处理中获得第一定位车道线参数refine p0，将车道线参数refine p0和中层次的金字塔层次特征图进行roialign处理提取获得第一车道线参数p1；
[0041]
再将中层次的金字塔层次特征图和第一车道线参数p1经过第二个检测器处理获得第二定位车道线参数refine p1，将第二定位车道线参数refine p1和低层次的金字塔层次特征图进行roialign处理提取获得第二车道线参数p2；
[0042]
再将低层次的金字塔层次特征图和第二车道线参数p2经过第三个检测器处理获得第三定位车道线参数refine p2，作为车道线检测模型的输出。
[0043]
预定义好的车道线参数p0输入到第一个检测器中，最后一个检测器的输出作为车道线检测模型的输出结果。
[0044]
通过特征金字塔网络fpn提取获得了不同层次的金字塔层次特征图，l0,l1，
…
，l
n-1
,分别表示n层金字塔层次特征图，从l0到l
n-1
特征的分辨率逐渐增大，语义信息逐渐减
少；
[0045]
然后在步骤(2)中，设定每个优化过程为r1，
…
，rn，每层优化得到的车道线的参数为p1，
…
，pn，则按照以下公式表示的优化过程定义如下：
[0046][0047][0048]
p
t
＝argmin loss(p
t
，g)
[0049]
其中，f
t-1
对应车道线的特征，表示优化函数r
t
之后的车道线参数估计值；r
t
表示第t个检测器中的优化过程，l
t-1
(p
t-1
)表示roialign，g表示车道线的真值，loss(p
t
，g)表示计算损失函数，argmin表示优化损失函数得到最优的参数。n在本发明中为3。
[0050]
p0表示预定义好的车道线参数，是预先设定的。优选地，步骤(3)迭代次数设置为3，即n为3。
[0051]
(3)不断重复步骤(2)的优化过程并达到预设次数，得到最终预测的车道线；
[0052]
(4)由上述(1)-(3)构成的车道线检测模型，利用预先已知采集获得的道路图片及其中的车道线定位训练由(1)-(3)构成的车道线检测模型，重复步骤(1)-(3)并利用损失函数进行车道线检测模型优化，直到车道线检测模型收敛；
[0053]
(5)车道线检测模型训练完毕后，将训练后的车道线检测模型用于车道线检测的任务，对实时待测的道路图片得到道路图片中的车道线位置。
[0054]
对于车道线分类采用损失函数为focal loss，对车道线位置回归采用损失函数为smooth-l1 loss。
[0055]
具体实施中，focal loss损失函数中的参数分别设定为α＝0.5，γ＝2.0。smooth-l1 loss损失函数中的参数设定为β＝1.0。
[0056]
本发明在culane数据集上进行了实验，并且本发明提出的结构clrnet来进行实验。结果如下表。
[0057]
表1
[0058][0059]
表中，setting表示不同优化过程的配置，mf1,f1@50,f1@75,f1@90分别表示不同的评估指标。
[0060]
在表中可以看到，仅利用高层次的特征来优化(r0)或者低层次的特征来优化(r2)
取得了相似的效果，在同一层上做多次迭代优化有一定效果提升，但提升效果有限。结合了高层次的特征和低层次的特征可以得到将近2个点的提升，说明了本发明的有效性。