基于双向分离注意力的车道线检测与分类方法及系统

1.本发明涉及计算机视觉领域，具体涉及基于双向分离注意力的车道线检测与分类方法及系统。


背景技术：

2.图像分割是对像素深层特征的多分类问题，它通过为每个像素分配相应属性的类别标签，尝试将图像中符合某些特定语义的像素组合起来，呈现出满足视觉判断的不同类别区域。因此，本发明将分割思想应用到车道线检测与分类任务中。采用基于视觉的分割方法可以为自动驾驶车辆的环境感知，提供道路场景中的车道线位置以及类别等信息，这对于自动驾驶汽车行驶过程中的安全性起到非常重要的作用。
3.在早期的图像分割任务中，大多选择颜色、梯度以及几何形状等特征对图像进行分割。基于阈值、边缘、聚类、图论以及区域的分割，都是常用的分割算法。近年来，由于较强的特征提取能力以及对语义信息理解能力，cnn被应用到多个图像分割领域中。虽然语义分割网络，如fcn、unet、segnet以及deeplab系列网络等，取得了较好的分割性能，但是网络参数量较大。之后，enet、erfnet以及bisenet系列网络考虑到网络参数较多的问题，通过构建轻量模块实现了分割性能和参数量之间的平衡。但是由于图像中的目标之间是存在关联性的，如果仅仅只是关注单个像素，不关注像素间的依赖关系，会降低网络的分割性能。公布号为cn110688971a的现有发明专利文献《一种虚线车道线的检测方法、装置和设备》包括：对待检测的道路图像进行特征提取，得到所述道路图像的特征图；根据所述特征图确定所述道路图像中的车道线区域、以及所述道路图像中的端点像素点；所述端点像素点为所述道路图像中可能为虚线车道线的端点的像素点；基于所述车道线区域和所述端点像素点，确定所述道路图像中的虚线车道线。由该现有技术方案中的细化内容可知，该现有技术采用了fcn作为特征提取网络，通过多次卷积下采样后，得到道路样本图像的高维特征图，然后对该高维特征图conv1进行反卷积上采样，得到图像特征us_conv1。然后将图像特征us_conv1输入到区域预测网络和端点预测网络。可见该现有方案在下采样以及上采样的过程中，并未针对图像失真以及特征精度缺失等问题进一步披露可行方案，无法保证车道线特征提取的精度，同时，该现有技术未充分考虑图像中目标之间的关联关系，降低了网络的分割性能。公布号为cn112287912a的现有发明专利文献《基于深度学习的车道线检测方法以及装置》包括：获取待检测的第一图片；将第一图片输入目标神经网络模型，得到目标特征图，其中，目标神经网络模型包括基于多尺度注意力机制生成的神经网络模型以及深度可分离卷积模型，目标特征图用于表示第一图片中每个像素为车道线像素的概率；对目标特征图执行图像后处理，以得到目标检测结果。该现有技术方案的说明书实施例中记载了：对第一特征图分别进行卷积操作，采用不同的卷积核是为了融合不同感受野尺度下车道线元素的信息。输出三个特征图，具体而言，包括两个上述第二类特征图和一个第一类特征图，并计算元素之间的相关性，以确定特征图中每个像素位置对全局推断的重要性，再使用统计学中的方法，从通道的维度来统计每个位置元素的值。可知该现有技术虽然考虑了特征
图中元素之间的相关性，但利用该现有技术披露的统计处理逻辑，仅能排除不属于车道线的连通域并识别常规车道，无法充分融合特征图像中的局部特征及全局特征，在例如车道线被遮挡的特定应用场景下，依然制约了网络模型的图像分割性能，且该现有方案采用的网络模型中的网络参数量较大，提高了运算难度。
4.综上，现有技术存在参数量大以及分割性能较差的技术问题。


技术实现要素：

5.本发明所要解决的技术问题在于如何解决现有技术中的参数量大以及分割性能较差的技术问题。
6.本发明是采用以下技术方案解决上述技术问题的：基于双向分离注意力的车道线检测与分类方法包括：
7.s1、构建轻量化车道线检测分类网络lnet，其中，轻量化车道线检测分类网络lnet包括：对称单元及密集对称块，利用密集对称块密集连接不少于2个的对称单元，其中，步骤s1包括：
8.s11、以轻量化车道线检测分类网络lnet的编码器下采样处理输入图像，以逐级降低输入图像的分辨率，据以获取小分辨率特征图；
9.s12、以解码器上采用处理编码器中的最后一层卷积图像，以恢复小分辨率特征图至输入图像的原始大小，其中，融合处理解码器及编码器的输出特征，以得到融合特征；
10.s13、利用加权交叉熵损失函数训练轻量化车道线检测分类网络lnet；
11.s2、构建双向分离注意力机制，据以构建长距离像素之间的依赖关系，并获取全局位置信息和局部细节信息，步骤s2包括：
12.s21、将双向分离注意力模块tsa添加至轻量化车道线检测分类网络lnet中，据以构建双向注意力轻量车道线检测分类网络tsanet；
13.s22、利用双向分离注意力模块tsa分别从横向像素及纵向像素中，集成目标纹理及目标位置信息，将融合特征作为输入特征图，利用双向分离注意力模块tsa处理根据输入特征图，据以得到适用映射关系作为长距离像素之间的依赖关系。
14.本发明基于语义分割的思想，对编码器
–
解码器模型进行重新设计，以生成参数较少的轻量级网络(lnet)。其次，为了使模型对挑战性环境具有鲁棒性，引入双向分离注意力(tsa)构建长距离像素之间的依赖关系。最后，将tsa融合进lnet中，从而获取更准确的车道线检测和分类结果。本发明采用的tsanet在tusimple等数据集上的提高了车道线检测准确率，并优化了图像分割效果，适合于智能驾驶场景下的实时车道线检测与分类。
15.本发明提出了一种具有对称结构的对称单元，相比现有技术中采用的llnet的子单元，对称单元采用卷积核更小的一维卷积，只需要更少的计算量，也减少了参数量。
16.在更具体的技术方案中，步骤s1中，将双向分离注意力模块tsa放入编码器中每一个密集连接块后，供双向注意力轻量车道线检测分类网络tsanet提取目标特征和语义信息。
17.本发明通过采用密集连接的方式，获取更多尺度的信息，从而解决网络中的梯度消失问题，防止过拟合现象的发生。
18.在更具体的技术方案中，步骤s11中，轻量化车道线检测分类网络lnet在上采样过
程中融合编码器阶段提取的多尺度特征的输出分辨率，以弥补信息损失。
19.本发明构造了一种具有对称单元和密集对称块的轻量化的车道线检测和分类网络(lnet)。本发明构建双向分离注意力机制(tsa)，以构建长距离像素之间的依赖关系。本发明将双向分离注意力模块(tsa)添加到lnet中，构建基于双向注意力的轻量车道线检测和分类网络(tsanet)，增强网络获取目标区域的位置以及长距离像素之间的依赖关系的能力。
20.在更具体的技术方案中，步骤s12包括：
21.s121、融合处理第一编码器ds1和第七编码器ds7输出的多尺度特征；
22.s122、融合处理第二编码器ds2和第六编码器ds6输出的多尺度特征；
23.s123、融合处理第三编码器ds3和第五编码器ds5输出的多尺度特征。
24.本发明采用的lnet在上采样过程中融合编码器阶段提取的多尺度特征逐渐增大输出的分辨率，并将将含有丰富全局信息的encoder阶段的特征和decoder阶段的特征进行融合。采用这种方式弥补了信息的部分损失，可将低层特征融合进解码器中可以弥补随着网络层数的加深而丢失的信息，使得最后的结果既有全局信息又保留住来局部细节信息。
25.本发明仅考虑由两个和三个对称单元构成的ds块，以减少密集连接带来的通道数量的快速增加，以在特定网络深度场景下，提高分割精度，并保证网络的实时性。
26.在更具体的技术方案中，步骤s13中，以下述加权交叉熵损失函数训练轻量化车道线检测分类网络lnet：
[0027][0028]
式中，n为像素的数目，yi为第i个像素的id，其中，id表示特征车道线或背景，pi表述第i个像素的类别预测概率。
[0029]
在更具体的技术方案中，利用正则化参数l2将权重参数约束至适用区域，以降低过拟合概率。
[0030]
本发明使用加权交叉熵损失函数训练网络，其中，正则化l2可以将权重参数约束到较小的区域，可以降低过拟合的概率。
[0031]
在更具体的技术方案中，步骤s22中的双向分离注意力模块tsa为独立模块。
[0032]
本发明中的采用的tsa是一个独立的模块，可以放置在网络上的任何位置，提高了系统适用性。
[0033]
在更具体的技术方案中，步骤s22包括：
[0034]
s221、利用下述逻辑，分别从横向和纵向对输入特征图进行最大池化和平均池化操作，以获得横向特征图及纵向特征图；
[0035][0036][0037]
式中，mp、ap分别表示最大和平均池化；
[0038]
s222、输送横向特征图及纵向特征图至共享模块，据以处理得到横向共享特征及纵向共享特征，利用sigmoid激活函数，以下述逻辑处理横向共享特征及纵向共享特征，据以得到横向激活特征hn'及纵向激活特征wn'：
[0039]hn
'＝f(θ(hn))
[0040]
wn'＝f(θ(wn))
[0041]
式中，f是sigmoid激活函数，θ表示共享模块；
[0042]
s223、以下述逻辑将横向激活特征及纵向激活特征相乘，据以得到注意力特征，以构建长距离像素之间的依赖关系：
[0043]an
＝fn×hn
'
×
wn'。
[0044]
本发明采用的tsa可以分别从横向和纵向的像素中有效地集成目标的纹理和位置信息，而无需引入大量开销，提高了分割效率。本发明的tsa可以在横向和纵向上分别对图像像素进行特征编码，以有效地将空间坐标信息集成到生成的注意力特征中。因此，tsa可以有效地将坐标信息整合到生成的注意力特征中，并利用像素之间的空间位置来构建长距离依赖关系。
[0045]
在更具体的技术方案中，步骤s22中的共享模块包括：2个卷积层。
[0046]
在更具体的技术方案中，基于双向分离注意力的车道线检测与分类系统包括：
[0047]
轻量化车道线检测分类模块，用以构建轻量化车道线检测分类网络lnet，其中，轻量化车道线检测分类网络lnet包括：对称单元及密集对称块，利用密集对称块密集连接不少于2个的对称单元，其中，轻量化车道线检测分类模块包括：
[0048]
分辨率降低模块，用于以轻量化车道线检测分类网络lnet的编码器下采样处理输入图像，以逐级降低输入图像的分辨率，据以获取小分辨率特征图；
[0049]
特征融合模块，用于以解码器上采用处理编码器中的最后一层卷积图像，以恢复小分辨率特征图至输入图像的原始大小，其中，融合处理解码器及编码器的输出特征，以得到融合特征，特征融合模块与分辨率降低模块连接；
[0050]
网络训练模块，用以利用加权交叉熵损失函数训练轻量化车道线检测分类网络lnet；
[0051]
位置细节信息模块，用以构建双向分离注意力机制，据以构建长距离像素之间的依赖关系，并获取全局位置信息和局部细节信息，位置细节信息模块与轻量化车道线检测分类模块连接，位置细节信息模块包括：
[0052]
双向注意力网络构建模块，用以将双向分离注意力模块tsa添加至轻量化车道线检测分类网络lnet中，据以构建双向注意力轻量车道线检测分类网络tsanet；
[0053]
依赖关系获取模块，用以利用双向分离注意力模块tsa分别从横向像素及纵向像素中，集成目标纹理及目标位置信息，将融合特征作为输入特征图，利用双向分离注意力模块tsa处理根据输入特征图，据以得到适用映射关系作为长距离像素之间的依赖关系，依赖关系获取模块与双向注意力网络构建模块连接。
[0054]
本发明相比现有技术具有以下优点：本发明基于语义分割的思想，对编码器
–
解码器模型进行重新设计，以生成参数较少的轻量级网络(lnet)。其次，为了使模型对挑战性环境具有鲁棒性，引入双向分离注意力(tsa)构建长距离像素之间的依赖关系。最后，将tsa融合进lnet中，从而获取更准确的车道线检测和分类结果。本发明采用的tsanet在tusimple等数据集上的提高了车道线检测准确率，并优化了图像分割效果，适合于智能驾驶场景下的实时车道线检测与分类。
[0055]
本发明提出了一种具有对称结构的对称单元，相比现有技术中采用的llnet的子单元，对称单元采用卷积核更小的一维卷积，只需要更少的计算量，也减少了参数量。
[0056]
本发明通过采用密集连接的方式，获取更多尺度的信息，从而解决网络中的梯度消失问题，防止过拟合现象的发生。
[0057]
本发明构造了一种具有对称单元和密集对称块的轻量化的车道线检测和分类网络(lnet)。本发明构建双向分离注意力机制(tsa)，以构建长距离像素之间的依赖关系。本发明将双向分离注意力模块(tsa)添加到lnet中，构建基于双向注意力的轻量车道线检测和分类网络(tsanet)，增强网络获取目标区域的位置以及长距离像素之间的依赖关系的能力。
[0058]
本发明采用的lnet在上采样过程中融合编码器阶段提取的多尺度特征逐渐增大输出的分辨率，并将将含有丰富全局信息的encoder阶段的特征和decoder阶段的特征进行融合。采用这种方式弥补了信息的部分损失，可将低层特征融合进解码器中可以弥补随着网络层数的加深而丢失的信息，使得最后的结果既有全局信息又保留住来局部细节信息。
[0059]
本发明仅考虑由两个和三个对称单元构成的ds块，以减少密集连接带来的通道数量的快速增加，以在特定网络深度场景下，提高分割精度，并保证网络的实时性。
[0060]
本发明使用加权交叉熵损失函数训练网络，其中，正则化l2可以将权重参数约束到较小的区域，可以降低过拟合的概率。
[0061]
本发明中的采用的tsa是一个独立的模块，可以放置在网络上的任何位置，提高了系统适用性。
[0062]
本发明采用的tsa可以分别从横向和纵向的像素中有效地集成目标的纹理和位置信息，而无需引入大量开销，提高了分割效率。本发明的tsa可以在横向和纵向上分别对图像像素进行特征编码，以有效地将空间坐标信息集成到生成的注意力特征中。因此，tsa可以有效地将坐标信息整合到生成的注意力特征中，并利用像素之间的空间位置来构建长距离依赖关系。本发明解决了现有技术中存在的参数量大以及分割性能较差的技术问题。
附图说明
[0063]
图1为本发明实施例1的基于双向分离注意力的车道线检测与分类方法中的tsanet整体网络结构示意图；
[0064]
图2为本发明实施例1的对称单元的组成结构示意图
[0065]
图3a为本发明实施例1的密集对称块的第一组成结构示意图；
[0066]
图3b为本发明实施例1的密集对称快的第二组成结构示意图；
[0067]
图4为本发明实施例1的降维层的组成结构示意图；
[0068]
图5为本发明实施例1的lnet的架构示意图；
[0069]
图6为本发明实施例1的双向分离注意力的结构示意图；
[0070]
图7为本发明实施例2的密集连接块的不同组合模式下的视觉特征图；
[0071]
图8为本发明实施例3的tusimple数据集中车道线检测网络的检测结果示意图；
[0072]
图9为本发明实施例3的自建数据集中车道线检测网络的检测结果示意图。
具体实施方式
[0073]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部
分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0074]
实施例1
[0075]
如图1所示，本发明构造了一种具有对称单元和密集对称块的轻量化的车道线检测和分类网络(lnet)。其次，为了构建长距离像素之间的依赖关系，构建双向分离注意力机制(tsa)。为了增强网络获取目标区域的位置以及长距离像素之间的依赖关系的能力，将双向分离注意力模块(tsa)添加到lnet中，构建基于双向注意力的轻量车道线检测和分类网络(tsanet)。tsa是一个独立的模块，可以放置在网络上的任何位置。为了增强网络提取目标特征和语义信息的能力，在本发明构建的网络中，将tsa放入编码器中每一个密集连接块后。
[0076]
1、对称单元和密集对称块：
[0077]
如图2所示，本发明提出了一种具有对称结构的对称单元。相比llnet的子单元，对称单元采用卷积核更小的一维卷积，只需要更少的计算量，也减少了参数量。图2中给出了对称单元的组成，它由3
×
1和1
×
3卷积层组成。
[0078]
如图3a及图3b所示，密集连接可以获取更多尺度的信息，从而解决网络中的梯度消失问题，防止过拟合现象的发生。因此，本发明构造了密集对称块(ds)。该ds块是通过密集连接将多个对称单元连接起来，用来增强每一层的信息传输。并不是网络深度越深，分割精度就会提高，且需要保证网络的实时性，因此，本发明仅考虑由两个和三个对称单元构成的ds块，以减少密集连接带来的通道数量的快速增加，其中，∪是将特征图进行连接。
[0079]
如图4所示，由于ds块采用密集连接，会大量增加特征图的维数，从而增加计算量。因此，本发明采用降维层来降低ds块后特征图的维数。为了降低pooling带来的信息丢失，降维层不采用pooling，仅采用1
×
1的卷积层，并将降维因子设置为0.5。假设输入比例为h
×w×
c，降维后通道的维度为h
×w×
(c
×
0.5)。
[0080]
2、lnet的架构：
[0081]
如图5所示，本文基于上文设计的对称单元和密集对称块，构建了lnet。
[0082]
首先，lnet的编码器采用下采样操作逐级降低输入图像的分辨率，通过获取小分辨率的特征图来降低网络的计算量；解码器对编码器中最后一层卷积图像进行上采样操作，将较小分辨率的特征图恢复到原始输入图像大小。但是编码器中最后一个卷积层的特征图的分辨率特别小，相对应地含有的细节信息非常少。如果直接对此特征图采用上采样恢复到原始输入图像的分辨率，会丢失很多信息，导致分割精度不高。
[0083]
为了弥补信息的部分损失，lnet在上采样过程中融合编码器阶段提取的多尺度特征逐渐增大输出的分辨率，并且在图4中使用黑色虚线表示该操作。将第ds1输出的特征和ds7输出的特征进行融合，将第ds2输出的特征和ds6输出的特征进行融合，将第ds3输出的特征和ds5输出的特征进行融合。因而，本发明将含有丰富全局信息的encoder阶段的特征和decoder阶段的特征进行融合。采用这种方式，可将低层特征融合进解码器中可以弥补随着网络层数的加深而丢失的信息，使得最后的结果既有全局信息又保留住来局部细节信息。
[0084]
本文使用加权交叉熵损失函数训练网络，loss函数的计算公式如公式(1)所示。正则化l2可以将权重参数约束到较小的区域，以降低过拟合的概率。在公式(1)中，n为像素的
数目，yi为第i个像素的id(特征车道线或背景)，pi表述第i个像素的类别预测概率。
[0085][0086]
3.双向分离注意力
[0087]
为了获得目标区域的全局位置信息和局部细节信息，建立起长距离像素之间的依赖关系，本发明提出了双向分离注意力(tsa)。其中，像素级乘法用表示，sigmoid函数用∫表示。tsa可以分别从横向和纵向的像素中有效地集成目标的纹理和位置信息，而无需引入大量开销。
[0088]
如图6所示，假设第n层的特征图为fn∈hn×
wn×cn
。tsa的输入为fn，输出为an∈hn×
wn×cn
。tsa即寻找一个最优映射关系γ：
[0089][0090]
首先，针对输入的特征图fn，分别从横向和纵向上执行最大池化(max-pooling)和平均池化(avg-pooling)操作，以获得横向特征图和纵向特征图如公式(3)和公式(4)所示。其中，mp、ap分别表示最大和平均池化。
[0091][0092][0093]
然后，将hn和wn送入到由两个卷积层组成的共享模块，其中，kh＝[1,w]，kw＝[h,1]。如公式(5)和公式(6)所示，两个方向上共享模块的特征输出，进一步被传到sigmoid激活函数，分别生成hn'和wn'。此外，为了降低网络的通道数，tsa还增加了一个降维系数为r的1
×
1卷积层。
[0094]hn
'＝f(θ(hn))
ꢀꢀꢀ
(5)
[0095]
wn'＝f(θ(wn))
ꢀꢀꢀ
(6)
[0096]
其中，f是sigmoid激活函数，θ表示共享模块。
[0097]
最后，将特征图(hn'和wn')和输入特征图(fn)相乘以获得注意力特征(an)，如公式(7)所示。
[0098]an
＝fn×hn
'
×
wn'
ꢀꢀꢀ
(7)
[0099]
tsa可以在横向和纵向上分别对图像像素进行特征编码，以有效地将空间坐标信息集成到生成的注意力特征中。因此，tsa可以有效地将坐标信息整合到生成的注意力特征中，并利用像素之间的空间位置来构建长距离依赖关系。
[0100]
实施例2
[0101]
如图7所示，进行密集对称块的消融实验，在本实施例中，为了获取构成集连接块的最优对称单元数目，选择lnet作为基准网络。为了消除tsa的影响，不将tsa和lnet相结合。本发明设计了五种模式，分别为2222、2223、2233、2333和3333，如图7所示。模式2222表示ds1、ds2、ds3和ds4中的对称单元数目分别为2。从图7可以看出，当使用模式2223时，特征图的车道线特征比其他模式获取的特征更清晰、更详细。此外，模式2223在表1中实现了更优的检测精度(94.43％)。
[0102]
表1.tusimple数据集中，密集连接块的不同组合模式的结果对比
[0103][0104]
实施例3
[0105]
进行tsa的消融实验，在本实施例中，编码器中的每个ds块后均采用了tsa。通过分析不同位置添加tsa的性能，来证明本设计方案的可行性和合理性。如表2所示，将编码器中每个ds块均和tsa相结合的性能是最优的，准确率高达96.53％。即证明了tsa放置在每个ds块后面的布局优于其他布局。
[0106]
表2.tusimple数据集中，tsa位于lnet不同位置的结果对比
[0107][0108][0109]
进行车道线检测网络性能的对比与分析，从表3中的数据可以看出，tsanet优于其他车道检测方法。虽然tsanet的检测精度与scnn和se+fg+bs+push相当，但tsanet所花费的时间是低于这两种方法的。且scnn的耗时是tsanet的20倍。虽然采用resnet18为骨干网络的laneatt的单帧处理时间为6.06ms，比tsanet低了0.963。但是laneatt(resnet18)的网络参数量是tsanet的6倍。esa和tsa都可以提取图像中两个方向的特征。将esa和tsa分别添加到erfnet，与基线erfnet相比，erfnet-tsa和erfnet-esa的准确率分别提高了0.85％和0.92％。可见，提取图像中双方向的特征有利于检测结果。由此可见，tsanet可以同时提取局部纹理和全局位置信息，同时参数量也较少，取得了具有竞争力的性能。
[0110]
表3.tusimple数据集中，车道线检测网络性能的对比与分析
[0111][0112]
如图8所示，图8中给出了tusimple数据集上的不同场景下的车道线检测结果。从图8可以看出，针对地面障碍物、遮挡等场景，tsanet具有较好的鲁棒性。这是因为tsanet可以获得两个方向上的局部信息和位置信息，在一定程度上避免误检和漏检，这有利于获得更好的检测结果。
[0113]
如图9所示，本发明不仅在tusimple数据集上验证了tsanet的性能，还在自建数据集上对tsanet的鲁棒性进行测试。从自建数据集中选取了8种场景，(a)和(b)表示路面没有交通标志的干扰，且车道线比较清晰的场景；(c)路面存在积水；(d)、(e)、(f)和(g)路面存在不同交通标志的干扰；(h)中包含有曲折的车道线。结果表明，tsanet通过构建长距离像素之间的依赖关系，可取到较好的检测性能。
[0114]
车道线分类网络性能的对比与分析
[0115]
从表4中的结果可以看出，tsanet的miou为69.7％，f1-score为95.3％，且参数量也只比lnet高0.21m。cascade-cnn、lnet和tsanet的输出均为语义类别的结果图，tsanet在miou、f1-score、实时性以及参数量方面都具有竞争力的优势。
[0116]
表4.tusimple数据集中，车道线分类网络性能的对比与分析
[0117][0118]
综上，本发明基于语义分割的思想，对编码器
–
解码器模型进行重新设计，以生成参数较少的轻量级网络(lnet)。其次，为了使模型对挑战性环境具有鲁棒性，引入双向分离注意力(tsa)构建长距离像素之间的依赖关系。最后，将tsa融合进lnet中，从而获取更准确的车道线检测和分类结果。本发明采用的tsanet在tusimple等数据集上的提高了车道线检
测准确率，并优化了图像分割效果，适合于智能驾驶场景下的实时车道线检测与分类。
[0119]
本发明提出了一种具有对称结构的对称单元，相比现有技术中采用的llnet的子单元，对称单元采用卷积核更小的一维卷积，只需要更少的计算量，也减少了参数量。
[0120]
本发明通过采用密集连接的方式，获取更多尺度的信息，从而解决网络中的梯度消失问题，防止过拟合现象的发生。
[0121]
本发明构造了一种具有对称单元和密集对称块的轻量化的车道线检测和分类网络(lnet)。本发明构建双向分离注意力机制(tsa)，以构建长距离像素之间的依赖关系。本发明将双向分离注意力模块(tsa)添加到lnet中，构建基于双向注意力的轻量车道线检测和分类网络(tsanet)，增强网络获取目标区域的位置以及长距离像素之间的依赖关系的能力。
[0122]
本发明采用的lnet在上采样过程中融合编码器阶段提取的多尺度特征逐渐增大输出的分辨率，并将将含有丰富全局信息的encoder阶段的特征和decoder阶段的特征进行融合。采用这种方式弥补了信息的部分损失，可将低层特征融合进解码器中可以弥补随着网络层数的加深而丢失的信息，使得最后的结果既有全局信息又保留住来局部细节信息。
[0123]
本发明仅考虑由两个和三个对称单元构成的ds块，以减少密集连接带来的通道数量的快速增加，以在特定网络深度场景下，提高分割精度，并保证网络的实时性。
[0124]
本发明使用加权交叉熵损失函数训练网络，其中，正则化l2可以将权重参数约束到较小的区域，可以降低过拟合的概率。
[0125]
本发明中的采用的tsa是一个独立的模块，可以放置在网络上的任何位置，提高了系统适用性。
[0126]
本发明采用的tsa可以分别从横向和纵向的像素中有效地集成目标的纹理和位置信息，而无需引入大量开销，提高了分割效率。本发明的tsa可以在横向和纵向上分别对图像像素进行特征编码，以有效地将空间坐标信息集成到生成的注意力特征中。因此，tsa可以有效地将坐标信息整合到生成的注意力特征中，并利用像素之间的空间位置来构建长距离依赖关系。本发明解决了现有技术中存在的参数量大以及分割性能较差的技术问题。
[0127]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。