车道线检测方法、装置、车辆及存储介质与流程

1.本公开涉及智能网联汽车技术领域，尤其涉及一种车道线检测方法、装置、车辆及存储介质。


背景技术：

2.随着科学技术的不断发展，自动驾驶技术逐渐走向了发展高潮。安全性一直是自动驾驶技术关注的重点，自动驾驶系统的环境感知能力对安全性能起着决定性的作用，而车道线检测则是环境感知中一个关键环节。
3.在车道线检测过程中，通常会由于光线较暗，反光，存在遮挡，抑或是车道线长时间被雨水冲刷，而导致拍摄到的道路图像中车道线模糊不清，加之车道线所在场景千变万化，因此会导致车道线检测难度大，检测结果准确性较低的问题。


技术实现要素：

4.为克服相关技术中存在的问题，本公开提供一种车道线检测方法、装置、车辆及存储介质。
5.根据本公开实施例的第一方面，提供一种车道线检测方法，所述方法包括：
6.获取目标检测图像；
7.将所述目标检测图像输入预设车道线检测模型中，以使所述预设车道线检测模型输出所述目标检测图像中车道线的目标位置；
8.其中，所述预设车道线检测模型通过以下方式训练得到：
9.获取多个车道线检测样本图像，所述车道线检测图像包括车道线标注位置；
10.将每个所述车道线检测样本图像输入预设初始模型，所述预设初始模型包括分割网络和分类网络，所述分割网络用于确定车道线检测样本图像中车道线的第一预测位置，所述分类网络用于确定车道线检测样本图像中车道线的第二预测位置；
11.根据所述第一预测位置，所述第二预测位置和所述车道线标注位置对所述预设初始模型进行训练，以得到所述预设车道线检测模型。
12.可选地，所述预设初始模型还包括特征提取网络，所述特征提取网络与所述分类网络和所述分割网络耦合，所述预设初始模型，用于
13.通过所述特征提取网络获取每个所述车道线检测样本图像对应的多尺度样本特征图，并根据所述多尺度样本特征图确定包括图像全局信息的第一样本特征图；
14.通过所述分割网络根据所述第一样本特征图确定所述车道线检测样本图像中车道线的第一预测位置；
15.通过所述分类网络根据所述多尺度样本特征图确定所述车道线检测样本图像中车道线的第二预测位置。
16.可选地，所述预设车道线检测模型通过以下方式训练得到，
17.通过预设初始模型中的所述特征提取网络获取所述车道线检测样本图像对应的
多尺度样本特征图，根据所述多尺度样本特征图中的最小尺度样本特征图确定包括图像全局信息的第一样本特征图；
18.通过所述分割网络根据所述第一样本特征图确定所述车道线检测样本图像中车道线的第一预测位置；
19.根据所述第一预测位置和所述车道线标注位置确定第一损失函数对应的第一损失值；
20.通过所述分类网路根据所述最小尺度样本特征图确定所述车道线检测样本图像中车道线的第二预测位置；
21.根据所述第二预测位置和所述车道线标注位置确定第二损失函数对应的第二损失值；
22.根据所述第一损失值和所述第二损失值确定第三损失函数对应的第三损失值；
23.在所述第三损失值大于或者等于预设损失值阈值的情况下，调整所述预设初始模型的模型参数，以得到更新后的目标模型，并再次执行通过预设初始模型中的所述特征提取网络获取所述车道线检测样本图像对应的多尺度样本特征图，至所述根据所述第一损失值和所述第二损失值确定第三损失函数对应的第三损失值的步骤，直至在确定所述第三损失值小于所述预设损失值阈值的情况下，删除当前所述目标模型中的所述分割网络，以得到所述预设车道线检测模型。
24.可选地，所述特征提取网络，包括特征金字塔网络和全局特征提取网络，所述特征金字塔网络包括自底向上子网络和自顶向下子网络，所述全局特征提取网络的输入端与所述自底向上子网络的输出端耦合，所述全局特征提取网络的输出端与所述自顶向下子网络的输入端耦合，所述全局特征提取网络的输出端还与所述分割网络的输入端耦合，所述自顶向下子网络的输出端也与所述分割网络的输入端耦合，所述预设初始模型用于，
25.通过所述特征金字塔网络中的自底向上子网络获取所述车道线检测样本图像对应的多尺度样本特征图，并将所述多尺度样本特征图中的最小尺度样本特征图输入所述全局特征提取网络，以使所述全局特征提取网络向所述分割网络和所述自顶向下子网络输出所述第一样本特征图；
26.通过所述自顶向下子网络向所述分割网络输入多尺度的第二样本特征图，以使所述分割网络根据所述第一样本特征图和所述第二样本特征图确定所述车道线检测样本图像中车道线的第一预测位置。
27.可选地，所述分割网络根据所述第一样本特征图和所述第二样本特征图确定所述车道线检测样本图像中车道线的第一预测位置，包括：
28.通过所述分割网络对所述第一样本特征图和所述第二样本特征图进行上采样处理，以得到待分割样本特征图；
29.按照预设分割方式对所述待分割样本特征图进行分割，以得到多个局部特征图；
30.对所述多个局部特征图进行卷积和拼接处理，以得到目标样本特征图；
31.根据所述目标样本特征图确定所述车道线检测样本图像中每个像素属于车道线的第一概率；
32.根据每个像素的所述第一概率确定所述车道线检测样本图像中车道线的第一预测位置。
33.可选地，所述按照预设分割方式包括：
34.将所述待分割样本特征图划分为h个c*w的局部特征图，将所述待分割样本特征图划分为c个h*w的局部特征图，将所述待分割样本特征图划分为w个h*c的局部特征图中的至少一个，其中，h为待分割样本特征图的层数，c为待分割样本特征图的长度，w为所述待分割样本特征图的宽度。
35.可选地，所述对所述多个局部特征图进行卷积和拼接处理，以得到目标样本特征图，包括：
36.获取当前局部特征图，并对当前局部特征图进行卷积操作，以得到卷积后的指定局部特征图；
37.将所述指定局部特征图与所述当前局部特征图对应的下一个局部特征图进行拼接后，得到更新后的当前局部特征图；
38.确定所述当前局部特征图对应的下一个所述局部特征图是否为所述多个局部特征图中最后一个；
39.在确定所述当前局部特征图对应的下一个所述局部特征图为非所述多个局部特征图中最后一个的情况下，再次执行获取当前局部特征图，并对当前局部特征图进行卷积操作，以得到卷积后的指定局部特征图，至确定所述当前局部特征图对应的下一个所述局部特征图是否为所述多个局部特征图中最后一个的步骤；
40.在确定当前局部特征图对应的下一个所述局部特征图为所述多个局部特征图中最后一个的情况下，获取当前局部特征图，并对当前局部特征图进行卷积操作，以得到卷积后的指定局部特征图，并将所述当前局部特征图对应的所述指定局部特征图作为所述目标样本特征图。
41.可选地，所述自底向上子网络的输出端与所述分类网络的输入端耦合，所述预设初始模型，用于：
42.通过所述自底向上子网络向所述分类网络输入最小尺度样本特征图；
43.通过所述分类网络将所述最小尺度样本特征图划分为多个锚框，确定每个锚框属于所述车道线的第二概率，并根据所述第二概率确定所述车道线检测样本图像中车道线的第二预测位置。
44.可选地，将所述目标检测图像输入预设车道线检测模型中，以使所述预设车道线检测模型输出所述目标检测图像中车道线的目标位置，包括：
45.通过所述特征提取网络获取所述目标检测图像对应的目标特征图；
46.将所述目标特征图输入所述分类网络，以得到所述分类网络输出的所述目标检测图像中车道线的所述目标位置。
47.根据本公开实施例的第二方面，提供一种车道线检测装置，所述装置包括：
48.获取模块，被配置为获取目标检测图像；
49.确定模块，被配置为将所述目标检测图像输入预设车道线检测模型中，以使所述预设车道线检测模型输出所述目标检测图像中车道线的目标位置；
50.其中，所述预设车道线检测模型通过以下方式训练得到：
51.获取多个车道线检测样本图像，所述车道线检测图像包括车道线标注位置；
52.将每个所述车道线检测样本图像输入预设初始模型，所述预设初始模型包括分割
网络和分类网络，所述分割网络用于确定车道线检测样本图像中车道线的第一预测位置，所述分类网络用于确定车道线检测样本图像中车道线的第二预测位置；
53.根据所述第一预测位置，所述第二预测位置和所述车道线标注位置对所述预设初始模型进行训练，以得到所述预设车道线检测模型。
54.可选地，所述预设初始模型还包括特征提取网络，所述特征提取网络与所述分类网络和所述分割网络耦合，所述预设初始模型，用于
55.通过所述特征提取网络获取每个所述车道线检测样本图像对应的多尺度样本特征图，并根据所述多尺度样本特征图确定包括图像全局信息的第一样本特征图；
56.通过所述分割网络根据所述第一样本特征图确定所述车道线检测样本图像中车道线的第一预测位置；
57.通过所述分类网络根据所述多尺度样本特征图确定所述车道线检测样本图像中车道线的第二预测位置。
58.可选地，所述预设车道线检测模型通过以下方式训练得到，
59.通过预设初始模型中的所述特征提取网络获取所述车道线检测样本图像对应的多尺度样本特征图，根据所述多尺度样本特征图中的最小尺度样本特征图确定包括图像全局信息的第一样本特征图；
60.通过所述分割网络根据所述第一样本特征图确定所述车道线检测样本图像中车道线的第一预测位置；
61.根据所述第一预测位置和所述车道线标注位置确定第一损失函数对应的第一损失值；
62.通过所述分类网路根据所述最小尺度样本特征图确定所述车道线检测样本图像中车道线的第二预测位置；
63.根据所述第二预测位置和所述车道线标注位置确定第二损失函数对应的第二损失值；
64.根据所述第一损失值和所述第二损失值确定第三损失函数对应的第三损失值；
65.在所述第三损失值大于或者等于预设损失值阈值的情况下，调整所述预设初始模型的模型参数，以得到更新后的目标模型，并再次执行通过预设初始模型中的所述特征提取网络获取所述车道线检测样本图像对应的多尺度样本特征图，至所述根据所述第一损失值和所述第二损失值确定第三损失函数对应的第三损失值的步骤，直至在确定所述第三损失值小于所述预设损失值阈值的情况下，删除当前所述目标模型中的所述分割网络，以得到所述预设车道线检测模型。
66.可选地，所述特征提取网络，包括特征金字塔网络和全局特征提取网络，所述特征金字塔网络包括自底向上子网络和自顶向下子网络，所述全局特征提取网络的输入端与所述自底向上子网络的输出端耦合，所述全局特征提取网络的输出端与所述自顶向下子网络的输入端耦合，所述全局特征提取网络的输出端还与所述分割网络的输入端耦合，所述自顶向下子网络的输出端也与所述分割网络的输入端耦合，所述预设初始模型用于，
67.通过所述特征金字塔网络中的自底向上子网络获取所述车道线检测样本图像对应的多尺度样本特征图，并将所述多尺度样本特征图中的最小尺度样本特征图输入所述全局特征提取网络，以使所述全局特征提取网络向所述分割网络和所述自顶向下子网络输出
所述第一样本特征图；
68.通过所述自顶向下子网络向所述分割网络输入多尺度的第二样本特征图，以使所述分割网络根据所述第一样本特征图和所述第二样本特征图确定所述车道线检测样本图像中车道线的第一预测位置。
69.可选地，所述通过所述分割网络根据所述第一样本特征图和所述第二样本特征图确定所述车道线检测样本图像中车道线的第一预测位置，包括：
70.通过所述分割网络对所述第一样本特征图和所述第二样本特征图进行上采样处理，以得到待分割样本特征图；
71.按照预设分割方式对所述待分割样本特征图进行分割，以得到多个局部特征图；
72.对所述多个局部特征图进行卷积和拼接处理，以得到目标样本特征图；
73.根据所述目标样本特征图确定所述车道线检测样本图像中每个像素属于车道线的第一概率；
74.根据每个像素的所述第一概率确定所述车道线检测样本图像中车道线的第一预测位置。
75.可选地，所述按照预设分割方式包括：
76.将所述待分割样本特征图划分为h个c*w的局部特征图，将所述待分割样本特征图划分为c个h*w的局部特征图，将所述待分割样本特征图划分为w个h*c的局部特征图中的至少一个，其中，h为待分割样本特征图的层数，c为待分割样本特征图的长度，w为所述待分割样本特征图的宽度。
77.可选地，所述对所述多个局部特征图进行卷积和拼接处理，以得到目标样本特征图，包括：
78.获取当前局部特征图，并对当前局部特征图进行卷积操作，以得到卷积后的指定局部特征图；
79.将所述指定局部特征图与所述当前局部特征图对应的下一个局部特征图进行拼接后，得到更新后的当前局部特征图；
80.确定所述当前局部特征图对应的下一个所述局部特征图是否为所述多个局部特征图中最后一个；
81.在确定所述当前局部特征图对应的下一个所述局部特征图为非所述多个局部特征图中最后一个的情况下，再次执行获取当前局部特征图，并对当前局部特征图进行卷积操作，以得到卷积后的指定局部特征图，至确定所述当前局部特征图对应的下一个所述局部特征图是否为所述多个局部特征图中最后一个的步骤；
82.在确定当前局部特征图对应的下一个所述局部特征图为所述多个局部特征图中最后一个的情况下，获取当前局部特征图，并对当前局部特征图进行卷积操作，以得到卷积后的指定局部特征图，并将所述当前局部特征图对应的所述指定局部特征图作为所述目标样本特征图。
83.可选地，所述自底向上子网络的输出端与所述分类网络的输入端耦合，所述预设初始模型，用于：
84.通过所述自底向上子网络向所述分类网络输入最小尺度样本特征图；
85.通过所述分类网络将所述最小尺度样本特征图划分为多个锚框，确定每个锚框属
于所述车道线的第二概率，并根据所述第二概率确定所述车道线检测样本图像中车道线的第二预测位置。
86.可选地，所述确定模块，被配置为：
87.通过所述特征提取网络获取所述目标检测图像对应的目标特征图；
88.将所述目标特征图输入所述分类网络，以得到所述分类网络输出的所述目标检测图像中车道线的所述目标位置。
89.根据本公开实施例的第三方面，提供一种车辆，所述车辆包括以上第二方面所述的车道线检测装置。
90.根据本公开实施例的第四方面，提供一种车道线检测装置，包括：
91.存储器，其上存储有计算机程序；
92.处理器，用于执行所述存储器中的所述计算机程序，以实现以上第一方面所述方法的步骤。
93.根据本公开实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所述方法的步骤。
94.本公开的实施例提供的技术方案可以包括以下有益效果：通过获取目标检测图像；将所述目标检测图像输入预设车道线检测模型中，以使所述预设车道线检测模型输出所述目标检测图像中车道线的目标位置，其中，所述预设车道线检测模型是通过包括分割网络和分类网络的预设初始模型训练得到，通过该预设车道线检测模型进行车道线检测，能够有效提升车道线检测结果的准确性。
95.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
96.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
97.图1是本公开一示例性实施例示出的一种车道线检测方法的流程图；
98.图2是本公开一示例性实施示出的一种预设初始模型的模型结构框图；
99.图3是本公开一示例性实施例示出的分割网络的原理示意图；
100.图4是本公开一示例性实施例示出的一种预设车道线检测模型的训练流程图；
101.图5是根据图4所示实施例示出的一种车道线检测方法的流程图；
102.图6是本公开一示例性实施例示出的一种车道线检测装置的框图；
103.图7是根据一示例性实施例示出的一种车道线检测装置的框图。
具体实施方式
104.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
105.需要说明的是，本技术中所有获取信号、信息或数据的动作都是在遵照所在地国
家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
106.在详细介绍本公开的具体实施方式之前，首先，对本公开的应用场景进行以下说明，本公开可以应用于车道线检测过程中，该车道线检测可以是自动驾驶、无人驾驶或路线导航过程中感知驾驶环境时进行车道识别的一个重要环节。目前车道识别的方法主要分为两类，基于图像特征的方法和基于模型的方法，基于图像特征识别的原理是利用了车道标志线边缘与道路图像周围路况之间特征的差异，通常的特征差异有图像的纹理、边缘几何形状、边界的连续性、感兴趣区域的灰度值及对比度等，可以使用阈值分割等方法提取图像特征，算法简单易实现，缺点是易受噪声、树木的阴影遮挡、光照变化、标志线间断不连续等因素干扰而导致车道线检测结果的准确性较低，车道识别结果可靠性较差的问题。基于模型匹配的原理是针对结构化道路的几何特征，建立相应的车道线模型，辨识道路模型参数，进而识别出车道标志线。由于图像特征法的局限性，在实际研究中一般将图像特征法和模型匹配法相结合，从而建立适合的车道线检测模型，这样一方面可以提高车道线识别的准确度，另一方面可以加强系统的适应性，然而，目前没有较完善的模型能够在各种检测场景下都可以保证车道线检测结果的准确性。
107.本公开通过提供一种车道线检测方法、装置、车辆及存储介质，该车道线检测方法通过获取目标检测图像；将该目标检测图像输入预设车道线检测模型中，以使该预设车道线检测模型输出该目标检测图像中车道线的目标位置，其中，该预设车道线检测模型是通过包括分割网络和分类网络的预设初始模型训练，通过该预设车道线检测模型进行车道线检测，能够有效提升各种检测场景中车道线检测结果的准确性。
108.下面结合具体实施例对本公开的技术方案进行详细阐述。
109.图1是本公开一示例性实施例示出的一种车道线检测方法的流程图；如图1所示，该车道线检测方法可以包括：
110.步骤101，获取目标检测图像。
111.其中，该目标检测图像可以是各种车道线检测场景(例如直线车道线的检测场景，双曲线车道线的检测场景，b样条曲线车道线的检测场景等)中的任一待检测图像，该待检测图像中可以包括待检测的车道线。
112.步骤102，将该目标检测图像输入预设车道线检测模型中，以使该预设车道线检测模型输出该目标检测图像中车道线的目标位置。
113.本步骤中，该预设车道线检测模型通过以下s11至s13所示方法训练得到：
114.s11，获取多个车道线检测样本图像。
115.其中，该车道线检测图像包括车道线标注位置。
116.s12，将每个该车道线检测样本图像输入预设初始模型，该预设初始模型包括分割网络和分类网络，该分割网络用于确定车道线检测样本图像中车道线的第一预测位置，该分类网络用于确定车道线检测样本图像中车道线的第二预测位置。
117.其中，该分割网络可以包括多个卷积层和分类层，不同卷积层对应的卷积核数量不同，该分割网络用于将车道线检测样本图像对应的特征图划分为多个局部特征图，然后对该多个局部特征图进行卷积和拼接处理，以得到目标样本特征图，再将该目标样本特征图输入分类层，以使该分类层输出该车道线检测样本图像中车道线的第二预测位置。
118.需要说明的是，该分割网络通过特征图划分，对划分得到的局部特征图进行卷积操作能够有效获取更多的特征图细节，再对包含更多细节的特征图进行分类操作，能够有效提升分类结果的准确性，进而能够提升车道线检测结果的准确性，该分割网络对特征图的划分方式可以是从特征图的不同方向将特征图切割为多个局部特征图，例如，可以将一个h*c*w的特征图切割为，h个c*w的局部特征图，c个h*w的局部特征图，或者w个h*c的局部特征图，其中，h为特征图的层数，c为特征图的长度，w为特征图的宽度。另外该分割网络中的该分类层可以是全连接层，也可以是其他用于分类的网络模块，现有技术中具有分类功能的网络模块较多，本公开对此不作限定。
119.s13，根据该第一预测位置，该第二预测位置和该车道线标注位置对该预设初始模型进行训练，以得到该预设车道线检测模型。
120.需要说明的是，在训练过程中，该预设车道线检测模型是通过包括该分类网络和该分割网络的预设初始模型训练得到，但在应用过程中，该预设车道线检测模型可以包括该分割网络和该分类网络，也可以包括该分类网络，不包括分割网络，还可以包括分割网络，不包括该分类网络。
121.以上技术方案，通过获取目标检测图像；将该目标检测图像输入预设车道线检测模型中，以使该预设车道线检测模型输出该目标检测图像中车道线的目标位置，其中，该预设车道线检测模型是通过包括分割网络和分类网络的预设初始模型训练得到，通过该预设车道线检测模型进行车道线检测，能够有效提升各种检测场景中车道线检测结果的准确性。
122.图2是本公开一示例性实施示出的一种预设初始模型的模型结构框图，如图2所示，该预设初始模型还包括特征提取网络，该特征提取网络与该分类网络和该分割网络耦合，该预设初始模型，用于：
123.通过该特征提取网络获取每个该车道线检测样本图像对应的多尺度样本特征图，并根据该多尺度样本特征图确定包括图像全局信息的第一样本特征图；
124.通过该分割网络根据该第一样本特征图确定该车道线检测样本图像中车道线的第一预测位置；
125.通过该分类网络根据该多尺度样本特征图确定该车道线检测样本图像中车道线的第二预测位置。
126.其中，该特征提取网络，可以包括特征金字塔网络和全局特征提取网络，该特征金字塔网络包括自底向上子网络和自顶向下子网络，该全局特征提取网络可以是transformer网络中的encoder(编码器)，该全局特征提取网络的输入端与该自底向上子网络的输出端耦合，该全局特征提取网络的输出端与该自顶向下子网络的输入端耦合，该全局特征提取网络的输出端还与该分割网络的输入端耦合，该自顶向下子网络的输出端也与该分割网络的输入端耦合，该自底向上子网络的输出端与该分类网络的输入端耦合，该预设初始模型用于：
127.通过该特征金字塔网络中的自底向上子网络获取该车道线检测样本图像对应的多尺度样本特征图(如图2中的特征图x1、特征图x2、特征图x3、特征图x4)，并将该多尺度样本特征图中的最小尺度样本特征图(如图2中的特征图x4)输入该全局特征提取网络，以使该全局特征提取网络向该分割网络和该自顶向下子网络输出该第一样本特征图(如图2中，
通过全局特征提取网络将特征图x4转换成特征图x1)；
128.通过该自顶向下子网络向该分割网络输入多尺度的第二样本特征图(如图2中的特征图x1、特征图x2、特征图x3、特征图x4)，以使该分割网络根据该第一样本特征图和该第二样本特征图确定该车道线检测样本图像中车道线的第一预测位置。
129.需要说明的是，特征金字塔网络中，位于低层(浅层)的特征图具有丰富的细节信息，位于高层(深层)的特征图具有丰富的语义信息，该分割网络根据该第一样本特征图和该第二样本特征图确定该车道线检测样本图像中车道线的第一预测位置的实施过程可以包括以下s21至s25所示的步骤：
130.s21，通过该分割网络对该第一样本特征图和该第二样本特征图进行上采样处理，以得到待分割样本特征图。
131.示例地，对该多尺度的第二样本特征图可以包括如图2中的特征图x1、特征图x2、特征图x3和特征图x4，对该特征图x1，特征图x2和该特征图x3分别进行上采样，以得到与该特征图x4尺寸相同的特征图，并将该特征图x1，特征图x2和该特征图x3对应的与该特征图x4尺寸相同的特征图与该特征图x4进行concat(拼接)处理，从而得到该待分割样本特征图。
132.s22，按照预设分割方式对该待分割样本特征图进行分割，以得到多个局部特征图。
133.其中，该按照预设分割方式包括：将该待分割样本特征图划分为h个c*w的局部特征图，将该待分割样本特征图划分为c个h*w的局部特征图，将该待分割样本特征图划分为w个h*c的局部特征图中的至少一个，其中，h为待分割样本特征图的层数，c为待分割样本特征图的长度，w为该待分割样本特征图的宽度。
134.示例地，如图3所示，图3是本公开一示例性实施例示出的分割网络的原理示意图，分别从四个方向进行分割，即将h*c*w的待分割样本特征图看作一个立方体，沿着该立方体的高(对应h)从上至下，将h*c*w的特征图划分为h个c*w的局部特征图(如图3中的scnn_d)，再沿着该立方体的高从下至上，将h*c*w的特征图划分为另外h个c*w的局部特征图(如图3中的scnn_u)，沿着该立方体的宽(对应w)从左至右，将h*c*w的特征图划分为w个h*c的局部特征图(如图3中的scnn_r)，沿着该立方体的宽(对应w)从右至左，将h*c*w的特征图划分为另外w个h*c的局部特征图(如图3中的scnn_l)。
135.s23，对该多个局部特征图进行卷积和拼接处理，以得到目标样本特征图。
136.本步骤中一种可能的实施方式为：
137.获取当前局部特征图，并对当前局部特征图进行卷积操作，以得到卷积后的指定局部特征图；将该指定局部特征图与该当前局部特征图对应的下一个局部特征图进行拼接后，得到更新后的当前局部特征图；确定该当前局部特征图对应的下一个该局部特征图是否为该多个局部特征图中最后一个；在确定该当前局部特征图对应的下一个该局部特征图为非该多个局部特征图中最后一个的情况下，再次执行获取当前局部特征图，并对当前局部特征图进行卷积操作，以得到卷积后的指定局部特征图，至确定该当前局部特征图对应的下一个该局部特征图是否为该多个局部特征图中最后一个的步骤；在确定当前局部特征图对应的下一个该局部特征图为该多个局部特征图中最后一个的情况下，获取当前局部特征图，并对当前局部特征图进行卷积操作，以得到卷积后的指定局部特征图，并将该当前局部特征图对应的该指定局部特征图作为该目标样本特征图。
138.示例地，仍以图3所示示例为例，在得到从上至下的h个c*w的局部特征图(例如为c*w-1，c*w-2至c*w-h)之后，可以先对局部特征图c*w-1进行卷积操作(卷积核为1*1)，然后将局部特征图c*w-1对应的卷积结果(c*w-1对应的指定局部特征图)与该局部特征图c*w-2拼接，以得到拼接后的当前局部特征图，然后对该当前局部特征图进行卷积操作(卷积核为2个1*1)，以得到该c*w-2对应的指定局部特征图，将局部特征图c*w-2对应的指定局部特征图与该局部特征图c*w-3拼接，以得到更新后的当前局部特征图，如此循环直至得到该c*w-h对应的指定局部特征图，其中，该c*w-h对应的指定局部特征图的维度为h*c*w，然后，将c*w-h对应的指定局部特征图(也是一个h*c*w的特征图)沿着高的方向，进行从下至上切片，以得到从下至上的h个c*w的局部特征图(例如为c*w+1，c*w+2至c*w+h)，针对该c*w+1，c*w+2至c*w+h再进行卷积拼接操作，以得到c*w+h对应的指定局部特征图(维度为h*c*w)，再对该c*w+h对应的指定局部特征图沿着该立方体的宽(对应w)从左至右，将h*c*w的特征图划分为w个h*c的局部特征图，以得到从左至右的w个h*c的局部特征图(例如为h*c-1，h*c-2至h*c-w)，对该h*c-1，h*c-2至h*c-w执行预设卷积拼接操作，以得到h*c-w对应的指定局部特征图(维度为h*c*w)，再对该h*c-w对应的指定局部特征图沿着该立方体的宽(对应w)从右至左，将h*c*w的特征图划分从右至左的局部特征图(例如为h*c+1，h*c+2至h*c+w)，对该h*c+1，h*c+2至h*c+w执行预设卷积拼接操作，得到该h*c+w对应的指定局部特征图，将该h*c+w对应的指定局部特征图作为该目标样本特征图。
139.s24，根据该目标样本特征图确定该车道线检测样本图像中每个像素属于车道线的第一概率。
140.本步骤中，由于该目标样本特征图包括了该车道线检测样本图像中的更多细节信息，因此根据该目标样本特征图得到的该车道线检测样本图像中每个像素属于车道线的第一概率的准确性更高。
141.s25，根据每个像素的该第一概率确定该车道线检测样本图像中车道线的第一预测位置。
142.本步骤中，可以将该第一概率大于或者等于第一预设概率阈值的像素位置作为该车道线检测样本图像中车道线的第一预测位置。
143.通过以上s21至s25，能够通过该分割网络得到细节信息更多的目标样本特征图，然后通过该目标样本特征图确定该车道线检测样本图像中每个像素属于车道线的第一概率，根据该第一概率确定第一预测位置能够有效提升该第一预测位置的准确性。
144.可选地，该预设初始模型，还用于：
145.通过该自底向上子网络向该分类网络输入最小尺度样本特征图(如图2中的特征图x4)；
146.通过该分类网络将该最小尺度样本特征图划分为多个锚框，确定每个锚框属于该车道线的第二概率，并根据该第二概率确定该车道线检测样本图像中车道线的第二预测位置。
147.需要说明的是，将特征图x4划分为锚框的方式在现有技术中较多，也比较容易获取，本公开在此不再赘述，通过分类网络(可以是全连接层)确定每个锚框属于该车道线的第二概率的具体细节属于本领域内常见的计算过程，本公开对此不作限定。另外，这里可以将该第二概率大于或者等于第二预设概率阈值的锚框对应的像素位置作为该第二预测位
置。
148.以上技术方案，能够通过该分类网络获取到该车道线检测样本图像中车道线的第二预测位置，由于该第二预测位置是通过fpn(feature pyramid networks，特征金字塔网络)输出的最小尺度样本特征图得到的，该最小尺度样本特征包含了丰富的上下文特征信息，因此也能够有效提升该第二预测位置的准确性。
149.图4是本公开一示例性实施例示出的一种预设车道线检测模型的训练流程图；如图4所示，该预设车道线检测模型可以通过以下步骤训练得到：
150.步骤401，获取多个车道线检测样本图像，该车道线检测图像包括车道线标注位置。
151.其中，该车道线检测样本图像可以是各种车道线检测场景(例如直线车道线的检测场景，双曲线车道线的检测场景，b样条曲线车道线的检测场景等)中的任一图像，可以在该车道线检测样本图像中标注车道线位置。
152.步骤402，通过预设初始模型中的该特征提取网络获取该车道线检测样本图像对应的多尺度样本特征图，根据该多尺度样本特征图中的最小尺度样本特征图确定包括图像全局信息的第一样本特征图。
153.其中，该特征提取网络，可以包括特征金字塔网络和全局特征提取网络，该特征金字塔网络包括自底向上子网络和自顶向下子网络，该全局特征提取网络可以是transformer网络中的encoder(编码器)，通过该特征金字塔网络中的自底向上子网络获取该车道线检测样本图像对应的多尺度样本特征图(如图2中的特征图x1、特征图x2、特征图x3、特征图x4)，并将该多尺度样本特征图中的最小尺度样本特征图(如图2中的特征图x4)输入该全局特征提取网络，以使该全局特征提取网络向该分割网络和该自顶向下子网络输出该第一样本特征图。
154.步骤403，通过该分割网络根据该第一样本特征图确定该车道线检测样本图像中车道线的第一预测位置。
155.本步骤中，将该第一样本特征图输入该自顶向下子网络，以使该自顶向下子网络向该分割网络输入多尺度的第二样本特征图(如图2中的特征图x1、特征图x2、特征图x3、特征图x4)，以使该分割网络根据该第一样本特征图和该第二样本特征图确定该车道线检测样本图像中车道线的第一预测位置。
156.其中，该分割网络根据该第一样本特征图和该第二样本特征图确定该车道线检测样本图像中车道线的第一预测位置的具体实施方式可以参见以上s21至s25所示的步骤，本公开在此不再赘述。
157.步骤404，根据该第一预测位置和该车道线标注位置确定第一损失函数对应的第一损失值。
158.其中，该第一损失函数可以是交叉熵损失函数，也可以是focal loss(灶性损失)损失函数，还可以是现有技术中的其他损失函数。
159.步骤405，通过该分类网路根据该最小尺度样本特征图确定该车道线检测样本图像中车道线的第二预测位置。
160.步骤406，根据该第二预测位置和该车道线标注位置确定第二损失函数对应的第二损失值。
161.其中，该第二损失函数也可以是交叉熵损失函数或者focal loss损失函数，还可以是现有技术中的其他损失函数。
162.步骤407，根据该第一损失值和该第二损失值确定第三损失函数对应的第三损失值。
163.示例地，该第三损失函数可以是l
total
＝αl
cls
+βl
seg
，其中，l
total
表示第三损失值，α和β是加权系数。l
cls
是第二损失函数对应的第二损失值，l
seg
是第一损失函数对应的第一损失值。
164.步骤408，确定该第三损失值是否大于或者等于预设损失值阈值。
165.本步骤中，在该第三损失值大于或者等于预设损失值阈值的情况下，执行步骤409，在确定该第三损失值小于该预设损失值阈值的情况下，执行步骤410。
166.步骤409，调整该预设初始模型的模型参数，以得到更新后的目标模型。
167.本步骤之后，可以再次跳转至步骤402，以再次执行步骤402至步骤408。
168.步骤410，删除当前该目标模型中的该分割网络，以得到该预设车道线检测模型。
169.以上技术方案，通过该分割网络和该分类网络共同训练该预设车道线检测模型，能够有效提升模型检测结果的准确性，为了提升模型处理速度，在应用阶段能够将该分割网络删除，只保留特征提取网络和该分类网络，从而不仅能够保证车道线检测结果的准确性，也能够有效提升模型的检测效率。
170.可选地，通过以上图4所示步骤得到的预设车道线检测模型确定该目标检测图像中车道线的目标位置时，可以包括以下图5所示步骤，图5是根据图4所示实施例示出的一种车道线检测方法的流程图；如图5所示，该方法包括：
171.步骤501，获取目标检测图像。
172.其中，该目标检测图像可以是各种车道线检测场景(例如直线车道线的检测场景，双曲线车道线的检测场景，b样条曲线车道线的检测场景等)中的任一待检测图像，该待检测图像中可以包括待检测的车道线。
173.步骤502，通过该特征提取网络获取该目标检测图像对应的目标特征图。
174.其中，该特征提取网络包括可以包括特征金字塔网络，该特征金字塔网络包括自底向上子网络和自顶向下子网络，该目标特征图可以是自底向上子网络输入的最小尺度特征图(如图2中的特征图x4)。
175.步骤503，将该目标特征图输入该分类网络，以得到该分类网络输出的该目标检测图像中车道线的该目标位置。
176.通过以上步骤501至步骤503所示方法确定该目标检测图像中车道线的该目标位置，不仅能够保证车道线检测结果的准确性，也能够有效提升模型的检测效率。
177.图6是本公开一示例性实施例示出的一种车道线检测装置的框图，如图6所示，该装置可以包括：
178.获取模块601，被配置为获取目标检测图像；
179.确定模块602，被配置为将该目标检测图像输入预设车道线检测模型中，以使该预设车道线检测模型输出该目标检测图像中车道线的目标位置；
180.其中，该预设车道线检测模型通过以下方式训练得到：
181.获取多个车道线检测样本图像，该车道线检测图像包括车道线标注位置；
182.将每个该车道线检测样本图像输入预设初始模型，该预设初始模型包括分割网络和分类网络，该分割网络用于确定车道线检测样本图像中车道线的第一预测位置，该分类网络用于确定车道线检测样本图像中车道线的第二预测位置；
183.根据该第一预测位置，该第二预测位置和该车道线标注位置对该预设初始模型进行训练，以得到该预设车道线检测模型。
184.以上技术方案，通过获取目标检测图像；将该目标检测图像输入预设车道线检测模型中，以使该预设车道线检测模型输出该目标检测图像中车道线的目标位置，其中，该预设车道线检测模型是通过包括分割网络和分类网络的预设初始模型训练得到，能够有效提升各种检测场景中车道线检测结果的准确性。
185.可选地，该预设初始模型还包括特征提取网络，该特征提取网络与该分类网络和该分割网络耦合，该预设初始模型，用于
186.通过该特征提取网络获取每个该车道线检测样本图像对应的多尺度样本特征图，并根据该多尺度样本特征图确定包括图像全局信息的第一样本特征图；
187.通过该分割网络根据该第一样本特征图确定该车道线检测样本图像中车道线的第一预测位置；
188.通过该分类网络根据该多尺度样本特征图确定该车道线检测样本图像中车道线的第二预测位置。
189.可选地，该预设车道线检测模型通过以下方式训练得到，
190.通过预设初始模型中的该特征提取网络获取该车道线检测样本图像对应的多尺度样本特征图，根据该多尺度样本特征图中的最小尺度样本特征图确定包括图像全局信息的第一样本特征图；
191.通过该分割网络根据该第一样本特征图确定该车道线检测样本图像中车道线的第一预测位置；
192.根据该第一预测位置和该车道线标注位置确定第一损失函数对应的第一损失值；
193.通过该分类网路根据该最小尺度样本特征图确定该车道线检测样本图像中车道线的第二预测位置；
194.根据该第二预测位置和该车道线标注位置确定第二损失函数对应的第二损失值；
195.根据该第一损失值和该第二损失值确定第三损失函数对应的第三损失值；
196.在该第三损失值大于或者等于预设损失值阈值的情况下，调整该预设初始模型的模型参数，以得到更新后的目标模型，并再次执行通过预设初始模型中的该特征提取网络获取该车道线检测样本图像对应的多尺度样本特征图，至该根据该第一损失值和该第二损失值确定第三损失函数对应的第三损失值的步骤，直至在确定该第三损失值小于该预设损失值阈值的情况下，删除当前该目标模型中的该分割网络，以得到该预设车道线检测模型。
197.可选地，该特征提取网络，包括特征金字塔网络和全局特征提取网络，该特征金字塔网络包括自底向上子网络和自顶向下子网络，该全局特征提取网络的输入端与该自底向上子网络的输出端耦合，该全局特征提取网络的输出端与该自顶向下子网络的输入端耦合，该全局特征提取网络的输出端还与该分割网络的输入端耦合，该自顶向下子网络的输出端也与该分割网络的输入端耦合，该预设初始模型用于，
198.通过该特征金字塔网络中的自底向上子网络获取该车道线检测样本图像对应的
多尺度样本特征图，并将该多尺度样本特征图中的最小尺度样本特征图输入该全局特征提取网络，以使该全局特征提取网络向该分割网络和该自顶向下子网络输出该第一样本特征图；
199.通过该自顶向下子网络向该分割网络输入多尺度的第二样本特征图，以使该分割网络根据该第一样本特征图和该第二样本特征图确定该车道线检测样本图像中车道线的第一预测位置。
200.可选地，该分割网络根据该第一样本特征图和该第二样本特征图确定该车道线检测样本图像中车道线的第一预测位置，包括：
201.通过该分割网络对该第一样本特征图和该第二样本特征图进行上采样处理，以得到待分割样本特征图；
202.按照预设分割方式对该待分割样本特征图进行分割，以得到多个局部特征图；
203.对该多个局部特征图进行卷积和拼接处理，以得到目标样本特征图；
204.根据该目标样本特征图确定该车道线检测样本图像中每个像素属于车道线的第一概率；
205.根据每个像素的该第一概率确定该车道线检测样本图像中车道线的第一预测位置。
206.可选地，该按照预设分割方式包括：
207.将该待分割样本特征图划分为h个c*w的局部特征图，将该待分割样本特征图划分为c个h*w的局部特征图，将该待分割样本特征图划分为w个h*c的局部特征图中的至少一个，其中，h为待分割样本特征图的层数，c为待分割样本特征图的长度，w为该待分割样本特征图的宽度。
208.可选地，该对该多个局部特征图进行卷积和拼接处理，以得到目标样本特征图，包括：
209.获取当前局部特征图，并对当前局部特征图进行卷积操作，以得到卷积后的指定局部特征图；
210.将该指定局部特征图与该当前局部特征图对应的下一个局部特征图进行拼接后，得到更新后的当前局部特征图；
211.确定该当前局部特征图对应的下一个该局部特征图是否为该多个局部特征图中最后一个；
212.在确定该当前局部特征图对应的下一个该局部特征图为非该多个局部特征图中最后一个的情况下，再次执行获取当前局部特征图，并对当前局部特征图进行卷积操作，以得到卷积后的指定局部特征图，至确定该当前局部特征图对应的下一个该局部特征图是否为该多个局部特征图中最后一个的步骤；
213.在确定当前局部特征图对应的下一个该局部特征图为该多个局部特征图中最后一个的情况下，获取当前局部特征图，并对当前局部特征图进行卷积操作，以得到卷积后的指定局部特征图，并将该当前局部特征图对应的该指定局部特征图作为该目标样本特征图。
214.可选地，该自底向上子网络的输出端与该分类网络的输入端耦合，该预设初始模型，用于：
215.通过该自底向上子网络向该分类网络输入最小尺度样本特征图；
216.通过该分类网络将该最小尺度样本特征图划分为多个锚框，确定每个锚框属于该车道线的第二概率，并根据该第二概率确定该车道线检测样本图像中车道线的第二预测位置。
217.可选地，该确定模块，被配置为：
218.通过该特征提取网络获取该目标检测图像对应的目标特征图；
219.将该目标特征图输入该分类网络，以得到该分类网络输出的该目标检测图像中车道线的该目标位置。
220.以上技术方案，通过该分割网络和该分类网络共同训练该预设车道线检测模型，能够有效提升模型检测结果的准确性，为了提升模型处理速度，在应用阶段能够将该分割网络删除，只保留特征提取网络和该分类网络，从而不仅能够保证车道线检测结果的准确性，也能够有效提升模型的检测效率。
221.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
222.本公开还提供一种车辆，所述车辆包括以上图6所述的车道线检测装置。
223.本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的车道线检测方法的步骤。
224.图7是根据一示例性实施例示出的一种车道线检测装置的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
225.参照图7，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。
226.处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的车道线检测方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
227.存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
228.电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
229.多媒体组件808包括在该装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器
以感测触摸、滑动和触摸面板上的手势。该触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与该触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
230.音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
231.i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
232.传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如该组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
233.通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，该通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
234.在示例性实施例中，装置800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述车道线检测方法。
235.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述车道线检测方法。例如，该非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
236.在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的车道线检测方法的代码部分。
237.本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技
术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
238.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。