用于车辆的基于光探测和测距的车道识别装置及方法与流程

用于车辆的基于光探测和测距的车道识别装置及方法
1.相关申请的交叉引用
2.本技术要求2021年5月12日提交的韩国专利申请no.10-2021-0061568的优先权，该申请的全部内容结合于此，以用于通过该引用的所有目的。
技术领域
3.本发明涉及一种用于车辆的基于光探测和测距(light detection and ranging，lidar)的车道识别装置及方法。


背景技术：

4.车道识别结果有效地用于高级驾驶员辅助系统(advanced driver assistance system，adas)或自动驾驶系统。
5.车道识别技术通过转向辅助用于警告驾驶员不要偏离车道或引导车辆进入行驶车道。
6.通常，车道识别可以通过利用摄像机获取车辆周围的图像并对获取的图像进行分析来实现。
7.然而，利用摄像机的车道识别存在的问题在于，在诸如周围照度过高的情况、周围照度过低的情况以及背光的环境中，车道识别率降低。
8.公开于本发明背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所已知的现有技术。


技术实现要素：

9.本发明的各个方面旨在提供一种用于车辆的基于光检测和测距(light detection and ranging，lidar)的车道识别装置和方法，其能够识别车道而不考虑车辆周围的环境，具体地，不考虑照度的变化。
10.本发明所要解决的技术问题不限于上述问题，本发明的各种示例性实施方案所属领域的技术人员通过以下描述将清楚地理解本文中未提及的任何其它技术问题。
11.根据本发明的各个方面，一种用于车辆的基于lidar的车道识别装置包括：预处理器、深度学习装置以及后处理器，预处理器基于从lidar检测到的信息来检测车道点候选组；深度学习装置通过学习车道点候选组来生成车道识别信息；后处理器通过利用车道曲线拟合算法将车道识别信息转换为车道信息。
12.在本发明的各种示例性实施方案中，lidar可以向预处理器提供点云类型信息。
13.在本发明的各种示例性实施方案中，预处理器可以基于包括在点云类型信息中的每个点的强度信息，提取能够被识别为车道的点，并且可以向深度学习装置提供提取的点。
14.在本发明的各种示例性实施方案中，每个点的强度信息可以是以下信息：当检测到点的物体的表面颜色越接近于黑色时具有更低的值的信息，并且当检测到点的物体的表面颜色越接近于白色时具有更高的值的信息。
15.在本发明的各种示例性实施方案中，预处理器可以基于包括在点云类型信息中的每个点的强度信息，仅提取当前点的强度与先前点的强度的比值超过预设范围的点作为能够被识别为车道的点。
16.在本发明的各种示例性实施方案中，当包括在车道点候选组中的点数量被计数并且大于或等于预设数量时，预处理器可以执行下采样以向深度学习装置提供减少点数量的车道点候选组，并且当包括在车道点候选组中的点数小于预设数量时，预处理器可以执行上采样以向深度学习装置提供增加点数量的车道点候选组。
17.在本发明的各种示例性实施方案中，预处理器可以执行下采样或上采样，以向深度学习装置提供预定的点数量的车道点候选组。
18.在本发明的各种示例性实施方案中，预处理器可以包括提取器和点输入器件，提取器仅提取点云类型信息中能够被识别为车道的点；点输入器件对从提取器提供的多个点进行上采样或下采样，以生成具有预定的点数量的车道点候选组。
19.在本发明的各种示例性实施方案中，深度学习装置可以从包括在车道点候选组中的点中选择多个点，可以提取在离选择的多个点的每个的中心多个预设距离内的点，并且可以通过将提取的点输入其中来执行基于多层感知器的深度学习。
20.在本发明的各种示例性实施方案中，多个预设距离可以包括第一预设距离、第二预设距离以及第三预设距离，深度学习装置可以提取在离多个点的每个中心第一预设距离内的点，并且可以通过输入在第一预设距离内提取的点来执行基于多层感知器的深度学习，可以提取在离多个点的每个中心第二预设距离内的点，并且可以通过输入在第二预设距离内提取的点来执行基于多层感知器的深度学习，并且可以提取在离多个点的每个中心第三预设距离内的点，并且可以通过输入在第三预设距离内提取的点来执行基于多层感知器的深度学习。
21.在本发明的各种示例性实施方案中，深度学习装置可以包括第一范围采样器、第一学习器、第二范围采样器、第二学习器、第三范围采样器以及第三学习器，第一范围采样器提取在离多个点的每个中心第一预设距离内的点，第一学习器通过输入从第一范围采样器提取的点来执行基于多层感知器的深度学习，第二范围采样器提取在离多个点的每个中心第二预设距离内的点，第二学习器通过输入从第二范围采样器提取的点来执行基于多层感知器的深度学习，第三范围采样器提取在离多个点的每个中心第三预设距离内的点，第三学习器通过输入从第三范围采样器提取的点来执行基于多层感知器的深度学习。
22.在本发明的各种示例性实施方案中，深度学习装置可以进一步包括学习结果整合器和解码器，学习结果整合器对从第一学习器、第二学习器和第三学习器提供的学习信息进行整合，解码器对学习结果整合器的结果进行解码以生成车道识别信息。
23.在本发明的各种示例性实施方案中，车道识别信息可以包括：包括在车道点候选组中的每个点是噪声点的概率，包括在车道点候选组中的每个点是左车道点的概率，以及包括在车道点候选组中的每个点是右车道点的概率。
24.根据本发明的各个方面，一种用于车辆的基于lidar的车道识别方法，包括：接收步骤，从lidar接收车道点候选组；提取步骤，基于包括在车道点候选组中的点的强度信息，提取当前点的强度与先前点的强度的比值超过预设范围的点；点输入步骤，将提取步骤中提取的点数量采样到特定数量；第一范围采样步骤，在点输入步骤中采样的点中选择多个
点，并提取在离选择的点的每个中心第一距离内的点；第二范围采样步骤，提取在离点输入步骤选择的多个点的每个中心第二距离内的点；第三范围采样步骤，提取在离点输入步骤选择的多个点的每个中心第三距离内的点；第一学习步骤，对在第一范围采样步骤提取的点进行学习，第二学习步骤，对在第二范围采样步骤提取的点进行学习；第三学习步骤，对在第三范围采样步骤提取的点进行学习；学习结果整合步骤，对在第一学习步骤、第二学习步骤以及第三学习步骤学习的结果进行整合；解码步骤，对在学习结果整合步骤整合的学习结果进行解码；后处理步骤，基于解码步骤的结果，通过拟合算法生成车道信息。
25.本发明的方法和装置具有其它的特性和优点，这些特性和优点从并入本文中的附图和随后的具体实施方式中将是显而易见的，或者将在并入本文中的附图和随后的具体实施方式中进行更详细陈述，这些附图和具体实施方式共同用于解释本发明的特定原理。
附图说明
26.图1是示出根据本发明的各种示例性实施方案的用于车辆的基于光探测和测距(lidar)的车道识别装置的配置的示意图；
27.图2是示出包括在根据本发明的各种示例性实施方案的用于车辆的基于lidar的车道识别装置中的预处理器的配置的示意图；
28.图3、图4和图5是用于描述包括在根据本发明的各种示例性实施方案的用于车辆的基于lidar的车道识别装置中的预处理器的操作的示意图；
29.图6是示出包括在根据本发明的各种示例性实施方案的用于车辆的基于lidar的车道识别装置中的深度学习装置的配置的示意图；
30.图7是用于描述包括在根据本发明的各种示例性实施方案的用于车辆的基于lidar的车道识别装置中的深度学习装置的操作的示意图。
31.应当理解的是，附图并非按比例地绘制，而是图示性地简化呈现各种特征以显示本发明的基本原理。本文所公开的本发明的具体设计特征(包括例如，具体尺寸、方向、位置和形状)将部分地由具体所要应用和使用的环境来确定。
32.在这些图形中，贯穿附图的多幅图形，附图标记引用本发明的同样的或等同的部分。
具体实施方式
33.下面将详细参考本发明的各种实施方案，这些实施方案的示例示于附图中并且描述如下。尽管将结合本发明的示例性实施方案来描述本发明，但是应当理解的是，本说明书并非旨在将本发明限制为那些示例性实施方案。另一方面，本发明旨在不但覆盖本发明的示例性实施方案，而且覆盖可以包括在由所附权利要求所限定的本发明的精神和范围之内的各种替选方式、修改方式、等同方式以及其它的实施方案。
34.在下文中，将参考附图对本发明的各种示例性实施方案进行详细描述。在将附图标记添加到每个附图的组件时，应当注意的是，即使当相同或等同的组件显示在其它附图中时，它们也由相同的附图标记来表示。此外，在描述本发明的示例性实施方案时，当确定出与已知的配置或功能的相关的详细描述会干扰对本发明的示例性实施方案的理解时，它们将会省略。
35.在描述根据本发明的各种示例性实施方案的组件时，可以使用诸如第一、第二、a、b、(a)、(b)等术语。这些术语仅仅旨在将组件与其它组件区分开，并且这些术语不限制组件的本质、顺序或次序。除非另有定义，否则本文中所使用的所有术语(包括技术术语和科学术语)都具有与本发明所属领域中的普通技术人员所通常理解的相同的含义。将进一步理解的是，诸如在通用词典中定义的那些术语应解释为具有与在相关技术领域的语境中的含义相同的含义，并且将不解释为理想的或过度正式的含义，除非在本文中明确定义。
36.在下文中，将参照图1至图6对本发明的实施方案进行详细描述。
37.图1是示出根据本发明的各种示例性实施方案的用于车辆的基于光探测和测距(light detection and ranging，lidar)的车道识别装置的配置的示意图。
38.参照图1，根据本发明的各种示例性实施方案的用于车辆的基于lidar的车道识别装置可以在车辆内实现。在这种情况下，基于lidar的车道识别装置可以与车辆的内部控制单元整体形成，或者可以是作为一个单独的装置实现，并且通过一个单独的连接装置连接到车辆的控制单元。
39.具体地，根据本发明的各种示例性实施方案的基于lidar的车道识别装置连接到高级驾驶员辅助系统(advanced driver assistance system，adas)和自动驾驶系统，以提供精确的车道信息，警告驾驶员不要偏离车道或引导车辆进入行驶车道。
40.参照图1，根据本发明的各种示例性实施方案的基于lidar的车道识别装置包括：lidar 10、预处理器20、深度学习装置30以及后处理器40。
41.lidar 10可以发射激光脉冲，并且可以接收被物体反射并返回的激光脉冲。在这种情况下，lidar 10可以基于被物体反射并返回的激光脉冲来检测点，并且每个点可以具有返回的激光脉冲的强度信息。
42.从lidar 10检测到的信息可以被提供给预处理器20作为点云类型信息。
43.预处理器20可以基于从lidar 10提供的点云类型信息来检测车道点候选组。
44.例如，预处理器20可以基于包括在点云类型信息中的每个点的强度信息，提取点云类型信息中能够被识别为车道的点。
45.此外，预处理器20可以将提取到的车道点候选组的信息转换，以适合深度学习装置30的输入格式。
46.深度学习装置30可以通过对从预处理器20提供的车道点候选组的信息进行学习来生成车道识别信息。在这种情况下，车道识别信息可以包括用于区分车辆的左车道、右车道以及噪声点的信息。
47.在这种情况下，深度学习装置30可以利用基于多层感知器(multilayer perceptron，mlp)的深度学习网络来实现。
48.后处理器40可以通过车道曲线拟合算法将从深度学习装置30提供的车道识别信息转换为车道信息。在这种情况下，后处理器40可以通过将车道识别信息转换为由车辆内的电子装置利用的数据格式来输出获得的车道信息。
49.下面将参考图2、图3和图4描述预处理器。
50.参照图2，预处理器20可以包括提取器21和点输入器件22。
51.提取器21可以基于从lidar 10提供的点云类型信息中包括的每个点的强度信息来提取车道点候选组。
52.在这种情况下，点的强度信息由检测到该点的物体的表面颜色来确定，并且当物体的表面颜色越接近黑色时，点强度可以具有更低的值，而当物体的表面颜色越接近白色时，点强度可以具有更高的值。
53.提取器21可以仅提取点云类型信息的点中当前点的强度与先前点的强度的比值超过预设范围的点，以生成车道点候选组。具体地，提取器21可以仅提取点云类型信息的点中点强度变化率超过预设变化范围的点，以生成车道点候选组。
54.例如，提取器21可以提取点云类型信息的点中点强度变化率超过预设变化范围的最大值的点，以生成车道点候选组。
55.此外，提取器21可以提取点云类型信息的点中点强度变化率小于预设变化范围的最小值的点，以生成车道点候选组。
56.参照图3，图3的点a可以是点强度变化率在预设变化范围内的点，点b可以是点强度变化率小于预设变化范围的最小值的点，以及点c可以是点强度变化率超过预设变化范围的最大值的点。如上所述，提取器21可以仅提取图3所示的点a、点b和点c中的点b和点c，以生成车道点候选组。
57.点输入器件22可以将从提取器21提供的车道点候选组的点数量转换为预设数量，并且将其提供给深度学习装置30。
58.深度学习装置30应当设置为具有预设容量的数据。然而，从lidar 10检测到的点数量不统一，并且由提取器21生成的车道候选组的点数量也不统一。
59.因此，点输入器件22连接在提取器21和深度学习装置30之间，点输入器件22可以将从提取器21提供的车道点候选组的点数量转换为深度学习装置30所需的点数量，并且可以将其提供给深度学习装置30。
60.参照图5，点输入器件22可以对从提取器21提供的车道点候选组的点数量进行计数。
61.当计数的车道点候选组的点数量大于或等于预设数量(特定数量)时，点输入器件22可以通过执行下采样来减少车道点候选组的点数量，然后可以将其提供给深度学习装置30。
62.此外，当计数的车道点候选组的点数量小于或等于预设数量(特定数量)时，点输入器件22通过执行上采样来增加车道点候选组的点数量，然后可以将其提供给深度学习装置30。
63.参照图6和图7，深度学习装置30将描述如下。
64.如图6所示，深度学习装置30可以包括：第一范围采样器31、第二范围采样器32、第三范围采样器33、第一学习器34、第二学习器35、第三学习器36、学习结果整合器37以及解码器38。
65.深度学习装置30可以将从预处理器20提供的车道点候选组转换为适合基于多层感知器的深度学习的形式的数据，然后可以将转换后的数据提供给第一范围采样器31、第二范围采样器32以及第三范围采样器33。
66.例如，深度学习装置30可以通过利用标记工具来标记从预处理器20提供的车道点候选组的信息，并且可以将标记的信息提供给第一范围采样器31、第二范围采样器32以及第三范围采样器33。
67.更具体地，车道点候选组的左车道点可以标记为1，车道点候选组的右车道点可以标记为2，车道点候选组的非车道点可以标记为0，并且车道点可以转换为独热向量(one hot vector)的形式(
‘0’
＝[1，0，0]，
‘1’
＝[0，1，0]，以及
‘2’
＝[0，0，1])。
[0068]
第一范围采样器31可以通过利用最远点采样(farthest point sampling，fps)算法选择从预处理器20提供的车道点候选组的一些信息，并且可以提取存在于离选择的点第一预设距离内的点。
[0069]
第二范围采样器32可以通过利用最远点采样(fps)算法选择从预处理器20提供的车道点候选组的一些信息，并且可以提取存在于离选择的点第二预设距离内的点。
[0070]
第三范围采样器33可以通过利用最远点采样(fps)算法选择从预处理器20提供的车道点候选组的一些信息，并且可以提取存在于离选择的点第三预设距离内的点。
[0071]
在这种情况下，第一预设距离至第三预设距离中的第一预设距离可以是最短距离，第三预设距离可以是最长距离。
[0072]
第一学习器34可以通过输入从第一范围采样器31提取的点来执行基于多层感知器(mlp)的深度学习。
[0073]
第二学习器35可以通过输入从第二范围采样器32提取的点来执行基于多层感知器(mlp)的深度学习。
[0074]
第三学习器36可以通过输入从第三范围采样器33提取的点来执行基于多层感知器(mlp)的深度学习。
[0075]
根据本发明的各种示例性实施方案的用于车辆的基于lidar的车道识别装置及方法将输入信息采样为不同范围并且对每个采样结果执行深度学习的原因如下。
[0076]
如图4所示，lidar 10的检测结果可以表示为每个点，并且在离lidar 10近距离处检测到的点的密度大于在离lidar 10远距离处检测到的点的密度。
[0077]
为了提高对从lidar 10检测到的点的车道识别的准确性，根据本发明的各种示例性实施方案的用于车辆的基于lidar的车道识别装置及方法可以从lidar 10检测到的点的若干点中，对不同半径(第一范围至第三范围)内的点进行采样，并且可以对采样的点进行学习。
[0078]
具体地，根据本发明的各种示例性实施方案的用于车辆的基于lidar的车道识别装置及方法可以当接近lidar 10的点(即，具有高密度的点)被采样时，通过对最小半径内的点进行采样来学习，并且可以当远离lidar 10的点(即，具有低密度的点)被采样时，通过对最大半径内的点进行采样来学习。因此，对于近距离处的点的车道识别的准确性以及对于远距离处的点的车道识别的准确性都可以得到提高。
[0079]
如图6所示，在用于车辆的基于lidar的车道识别装置及方法中，公开了通过将短距离划分为第一范围，将中距离划分为第二范围以及将长距离划分为第三范围来进行采样。
[0080]
学习结果整合器37可以对从第一学习器34、第二学习器35以及第三学习器36提供的学习结果(级联特征(concatenated feature))进行整合。
[0081]
解码器38可以对从学习结果整合器37提供的整合的学习结果(级联特征)进行解码。
[0082]
具体地，学习结果整合器37可以对从第一学习器34、第二学习器35以及第三学习
器36的每一个提供的高维学习信息进行整合，然后可以将整合的学习信息(级联特征)提供给解码器38。解码器38可以通过利用内插(interpolation)方法将整合的高维信息转换回3d信息。
[0083]
参照图7，由于利用从预处理器20提供的车道点候选组的信息(输入点)作为输入来执行基于多层感知器的深度学习，并且由于对深度学习结果进行整合并且执行内插，因此可以生成以下概率作为结果：包括在车道点候选组中的每个点是噪声点的概率、包括在车道点候选组中的每个点是左车道点的概率、以及包括在车道点候选组中的每个点是右车道点的概率。
[0084]
在这种情况下，学习车道点候选组的信息(基于多层感知器的深度学习)并且整合学习结果可以对应于执行局部特征提取的编码器的作用，并且针对整合的学习结果执行特征内插可以对应于解码器的作用。
[0085]
例如，当针对包括在车道点候选组中的每个点的[x，y，z]值执行基于多层感知器的深度学习时，可以预测每个点的概率值(每个点是噪声点的概率、每个点是左车道点的概率以及每个点是右车道点的概率)。
[0086]
当深度学习装置30预测的点的概率值为[0.1，0.8，0.1]时，将最高的概率值转换为“1”，将其余的概率值转换为“0”，然后可以将[0，1，0]的信息提供给后处理器40。
[0087]
后处理器40可以通过拟合算法将从深度学习装置30提供的每个点的信息(是否是噪声点、是否是左车道点以及是否是右车道点)转换为车道信息。
[0088]
例如，[1，0，0]的点可以指噪声点，[0，1，0]的点可以指左车道点，[0，0，1]的点可以指右车道点。
[0089]
如上所述，根据本发明的各种示例性实施方案的用于车辆的基于lidar的车道识别装置及方法可以从lidar检测到的点中提取能够被识别为车道的点，以生成车道点候选组。
[0090]
根据本发明的各种示例性实施方案的用于车辆的基于lidar的车道识别装置及方法可以通过利用车道点候选组作为输入来执行基于多层感知器的深度学习，可以预测包括在车道点候选组中的每个点是噪声点、左车道点还是右车道点。
[0091]
此后，根据本发明的各种示例性实施方案的用于车辆的基于lidar的车道识别装置及方法可以基于多层感知器的深度学习的结果(预测每个点是噪声点、左车道点还是右车道点的结果)来生成车道信息。
[0092]
作为结果，与利用摄像机生成车道信息的现有技术相比，即使车辆周围的环境改变，即使在照度突然变化的情况下，根据本发明的各种示例性实施方案的用于车辆的基于lidar的车道识别装置及方法也可以通过更好地识别车道来更准确地生成车道信息。
[0093]
根据本发明的各种示例性实施方案，即使在照度突然变化的情况下，车道识别率也不会降低。
[0094]
此外，可以提供通过说明书直接或间接识别的各种效果。
[0095]
以上描述仅是对本发明的技术思想的说明，本发明的各种示例性实施方案所属领域的普通技术人员将能够在不脱离本发明的本质特征的情况下进行各种修改和变化。
[0096]
为了方便解释并精确定义所附权利要求，术语“上面”、“下面”、“内部”、“外部”、“上”、“下”、“向上”、“向下”、“前”、“后”、“背面”、“内侧”、“外侧”、“向内地”、“向外地”、“里
面”、“外面”、“内部的”、“外部的”、“前方”和“后方”用于参照附图中所显示的这些特征的位置来描述示例性实施方案的特征。将进一步理解的是，术语“连接”或其派生词既指直接连接又指间接连接。
[0097]
出于说明和描述的目的呈现了前面对本发明的具体示例性实施方案所呈现的描述。前面的描述并非旨在穷举，或者将本发明限制为公开的精确形式，且显然的是，根据以上教导若干修改和变化都是可能的。选择示例性实施方案并进行描述以解释本发明的特定原理及其实际应用，由此使得本领域的其它技术人员能够利用并实现本发明的各种示例性实施方案及其各种替选方式和修改方式。本发明的范围旨在通过所附权利要求及其等同形式来限定。