基于CNN的用于车道线检测的方法和装置与流程

本发明涉及cnn学习方法，用于检测至少一个车道线，具体涉及以下学习方法和学习装置、以及利用它们的测试方法和测试装置：一种cnn学习方法，用于检测至少一个车道线，其特征在于，包括以下步骤：

(a)当获取到至少一个训练图像时，学习装置对所述训练图像应用至少一次卷积运算或支持其他装置应用至少一次卷积运算来生成至少一个特征映射，并生成或支持其他装置生成候选车道线信息，所述候选车道线信息表示关于参照利用所述特征映射生成的分割分数来估计的候选车道线的信息；

(b)所述学习装置生成或支持其他装置生成第一像素数据映射，所述第一像素数据映射包括关于所述训练图像内的每一个像素的信息和关于与其对应的第一数据的信息，选自所述第一数据的至少一个主子集包括利用直接回归法分别计算沿着与所述训练图像的行方向平行的第一方向从所述每个像素的每个位置到与其对应的最近的第一候选车道线之间的距离而生成的每个值，并且生成或支持其他装置生成第二像素数据映射，所述第二像素数据映射包括关于所述每个像素的信息和关于与其对应的第二数据的信息，选自所述第二数据的至少一个主子集包括利用所述直接回归法分别计算沿着与所述训练图像的所述行方向平行的第二方向从所述每个像素的每个位置到与其对应的最近的第二候选车道线之间的距离而生成的每个值；以及

(c)所述学习装置推断所述第一像素数据映射和所述第二像素数据映射来检测或支持其他装置检测所述车道线。

背景技术：

深度学习是一种用于对事物或数据进行聚类或分类的技术。例如，计算机不能只通过照片来区分狗和猫。但人们可以很容易地区分它们。为此，设计了一种称为“机器学习(machinelearning)”的方法。这是一种将大量数据输入到计算机并分类类似物体的技术。当输入与所存储的狗的照片类似的照片时，计算机将其分类为狗的照片。

已经出现了许多关于如何对数据进行分类的机器学习算法。以“决策树”、“贝叶斯网络”、“支持向量机(svm)”和“人工神经网络”为代表。深度学习是人工神经网络的后代。

深度卷积神经网络(deepconvolutionneuralnetworks；deepcnn)是深度学习的惊人发展的核心。cnn已经在90年代用于解决文字识别问题，但如现在这样被广泛使用源自最近的研究结果。这些深度cnn在2012年imagenet图像分类竞赛中击败了其他竞争对手并赢得了冠军。然后，卷积神经网络已成为机器学习(machinelearning)领域非常有用的工具。

图1示出根据以往技术利用深度cnn从照片中所要获取的各种输出的示例。

分类(classification)是一种识别照片中要识别的种类(class)的类型的方法，例如，如图1所示，识别所获取的对象是人、羊还是狗，检测(detection)是一种查找所有的对象并以包围包围盒(boundingbox)的形式表示所查找的对象的方法，分割(segmentation)是一种在照片中将特定对象的区域与其他对象区分开的方法。最近，随着深度学习(deeplearning)技术成为人们关注的焦点，分类、检测和分割技术也大量使用深度学习。

图2是示意性示出利用cnn的以往的车道线检测方法的图，图3是示意性示出一般cnn分割处理的图。

首先，参照图3，在以往的车道线检测方法中，学习装置接收输入图像的输入，在多个卷积层中执行多次的卷积运算和relu等非线性运算来获取特征映射，在多个反卷积层中执行多次的反卷积运算，在最后特征映射中执行归一化指数(softmax)运算来获得分割结果。

另外，参照图2，附图标记210表示输入图像，附图标记220表示分割结果，附图标记230表示通过直线拟合(linefitting)获得的车道线。如图2的220所示，根据以往的车道线检测方法的分割结果220由车道线(lane)和背景两种类型构成。这样的分割结果是概率估计值(probabilityestimation)。在如此选择的候选像素中仅采样可能是车道线的概率高的像素来查找候选车道线之后，根据所查找的候选车道线并利用车道线模型函数来最终决定车道线230。

然而，这种以往的车道线检测方法存在仅仅基于分割结果的问题。通常，分割结果本身难以准确地检测车道线。为了解决这样的问题，采用对分割结果进行后处理(post-processing)来执行直线拟合的方法。但是，如果分割结果不准确，则存在即使通过直线拟合也不容易检测到准确的车道线的问题。

技术实现要素：

发明所要解决的问题

本发明的目的在于解决上述的所有问题。

本发明的另一个目的在于，提供一种能够对输入图像获得更准确的分割结果的学习方法。

本发明的又另一个目的在于，基于从候选车道线的每个相应像素到右侧方向的距离的梯度(gradient)和从候选车道线的每个对应像素到左侧方向的距离的梯度的附加信息来获取分割结果，由此能够更准确地检测出车道线。

用于解决问题的手段

根据本发明的一个方式，涉及一种cnn学习方法，用于检测至少一个车道线，其特征在于，包括以下步骤：

(a)当获取到至少一个训练图像时，学习装置对所述训练图像应用至少一次卷积运算或支持其他装置应用至少一次卷积运算来生成至少一个特征映射，并生成或支持其他装置生成候选车道线信息，所述候选车道线信息表示参关于照利用所述特征映射生成的分割分数来估计的候选车道线的信息；

(b)所述学习装置生成或支持其他装置生成第一像素数据映射，所述第一像素数据映射包括关于所述训练图像中的每个像素的信息和关于与其对应的第一数据的信息，选自所述第一数据的至少一个主子集包括利用直接回归法分别计算沿着与所述训练图像的行方向平行的第一方向从所述每个像素的每个位置到与其对应的最近的第一候选车道线之间的距离而生成的每个值，并且生成或支持其他装置生成第二像素数据映射，所述第二像素数据映射包括关于所述每个像素的信息和关于与其对应的第二数据的信息，选自所述第二数据的至少一个主子集包括利用所述直接回归法分别计算沿着与所述训练图像的所述行方向平行的第二方向从所述每个像素的每个位置到与其对应的最近的第二候选车道线之间的距离而生成的每个值；以及

(c)所述学习装置推断所述第一像素数据映射和所述第二像素数据映射来检测或支持其他装置检测所述车道线。

在一个实施例中，其特征在于，

参照关于在所述第一像素数据映射和所述第二像素数据映射中具有小于预定阈值的值的所述像素的第一部分的信息来检测所述车道线。

在一个实施例中，其特征在于，

在所述(a)步骤中，

当参照所述分割分数而判断为至少存在一个没有候选车道线的特定行时，所述学习装置对于所述特定行或位于所述特定行上方的至少一个像素分配或支持其他装置分配第一值，对于位于所述特定行下方的至少一个像素分配或支持其他装置分配第二值，由此生成第三像素数据映射，

在所述(c)步骤中，

推断所述第一像素数据映射、所述第二像素数据映射以及所述第三像素数据映射来检测所述车道线。

在一个实施例中，其特征在于，

参照关于(i)在所述第一像素数据映射和所述第二像素数据映射中具有小于预定阈值的值的所述像素的第一部分与(ii)在所述第三像素数据映射中位于所述特定行下方的所述像素的第二部分的交集合的信息，来检测所述车道线。

在一个实施例中，其特征在于，

所述第一值设定为表示背景的0。

在一个实施例中，其特征在于，

还包括以下步骤：

(d)所述学习装置或支持其他装置执行以下处理来学习所述cnn的参数：

参照与所述第一像素数据映射对应的至少一个第一地面实况来计算至少一个第一损失的处理；

参照与所述第二像素数据映射对应的至少一个第二地面实况来计算至少一个第二损失的处理；

参照与所述第三像素数据映射对应的至少一个第三地面实况来计算至少一个第三损失的处理；以及

反向传播所述第一损失、所述第二损失以及所述第三损失的处理。

在一个实施例中，其特征在于，

利用所述直接回归法计算所述每个距离而生成的所述每个值表示从所述每个像素的所述每个位置到与其对应的最近的第一候选车道线之间的所述第一方向上的每个像素距离和从所述每个像素的所述每个位置到与其对应的最近的第二候选车道线之间的所述第二方向上的每个像素距离中的一个。

在一个实施例中，其特征在于，

不需要计算距离的除了所述第一数据的所述主子集以外的所述第一数据的互补子集被分配无穷大值。

根据本发明的另一个方式，涉及一种cnn测试方法，用于检测至少一个车道线，其特征在于，包括以下步骤：

(a)在学习装置执行以下处理的状态下，测试装置获取或支持其他装置获取至少一个测试图像：(i)对至少一个训练图像应用至少一次卷积运算来生成至少一个学习用特征映射，并生成学习用候选车道线信息，所述学习用候选车道线信息表示关于参照利用所述学习用特征映射生成的学习用分割分数来估计的候选车道线的信息，(ii)生成学习用第一像素数据映射，所述学习用第一像素数据映射包括关于所述训练图像中的每个像素的信息和关于与其对应的学习用第一数据的信息，选自所述学习用第一数据的至少一个主子集包括利用直接回归法分别计算沿着与所述训练图像的行方向平行的第一方向从所述每个像素的每个位置到与其对应的最近的学习用第一候选车道线之间的距离而生成的每个值，并且生成学习用第二像素数据映射，所述学习用第二像素数据映射包括关于所述每个像素的信息和关于与其对应的学习用第二数据的信息，选自所述学习用第二数据的至少一个主子集包括利用所述直接回归法分别计算沿着与所述训练图像的所述行方向平行的第二方向从所述每个像素的所述每个位置到与其对应的最近的学习用第二候选车道线之间的距离而生成的每个值，(iii)推断所述学习用第一像素数据映射和所述学习用第二像素数据映射来检测所述车道线，以及(iv)参照与所述学习用第一像素数据映射对应的至少一个第一地面实况来计算至少一个第一损失，参照与所述学习用第二像素数据映射对应的至少一个第二地面实况来计算至少一个第二损失，反向传播所述第一损失和所述第二损失来学习所述cnn的至少一个参数；

(b)所述测试装置对所述测试图像应用至少一次卷积运算或支持其他装置应用至少一次卷积运算来生成至少一个测试用特征映射，并生成或支持其他装置生成测试用候选车道线信息，所述测试用候选车道线信息表示关于参照利用所述测试用特征映射生成的测试用分割分数来估计的候选车道线的信息；

(c)所述测试装置生成或支持其他装置生成测试用第一像素数据映射，所述测试用第一像素数据映射包括关于所述测试图像中的每个像素的信息和关于与其对应的测试用第一数据的信息，选自所述测试用第一数据的至少一个主子集包括利用所述直接回归法分别计算沿着所述第一方向从所述每个像素的每个位置到与其对应的最近的测试用第一候选车道线之间的距离而生成的每个值，并生成或支持其他装置生成测试用第二像素数据映射，所述测试用第二像素数据映射包括关于所述每个像素的信息和关于与其对应的测试用第二数据的信息，选自所述测试用第二数据的至少一个主子集包括利用所述直接回归法分别计算沿着所述第二方向从所述每个像素的所述每个位置到与其对应的最近的测试用第二候选车道线之间的距离而生成的每个值；以及

(d)所述测试装置推断所述测试用第一像素数据映射和所述测试用第二像素数据映射来检测或支持其他装置检测所述车道线。

在一个实施例中，其特征在于，

参照关于在所述测试用第一像素数据映射和所述测试用第二像素数据映射中具有小于预定阈值的值的所述像素的第一部分的信息来检测所述车道线。

在一个实施例中，其特征在于，

在所述(b)步骤中，

当参照所述测试用分割分数而判断为至少存在一个没有候选车道线的特定行时，所述测试装置对于所述特定行或位于所述特定行上方的至少一个像素分配或支持其他装置分配第一值，对于位于所述特定行下方的至少一个像素分配或支持其他装置分配第二值，由此生成测试用第三像素数据映射，

在所述(d)步骤中，

推断所述测试用第一像素数据映射、所述测试用第二像素数据映射以及所述测试用第三像素数据映射来检测所述车道线。

在一个实施例中，其特征在于，

参照关于(i)在所述测试用第一像素数据映射和所述测试用第二像素数据映射中具有小于预定阈值的值的所述像素的第一部分与(ii)在所述测试用第三像素数据映射中位于所述特定行下方的所述像素的第二部分的交集合的信息来检测所述车道线。

在一个实施例中，其特征在于，

利用所述直接回归法计算所述每个距离而生成的所述每个值表示从所述每个像素的所述每个位置到与其对应的最近的测试用第一候选车道线之间的所述第一方向上的像素距离和从所述每个像素的所述每个位置到与其对应的最近的测试用第二候选车道线之间的所述第二方向上的每个像素距离中的一个。

在一个实施例中，其特征在于，

不需要计算距离的除了所述测试用第一数据的所述主子集以外的所述测试用第一数据的互补子集被分配无穷大值。

根据本发明的又另一个方式，涉及一种cnn学习装置，用于检测至少一个车道线，其特征在于，包括：

通信部，用于获取至少一个训练图像；以及

处理器，执行以下处理：(i)对所述训练图像应用至少一次卷积运算或支持其他装置应用至少一次卷积运算来生成至少一个特征映射，并生成或支持其他装置生成候选车道线信息，所述候选车道线信息表示关于参照利用所述特征映射生成的分割分数来估计的候选车道线的信息；(ii)生成或支持其他装置生成第一像素数据映射，所述第一像素数据映射包括关于所述训练图像中的每个像素的信息和关于与其对应的第一数据的信息，选自所述第一数据的至少一个主子集包括利用直接回归法分别计算沿着与所述训练图像的行方向平行的第一方向从所述每个像素的每个位置到与其对应的最近的第一候选车道线之间的距离而生成的每个值，并且生成或支持其他装置生成第二像素数据映射，所述第二像素数据映射包括关于所述每个像素的信息和关于与其对应的第二数据的信息，选自所述第二数据的至少一个主子集包括利用所述直接回归法分别计算沿着与所述训练图像的所述行方向平行的第二方向从所述每个像素的每个位置到与其对应的最近的第二候选车道线之间的距离而生成的每个值；以及(iii)推断所述第一像素数据映射和所述第二像素数据映射来检测或支持其他装置检测所述车道线。

在一个实施例中，其特征在于，

参照关于在所述第一像素数据映射和所述第二像素数据映射中具有小于预定阈值的值的所述像素的第一部分的信息来检测所述车道线。

在一个实施例中，其特征在于，

在所述(i)处理中，

当参照所述分割分数而判断为至少存在一个没有候选车道线的特定行时，所述处理器针对所述特定行或位于所述特定行上方的至少一个像素分配或支持其他装置分配第一值，对于位于所述特定行下方的至少一个像素分配或支持其他装置分配第二值，由此生成第三像素数据映射，

在所述(iii)处理中，

推断所述第一像素数据映射、所述第二像素数据映射以及所述第三像素数据映射来检测所述车道线。

在一个实施例中，其特征在于，

参照关于(i)在所述第一像素数据映射和所述第二像素数据映射中具有小于预定阈值的值的所述像素的第一部分与(ii)在所述第三像素数据映射中位于所述特定行下方的所述像素的第二部分之间的交集合的信息来检测所述车道线。

在一个实施例中，其特征在于，

所述第一值设定为表示背景的0。

在一个实施例中，其特征在于，

所述处理器还执行以下处理：

(iv)执行或支持其他装置执行以下处理来学习所述cnn的参数：

参照与所述第一像素数据映射对应的至少一个第一地面实况来计算至少一个第一损失的处理；

参照与所述第二像素数据映射对应的至少一个第二地面实况来计算至少一个第二损失的处理；

参照与所述第三像素数据映射对应的至少一个第三地面实况来计算至少一个第三损失的处理；以及

反向传播所述第一损失、所述第二损失以及所述第三损失的处理。

在一个实施例中，其特征在于，

利用所述直接回归法计算所述每个距离而生成的所述每个值表示从所述每个像素的所述每个位置到与其对应的最近的第一候选车道线之间的所述第一方向上的像素距离和从所述每个像素的所述每个位置到与其对应的最近的第二候选车道线之间的所述第二方向上的像素距离中的一个。

在一个实施例中，其特征在于，

不需要计算距离的除了所述第一数据的所述主子集以外的所述第一数据的互补子集被分配无穷大值。

根据本发明的又另一个方式，涉及一种cnn测试装置，用于检测至少一个车道线，其特征在于，包括：

通信部，在学习装置执行以下处理的状态下，所述通信部获取或支持其他装置获取至少一个测试图像：(i)对至少一个训练图像应用至少一次卷积运算来生成至少一个学习用特征映射，并生成学习用候选车道线信息，所述学习用候选车道线信息表示关于参照利用所述学习用特征映射生成的学习用分割分数来估计的候选车道线的信息；(ii)生成学习用第一像素数据映射，所述学习用第一像素数据映射包括关于所述训练图像中的每个的像素的信息和关于与其对应的学习用第一数据的信息，选自所述学习用第一数据的至少一个主子集包括利用直接回归法分别计算沿着与所述训练图像的行方向平行的第一方向从所述每个像素的每个位置到与其对应的最近的学习用第一候选车道线之间的距离而生成的每个值，并且生成学习用第二像素数据映射，所述学习用第二像素数据映射包括关于所述每个像素的信息和关于与其对应的学习用第二数据的信息，选自所述学习用第二数据的至少一个主子集包括利用所述直接回归法分别计算沿着与所述训练图像的所述行方向平行的第二方向从所述每个像素的所述每个位置到与其对应的最近的学习用第二候选车道线之间的距离而生成的每个值；(iii)推断所述学习用第一像素数据映射和所述学习用第二像素数据映射来检测所述车道线；以及(iv)参照与所述学习用第一像素数据映射对应的至少一个第一地面实况来计算至少一个第一损失，参照与所述学习用第二像素数据映射对应的至少一个第二地面实况来计算至少一个第二损失，反向传播所述第一损失和所述第二损失来学习所述cnn的至少一个参数；以及

处理器，执行以下处理：(i)对所述测试图像应用至少一次卷积运算或支持其他装置应用至少一次卷积运算来生成至少一个测试用特征映射，并生成或支持其他装置生成测试用候选车道线信息，所述测试用候选车道线信息表示关于参照利用所述测试用特征映射生成的测试用分割分数来估计的候选车道线的信息；(ii)生成或支持其他装置生成测试用第一像素数据映射，所述测试用第一像素数据映射包括关于所述测试图像中的每个像素的信息和关于与其对应的测试用第一数据的信息，选自所述测试用第一数据的至少一个主子集包括利用所述直接回归法分别计算沿着所述第一方向从所述每个像素的每个位置到与其对应的最近的测试用第一候选车道线之间的距离而生成的每个值，并且生成或支持其他装置生成测试用第二像素数据映射，所述测试用第二像素数据映射包括关于所述每个像素的信息和关于与其对应的测试用第二数据的信息，选自所述测试用第二数据的至少一个主子集包括利用所述直接回归法分别计算沿着所述第二方向从所述每个像素的所述每个位置到与其对应的最近的测试用第二候选车道线之间的距离而生成的每个值；以及推断所述测试用第一像素数据映射和所述测试用第二像素数据映射来检测或支持其他装置检测所述车道线。

在一个实施例中，其特征在于，

参照关于在所述测试用第一像素数据映射和所述测试用第二像素数据映射中具有小于预定阈值的值的所述像素的第一部分的信息来检测所述车道线。

在一个实施例中，其特征在于，

在所述(ii)处理中，

当参照所述测试用分割分数而判断为至少存在一个没有候选车道线的特定行时，所述处理器对于所述特定行或位于所述特定行上方的至少一个像素分配或支持其他装置分配第一值；对于位于所述特定行下方的至少一个像素分配或支持其他装置分配第二值，由此生成测试用第三像素数据映射，

在所述(iii)处理中，

推断所述测试用第一像素数据映射、所述测试用第二像素数据映射以及所述测试用第三像素数据映射来检测所述车道线。

在一个实施例中，其特征在于，

参照关于(i)在所述测试用第一像素数据映射和所述测试用第二像素数据映射中具有小于低于预定阈值的值的所述像素的第一部分与(ii)在所述测试用第三像素数据映射中位于所述特定行下方的所述像素的第二部分的交集合的信息来检测所述车道线。

在一个实施例中，其特征在于，

利用所述直接回归法计算所述每个距离而生成的所述每个值表示从所述每个像素的所述每个位置到与其对应的最近的测试用第一候选车道线之间的所述第一方向上的每个像素距离和从所述每个像素的所述每个位置到与其对应的最近的测试用第二候选车道线之间的所述第二方向上的每个像素距离中的一个。

在一个实施例中，其特征在于，

不需要计算距离的除了所述测试用第一数据的所述主子集以外的所述测试用第一数据的互补子集被分配无穷大值。

发明效果

根据本发明，通过两步分割处理来处理车道线检测，因此具有能够更准确地生成分割结果的效果。

根据本发明，基于在右侧方向上距每个对应的候选车道线的像素的距离的梯度(gradient)和在左侧方向上距每个对应的候选车道线的像素的距离的梯度来生成分割结果，因此具有能够更准确地检测出车道线的其他效果。

附图说明

本发明的实施例的说明中所使用的以下附图仅仅是本发明实施例中的一部分，在本领域所属技术领域中具有普通知识的人(以下称为“普通技术人员”)在不付出创造性劳动的情况下，也能够根据这些附图来得出其他附图。

图1示意性示出利用以往的cnn从照片生成的各种输出的示例。

图2是示意性示出利用以往的cnn的现有的车道线检测方法的图。

图3是示意性示出利用以往的cnn的通常分割的以往处理的图。

图4是示意性示出本发明涉及的基于cnn的车道线检测过程的流程图。

图5示意性示出利用本发明涉及的三种像素数据映射的车道线检测过程。

图6a至图6c示出本发明涉及的三种像素数据映射的示例。

图7a和图7b示出通过本发明涉及的车道线检测方法来得到的分割结果的示例。

具体实施方式

后述的对本发明的详细说明参照作为例示本发明可实施的特定实施例而图示的附图。足够详细说明这些实施例，以使本领域技术人员能够实施本发明。

另外，在本发明的整个说明书和权利要求书中，词语“包括”及其变形并不旨在排除其他技术特征、附加物等、构成要素等或步骤等。对于本领域技术人员来说，本发明的其他目的、优点和特征的一部分可以从本说明书中得出、其他一部分从本发明的实施例中得出。以下示例和附图是以举例说明的方式提供的，并不旨在限制本发明。

此外，本发明包括本说明书中提出的实施例的所有可能组合。应该理解的是，本发明的各种实施例是彼此不同的，但并不相互排斥。例如，在不脱离本发明的精神和范围的情况下，可以通过其他实施例来实现这里描述的特定形状、结构和特性。另外，应当理解的是，在不脱离本发明的精神和范围的情况下，可以改变每个公开的实施例中的各个构成要素的位置或配置。因此，以下的详细描述不应被视为具有限制意义，并且如果适当地描述，本发明的范围仅由所附权利要求以及与这些权利要求所主张的等同的所有范围来限定。附图中相同的附图标记在各方面均指相同或相似的功能。

本发明中提到的各种图像可以包括与铺砌或未铺砌道路相关的图像，在这种情况下，可以包括可能出现在道路环境中的物体(例如，如汽车、人、动物、植物、物体、建筑物、飞机或无人机那样的飞行物、其他障碍物)，但并不限于此，并且本发明中提到的各种图像可以是与道路无关的图像(例如，与未铺砌道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内相关的图像)，在这种情况下，可以象征可能出现在未铺砌道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内环境中的对象(例如，如汽车、人、动物、植物、物体、建筑物、飞机或无人机那样的飞行物、其他障碍物)，但并不限于此。

以下，为了使本领域技术人员能够容易地实施本发明，将参考附图详细说明本发明的优选实施例。

图4是示意性示出本发明涉及的基于cnn检测至少一个车道线的处理的流程图，图5示意性示出利用本发明涉及的三种像素数据映射的车道线检测过程，图6a至图6c示出本发明涉及的三种像素数据映射的示例。

参照图4至图6c，对本发明涉及的基于cnn的车道线检测方法进行说明。

首先，在s41步骤中，学习装置获取或支持其他装置获取至少一个输入图像作为训练图像，通过对训练图像执行至少一次卷积运算来获取特征映射，利用该特征映射来生成至少一个分割分数(segmentationscore)，并生成参照该分割分数估计的表示候选车道线的信息的候选车道线信息。该分割分数可以以分数映射(scoremap)方式形成，在该分数映射中具有大于预定阈值的分数的像素可以决定为候选车道线。作为参考，“利用该特征映射生成分割分数”是指对特征映射执行至少一次反卷积运算来生成分割分数，但并不限于此。

然后，在s42步骤中，学习装置生成或支持其他装置生成第一像素数据映射，该第一像素数据映射包括关于训练图像中的每个像素的信息和关于与其对应的第一数据的信息，选自所述第一数据的至少一个主子集(mainsubset)包括利用直接回归法(directregression)计算沿着与训练图像的行方向平行的第一方向(假设水平向左方向)从每个像素的位置到最近的第一候选车道线之间的每个距离而生成的每个值。根据利用直接回归法计算出的每个距离生成的所述每个值表示从每个像素的位置到在与其对应的第一方向上最近的第一候选车道线之间的每个像素间隔中的一个。

首先，对图6a将在后面说明，这是由于本发明最重要的处理涉及图6b和图6c，因此优先对这些处理进行说明，而且，另一个原因是图6a的处理并不是必需的。如果执行图6a的处理，则可以在执行图6a的处理之后执行图6b和图6c的处理，但不限于此。

参照图6b，表示为0的像素是在s41步骤中判断为候选车道线601的像素。因此，在第一像素数据映射603中，与候选车道线601对应的每个像素距其自身的距离为0，因此表示为0。另外，关于从候选车道线601向右相距一个像素的像素，由于以其自身的位置为基准在向左一个像素的距离处存在候选车道线601的像素，因此作为第一数据值被分配‘1’。

然后，关于从候选车道线601向右相距两个像素的像素，由于以其自身的位置为基准向左两个像素的距离处存在候选车道线601的像素，因此作为第一数据值被分配‘2’，然后，关于从候选车道线601向右相距三个像素的像素，由于以其自身的位置为基准向左三个像素的距离处存在候选车道线601的像素，因此作为第一数据值被分配‘3’。以这种方式，通过对所有像素分配第一数据值来生成第一像素数据映射603。

但是，距候选车道线601的像素的距离超过预定阈值的像素的情况，通过直接回归法计算到最近的候选车道线601为止的距离是没有意义的，因此为了方便而不计算相应的距离值，而由无穷大(∞)表示。因此，如图6b所示，在第一像素数据映射603中，位于候选车道线601的左侧的像素都由无穷大(∞)表示。当然，即使是位于特定候选车道线的左侧的像素，如果位于其他候选车道线的右侧且其距离小于预定阈值，则距上述其他候选车道线的距离被分配为第一数据。

参照图5，当候选车道线包括多个车道线时，由于仅显示通过直接回归法计算的到最近候选车道线的距离，因此每个像素仅具有一个值作为第一数据值。因此，由于图5的第一像素数据映射503对于每行具有多个候选车道线，因此对于每行随着从候选车道线向右侧远离而第一数据值会增加，但到达其他候选车道线时，第一数据值再次从0开始增加。由cnn运算结果生成的第一像素数据映射503包括表示到最近的左侧车道线之间的每个距离的第一数据，在图5中，由梯度表示其距离值而不是由每个第一数据值表示。

然后，在s43步骤中，学习装置生成或支持其他装置生成关于训练图像中的每个像素的信息和关于与其对应的第二数据的信息，选自第二数据的至少一个主子集包括利用直接回归法计算沿着与训练图像的行方向平行的(即，水平方向)第二方向(假设向右方向)从每个像素的每个位置到与像素对应的最近的第二候选车道线之间的每个距离而生成的每个值。根据利用直接回归法计算出的每个距离生成的每个值表示从每个像素的位置到与其对应的最近的第二候选车道线之间的第二方向上的每个像素距离中的一个。

参照图6c，表示为0的像素可以是在s41步骤中判断为候选车道线601的像素。因此，在第二像素数据映射604中，与候选车道线601对应的每个像素的距其自身的距离为0，因此表示为0。另外，关于从候选车道线601向左相距一个像素的像素，由于以其自身的位置为基准在向右一个像素的距离处存在候选车道线601的像素，因作为第二数据值被分配‘1’。

然后，关于从候选车道线601向左相距两个像素的像素，由于以其自身的位置为基准在向右两个像素的距离处存在候选车道线601的像素，因此作为第二数据值被分配‘2’，关于从候选车道线601向左相距三个像素的像素，由于以其自身的位置为基准向右三个像素的距离处存在候选车道线601的像素，因此作为第二数据值被分配‘3’。以这种方式，通过对所有像素分配第二数据值来生成第二像素数据映射604。

在第二像素数据映射604中，关于距候选车道线的像素的距离超过预定阈值的像素，由于通过直接回归法计算到最近的第二候选车道线601为止的距离是没有意义的，因此不计算对应距离值，而由无穷大(∞)表示。当然，即使是位于特定候选车道线的右侧的像素，如果位于其他候选车道线的左侧且其距上述其他候选车道线的距离小于预定阈值，则距上述其他候选车道线的距离被分配为第二数据。

再次参照图5，当候选车道线包括多个车道线时，由于仅显示通过直接回归法计算的到最近候选车道线的距离，因此每个像素仅具有一个值作为第二数据值。因此，由于图5的第二像素数据映射504对于每行具有多个候选车道线，因此对于每行随着从候选车道线向左侧行进而第二数据值会增加，但遇到其他候选车道线时，第二数据值再次从0开始增加。由图5的cnn运算结果生成的第二像素数据映射504表示到最近的右侧车道线之间的每个距离，在图5中，由梯度表示其值而不是由每个第二数据值表示。

在s44步骤中，参照分割分数、即在s41步骤中计算出的分数映射，当具有至少一个不存在候选车道线的特定行时，学习装置对位于上述特定行或位于上述特定行上方的行的至少一个像素分配或支持其他装置分配第一值，对位于上述特定行下方的至少一个像素分配或支持其他装置分配第二值，由此生成第三像素数据映射。另一方面，s42步骤至s44步骤可以按照出现的顺序进行，也可以先执行s44步骤后再执行s42和s43步骤，也可以省略s44步骤而仅执行s42步骤和s43步骤。而且，s42步骤和s43步骤可以同时执行，也可以先执行其中的一个步骤。

参照6a，对判断为候选车道线601的像素分配第二值(即，‘1’)。因此，对包含候选车道线601的像素的行的所有像素分配上述第二值(即，‘1’)。对于不存在候选车道线601的像素的特定行和位于该特定行上方的行的像素，均分配第一值(即，‘0’)，由此生成第三像素数据映射602。在此，第一值是表示背景的‘0’。

通常，当在道路上行驶时，从驾驶员的角度来看，道路的车道线仅存在于图像中的特定行之下，并且在其之上仅存在诸如天空或山的背景。因此，在车道线检测时不存在候选车道线像素的行均被视为背景。因此，图6a的第三像素数据映射602通过将不存在候选车道线601的像素的特定行和存在于特定行上方的行作为背景处理、仅将对应于下方的行的像素作为可能是车道线的概率高的像素来处理而生成。

参照图5，可以参照分割分数映射或变更该分割分数映射而生成的其他分割分数映射，将特定行上方没有候选车道线的行作为背景处理，由此生成水平分数映射(horizontalscoremap)、即第三像素数据映射502。

在s45步骤中，通过推断(inference)第一像素数据映射和第二像素数据映射来检测上述车道线，或者通过推断第一像素数据映射、第二像素数据映射以及第三像素数据映射来检测上述车道线。

例如，可以基于第一像素数据映射和第二像素数据映射中具有小于预定阈值的值的像素的第一部分来检测上述车道线，也可以参照关于(i)像素的第一部分与(ii)在第三像素数据映射中存在于特定行下方的像素的第二部分(即，被分配了第二值的像素)的交集合的信息来检测上述车道线。

作为一个示例，在像素的第二部分(即，在第三像素数据映射中具有第二值的像素)中，可以从第一像素数据映射和第二像素数据映射中仅选择第一数据和第二数据小于等于3的像素来生成至少一个分割结果505，并基于上述分割结果505来检测车道线。图5的分割结果505虽然没有像第一像素数据映射503和第二像素数据映射504那样由梯度表示，但分割结果505可以包括具有在行方向上(即，向左和/或向右)距候选车道线601的像素预定范围(例如三个像素)内的梯度值的像素。

参照图5，当根据本发明对输入图像501应用一系列运算时，可以生成三个结果、即，表示水平分数映射的第三像素数据映射502、表示到最近的左侧车道线之间为止的距离的第一像素数据映射503、以及表示到最近的右侧车道线之间的距离的第二像素数据映射504。

在学习装置中使用cnn时，还执行参照与第一像素数据映射503对应的至少一个第一gt(groundtruth，地面实况)来生成至少一个第一损失的处理、参照与第二像素数据映射504对应的至少一个第二gt(groundtruth，地面实况)来生成至少一个第二损失的处理、参照与第三像素数据映射502对应的至少一个第三gt(groundtruth，地面实况)来生成至少一个第三损失的处理、以及反向传播(backpropagation)第一损失、第二损失和第三损失来学习或优化cnn的参数的处理。

图7a和图7b示出通过本发明涉及的车道线检测方法来生成的分割结果的示例。

在图7a中，获取输入图像701并根据本发明将其输入到cnn，推断三个结果来可生成分割结果(即，分割输出702)。如在图7b中可以确认到，在行方向上距候选车道线的像素预定范围内的每个像素可以生成具有与其对应的分数的分割结果，由此在s41步骤中获得的不准确的分割分数值可以通过直接回归法改善为更准确的分割结果。

即使在测试装置中使用cnn的情况，也可以直接应用在上述说明的学习处理中利用的车道线检测方法的处理。即，为了学习或优化cnn的参数而利用上述车道线检测处理，并且将得到的参数应用于测试装置，以从至少一个测试图像中检测车道线。

作为参考，为了避免在以下描述中混淆，将短语“学习用”添加到与上述学习处理相关的术语中，并且将短语“测试用”添加到与测试处理相关的术语中。

即，利用本发明涉及的cnn的车道线检测的测试方法包括以下步骤：

学习装置执行以下处理的状态下，测试装置利用由学习装置学习的cnn的参数获取测试图像：(i)对训练图像应用卷积运算来生成学习用特征映射，并生成学习用候选车道线信息，该学习用候选车道线信息表示关于参照利用学习用特征映射生成的学习用分割分数来估计的候选车道线的信息；(ii)生成学习用第一像素数据映射，该学习用第一像素数据映射包括关于训练图像中的每个像素的信息和关于与其对应的学习用第一数据的信息，选自学习用第一数据的至少一个主子集(mainsubset)包括利用直接回归法(directregression)分别计算沿着与训练图像的行方向平行的第一方向从每个像素的每个位置到与其对应的最近的学习用第一候选车道线之间的距离而生成的每个值，并且生成学习用第二像素数据映射，该学习用第二像素数据映射包括关于每个像素的信息和关于与其对应的学习用第二数据的信息，选自学习用第二数据的至少一个主子集包括利用直接回归法分别计算沿着与训练图像的行方向平行的第二方向从每个像素的每个位置到与其对应的最近的学习用第二候选车道线之间的距离而生成的每个值；(iii)推断(inference)学习用第一像素数据映射和学习用第二像素数据映射来检测车道线；以及(iv)参照与第一像素数据映射对应的至少一个第一地面实况来计算至少一个第一损失，参照与第二像素数据映射对应的至少一个第二地面实况来计算至少一个第二损失，反向传播(backpropagation)第一损失和第二损失来学习cnn的至少一个参数。

然后，(i)对测试图像应用卷积运算来生成测试用特征映射，并生成测试用候选车道线信息，该测试用候选车道线信息表示关于参照利用测试用特征映射生成的测试用分割分数来估计的候选车道线的信息；(ii)生成测试用第一像素数据映射，该测试用第一像素数据映射包括关于测试图像中的每个像素的信息和关于与其对应的测试用第一数据的信息，选自测试用第一数据的至少一个主子集(mainsubset)包括利用直接回归法(directregression)分别计算沿着第一方向从每个像素的每个位置到与其对应的最近的测试用第一候选车道线之间的距离而生成的每个值，并生成测试用第二像素数据映射，该测试用第二像素数据映射包括关于每个像素的信息和关于与其对应的测试用第二数据的信息，选自测试用第二数据的至少一个主子集包括利用直接回归法分别计算沿着第二方向从每个像素的每个位置到与其对应的最近的测试用第二候选车道线之间的距离而生成的每个值；以及(iii)生成测试用分割结果，推断(inference)测试用第一像素数据映射和测试用第二像素数据映射来检测车道线。

本领域技术人员可以理解的是，上述中描述的图像例如训练图像、测试图像那样的图像数据的收发通过学习装置和测试装置的通信部来进行，用于执行特征映射和运算的数据可以通过学习装置和测试装置的处理器(和/或存储器)保留/维持，卷积运算、反卷积运算、损失值运算过程主要由学习装置和测试装置的处理器来执行，但本发明不限于此。

上述根据本发明的实施例可以以程序指令的形式实现，该程序指令可以由各种计算机部件执行，并且可以记录在计算机可读记录介质中。计算机可读记录介质可以单独或组合地包括程序指令、数据文件、数据结构等。记录在计算机可读记录介质上的程序指令可以是为本发明专门设计和配置的程序指令，或者也可以是计算机软件领域的技术人员已知并可用的。计算机可读记录介质的示例包括诸如硬盘、软盘和磁带的磁介质、诸如cd-rom和dvd的光学记录介质，诸如光磁软盘(flopticaldisk)的磁光介质(magneto-opticalmedia)、以及rom、ram、闪存等的特别构成为存储并执行程序指令的硬件装置。程序指令的示例不仅包括由编译器生成的机器代码，还包括可以由计算机使用解释器等执行的高级语言代码。硬件装置可以配置为作为一个或多个软件模块操作来执行根据本发明的处理，反之亦然。

尽管已经通过诸如特定部件和有限的实施例和附图的特定实施例来描述了本发明，但这些仅仅是为了更全面地理解本发明而提供的，本发明不限于上述实施例。对于本领域技术人员来说，可以从这些描述中进行各种修改和变更。

因此，本发明的宗旨不应限于上述实施例，并且不仅是后附的权利要求，与这些权利要求等同或等价的变形也包括在本发明的宗旨范围内。