一种车道线识别方法及装置与流程
本发明涉及计算机视觉领域。更具体地，本发明涉及一种车道线识别方法及装置。
背景技术：
3d车道线识别是辅助驾驶系统的关键组成部分。近年来，基于深度神经网络提取车道线高层次特征的做法取得了较好的效果，比如卷积神经网络等，但是现有的神经网络方法大多数处理的是图像块，对于整幅图像缺乏全局的结构信息。此外，在辅助驾驶系统中，对于驾驶场景中物体的距离估计也是至关重要的，尤其是对于前方车辆、行人或者障碍物的估计。
目前，在辅助驾驶系统中，还需要识别不同的车道线类型。在城市情况下，算法必须面对各种复杂场景，例如频繁分割和合并车道标记、高曲率的车道线、十字路口标志和转弯标志等。目前大部分的传统方法需要对道路进行严格的假设，比如基于图像俯视图变换的3d车道线识别方法就需要基于图像采集装置与路面基本处于平行的假设，这就导致这些3d车道线识别方法适用驾驶情况的局限性。同时现有的神经网络方法大多数处理的是图像块，对于整幅图像缺乏全局的结构信息。因此需要更加高级的3d车道线识别算法，用于不同类型的3d车道线识别。
技术实现要素：
本发明的示例性实施例在于提供一种车道线识别方法及装置，以识别不同的车道线类型，并提高车道线识别的准确性。
根据本发明的示例性实施例，提供一种车道线识别方法，包括：根据获取的道路的图像，获取车道线线段；根据所述车道线线段，得到候选车道线；从所述候选车道线中获取真假状态为真的候选车道线；根据所述真假状态为真的候选车道线，得到车道线。
可选地，从所述候选车道线中获取真假状态为真的候选车道线的步骤可包括：将所述候选车道线与历史车道线集合中的历史车道线进行匹配，得到匹配的候选车道线和历史车道线；根据匹配的历史车道线的真假状态，得到真假状态为真的候选车道线。
可选地，所述车道线识别方法还可包括：根据所述候选车道线与所述历史车道线的匹配结果，更新所述历史车道线的信息。
可选地，更新所述历史车道线的信息的步骤可包括：根据所述候选车道线与所述历史车道线的匹配结果，更新所述历史车道线的分数；根据所述历史车道线的分数，更新所述历史车道线的真假状态。
可选地，所述车道线识别方法还可包括：将未匹配的候选车道线放入所述历史车道线集合中，并将所述未匹配的候选车道线的真假状态设置为待检验。
根据本发明的示例性实施例，提供一种车道线的深度获取方法，包括：获取道路的第一图像和第二图像；获取所述第一图像和所述第二图像之间的匹配代价信息；根据所述匹配代价信息获取车道线的深度。
可选地，获取所述第一图像和所述第二图像之间的匹配代价信息的步骤可包括：通过第一特征提取网络对获取的第一图像进行车道线特征提取，并通过第二特征提取网络对获取的第二图像进行车道线特征提取，其中，第一特征提取网络和第二特征提取网络共享参数；根据提取的第一图像的车道线特征和第二图像的车道线特征，获取所述第一图像和第二图像的匹配代价信息。
可选地，获取车道线的深度的步骤可包括：根据车道线信息和所述匹配代价信息，获取第一图像和第二图像之间的视差；根据所述视差，获取车道线的深度。
可选地，获取第一图像和第二图像之间的视差的步骤可包括：将所述车道线信息与所述匹配代价信息进行叠加，得到新的匹配代价信息；根据所述新的匹配代价信息，获取第一图像和第二图像之间的视差。
可选地，所述车道线信息可包括如下中的至少一种：车道线概率信息、车道线线段信息。
根据本发明的示例性实施例，提供一种车道线识别方法，包括：获取道路的第一图像和第二图像；根据获取的第一图像或第二图像生成车道线，并获取第一图像和第二图像之间的匹配代价信息；根据匹配代价信息获取车道线的深度；根据生成的车道线和获取的车道线的深度，得到3d车道线。
可选地，根据获取的第一图像或第二图像生成车道线的步骤可包括：从获取的第一图像或第二图像中获取车道线线段；根据所述车道线线段，得到候选车道线；从所述候选车道线中获取真假状态为真的候选车道线；根据所述真假状态为真的候选车道线，得到车道线。
可选地，从所述候选车道线中获取真假状态为真的候选车道线的步骤可包括：将所述候选车道线与历史车道线集合中的历史车道线进行匹配，得到匹配的候选车道线和历史车道线；根据匹配的历史车道线的真假状态，得到真假状态为真的候选车道线。
可选地，所述车道线识别方法还可包括：根据所述候选车道线与所述历史车道线的匹配结果，更新所述历史车道线的信息。
可选地，更新所述历史车道线的信息的步骤可包括：根据所述候选车道线与所述历史车道线的匹配结果，更新所述历史车道线的分数；根据所述历史车道线的分数，更新所述历史车道线的真假状态。
可选地，所述车道线识别方法还可包括：将未匹配的候选车道线放入所述历史车道线集合中，并将所述未匹配的候选车道线的真假状态设置为待检验。
可选地，获取第一图像和第二图像之间的匹配代价信息的步骤可包括：通过第一特征提取网络对获取的第一图像进行车道线特征提取，并通过第二特征提取网络对获取的第二图像进行车道线特征提取，其中，第一特征提取网络和第二特征提取网络共享参数；根据提取的第一图像的车道线特征和第二图像的车道线特征，获取所述第一图像和第二图像的匹配代价信息。
可选地，获取车道线的深度的步骤可包括：根据车道线信息和所述匹配代价信息，获取第一图像和第二图像之间的视差；根据所述视差，获取车道线的深度。
可选地，获取第一图像和第二图像之间的视差的步骤可包括：将所述车道线信息与所述匹配代价信息进行叠加，得到新的匹配代价信息；根据所述新的匹配代价信息，获取第一图像和第二图像之间的视差。
可选地，所述车道线信息可包括如下中的至少一种：车道线概率信息、车道线线段信息。
根据本发明的示例性实施例，提供一种车道线识别装置，包括：线段获取模块，被配置为根据获取的道路的图像，获取车道线线段；车道线候选模块，被配置为根据所述车道线线段，得到候选车道线；车道线筛选模块，被配置为从所述候选车道线中获取真假状态为真的候选车道线；车道线获取模块，被配置为根据所述真假状态为真的候选车道线，得到车道线。
可选地，车道线筛选模块可被配置为：将所述候选车道线与历史车道线集合中的历史车道线进行匹配，得到匹配的候选车道线和历史车道线；根据匹配的历史车道线的真假状态，得到真假状态为真的候选车道线。
可选地，所述车道线识别装置还可包括：历史更新模块，被配置为：根据所述候选车道线与所述历史车道线的匹配结果，更新所述历史车道线的信息。
可选地，历史更新模块可被配置为：根据所述候选车道线与所述历史车道线的匹配结果，更新所述历史车道线的分数；根据所述历史车道线的分数，更新所述历史车道线的真假状态。
可选地，所述车道线识别装置还可包括：集合更新模块，被配置为：将未匹配的候选车道线放入所述历史车道线集合中，并将所述未匹配的候选车道线的真假状态设置为待检验。
根据本发明的示例性实施例，提供一种车道线的深度获取装置，包括：图像获取模块，被配置为获取道路的第一图像和第二图像；图像匹配模块，被配置为获取所述第一图像和所述第二图像之间的匹配代价信息；深度计算模块，被配置为根据所述匹配代价信息获取车道线的深度。
可选地，图像匹配模块可被配置为：通过第一特征提取网络对获取的第一图像进行车道线特征提取，并通过第二特征提取网络对获取的第二图像进行车道线特征提取，其中，第一特征提取网络和第二特征提取网络共享参数；根据提取的第一图像的车道线特征和第二图像的车道线特征，获取所述第一图像和第二图像的匹配代价信息。
可选地，深度计算模块可被配置为：根据车道线信息和所述匹配代价信息，获取第一图像和第二图像之间的视差；根据所述视差，获取车道线的深度。
可选地，深度计算模块可被配置为：将所述车道线信息与所述匹配代价信息进行叠加，得到新的匹配代价信息；根据所述新的匹配代价信息，获取第一图像和第二图像之间的视差。
可选地，所述车道线信息可包括如下中的至少一种：车道线概率信息、车道线线段信息。
根据本发明的示例性实施例，提供一种车道线识别装置，包括：图像获取模块，被配置为获取道路的第一图像和第二图像；图像计算模块，被配置为根据获取的第一图像或第二图像生成车道线，并获取第一图像和第二图像之间的匹配代价信息；深度计算模块，被配置为根据匹配代价信息获取车道线的深度；结果生成模块，被配置为根据生成的车道线和获取的车道线的深度，得到3d车道线。
可选地，图像计算模块可被配置为：从获取的第一图像或第二图像中获取车道线线段；根据所述车道线线段，得到候选车道线；从所述候选车道线中获取真假状态为真的候选车道线；根据所述真假状态为真的候选车道线，得到车道线。
可选地，图像计算模块可被配置为：将所述候选车道线与历史车道线集合中的历史车道线进行匹配，得到匹配的候选车道线和历史车道线；根据匹配的历史车道线的真假状态，得到真假状态为真的候选车道线。
可选地，所述车道线识别装置还可包括：历史更新模块，被配置为：根据所述候选车道线与所述历史车道线的匹配结果，更新所述历史车道线的信息。
可选地，历史更新模块可被配置为：根据所述候选车道线与所述历史车道线的匹配结果，更新所述历史车道线的分数；根据所述历史车道线的分数，更新所述历史车道线的真假状态。
可选地，所述车道线识别装置还可包括：集合更新模块，被配置为：将未匹配的候选车道线放入所述历史车道线集合中，并将所述未匹配的候选车道线的真假状态设置为待检验。
可选地，图像计算模块可被配置为：通过第一特征提取网络对获取的第一图像进行车道线特征提取，并通过第二特征提取网络对获取的第二图像进行车道线特征提取，其中，第一特征提取网络和第二特征提取网络共享参数；根据提取的第一图像的车道线特征和第二图像的车道线特征，获取所述第一图像和第二图像的匹配代价信息。
可选地，深度计算模块可被配置为：根据车道线信息和所述匹配代价信息，获取第一图像和第二图像之间的视差；根据所述视差，获取车道线的深度。
可选地，深度计算模块可被配置为：将所述车道线信息与所述匹配代价信息进行叠加，得到新的匹配代价信息；根据所述新的匹配代价信息，获取第一图像和第二图像之间的视差。
可选地，所述车道线信息可包括如下中的至少一种：车道线概率信息、车道线线段信息。
根据本发明的示例性实施例，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被执行时实现根据本发明的车道线识别方法的步骤。
根据本发明的示例性实施例，提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现根据本发明的车道线识别检测方法的步骤。
根据本发明示例性实施例的车道线识别方法及装置，可适用于复杂的城市车道线场景，对于交叉路段、路面标志、磨损的车道线、近处和远处物体距离估计等都具有较好的性能，能够提高车道线识别的准确性，保证了亚像素精度的3d立体匹配。并且可在通过神经网络实现车道线识别时，通过把初始的车道线信息当成一个模板叠加到匹配代价的注意力机制、共享2个特征提取卷积神经网络的网络参数，从而提高计算速度。
附图说明
通过下面结合示例性地示出实施例的附图进行的描述，本发明示例性实施例的上述和其他目的和特点将会变得更加清楚，其中：
图1示出根据本发明示例性实施例的车道线识别方法的流程图；
图2示出根据本发明示例性实施例的车道线的深度计算方法的流程图；
图3示出根据本发明另一示例性实施例的车道线识别方法的流程图；
图4示出根据本发明示例性实施例的多任务神经网络的示意图；
图5示出根据本发明示例性实施例的多任务神经网络中的特征提取网络的示意图；
图6示出根据本发明示例性实施例的车道线识别方法的示例性流程图；
图7示出根据本发明示例性实施例的车道线识别装置的示意图；
图8示出根据本发明示例性实施例的车道线的深度获取装置的示意图；
图9示出根据本发明另一示例性实施例的车道线识别装置的示意图；
图10示出根据本发明示例性实施例的车道线识别装置的示例性示意图；
图11示出根据本发明示例性实施例的电子设备的框图；和
图12示出根据本发明示例性实施例的包含电子设备的检测环境的示意图。
具体实施方式
现将详细参照本发明的示例性实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。
本发明示例性实施例适用于计算机视觉领域，尤其适用于例如车载抬头显示系统或装置，也可适用于云端系统。
图1示出根据本发明示例性实施例的车道线识别方法的流程图。
参照图1，在步骤s101，根据获取的道路的图像，获取车道线线段。
作为示例，可通过车辆上的相机拍摄道路的图像。在本发明示例性实施例中，当需要识别道路上的车道线时，获取通过相机拍摄的道路的图像，从获取的图像中获取车道线线段。车道线线段可以由开始点s、中间点c、结束点e、开始方向sd、中间方向cd和结束方向ed进行表示。
作为示例，在获取车道线线段时，可首先对获取的图像进行车道线特征提取，得到图像的特征图，然后根据得到的图像的特征图生成车道线概率图，最后从车道线概率图的非零像素点中提取车道线线段。车道线概率图表示图像中的像素点属于车道线的概率。也可以在得到图像的特征图之后，通过对图像的特征图使用霍夫变换算法来提取图像的特征图上的直线线段作为车道线线段。
作为示例，可通过特征提取网络对图像进行车道线特征提取。其中，特征提取网络可以是卷积神经网络(cnn)，特征提取网络可包括，但不限于，vggnet和googlenet。。在cnn中可基于标定数据和得到的车道线概率图的差异性反向传播对网络参数进行训练，其中，差异性由损失函数(例如，交叉熵损失函数)度量，从而提高特征提取的准确性。也可分别通过图像特征提取算子(例如canny算子)对图像进行边缘检测，得到图像的特征图。
在本发明示例性实施例中，图像的特征图中可分别包括图像的高级语义特征。高级语义特征可以是，例如，轮廓。图像的特征图中也可分别包括左图像的低级语义特征和右图像的低级语义特征。低级语义特征可以是，例如，边缘。
作为示例，为了提取高层次的更加有区分度的车道线特征，并且减少计算时间，特征提取网络可采用分离卷积和逐点卷积(1×1卷积)的方式来降低计算代价。
作为示例，在根据得到的图像的特征图生成车道线概率图时，可首先计算图像的特征图中的像素点属于车道线的概率值，然后根据计算得到的概率值生成车道线概率图。作为示例，在根据得到的图像的特征图生成车道线概率图时，也可以对图像的特征图使用霍夫变换算法提取图像特征图上的直线线段，根据得到的直线线段画出车道线二值图(像素点位于车道线的概率为1，像素点不在车道线线段上的概率为0)，并将车道线二值图转化为车道线概率图。
作为示例，可通过编码-解码神经网络(或者全卷积神经网络)根据输入的图像的特征图生成车道线概率图。其中，具体地，编码神经网络可由二维卷积神经网络和池化层组成，解码神经网络可由二维反卷积神经网络和上采样层组成。编码神经网络可使用空洞卷积核来扩大神经网络的感受野，同时降低计算代价。感受野是指卷积神经网络结构中某个特征映射到输入空间的区域大小。解码神经网络可使用反卷积将小分辨率(例如，160×90)的特征图反向卷积到原分辨率(例如，1280×720)的车道线特征图。
在步骤s102，根据车道线线段，得到候选车道线。
作为示例，在得到车道线线段之后，可首先对车道线线段进行聚类关联，然后对经过聚类关联后的车道线线段进行拟合，得到候选车道线。
在本发明示例性实施例中，在对车道线线段进行聚类关联时，可使用例如条件随机场关联算法。首先需要得到车道线线段，例如：从车道线概率图提取位于车道线上的点，计算提取出的各点之间的距离，根据计算的距离对各点进行关联，得到子线段，再对子线段进行关联，得到车道线线段(例如，根据距离对点进行初步关联，得到关联后的子线段，当关联后的子线段距离小于一定的阈值，就将两条子线段合为一条，具体关联的方式是根据两条子线段的点，用二次曲线公式拟合出一条新的直线，如b样条曲线拟合方法。)。然后，根据车道线线段的长度计算车道线线段的长度分值，在由长度分值大于预定分值的车道线线段组成的集合中，计算车道线线段的所有组合方式的能量函数，根据能量函数从车道线线段的所有组合方式中选择符合条件的组合方式，最后根据选择的组合方式对车道线线段进行曲线拟合(即，分为一组的车道线进行组合，重新形成新的车道线线段，更新车道线线段的开始点、中间点、结束点、开始方向、中间方向和结束方向)，得到经过聚类关联后的候选车道线。这样，不需要对道路进行额外假设(例如，假设车道线是平行的、车道线是直线、路面没有磨损等)，从而适用于多种类型的车道线。假设有3条车道线线段，所有组合方式可以是0+3(全部车道线线段)，1(任意1条)+2(剩下2条)；1(任意1条)+1(剩下1条)+1(剩下1条)。
其中，作为示例，在计算车道线线段的所有组合方式的能量函数时，可首先构建条件随机场(crf)图(其中，图的顶点表示车道线线段之间的关系(角度差异(cdl-cdm)2、线段距离(cl.x-cm.x)2+(cl.y-cm.y)2)；图的边表示顶点之间的关系(顶点之间的距离关系))，然后根据crf图计算车道线线段之间的一元势函数和成对势函数，最后根据一元势函数和成对势函数计算车道线线段之间的能量函数。其中，一元势函数是根据两个线段之间的距离计算出来的两个线段关联的概率，如果针对两个车道线线段l和m，两个线段之间的距离dist1为(cl.x-cm.x)2+(cl.y-cm.y)2+(cdl-cdm)2，则一元势函数为-ln(1/(1+exp(-dist1)))；如果针对一组车道线集合，首先使用一个多项式f(x)来拟合这一组车道线，然后计算这一组车道线的每条车道线与拟合出来的多项式的距离dist2为(f(x1)-y1)2，其中，(x1,y1)为车道线的点，f(x1)为多项式拟合出来的值，则对势函数为-ln(1/(1+exp(dist2)))，则车道线线段之间的能量函数为-ln(1/(1+exp(-dist1)))-ln(1/(1+exp(dist2)))。其中，cl.x和cm.x分别是线段l和m的中间点的x轴坐标，cl.y和cm.y分别是线段l和m的中间点的y轴坐标，cdl和cdm分别是线段l和m的中间方向。
其中，作为示例，在根据能量函数从车道线线段的所有组合方式中选择组合方式时，可将能量函数最小的组合方式选择为车道线线段的组合方式。
其中，作为示例，在根据车道线线段的长度计算车道线线段的长度分值时，可根据公式score＝length/coefficient来计算车道线线段的长度分值。其中，score表示长度分值，length表示车道线线段的长度，coefficient表示预设的系数，可以是，例如，15，…，20，…，25，…等数值。
在步骤s103，从候选车道线中获取真假状态为真的候选车道线。
作为示例，在从候选车道线中获取真假状态为真的候选车道线时，可首先将所述候选车道线与历史车道线集合中的历史车道线进行匹配，得到匹配的候选车道线和历史车道线，根据匹配的历史车道线的真假状态，得到真假状态为真的候选车道线。其中，历史车道线集合中的历史车道线是基于之前帧图像中的车道线识别结果得到的。这样，通过基于之前帧图像中的车道线识别结果建立打分机制滤掉假阳性车道线，并识别磨损路面的车道线，从而提高车道线识别的准确度。
另外，在得到真假状态为真的候选车道线之后，还可根据所述候选车道线与所述历史车道线的匹配结果，更新所述历史车道线的信息(即，历史车道线的开始点、中间点、结束点、开始方向、中间方向、结束方向以及曲线拟合的系数)。具体地，可首先根据所述候选车道线与所述历史车道线的匹配结果，更新所述历史车道线的分数(例如，将匹配的历史车道线的分数更新为历史分数加上候选车道线的长度/2，并将未匹配的历史车道线的分数减少)，然后根据所述历史车道线的分数，更新所述历史车道线的真假状态。最后，还可将未匹配的候选车道线放入所述历史车道线集合中，并将所述未匹配的候选车道线的真假状态设置为待检验。
其中，作为示例，在将所述候选车道线与历史车道线集合中的历史车道线进行匹配时，可首先计算候选车道线和历史车道线集合中的历史车道线之间的距离(例如，a车道线为任意一条候选车道线，b车道线为任意一条历史车道线，a车道线的两个端点到b车道线所在直线的距离和b车道线的两个端点到a车道线所在直线的距离的平均值)，然后根据候选车道线和历史车道线之间的距离对候选车道线和历史车道线进行匹配。
其中，作为示例，在根据所述历史车道线的分数，更新所述历史车道线的真假状态时，当历史车道线的分数大于预设的第一阈值时，将历史车道线的真假状态更新为真，当历史车道线的分数小于预设的第二阈值时，将历史车道线的真假状态更新为假。
在步骤s104，根据真假状态为真的候选车道线，得到车道线。
在本发明示例性实施例中，使用曲线拟合模型对真假状态为真的候选车道线进行拟合，得到识别到的车道线。
图2示出根据本发明示例性实施例的车道线的深度获取方法的流程图。
参照图2，在步骤s201，获取道路的第一图像和第二图像。
在本发明示例性实施例中，第一图像和第二图像可分别是左图像和右图像。
作为示例，可通过车辆上的位于同一水平线上的两个相机或双目相机拍摄道路的左图像和右图像。在本发明示例性实施例中，当需要识别道路上的车道线时，获取通过相机拍摄的道路的左图像和右图像。
在步骤s202，获取所述第一图像和所述第二图像之间的匹配代价信息。
作为示例，在获取所述第一图像和所述第二图像之间的匹配代价信息时，可首先分别对获取的左图像和右图像进行车道线特征提取，得到第一图像特征图和第二图像特征图，然后根据得到的第一图像特征图和第二图像特征图计算匹配代价，得到左图像和右图像之间的匹配代价信息。
其中，作为示例，在分别对获取的左图像和右图像进行车道线特征提取时，可通过第一特征提取网络对获取的左图像进行车道线特征提取，并通过第二特征提取网络对获取的右图像进行车道线特征提取。其中，第一特征提取网络和第二特征提取网络可相同，并且可共享参数，第一特征提取网络和第二特征提取网络各自可以是卷积神经网络，第一特征提取网络和第二特征提取网络各自可包括，但不限于，vggnet和googlenet。也可分别通过图像特征提取算子(例如canny算子)对左图像和右图像进行边缘检测，得到第一图像特征图和第二图像特征图。
在本发明示例性实施例中，第一图像特征图和第二图像特征图中可分别包括左图像的高级语义特征和右图像的高级语义特征，高级语义特征可以是，例如，轮廓。第一图像的特征图和第二图像特征图中也可分别包括左图像的低级语义特征和右图像的低级语义特征。低级语义特征可以是，例如，边缘。
作为示例，为了提取高层次的更加有区分度的车道线特征，并且减少计算时间，第一特征提取网络和第二特征提取网络各自可采用分离卷积和逐点卷积(1×1卷积)的方式来降低计算代价。
作为示例，在获取所述第一图像和所述第二图像之间的匹配代价信息时，可计算第一图像特征图和第二图像特征图中的像素点的相关系数，得到匹配代价信息。如果左图像的每个点和右图像的对应点视差在10个像素范围内，则左图像中像素点(xr,y)对应的在右图像的搜索范围为：(xr-10,y)到(xr,y)。具体地，可通过计算第一图像特征图和第二图像特征图中的像素点的像素的内积来获得相关系数，两个像素点的内积越大，说明这两个像素点越相关，匹配的概率就高一些。例如，如果左图像的特征图中的像素点p1(xl，yl)与右图像的特征图中的像素点p2(xr，yr)的相关系数是两者内积p1(xl，yl)·p2(xr，yr)，则这两个像素点的匹配代价为p1(xl，yl)·p2(xr，yr)。
作为示例，可使用可用于计算匹配代价的神经网络来计算第一图像特征图和第二图像特征图之间的匹配代价。
在步骤s203，根据所述匹配代价信息，获取车道线的深度。
作为示例，在获取车道线的深度时，可首先根据所述匹配代价信息，获取第一图像和第二图像之间的视差，然后根据所述视差，获取车道线的深度。
作为示例，在获取第一图像和第二图像之间的视差时，可根据车道线信息和所述匹配代价信息，获取第一图像和第二图像之间的视差。如果xr和xt是左右两图像的两个匹配后的像素点距离图像左边缘的距离，则左图像和右图像的视差为xr-xt。
作为示例，在获取第一图像和第二图像之间的视差时，可首先将所述车道线信息与所述匹配代价信息进行叠加，得到新的匹配代价信息，然后根据所述新的匹配代价信息，获取第一图像和第二图像之间的视差。其中，车道线信息包括如下中的至少一种：车道线概率信息、车道线线段信息。
作为示例，可首先将车道线概率图的图像掩码与匹配代价进行叠加，并对叠加结果执行去噪处理，然后根据去噪处理的结果计算第一图像和第二图像之间的视差，最后根据第一图像和第二图像之间的视差、用于获取左图像和右图像的相机光心之间的距离以及用于获取左图像和右图像的相机的焦距计算车道线的深度。
作为示例，可通过用于进行匹配代价平滑的神经网络(例如，匹配代价平滑网络)对车道线概率图的图像掩码与匹配代价进行叠加，然后通过用于进行匹配代价累积的神经网络(例如，匹配代价累积网络)对叠加结果执行去噪处理。这样，通过将车道线概率图的图像掩码作为用于进行匹配代价平滑的神经网络的输入，可基于注意力机制使得在后续进行深度估计时更加专注于配准车道线区域的深度，从而减少计算量，并通过用于进行匹配代价累积的网络去掉异常点，从而提高匹配精度。
作为示例，为了得到车道线的深度，我们将初始的车道线检测结果的二值图(图像掩码一般是二值图)(把初始的车道线检测图(大小：m*n*1，m是图像高度，n是图像宽度)与已经得到的匹配代价(大小：m*n*d，m是图像高度，n是图像宽度，d是视差范围)进行叠加，得到新的匹配代价(m*n*(d+1))，我们知道，图像上相邻点的深度是连续的，为了使得相邻像素的视差更光滑，对匹配代价矩阵做滤波可以在很大程度上增加相邻像素视差的空间连续性并且可以去掉一些噪声点，具体的做法是对上一步得到的匹配代价矩阵沿着视差方向对每一个切片做平滑滤波或利用对应的彩色图约束做滤波(根据彩色图像得到边界信息，相同边界内的进行滤波，其目的是防止跨物体边界的平滑)，最后我们利用softmax和回归算法得到车道线上点的视差，进一步可以得到道路上所有点的深度。
具体地，得到匹配代价矩阵后，用softmax计算图像上每一点与所有视差值对应的概率，然后在该点将所有视差与对应概率相乘并求和。在训练匹配代价累积网络时，可通过根据回归算法计算的整幅图像上的视差值与标注的视差值之间的差别，并将差别反向传播对匹配代价累积网络进行训练。具体可使用以下公式进行训练：
其中，di为视差范围中的值，其范围为0-dmax(dmax是人为设定的值，代表视差范围，即左图像和右图像像素点之间的最大差值，例如可为10，σ()为softmax运算子，cd为匹配代价矩阵上的值。
根据公式
匹配代价矩阵是一个立方体(m*n*d)，x、y、z三个轴分别代表着图像像素的x方向(即水平方向)、y方向(垂直方向)和视差方向(对于每个视差，左图和右图的每个像素点做内积会产生一个切片m*n，多个视差切片组合在一起m*n*d。
具体地，可根据公式
其中，b表示用于获取左图像和右图像的两个相机的光心之间的距离，f表示用于获取左图像和右图像的两个相机的焦距，xr和xt分别表示两个成像点在左右两个图像上距离图像左边缘的距离，两者的差值即为视差d。
图3示出根据本发明另一示例性实施例的车道线识别方法的流程图。
参照图3，在步骤s301，获取道路的第一图像和第二图像。
在本发明示例性实施例中，第一图像和第二图像可分别是左图像和右图像。
作为示例，可通过车辆上的位于同一水平线上的两个相机拍摄道路的左图像和右图像。在本发明示例性实施例中，当需要识别道路上的车道线时，获取通过相机拍摄的道路的左图像和右图像。
在步骤s302，根据获取的第一图像或第二图像生成车道线，并获取第一图像和第二图像之间的匹配代价信息。
作为示例，在根据获取的第一图像或第二图像生成车道线时，可首先从获取的左图像或右图像中获取车道线线段，根据所述车道线线段，得到候选车道线，从所述候选车道线中获取真假状态为真的候选车道线，根据所述真假状态为真的候选车道线，得到车道线。
作为示例，在根据获取的第一图像或第二图像生成车道线，并获取第一图像和第二图像之间的匹配代价信息时，可首先分别对获取的左图像和右图像进行车道线特征提取，得到第一图像特征图和第二图像特征图，然后根据得到的第一图像特征图或者第二图像特征图生成车道线概率图，最后从车道线概率图的非零像素点中提取车道线线段，根据车道线线段得到车道线，并根据得到的第一图像特征图和第二图像特征图计算匹配代价，得到左图像和右图像之间的匹配代价信息，例如：匹配代价矩阵。
其中，作为示例，在分别对获取的左图像和右图像进行车道线特征提取时，可通过第一特征提取网络对获取的左图像进行车道线特征提取，并通过第二特征提取网络对获取的右图像进行车道线特征提取。其中，第一特征提取网络和第二特征提取网络可相同，并且可共享参数，第一特征提取网络和第二特征提取网络各自可以是卷积神经网络(例如，图4的多任务神经网络中的特征提取网络，其中，多任务神经网络中包括用于完成不同任务的多个神经网络)，第一特征提取网络和第二特征提取网络各自可包括，但不限于，vggnet和googlenet。也可分别通过图像特征提取算子(例如canny算子)对左图像和右图像进行边缘检测，得到第一图像特征图和第二图像特征图。
在本发明示例性实施例中，第一图像特征图和第二图像特征图中可分别包括左图像的高级语义特征和右图像的高级语义特征，高级语义特征可以是，例如，轮廓。第一图像特征图和第二图像特征图中也可分别包括左图像的低级语义特征和右图像的低级语义特征。低级语义特征可以是，例如，边缘。
作为示例，为了提取高层次的更加有区分度的车道线特征，并且减少计算时间，第一特征提取网络和第二特征提取网络各自可采用如图5所示的分离卷积和逐点卷积(1×1卷积)的方式来降低计算代价。
在本发明示例性实施例中，可根据得到的第一图像特征图或者第二图像特征图(第一图像特征图和第二图像特征图的其中之一)生成车道线概率图，并同时根据得到的第一图像特征图和第二图像特征图二者计算二者的匹配代价，根据匹配代价得到第一图像和第二图像之间的匹配代价信息。
作为示例，在根据得到的第一图像特征图或者第二图像特征图生成车道线概率图时，可首先计算第一图像特征图或者第二图像特征图中的像素点属于车道线的概率值，然后根据计算得到的概率值生成车道线概率图。作为示例，在根据得到的第一图像特征图或者第二图像特征图生成车道线概率图时，也可以对第一图像特征图或者第二图像特征图使用霍夫变换算法提取第一图像特征图或者第二图像特征图上的直线线段，根据得到的直线线段画出车道线二值图(像素点位于车道线的概率为1，像素点不在车道线线段上的概率为0)，并将车道线二值图转化为车道线概率图。
作为示例，可通过编码-解码神经网络(或者全卷积神经网络，例如，图4的多任务神经网络中的编码-解码神经网络)根据输入的第一图像特征图或者第二图像特征图生成车道线概率图。其中，具体地，编码神经网络可由二维卷积神经网络和池化层组成，解码神经网络可由二维反卷积神经网络和上采样层组成。编码神经网络可使用空洞卷积核来扩大神经网络的感受野，同时降低计算代价。感受野是指卷积神经网络结构中某个特征映射到输入空间的区域大小。解码神经网络可使用反卷积将小分辨率(例如，160×90)的特征图反向卷积到原分辨率(例如，1280×720)的车道线特征图。
作为示例，在得到车道线线段之后，可首先对车道线线段进行聚类关联，然后对经过聚类关联后的车道线线段进行拟合。
在本发明示例性实施例中，在对车道线线段进行聚类关联时，可使用例如随机场关联算法。首先需要得到车道线线段，例如：从车道线概率图提取位于车道线上的点，计算提取出的各点之间的距离，根据计算的距离对各点进行关联连接，得到子线段，对子线段进行拟合，得到车道线线段。然后，根据车道线线段的长度计算车道线线段的长度分值，在由长度分值大于预定分值的车道线线段组成的集合中，计算车道线线段的所有组合方式的能量函数，根据能量函数从车道线线段的所有组合方式中选择组合方式，最后根据选择的组合方式对车道线线段进行曲线拟合，得到经过聚类关联后的候选车道线。这样，不需要对道路进行额外假设(例如，假设车道线是平行的、车道线是直线、路面没有磨损等)，从而适用于多种类型的车道线。
其中，作为示例，在根据能量函数从车道线线段的所有组合方式中选择组合方式时，可将能量函数最小的组合方式选择为车道线线段的组合方式。
其中，作为示例，在根据车道线线段的长度计算车道线线段的长度分值时，可根据公式score＝length/coefficient来计算车道线线段的长度分值。其中，score表示长度分值，length表示车道线线段的长度，coefficient表示预设的系数，可以是，例如，15，…，20，…，25，…等数值。
作为示例，在从候选车道线中获取真假状态为真的候选车道线时，可首先将所述候选车道线与历史车道线集合中的历史车道线进行匹配，得到匹配的候选车道线和历史车道线，根据匹配的历史车道线的真假状态，得到真假状态为真的候选车道线。其中，历史车道线集合中的历史车道线是基于之前帧图像中的车道线识别结果得到的。这样，通过基于之前帧图像中的车道线识别结果建立打分机制滤掉假阳性车道线，并识别磨损路面的车道线，从而提高车道线识别的准确度。
另外，在得到真假状态为真的候选车道线之后，还可根据所述候选车道线与所述历史车道线的匹配结果，更新所述历史车道线的信息。具体地，可首先根据所述候选车道线与所述历史车道线的匹配结果，更新所述历史车道线的分数，然后根据所述历史车道线的分数，更新所述历史车道线的真假状态。最后，还可将未匹配的候选车道线放入所述历史车道线集合中，并将所述未匹配的候选车道线的真假状态设置为待检验。
其中，作为示例，在将所述候选车道线与历史车道线集合中的历史车道线进行匹配时，可首先计算候选车道线和历史车道线集合中的历史车道线之间的距离，然后根据候选车道线和历史车道线之间的距离对候选车道线和历史车道线进行匹配。
其中，作为示例，在根据所述历史车道线的分数，更新所述历史车道线的真假状态时，当历史车道线的分数大于预设的第一阈值时，将历史车道线的真假状态更新为真，当历史车道线的分数小于预设的第二阈值时，将历史车道线的真假状态更新为假。
作为示例，在根据得到的第一图像特征图和第二图像特征图计算匹配代价信息时，可计算第一图像特征图和第二图像特征图中的像素点的相关系数，得到匹配代价信息。具体地，可通过计算第一图像特征图和第二图像特征图中的像素点的像素的内积来获得相关系数，两个像素点的内积越大，说明这两个像素点越相关，匹配的概率就高一些。
作为示例，可使用可用于计算匹配代价的神经网络来计算第一图像特征图和第二图像特征图的匹配代价信息。其中，可用于计算匹配代价信息的神经网络可以是例如图4的多任务神经网络中的匹配代价网络。
在步骤s303，根据匹配代价信息，获取车道线的深度。
作为示例，在获取车道线的深度时，可首先根据所述匹配代价信息，获取左图像和右图像之间的视差，然后根据所述视差，获取车道线的深度。
作为示例，在获取左图像和右图像之间的视差时，可根据车道线信息和所述匹配代价信息，获取第一图像和第二图像之间的视差。
作为示例，在获取第一图像和第二图像之间的视差时，可首先将所述车道线信息与所述匹配代价信息进行叠加，得到新的匹配代价信息，然后根据所述新的匹配代价信息，获取第一图像和第二图像之间的视差。其中，车道线信息包括如下中的至少一种：车道线概率信息、车道线线段信息。
作为示例，可首先将车道线概率图的图像掩码与匹配代价进行叠加，并对叠加结果执行去噪处理，然后根据去噪处理的结果计算第一图像和第二图像之间的视差，最后根据第一图像和第二图像之间的视差、用于获取左图像和右图像的相机光心之间的距离以及用于获取左图像和右图像的相机的焦距计算车道线的深度。
作为示例，可通过用于进行匹配代价平滑的神经网络(例如，图4的多任务神经网络中的匹配代价平滑网络)对车道线概率图的图像掩码与匹配代价进行叠加，然后通过用于进行匹配代价累积的神经网络(例如，图4的多任务神经网络中的匹配代价累积网络)对叠加结果执行去噪处理。这样，通过将车道线概率图的图像掩码作为用于进行匹配代价平滑的神经网络的输入，可基于注意力机制使得在后续进行深度估计时更加专注于配准车道线区域的深度，从而减少计算量，并通过用于进行匹配代价累积的网络去掉异常点，从而提高匹配精度。
在步骤s304，根据生成的车道线和获取的车道线的深度，得到3d车道线。
在本发明示例性实施例中，最后得到包含车道线的深度信息的3d车道线。
作为示例，可通过如图6所示的流程来生成3d车道线，首先获取道路的左图像和右图像，分别对左图像和右图像进行特征提取得到第一图像特征图和第二图像特征图，然后根据第一图像特征图生成车道线概率图，并同时根据第一图像特征图和第二图像特征图计算左图像和右图像之间的匹配代价，之后根据车道线概率图进行车道线聚类、车道线筛选和车道线拟合得到车道线，并对匹配代价进行平滑和累积操作，根据平滑和累积的结果进行车道线的深度计算，最后根据生成的车道线和得到的车道线的深度，得到3d车道线。
其中：
(1)在进行车道线特征提取时：基于卷积神经网络(cnn)提取高层次的特征，该网络输入为左图像，网络输出为提取的特征图；对图像特征的提取主要是基于卷积神经网络模型的，现有的一些网络类似于vggnet,googlenet等模型都可以用于该模块的特征提取，同时这些结构也都算是卷积神经网络结构；
(2)在进行车道线概率图生成时：基于编码-解码(encoder-decoder)神经网络(其他网络，例如：全卷积网络(fullyconvolutionalnetworks，fcn))得到初始的车道线概率图(图像中的像素值等于该像素属于车道线的概率值)，该网络输入为上一步提取的特征图，网络输出为初始的车道线概率图；
(3)在进行车道线聚类时：基于条件随机场算法(conditionalrandomfields,crf)(其他算法，例如：马尔科夫随机场(markovrandomfield,mrf))得到聚类关联后的车道线图集合，该步的输入为由车道线概率图上的非零像素点提取的车道线线段集合，输出为经过聚类关联后的车道线集合；初始的车道线概率图仅仅表示的是像素值属于车道线的概率，并非是一条条的车道线，有可能存在一些路标在初始的概率图中被误识为车道线，首先识别车道线概率图中的线段，然后将属于同一条车道线的线段聚类整合为一条新的车道线，这样就得到聚类关联后的车道线图像；
(4)在进行车道线筛选时：基于打分机制，对车道线真假状态进行判别，该步的输入为上一步得到的经过聚类后的车道线集合作为候选车道线集合，输出为判别为真的车道线集合；
(5)在进行车道线拟合时：基于曲线拟合模型对车道线进行曲线拟合，该步的输入为上一步得到的状态为真的车道线集合，输出为经过重新拟合后的车道线集合。
其中：
(1)在进行车道线特征提取时：基于卷积神经网络cnn提取高层次的特征，该网络输入为右图像，网络输出为提取的右图像的特征图；
(2)在进行初始匹配代价计算时：基于左、右图像的特征图计算初始匹配代价，该网络输入为提取的左、右图像的特征图，网络输出为匹配代价图；
(3)在进行匹配代价平滑和累积时：基于注意力机制原理，把初始的车道线检测图(m*n*1)与已经得到的匹配代价(m*n*d)进行叠加，得到新的匹配代价(m*n*(d+1))并对匹配代价做空间滤波，这样可以增加相邻像素的平滑性并去掉匹配代价的噪声，该网络输入为匹配代价图和初始的车道线检测图，网络输出为经过平滑和累积处理的匹配代价图；
(4)视差计算：基于softmax和回归得到车道线视差，进一步根据参数基线和焦距得到车道线的3d深度，该网络输入为上一步经过处理后匹配代价图，网络输出为深度图。
根据本发明示例性实施例的车道线识别方法，可适用于复杂的城市车道线场景，对于交叉路段、路面标志、磨损的车道线、近处和远处物体距离估计等都具有较好的性能，能够提高车道线识别的准确性，保证了亚像素精度的3d立体匹配。并且可在通过神经网络实现车道线识别时，通过把初始的车道线信息当成一个模板叠加到匹配代价的注意力机制、共享2个特征提取卷积神经网络的网络参数、使用深度可分离卷积和逐点卷积等方式的特征提取卷积神经网络来降低计算代价，从而提高计算速度。
以上已经结合图1至图6对根据本发明示例性实施例的车道线识别方法进行了描述。在下文中，将参照图7至图10对根据本发明示例性实施例的车道线识别装置及其模块进行描述。
图7示出根据本发明示例性实施例的车道线识别装置的示意图。
参照图7，车道线识别装置包括线段获取模块71、车道线候选模块72、车道线筛选模块73和车道线获取模块74。
线段获取模块71，被配置为根据获取的道路的图像，获取车道线线段。
作为示例，可通过车辆上的相机拍摄道路的图像。在本发明示例性实施例中，当需要识别道路上的车道线时，获取通过相机拍摄的道路的图像，从获取的图像中获取车道线线段。
作为示例，在获取车道线线段时，可首先对获取的图像进行车道线特征提取，得到图像的特征图，然后根据得到的图像的特征图生成车道线概率图，最后从车道线概率图的非零像素点中提取车道线线段。车道线概率图表示图像中的像素点属于车道线的概率。另外，也可以在得到图像的特征图之后，通过对图像的特征图使用霍夫变换算法提取图像的特征图上的直线线段作为车道线线段。
作为示例，可通过特征提取网络对图像进行车道线特征提取。其中，特征提取网络可以是卷积神经网络，特征提取网络可包括，但不限于，vggnet和googlenet。也可分别通过图像特征提取算子(例如canny算子)对图像进行边缘检测，得到图像的特征图。
作为示例，图像的特征图中可分别包括图像的高级语义特征。高级语义特征可以是，例如，轮廓。图像的特征图中也可分别包括左图像的低级语义特征和右图像的低级语义特征。低级语义特征可以是，例如，边缘。
作为示例，为了提取高层次的更加有区分度的车道线特征，并且减少计算时间，特征提取网络可采用分离卷积和逐点卷积(1×1卷积)的方式来降低计算代价。
作为示例，在根据得到的图像的特征图生成车道线概率图时，可首先计算图像的特征图中的像素点属于车道线的概率值，然后根据计算得到的概率值生成车道线概率图。在根据得到的图像的特征图生成车道线概率图时，也可以对图像的特征图使用霍夫变换算法提取图像特征图上的直线线段，根据得到的直线线段画出车道线二值图(像素点位于车道线的概率为1，像素点不在车道线线段上的概率为0)，将车道线二值图转化为车道线概率图。
作为示例，可通过编码-解码神经网络(或者全卷积神经网络)根据输入的图像的特征图生成车道线概率图。其中，具体地，编码神经网络可由二维卷积神经网络和池化层组成，解码神经网络可由二维反卷积神经网络和上采样层组成。编码神经网络可使用空洞卷积核来扩大神经网络的感受野，同时降低计算代价。感受野是指卷积神经网络结构中某个特征映射到输入空间的区域大小。解码神经网络可使用反卷积将小分辨率(例如，160×90)的特征图反向卷积到原分辨率(例如，1280×720)的车道线特征图。
车道线候选模块72，被配置为根据所述车道线线段，得到候选车道线。
作为示例，在得到车道线线段之后，可首先对车道线线段进行聚类关联，然后对经过聚类关联后的车道线线段进行拟合，得到候选车道线。
作为示例，在对车道线线段进行聚类关联时，可使用例如随机场关联算法。首先需要得到车道线线段，例如：从车道线概率图提取位于车道线上的点，计算提取出的各点之间的距离，根据计算的距离对各点进行关联，得到子线段，再对子线段进行关联，得到车道线线段。然后根据车道线线段的长度计算车道线线段的长度分值，在由长度分值大于预定分值的车道线线段组成的集合中，计算车道线线段的所有组合方式的能量函数，根据能量函数从车道线线段的所有组合方式中选择符合条件的组合方式，最后根据选择的组合方式对车道线线段进行曲线拟合，得到经过聚类关联后的候选车道线。这样，不需要对道路进行额外假设(例如，假设车道线是平行的、车道线是直线、路面没有磨损等)，从而适用于多种类型的车道线。
其中，作为示例，在根据能量函数从车道线线段的所有组合方式中选择组合方式时，可将能量函数最小的组合方式选择为车道线线段的组合方式。
车道线筛选模块73，被配置为从所述候选车道线中获取真假状态为真的候选车道线。
作为示例，车道线筛选模块73可被配置为：将所述候选车道线与历史车道线集合中的历史车道线进行匹配，得到匹配的候选车道线和历史车道线；根据匹配的历史车道线的真假状态，得到真假状态为真的候选车道线。
作为示例，所述车道线识别装置还包括：历史更新模块，被配置为：根据所述候选车道线与所述历史车道线的匹配结果，更新所述历史车道线的信息。
作为示例，历史更新模块可被配置为：根据所述候选车道线与所述历史车道线的匹配结果，更新所述历史车道线的分数；根据所述历史车道线的分数，更新所述历史车道线的真假状态。
作为示例，所述车道线识别装置还包括：集合更新模块，被配置为：将未匹配的候选车道线放入所述历史车道线集合中，并将所述未匹配的候选车道线的真假状态设置为待检验。
其中，作为示例，在将所述候选车道线与历史车道线集合中的历史车道线进行匹配时，可首先计算候选车道线和历史车道线集合中的历史车道线两之间的距离，然后根据候选车道线和历史车道线之间的距离对候选车道线和历史车道线进行匹配。
其中，作为示例，在根据所述历史车道线的分数，更新所述历史车道线的真假状态时，当历史车道线的分数大于预设的第一阈值时，将历史车道线的真假状态更新为真，当历史车道线的分数小于预设的第二阈值时，将历史车道线的真假状态更新为假。
车道线获取模块74，被配置为根据所述真假状态为真的候选车道线，得到车道线。
图8示出根据本发明示例性实施例的车道线的深度获取装置的示意图。
参照图8，车道线识别装置包括图像获取模块81、图像匹配模块82和深度计算模块83。
图像获取模块81，被配置为获取道路的第一图像和第二图像。
在本发明示例性实施例中，第一图像和第二图像可分别是左图像和右图像。
作为示例，可通过车辆上的位于同一水平线上的两个相机或双目相机拍摄道路的左图像和右图像。在本发明示例性实施例中，当需要识别道路上的车道线时，获取通过相机拍摄的道路的左图像和右图像。
图像匹配模块82，被配置为获取所述第一图像和所述第二图像之间的匹配代价信息。
作为示例，图像匹配模块被配置为：通过第一特征提取网络对获取的第一图像进行车道线特征提取，并通过第二特征提取网络对获取的第二图像进行车道线特征提取，其中，第一特征提取网络和第二特征提取网络共享参数；根据提取的第一图像的车道线特征和第二图像的车道线特征，获取所述第一图像和第二图像的匹配代价信息。
深度计算模块83，被配置为根据所述匹配代价信息获取车道线的深度。
作为示例，深度计算模块83可被配置为：根据所述匹配代价信息，获取第一图像和第二图像之间的视差；根据所述视差，获取车道线的深度。
作为示例，深度计算模块83可被配置为：根据车道线信息和所述匹配代价信息，获取第一图像和第二图像之间的视差。
作为示例，深度计算模块83可被配置为：将所述车道线信息与所述匹配代价信息进行叠加，得到新的匹配代价信息；根据所述新的匹配代价信息，获取第一图像和第二图像之间的视差。
其中，作为示例，车道线信息可包括如下中的至少一种：车道线概率信息、车道线线段信息。
图9示出根据本发明另一示例性实施例的车道线识别装置的示意图。
参照图9，车道线识别装置包括图像获取模块91、图像计算模块92、深度计算模块93和结果生成模块95。
图像获取模块91，被配置为获取道路的第一图像和第二图像。
在本发明示例性实施例中，第一图像和第二图像可分别是左图像和右图像。
作为示例，可通过车辆上的位于同一水平线上的两个相机拍摄道路的左图像和右图像。在本发明示例性实施例中，当需要识别道路上的车道线时，获取通过相机拍摄的道路的左图像和右图像。
图像计算模块92，被配置为根据获取的第一图像或第二图像生成车道线，并获取第一图像和第二图像之间的匹配代价信息。
作为示例，图像计算模块92可被配置为：从获取的第一图像或第二图像中获取车道线线段；根据所述车道线线段，得到候选车道线；从所述候选车道线中获取真假状态为真的候选车道线；根据所述真假状态为真的候选车道线，得到车道线。
作为示例，在根据获取的第一图像或第二图像生成车道线，并获取第一图像和第二图像之间的匹配代价信息时，可首先分别对获取的左图像和右图像进行车道线特征提取，得到第一图像特征图和第二图像特征图，然后根据得到的第一图像特征图或者第二图像特征图生成车道线概率图，最后从车道线概率图的非零像素点中提取车道线线段，根据车道线线段得到车道线，并根据得到的第一图像特征图和第二图像特征图计算匹配代价，得到第一图像和第二图像之间的匹配代价信息，例如：匹配代价矩阵。
其中，作为示例，在分别对获取的左图像和右图像进行车道线特征提取时，可通过第一特征提取网络对获取的左图像进行车道线特征提取，并通过第二特征提取网络对获取的右图像进行车道线特征提取。其中，第一特征提取网络和第二特征提取网络可相同，并且可共享参数，第一特征提取网络和第二特征提取网络各自可以是卷积神经网络，第一特征提取网络和第二特征提取网络各自可包括，但不限于，vggnet和googlenet。也可分别通过图像特征提取算子(例如canny算子)对左图像和右图像进行边缘检测，得到第一图像特征图和第二图像特征图。
作为示例，第一图像特征图和第二图像特征图中可分别包括左图像的高级语义特征和右图像的高级语义特征，高级语义特征可以是，例如，轮廓。第一图像特征图和第二图像特征图中也可分别包括左图像的低级语义特征和右图像的低级语义特征。低级语义特征可以是，例如，边缘。
作为示例，为了提取高层次的更加有区分度的车道线特征，并且减少计算时间，第一特征提取网络和第二特征提取网络各自可采用分离卷积和逐点卷积(1×1卷积)的方式来降低计算代价。
作为示例，可根据得到的第一图像特征图或者第二图像特征图(第一图像特征图和第二图像特征图的其中之一)生成车道线概率图，并同时根据得到的第一图像特征图和第二图像特征图二者计算二者的匹配代价，根据匹配代价得到第一图像和第二图像之间的匹配代价信息。
作为示例，在根据得到的第一图像特征图或者第二图像特征图生成车道线概率图时，可首先计算第一图像特征图或者第二图像特征图中的像素点属于车道线的概率值，然后根据计算得到的概率值生成车道线概率图。也可以对第一图像特征图或者第二图像特征图使用霍夫变换算法提取第一图像特征图或者第二图像特征图上的直线线段，根据得到的直线线段画出车道线二值图(像素点位于车道线的概率为1，像素点不在车道线线段上的概率为0)，将车道线二值图转化为车道线概率图。
作为示例，可通过编码-解码神经网络(或者全卷积神经网络)根据输入的第一图像特征图或者第二图像特征图生成车道线概率图。其中，具体地，编码神经网络可由二维卷积神经网络和池化层组成，解码神经网络可由二维反卷积神经网络和上采样层组成。编码神经网络可使用空洞卷积核来扩大神经网络的感受野，同时降低计算代价。感受野是指卷积神经网络结构中某个特征映射到输入空间的区域大小。解码神经网络可使用反卷积将小分辨率(例如，160×90)的特征图反向卷积到原分辨率(例如，1280×720)的车道线特征图。
作为示例，在得到车道线线段之后，可首先对车道线线段进行聚类关联，然后对经过聚类关联后的车道线线段进行拟合。
作为示例，在对车道线线段进行聚类关联时，可使用例如随机场关联算法。首先需要得到车道线线段，例如：从车道线概率图提取位于车道线上的点，计算提取出的各点之间的距离，根据计算的距离对各点进行关联连接，得到子线段，对子线段进行拟合，得到车道线线段。然后根据车道线线段的长度计算车道线线段的长度分值，在由长度分值大于预定分值的车道线线段组成的集合中，计算车道线线段的所有组合方式的能量函数，根据能量函数从车道线线段的所有组合方式中选择组合方式，最后根据选择的组合方式对车道线线段进行曲线拟合，得到经过聚类关联后的候选车道线。这样，不需要对道路进行额外假设(例如，假设车道线是平行的、车道线是直线、路面没有磨损等)，从而适用于多种类型的车道线。
其中，作为示例，在根据能量函数从车道线线段的所有组合方式中选择组合方式时，可将能量函数最小的组合方式选择为车道线线段的组合方式。
作为示例，图像计算模块92可被配置为：将所述候选车道线与历史车道线集合中的历史车道线进行匹配，得到匹配的候选车道线和历史车道线；根据匹配的历史车道线的真假状态，得到真假状态为真的候选车道线。
作为示例，图像计算模块92可被配置为：通过第一特征提取网络对获取的第一图像进行车道线特征提取，并通过第二特征提取网络对获取的第二图像进行车道线特征提取，其中，第一特征提取网络和第二特征提取网络共享参数；根据提取的第一图像的车道线特征和第二图像的车道线特征，获取所述第一图像和第二图像的匹配代价信息。
作为示例，所述车道线识别装置还可包括：历史更新模块，被配置为：根据所述候选车道线与所述历史车道线的匹配结果，更新所述历史车道线的信息。
作为示例，历史更新模块可被配置为：根据所述候选车道线与所述历史车道线的匹配结果，更新所述历史车道线的分数；根据所述历史车道线的分数，更新所述历史车道线的真假状态。
作为示例，所述车道线识别装置还可包括：集合更新模块，被配置为：将未匹配的候选车道线放入所述历史车道线集合中，并将所述未匹配的候选车道线的真假状态设置为待检验。
其中，作为示例，在将所述候选车道线与历史车道线集合中的历史车道线进行匹配时，可首先计算候选车道线和历史车道线集合中的历史车道线两两车道线之间的距离，然后根据候选车道线和历史车道线之间的距离对候选车道线和历史车道线进行匹配。
其中，作为示例，在根据所述历史车道线的分数，更新所述历史车道线的真假状态时，当历史车道线的分数大于预设的第一阈值时，将历史车道线的真假状态更新为真，当历史车道线的分数小于预设的第二阈值时，将历史车道线的真假状态更新为假。
作为示例，在根据得到的第一图像特征图和第二图像特征图计算匹配代价信息时，可计算第一图像特征图和第二图像特征图中的像素点的相关系数，得到匹配代价信息。具体地，可通过计算第一图像特征图和第二图像特征图中的像素点的像素的内积来获得相关系数，两个像素点的内积越大，说明这两个像素点越相关，匹配的概率就高一些。
作为示例，可使用可用于计算匹配代价信息的神经网络来计算第一图像特征图和第二图像特征图的匹配代价。
深度计算模块93，被配置为根据匹配代价信息获取车道线的深度。
作为示例，深度计算模块93可被配置为：根据所述匹配代价信息，获取第一图像和第二图像之间的视差；根据所述视差，获取车道线的深度。
作为示例，深度计算模块93可被配置为：根据车道线信息和所述匹配代价信息，获取第一图像和第二图像之间的视差。
深度计算模块93可被配置为：将所述车道线信息与所述匹配代价信息进行叠加，得到新的匹配代价信息；根据所述新的匹配代价信息，获取第一图像和第二图像之间的视差。
其中，作为示例，车道线信息包括如下中的至少一种：车道线概率信息、车道线线段信息。
结果生成模块94，被配置为根据生成的车道线和获取的车道线的深度，得到3d车道线。
作为示例，车道线识别装置可以是图10所示的网络模型。该网络模型包括车道线识别模型和深度估计模型。由于该模型主要是针对驾驶场景设计的，主要的载体是车载抬头显示系统，也可以放在云端，通过数据传输对数据进行处理。其中车道线识别模型负责车道线的识别，包括特征提取模块(共享)、车道线概率图生成模块、车道线聚类模块、车道线追踪模块和车道线拟合模块；深度估计模型负责对场景距离计算，包括特征提取模块(共享)、匹配代价计算模块、匹配代价平滑模块、匹配代价累积模块和视差计算模块。
其中，特征提取模块用于提取图像的高级语义特征，是车道线识别模型和深度估计模型权重共享的；图像的特征可分为两个层次，包括低层视觉特征，和高级语义特征；低层视觉特征包括纹理、颜色、形状等；高层语义特征一般是经过较深的神经网络提取的，例如轮廓。车道线概率图生成模块用于基于提取的语义特征生成像素级别的初始的车道线边缘概率图；车道线线段提取用于基于前面得到的初始的车道线边缘概率图，将位置相连的像素点用曲线拟合出来，曲线拟合的方法例如b样条曲线拟合，得到初始的车道线线段集合；车道线聚类模块用于将初始的车道线线段集合中的有关联的车道线分为一组；车道线追踪模块用于基于前面视频帧提取的车道线对现有车道线的状态进行判断；车道线拟合模块用于最终确认的车道线进行曲线拟合。匹配代价计算模块用于计算左、右图像的特征图的匹配代价；匹配代价平滑模块和匹配代价累积模块用于对匹配代价进行滤波，去掉噪声。
根据本发明示例性实施例的车道线识别装置，可适用于复杂的城市车道线场景，对于交叉路段、路面标志、磨损的车道线、近处和远处物体距离估计等都具有较好的性能，能够提高车道线识别的准确性，保证了亚像素精度的3d立体匹配。并且可在通过神经网络实现车道线识别时，通过把初始的车道线信息当成一个模板叠加到匹配代价的注意力机制、共享2个特征提取卷积神经网络的网络参数，从而提高计算速度。
此外，根据本发明的示例性实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，程序被执行时实现根据本发明的车道线识别方法的步骤。
作为示例，程序被执行时可实现以下步骤：根据获取的道路的图像，获取车道线线段；根据所述车道线线段，得到候选车道线；从所述候选车道线中获取真假状态为真的候选车道线；根据所述真假状态为真的候选车道线，得到车道线。
作为示例，程序被执行时可实现以下步骤：获取道路的第一图像和第二图像；获取所述第一图像和所述第二图像之间的匹配代价信息；根据所述匹配代价信息，获取车道线的深度。
作为示例，程序被执行时可实现以下步骤：获取道路的第一图像和第二图像；根据获取的第一图像或第二图像生成车道线，并获取第一图像和第二图像之间的匹配代价信息；根据匹配代价信息获取车道线的深度；根据生成的车道线和获取的车道线的深度，得到3d车道线。
以上已经结合图7至图10对根据本发明示例性实施例的车道线识别装置进行了描述。接下来，结合图11对根据本发明的示例性实施例的电子设备进行描述。
图11示出根据本发明示例性实施例的电子设备的示意图。
参照图11，根据本发明示例性实施例的电子设备11，包括存储器111、处理器112及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现根据本发明的车道线识别方法的步骤。
作为示例，处理器可被配置为执行包括以下车道线识别方法的步骤的程序：根据获取的道路的图像，获取车道线线段；根据所述车道线线段，得到候选车道线；从所述候选车道线中获取真假状态为真的候选车道线；根据所述真假状态为真的候选车道线，得到车道线。
作为示例，处理器可被配置为执行包括以下车道线识别方法的步骤的程序：获取道路的第一图像和第二图像；获取所述第一图像和所述第二图像之间的匹配代价信息；根据所述匹配代价信息，获取车道线的深度。
作为示例，处理器可被配置为执行包括以下车道线识别方法的步骤的程序：获取道路的第一图像和第二图像；根据获取的第一图像或第二图像生成车道线，并获取第一图像和第二图像之间的匹配代价信息；根据匹配代价信息获取车道线的深度；根据生成的车道线和获取的车道线的深度，得到3d车道线。
以上已参照图1至图11描述了根据本发明示例性实施例的车道线识别方法及装置。然而，应该理解的是：图7至图9中所示的车道线识别装置及其模块可分别被配置为执行特定功能的软件、硬件、固件或上述项的任意组合，图11中所示的电子设备并不限于包括以上示出的组件，而是可根据需要增加或删除一些组件，并且以上组件也可被组合。
接下来，为便于更好地理解本申请，对根据本发明示例性实施例的包含电子设备的识别网络进行示例性地简要描述。
图12示出根据本发明示例性实施例的包含电子设备的识别网络的示意图。
参照图12，识别网络1200可包括第一相机1310、第二相机1220、电子设备1230和显示设备1240。第一相机1210和第二相机1220可以是车辆上的位于同一水平线上的两个相机，也可以集成为一个双目相机。第一相机1310、第二相机1220、电子设备1230和显示设备1240可分开设置，也可集成为一体。例如：电子设备1230和显示设备1240可集成为任意具有计算功能和显示功能的电子装置，第一相机1310、第二相机1220、电子设备1230和显示设备1240可集成为任意具有拍摄功能、计算功能、和显示功能的电子装置。在本发明示例性实施例中，为方便描述，在图12中假设第一相机1310、第二相机1220、电子设备1230和显示设备1240分开设置。当电子设备1230和显示设备1240分开设置时，电子设备1230可设置在云端，也可以是本地实体装置，例如，车载抬头显示系统或装置。
作为示例，当需要获取车道线的深度信息时，通过电子设备1230首先从第一相机1210和第二相机1220获取(或接收)道路的左图像和右图像，然后分别对获取的左图像和右图像进行车道线特征提取，得到第一图像特征图和第二图像特征图，根据得到的第一图像特征图和第二图像特征图计算匹配代价，得到左图像和右图像之间的匹配代价信息，根据左图像和右图像之间的匹配代价信息计算车道线的深度，得到车道线的深度。
作为示例，当需要向用户显示道路上的3d车道线时，可通过电子设备1230首先从第一相机1210和第二相机1220获取(或接收)道路的左图像和右图像，然后根据获取的左图像或右图像生成车道线，并获取左图像和右图像之间的匹配代价，得到左图像和右图像之间的匹配代价信息，根据左图像和右图像之间的匹配代价信息计算车道线的深度，最后根据车道线和车道线的深度得到3d车道线，并通过显示设备1240显示电子设备1230得到的3d车道线。
作为示例，在根据获取的左图像或右图像生成车道线时，可首先从获取的左图像或右图像中获取车道线线段，根据所述车道线线段，得到候选车道线，从所述候选车道线中获取真假状态为真的候选车道线，根据所述真假状态为真的候选车道线，得到车道线。
作为示例，在根据获取的左图像或右图像生成车道线，并获取左图像或右图像之间的匹配代价信息时，可首先分别对获取的左图像和右图像进行车道线特征提取，得到第一图像特征图和第二图像特征图，然后根据得到的第一图像特征图或者第二图像特征图生成车道线概率图，最后从车道线概率图的非零像素点中提取车道线线段，根据车道线线段得到车道线，并根据得到的第一图像特征图和第二图像特征图计算匹配代价，得到第一图像和第二图像之间的匹配代价信息。
作为示例，可分别通过第一特征提取网络和第二特征提取网络对左图像和右图像同时进行车道线特征提取，其中，第一特征提取网络和第二特征提取网络可相同，并且可共享参数，从而减少计算量。第一特征提取网络和第二特征提取网络各自可以是卷积神经网络，第一特征提取网络和第二特征提取网络各自可包括，但不限于，vggnet和googlenet。作为示例，也可分别通过图像特征提取算子对左图像和右图像进行边缘检测，得到第一图像特征图和第二图像特征图，例如canny算子。
作为示例，在根据得到的第一图像特征图或者第二图像特征图生成车道线概率图时，可首先计算第一图像特征图或者第二图像特征图中的像素点属于车道线的概率值，然后根据计算得到的概率值生成车道线概率图。作为示例，在根据得到的第一图像特征图或者第二图像特征图生成车道线概率图时，也可以对第一图像特征图或者第二图像特征图使用霍夫变换算法提取第一图像特征图或者第二图像特征图上的直线线段，根据得到的直线线段画出车道线二值图(像素点位于车道线的概率为1，像素点不在车道线线段上的概率为0)，并将车道线二值图转化为车道线概率图。
作为示例，可通过编码-解码神经网络(或者全卷积神经网络)根据输入的第一图像特征图或者第二图像特征图生成车道线概率图。
作为示例，在从候选车道线中获取真假状态为真的候选车道线时，可首先将所述候选车道线与历史车道线集合中的历史车道线进行匹配，得到匹配的候选车道线和历史车道线，根据匹配的历史车道线的真假状态，得到真假状态为真的候选车道线。其中，历史车道线集合中的历史车道线是基于之前帧图像中的车道线识别结果得到的。这样，通过基于之前帧图像中的车道线识别结果建立打分机制滤掉假阳性车道线，并识别磨损路面的车道线，从而提高车道线识别的准确度。
另外，在得到真假状态为真的候选车道线之后，还可根据所述候选车道线与所述历史车道线的匹配结果，更新所述历史车道线的信息。具体地，可首先根据所述候选车道线与所述历史车道线的匹配结果，更新所述历史车道线的分数，然后根据所述历史车道线的分数，更新所述历史车道线的真假状态。最后，还可将未匹配的候选车道线放入所述历史车道线集合中，并将所述未匹配的候选车道线的真假状态设置为待检验。
作为示例，在根据匹配代价信息计算车道线的深度时，可首先将车道线概率图的图像掩码与匹配代价进行叠加，并对叠加结果执行去噪处理，然后根据去噪处理的结果计算第一图像图和第二图像图之间的视差，最后根据第一图像图和第二图像图之间的视差、用于获取左图像和右图像的相机光心之间的距离以及用于获取左图像和右图像的相机的焦距计算车道线的深度。
其中，作为示例，可通过用于进行匹配代价平滑的神经网络对车道线概率图的图像掩码与匹配代价进行叠加，然后通过用于进行匹配代价累积的神经网络对叠加结果执行去噪处理。这样，通过将车道线概率图的图像掩码作为用于进行匹配代价平滑的神经网络的输入，可基于注意力机制使得在后续进行深度估计时更加专注于配准车道线区域的深度，从而减少计算量，并通过用于进行匹配代价累积的网络去掉异常点，从而提高匹配精度。
需要说明的是，以上参照图12描述的识别网络并不限于包括以上描述的组件，而是可根据需要增加或删除一些组件，并且以上组件也可被组合。
根据本发明示例性实施例的车道线识别方法及装置，可适用于复杂的城市车道线场景，对于交叉路段、路面标志、磨损的车道线、近处和远处物体距离估计等都具有较好的性能，能够提高车道线识别的准确性，保证了亚像素精度的3d立体匹配。并且可在通过神经网络实现车道线识别时，通过把初始的车道线信息当成一个模板叠加到匹配代价的注意力机制、共享2个特征提取卷积神经网络的网络参数，从而提高计算速度。
尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。
- 还没有人留言评论。精彩留言会获得点赞！