用于车道线识别的道路图片标注方法和装置与流程
本申请涉及图像处理技术领域，尤其涉及一种用于车道线识别的道路图片标注方法和装置。
背景技术：
目基于深度学习模型的图像特征提取方法已经得到应用。例如，在自动驾驶领域和辅助驾驶领域，已经采用基于深度学习训练的模型对车辆相机拍摄的道路图片进行处理，并识别道路图片中的车道线。
为了保证采用基于深度学习训练得到的模型满足实际应用需求，会尽可能地准确地识别车道线，需要获取大量的训练样本，并需要对训练样本进行标注，即需要对训练样本中的车道线进行标注。
目前，对训练样本进行标注是由人工实现，即需要人工识别出道路图片中的车道线，采用特征方程表示或者曲线表示的方法标注出道路图片中的车道线，并将标准出的车道线作为道路图片的标签。人工标注方法需要消耗大量的人力，其成本高昂。并且，人工标引方法并不能识别出哪些训练样本图像是用于快速提升模型训练准确性的坏样本图像。
技术实现要素：
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种用于车道线识别的道路图像标注方法和装置。
一方面，本申请提供一种用于车道线识别的道路图像标注方法，包括：
获取道路中车道线的三维坐标数据，以及获取拍摄所述道路的相机的位姿；
根据所述位姿对所述三维坐标数据进行投影变换，得到投影至所述道路图像中的二维投影数据；
采用所述二维投影数据作为所述道路图像的车道线标注数据。
可选地，所述用于车道线识别的道路图像标注方法还包括：
采用历史车道线识别模型处理所述道路图像，得到车道线识别数据；
根据所述车道线标注数据和所述车道线识别数据，判断所述道路图像是否为坏样本图像。
可选地，所述获取道路中车道线的三维坐标数据，包括：
获取至少两张所述道路图像；各个所述道路图像对应的相机拍摄位姿不同；
采用三维重建方法，根据所述至少两张道路图像确定所述车道线的三维坐标数据。
可选地，采用三维重建方法，根据所述至少两张道路图像确定所述车道线的三维坐标数据，包括：
获取所述至少两张道路图像的匹配特征点；
根据所述匹配特征点确定形成所述道路图像的相机的位姿；
根据所述至少两张道路图像和对应的所述相机的位姿构建表征所述道路的空间稠密点云；
根据所述空间稠密点云得到车道线点云；
根据所述车道线点云确定所述车道线的三维坐标数据。
可选地，获取拍摄所述道路的相机的位姿包括：
获取所述至少两张道路图像的匹配特征点，根据所述匹配特征点确定所述相机的位姿。
可选地，获取拍摄所述道路的相机的位姿包括：
获取车辆的定位特征数据，根据所述定位特征数据确定所述相机的位姿。
可选地，获取道路中车道线的三维坐标数据，包括：
查找所述道路的高精地图，确定所述车道线的三维坐标数据。
另一方面，本申请提供一种用于车道线识别的道路图像标注装置，包括：
数据获取单元，用于获取道路中车道线的三维坐标数据，以及获取拍摄所述道路的相机的位姿；
投影计算单元，用于根据所述位姿对所述三维坐标数据进行投影变换，得到投影至所述道路图像中的二维投影数据；
标定单元，用于采用所述二维投影数据作为所述道路图像的车道线标注数据。
可选地，所述用于车道线识别的道路图像标注装置，还包括：
模型计算单元，用于采用历史车道线识别模型处理所述道路图像，得到车道线识别数据；
坏样本识别单元，用于根据所述车道线标注数据和所述车道线识别数据，判断所述道路图像是否为坏样本图像。
可选地，所述数据获取单元包括：
图片获取子单元，用于获取至少两张所述道路图像；各个所述道路图像对应的相机拍摄位姿不同；
三维重建子单元，用于采用三维重建方法，根据所述至少两张道路图像确定所述车道线的三维坐标数据。
可选地，所述三维重建子单元包括：
匹配特征点获取子单元，用于获取所述至少两张道路图像的匹配特征点；
位姿获取子单元，用于根据所述匹配特征点确定形成所述道路图像的相机的位姿；
稠密点云获取子单元，用于根据所述至少两张道路图像和对应的所述相机的位姿构建表征所述道路的空间稠密点云；
车道线点云获取子单元，用于根据所述空间稠密点云得到车道线点云；
三维坐标数据计算子单元，用于根据所述车道线点云确定所述车道线的三维坐标数据。
可选地，所述数据获取单元获取车辆的定位特征数据，根据所述定位特征数据确定所述相机的位姿。
可选地，所述数据获取单元通过查找所述道路的高精地图，确定所述车道线的三维坐标数据。
本申请提供的用于车道线识别的道路图像标注方法和装置，直接利用车道线的三维坐标数据和相机的坐姿，对三维坐标数据进行投影变换得到的二维投影数据作为车道线标注数据。采用此方法确定的道路图像车道线标注方法能够实现车道线标注的自动化，解决了现有人工标注数据成本高的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的用于车道线识别的道路图像标注方法流程图；
图2是本申请另一实施例提供的用于车道线识别的道路图像标注方法流程图；
图3是本申请实施例提供的用于车道线识别的道路图像标注装置结构示意图；
图4是本申请实施例提供的电子设备的结构示意图；
其中：11-数据获取单元，12-投影计算单元，13-标定单元，14-模型计算单元，15-坏样本识别单元；21-处理器，22-存储器，23-通信接口，24-总线系统。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面将对本申请的方案进行进一步描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，但本申请还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本申请的一部分实施例，而不是全部的实施例。
本申请实施例提供一种用于车道线识别的道路图像标注方法，用于实现道路图像中车道线的自动化标注。图1是本申请实施例提供的用于车道线识别的道路图像标注方法流程图。如图1所示，本申请实施例提供的道路图像标注方法包括步骤s101-s103。
s101：获取道路中车道线的三维坐标数据，以及获取拍摄所述道路的相机的位姿。
车道线的三维坐标数据是表征道路中车道线在三维坐标系中位置特征的数据。前述的三维坐标系可以是车辆坐标系，也可以是世界坐标系，本申请实施例对此并不做特别地限定。
车道线的三维坐标数据可以以车道线中点坐标的形式表示，也可以是车道线延伸方向的空间坐标表达式表示，本申请实施例对此不做特别地限定。实际应用中，如果车道线的三维坐标数据采用图像处理方法得到，其三维坐标数据优选采用坐标点的形式表示；如果车道线三维坐标数据是从高精地图等数据中获取，其三维坐标数据优选采用空间坐标表达式的方式表示。
本申请实施例具体应用中，获取道路中车道线的三维坐标数据的方法有如下几种。
1.基于道路图像的车道线三维重建的方法，是以至少两张拍摄同一区域的道路图像为基础，还原得到道路的三维点云，基于道路的三维点云数据提取其中车道线的三维坐标数据。具体包括步骤s1011-s1012。
s1011：获取至少两张所述道路图像。
基于道路图像的车道线三维重建方法需要利用多张拍摄同一区域的道路图像进行道路三维特征的还原，因此需要获取至少两张道路图像。前述的道路图像应当是拍摄同一道路区域而形成的图像。应当注意的是，各个道路图像对应的相机位姿应当不同。
本申请实施例的一个应用中，用于车道线识别的道路图像标注方法在远程服务端执行，远程服务端和车辆客户端通信地连接，接收车辆客户端各种传感器生成并上报的采集数据。采集数据包括车辆相机拍摄的道路图像、车辆的位置数据、车辆的行驶方向数据、车辆姿态数据等。因此，可以基于车辆的位置数据、车辆的行驶方向数据，确定行驶至某一特定地理位置范围内车辆，并将在特定地理范围内车辆相机拍摄的图像作为用于三维重建的道路图像。
s1012：采用三维重建方法，根据所述至少两张道路图像三维重建所述道路，确定所述车道线的三维坐标数据。
具体实施中，根据至少两张道路图像三维重建道路，而确定车道线的三维坐标数据，包括如下依次执行的步骤：(1)获取所述至少两张道路图像中的匹配特征点；(2)根据所述匹配特征点确定形成所述道路图像的相机的位姿；(3)根据所述至少两张道路图像和对应的所述相机的位姿构建表征所述道路的空间稠密点云；(4)根据所述空间稠密点云得到车道线点云；(5)根据所述车道线点云确定所述车道线的三维坐标数据。
(1)获取所述至少两张道路图像中的匹配特征点。
获取各个道路图像中的匹配特征点具体包括特征点的提取，以及特征点匹配。特征点是指的图像中具有典型表征特性的图像像素点或者像素区域，具体应用中特征点多为某些邻域像素的像素灰度发生较大变化的点。
目前，获取图像特征点的方法包括：a.加权平均哈里斯-拉普拉斯特征点提取算法；b.基于尺度不变特征转换的特征提取算法；其通过侦测图像的局部性特征，在空间尺度中寻找极值点，并将极值点作为特征点；c.基于加速鲁棒特征的特征提取算法；基于加速鲁棒特征的特征点借鉴尺度不变特征简化思想，借助于积分图和哈尔小波技术，实现特征点的快速提取。
在获取了各个道路图像的特征点后，随后需要对特征点进行匹配，确定匹配特征点。
本申请实施例中，基于各个道路图像的特征点确定匹配特征点的方法可以包括：a.采用归一化互关联的特征匹配方法，其优点是可以抵抗全局的亮度变化和对比度变化，并且处理速度较快。b.基于尺寸不变特征的特征点匹配方法，其是利用特征点的领域计算该特征点的特征向量，随后基于特征向量之间的欧式距离确定匹配的特征点。c.基于加速鲁棒特征的特征提取算法。
应当注意的是，在对各个道路图像提取匹配特征点前，实际应用中，还需要对各个道路图像进行预处理。预处理的目标是改善图像的视觉效果，提高图像的清晰度，有选择的突出图像中的有用信息而抑制无用信息；图像的预处理包括图像的平滑处理，具体采用形态学滤波、双边滤波、自适应均值滤波、自适应中值滤波、自适应加权滤波等方法。
(2)根据所述匹配特征点确定形成所述道路图像的相机的位姿。
基于匹配特征点确定道路图像的相机的位姿的步骤即是稀疏点云重建的过程，其基于匹配特征点得到拍摄各个道路图像的相机的位姿和稀疏点云(匹配特征点对应的空间位置点)的三维坐标。
根据小孔成像模型，相机拍摄图像后形成的像素点位置和三维空间坐标点的关系为
本申请实施例具体应用中，需要获取各个相机的内参数矩阵k。具体获取相机内参数矩阵k的方法包括tsai标定方法、圆点模板标定方法、张正友平面标定方法和相机自标定方法。
本申请实施例具体应用中，可以基于重投影误差最小化原理，采用捆绑调整方法计算相机的位姿和稀疏点云的三维坐标；实际应用中，可以采用分层重建的步骤，为捆绑调整提供有效的初始值；实际应用中，可以采用增量式的捆绑调整、全局式的捆绑调整或者混合式的捆绑调整方法，计算各个相机的位姿和稀疏点云的三维坐标。
(3)根据所述至少两张道路图像和对应的所述相机的位姿构建表征所述道路的空间稠密点云；空间稠密点云的重建，是在已知相机位姿的前提下，逐像素的计算道路图像中每个像素点对应的空间坐标系三维坐标，继而得到空间坐标系中的空间稠密点云。
空间稠密点云计算的基本原理是寻找空间中具有图像一致性的点；前述图像一致性指的是在表示同一场景的三维图像中，如果选择的三维点位于物体的表面上，那么这个三维点根据相机的内外参数投射到各个图像上后形成投影点后，在各个图像中以投影点为中心的小区域包含的场景应当是十分类似的。
两个图像的图像一致性的度量可以采用平方差总和(sumofsquareddifference，ssd)、绝对差值和(sumofabsolutedifference，sad)或者归一化互相关(normalizedcrosscorrelation，ncc)处理图像一致点得到。
实际应用中，可以采用基于体素的方法、基于点云扩散的方法或者基于深度图融合方法确定空间稠密点云。实际应用中，多采用基于深度图融合的方法确定空间稠密点云。
经过前述的步骤(1)到(3)，即可以确定表示道路特征的空间稠密点云，随后可以执行(4)和(5)。
(4)根据所述空间稠密点云得到车道线点云。
在确定空间稠密点云后，可以在所有的道路图像中确定一个车道线最为清晰的图像，确定车道线对应的像素，并将此类的像素对应的空间稠密点云作为车道线点云。
在一些应用中，在空间稠密点云中车道线点云相对于道路平面具有显著的高度差的情况下，也可以通过对空间稠密点云坐标数据的分析确定车道线点云。
(5)根据所述车道线点云确定所述车道线的三维坐标数据。
具体实施中，根据车道点云确定车道线的三维坐标数据，可以对车道线点云数据进行滤波、分割和融合处理，以确定出数量较少的表征车道线的三维坐标点，随后基于多个三维坐标点进行数据拟合而得到表征车道线的三维坐标数据。
2.基于数据查询的方法
基于数据查询的方法是通过查询高精地图数据，根据高精地图数据确定车道线的三维坐标数据。
高精地图中包含有大量与行车相关的辅助信息，其中包括道路车道线的位置、类型、宽度、坡度和曲率等道路数据。基于数据查询的方法通过查询高精地图中的前述数据，基于前述数据确定车道线的三维坐标数据。
本申请实施例中，在根据车辆的位置信息确定车辆的位置后，通过车辆的位置和车辆的行驶方向，作为查询依据查询高精地图，即可以确定对应的车道线的三维坐标数据。
在步骤s101中，获取相机的位姿方法有如下几种。
(1)基于匹配特征点获取相机位姿的方法
基于匹配特征点确定道路图像的相机的位姿的步骤是稀疏点云重建的过程，其基于匹配特征点得到拍摄各个道路图像的相机的位姿。这一确定方法基于前文中提及的确定车道线三维坐标数据中提及的获取相机位姿的方法，相关内容可以参见前文表述。
(2)基于车辆定位特征数据，根据定位数据确定相机的位姿。
具体实施例中，车辆中配置能够获取车辆定位信息和姿态信息的传感器，具体应用中，前述获取车辆定位信息和姿态信息的传感器可以包括惯性传感器、轮速传感器、导航用传感器中的一种或者多种，基于前述传感器生成的传感器数据，进行计算可以确定车辆的位置数据和车辆的位姿数据；随后，基于车辆的位置数据和车辆的位置数据，以及相机坐标系和车辆坐标系中的转换关系，可以确定相机的位姿。
s102：根据所述位姿对所述三维坐标数据进行投影变换，得到投影至所述道路图像中的二维投影数据。
如步骤s101中表述的公式
s103：采用所述二维投影数据作为所述道路图像的车道线标注数据。
步骤s103中将二维投影数据作为对应道路图像标注数据，是将确定的二维投影数据作为标签和对应的道路图像建立关联。
采用本申请实施例提供的用于车道线识别的道路图像标注方法，直接利用车道线的三维坐标数据和相机的坐姿，对三维坐标数据进行投影变换得到的二维投影数据作为车道线标注数据。采用此方法确定的道路图像车道线标注方法能够实现车道线标注的自动化，解决了现有人工标注数据成本高的问题。
图2是本申请另一实施例提供的用于车道线识别的道路图像标注方法流程图；如图所示，在本申请实施例的一些应用中，用于车道线识别的道路图像标注方法除了包括签署的步骤s101-s103外，还包括步骤s104和s105。
s104：采用历史车道线识别模型处理所述道路图像，得到车道线识别数据。
历史车道线识别模型是采用历史样本数据训练对深度学习模型进行训练，得到的车道线识别模型；此车道线识别模型用于对车辆相机拍摄的道路图像进行处理，确定道路中的车道线。
本申请实施例并不限定用于车道线识别模型构建的深度学习模型进行特别地限定，可以采用各种可用的深度学习算法模型。
s105：根据所述车道线标注数据和所述车道线识别数据，判断所述道路图像是否为坏样本图像。
本申请实施例中，步骤s105的具体执行步骤可以如s1051-s1054。
s1051：计算车道线标注数据和车道线识别数据的差值。
实际应用中，车道线标注数据和车道线识别数据均为可能为多个，因此计算车道线标注数据和车道线识别数据的差值是首先确定各个车道线标注数据对应的车道线识别数据，或者确定车道线识别数据对应的最接近的车道线标注数据，并将对应的数据求差，并将求差值的平均值作为车道线标注数据和车道线识别数据的差值。
s1052：判断差值是否大于设定阈值；如果是，执行s1053；如果否，执行s1054。
s1053：确定道路图像为坏样本图像。
s1054：确定道路图像为非坏样本图像。
本申请实施例中，坏样本图像是采用历史车道线识别模型处理后，得到的车道线识别数据不符合设定要求的图像。本申请实施例中，前述设定要求采用设定要求的车道线标注数据和车道线识别数据的差值体现。因为坏样本图像不能被历史车道线识别模型处理得到较为合理的车道线识别数据，因此可以将坏样本图像作为对车道线识别模型进行再训练的依据。
实际应用中，如果差值大于设定阈值，则确定车道线识别数据相对于车道线标注数据较大；而因为车道线标注数据是较为准确的数据，则确定采用历史车道线识别模型确定的车道线识别数据并不准确，反向确定历史车道线识别模型并不能很好地处理此道路图像，因此可以将此道路图像作为坏样本图像，并将此坏样本图像作为后续再训练车道线识别模型的样本，以提高车道线识别模型的识别能力。
除了提供前述的用于车道线识别的道路图像标注方法外，本申请实施例还提供与前述方法具有相同发明构思的一种用于车道线识别的道路图像标注装置。
图3是本申请实施例提供的用于车道线识别的道路图像标注装置结构示意图。如图3所示，本申请实施例提供的用于车道线识别的道路图像标注装置包括数据获取单元11、投影计算单元12和标定单元13。
数据获取单元11，用于获取道路中车道线的三维坐标数据，以及获取拍摄所述道路的相机的位姿。
车道线的三维坐标数据是表征道路中车道线在是三维坐标系中位置特征的数据。前述的三维坐标系可以是车辆坐标系，也可以是世界坐标系，本申请实施例并不做特别地限定。
车道线的三维坐标数据可以以车道线坐标的形式表示，也可以是车道线延伸方向的空间坐标表达式表示，本申请实施例对此不做特别地限定。实际应用中，如果车道线的三维坐标数据采用图像处理方法得到，其三维坐标数据优选采用坐标点的形式表示；如果车道线三维坐标数据是从高精地图等数据中获取，其三维坐标数据优选采用空间坐标表达式的方式表示。
在本申请实施例的一些应用中，数据获取单元11获取道路中车道线的三维坐标数据的方法有如下几种。
1.基于道路图像实现车道线三维重建，是以至少两张具有形同车道线图像信息的道路图像为基础，还原得到道路的三维点云，基于道路的三维点云数据提取其中车道线的三维坐标数据。
具体的，所述数据获取单元11包括图片获取子单元和三维重建子单元。
图片获取子单元用于获取至少两张所述道路图像；基于道路图像的车道线三维重建方法需要利用多张拍摄同一区域的道路图像进行道路三维特征的还原，因此需要获取至少两张道路图像。前述的道路图像应当是拍摄同一道路区域而形成的图像。
应当注意的是，各个道路图像对应的相机拍摄位姿应当不同。
本申请实施例的一个应用中，用于车道线识别的道路图像标注装置部署在远程服务端，远程服务端和车辆客户端通信地连接，接收车辆客户端各种传感器生成并上报的采集数据。采集数据包括车辆相机拍摄的道路图像、车辆的位置数据、车辆的行驶方向数据、车辆姿态数据等。因此，可以基于车辆的位置数据、车辆的行驶方向数据，确定行驶至某一特定地理位置范围内车辆，并将在特定地理范围内车辆相机拍摄的图像作为用于三维重建的道路图像。
三维重建子单元用于采用三维重建方法，根据所述至少两张道路图像三维重建所述道路，确定所述车道线的三维坐标数据
具体实施中，三维重建子单元包括匹配特征点获取子单元、位姿获取子单元、稠密点云获取子单元、车道线点云获取子单元和三维坐标数据计算子单元。
匹配特征点获取子单元用于获取所述至少两张道路图像中的匹配特征点。获取各个道路图像中的匹配特征点具体包括特征点的提取，以及特征点匹配。特征点是指的图像中具有典型表征特性的图像像素点或者像素区域，具体应用中特征点多为某些邻域像素的像素灰度发生较大变化的点。
目前，获取图像特征点的方法包括：a.加权平均哈里斯-拉普拉斯特征点提取算法；b.基于尺度不变特征转换的特征提取算法；其通过侦测图像的局部性特征，在空间尺度中寻找极值点，并将极值点作为特征点；c.基于加速鲁棒特征的特征提取算法；基于加速鲁棒特征的特征点借鉴尺度不变特征简化思想，借助于积分图和哈尔小波技术，实现特征点的快速提取。
在获取了各个道路图像的特征点后，随后需要对特征点进行匹配，确定匹配特征点。
本申请实施例中，基于各个道路图像的特征点确定匹配特征点的方法可以包括：a.采用归一化互关联的特征匹配方法，其优点是可以抵抗全局的亮度变化和对比度变化，并且处理速度较快。b.基于尺寸不变特征的特征点匹配方法，其是利用特征点的领域计算该特征点的特征向量，随后基于特征向量之间的欧式距离确定匹配的特征点。c.基于加速鲁棒特征的特征提取算法。
应当注意的是，在对各个道路图像提取匹配特征点前，实际应用中，还需要对各个道路图像进行预处理。预处理的目标是改善图像的视觉效果，提高图像的清晰度，有选择的突出图像中的有用信息而抑制无用信息；图像的预处理包括图像的平滑处理，具体采用形态学滤波、双边滤波、自适应均值滤波、自适应中值滤波、自适应加权滤波等方法。
位姿获取子单元用于根据所述匹配特征点确定形成所述道路图像的相机的位姿。
基于匹配特征点确定道路图像的相机的位姿的步骤即是稀疏点云重建的过程，其基于匹配特征点得到拍摄各个道路图像的相机的位姿和稀疏点云(匹配特征点对应的空间位置点)的三维坐标。
根据小孔成像模型，相机拍摄图像后形成的像素点位置和三维空间坐标点的关系为
横坐标和纵坐标；k为相机的内参数矩阵，
本申请实施例具体应用中，需要获取各个相机的内参数矩阵k。具体获取相机内参数矩阵k的方法包括tsai标定方法、圆点模板标定方法、张正友平面标定方法和相机自标定方法。
本申请实施例具体应用中，可以基于重投影误差最小化原理，采用捆绑调整方法计算相机的位姿和稀疏点云的三维坐标；实际应用中，可以采用分层重建的步骤，为捆绑调整提供有效的初始值；实际音乐宫中，可以采用增量式的捆绑调整、全局式的捆绑调整或者混合式的捆绑调整方法，计算各个相机的位姿和稀疏点云的三维坐标。
根据至少两张道路图像三维重建道路，而确定车道线的三维坐标数据，包括如下依次执行的步骤：(1)获取所述至少两张道路图像中的匹配特征点；(2)根据所述匹配特征点确定形成所述道路图像的相机的位姿；(3)根据所述至少两张道路图像和对应的所述相机的位姿构建表征所述道路的空间稠密点云；(4)根据所述空间稠密点云得到车道线点云；(5)根据所述车道线点云确定所述车道线的三维坐标数据。
稠密点云获取子单元用于根据所述至少两张道路图像和对应的所述相机的位姿构建表征所述道路的空间稠密点云；空间稠密点云的重建，是在已知相机位姿的前提下，逐像素的计算道路图像中每个像素点对应的空间坐标系三维坐标，继而得到空间坐标系中的空间稠密点云。空间稠密点云计算的基本原理是寻找空间中具有图像一致性的点；前述图像一致性指的是在表示同一场景的三维图像中，如果选择的三维点位于物体的表面上，那么这个三维点根据相机的内外参数投射到各个图像上后形成投影点后，在各个图像中以投影点为中心的小区域包含的场景应当是十分类似的。
两个图像的图像一致性的度量可以采用平方差总和(sumofsquareddifference，ssd)、绝对差值和(sumofabsolutedifference，sad)或者归一化互相关(normalizedcrosscorrelation，ncc)处理图像一致点得到。
实际应用中，可以采用基于体素的方法、基于点云扩散的方法或者基于深度图融合方法确定空间稠密点云。实际应用中，多采用基于深度图融合的方法确定空间稠密点云。
车道线点云获取子单元用于根据所述空间稠密点云得到车道线点云。
在确定空间稠密点云后，可以在所有的道路图像中确定一个车道线最为清晰的图像，确定车道线对应的像素，并将此类的像素对应的空间稠密点云作为车道线点云。
在一些应用中，在空间稠密点云中车道线点云相对于道路平面具有显著的高度差的情况下，也可以通过对空间稠密点云坐标数据的分析确定车道线点云。
三维坐标数据计算子单元用于根据所述车道线点云确定所述车道线的三维坐标数据。
具体实施中，根据车道点云确定车道线的三维坐标数据，可以对车道线点云数据进行滤波、分割和融合处理，以确定出数量较少的表征车道线的三维坐标点，随后基于多个三维坐标点进行数据拟合而得到表征车道线的三维坐标数据。
在另外一些实施例中，数据获取单元11过查询高精地图数据，根据高精地图数据确定车道线的三维坐标数据。
高精地图中包含有大量与行车相关的辅助信息，其中包括道路车道线的位置、类型、宽度、坡度和曲率等道路数据。基于数据查询的方法通过查询高精地图中的前述数据，基于前述数据确定车道线的三维坐标数据。
本申请实施例中，在根据车辆的位置信息确定车辆的位置后，通过车辆的位置和车辆的行驶方向，作为查询依据查询高精地图，即可以确定对应的车道线的三维坐标数据。
数据获取单元11获取相机的位姿方法有如下几种。
(1)基于匹配特征点获取相机位姿的方法
基于匹配特征点确定道路图像的相机的位姿的步骤是稀疏点云重建的过程，其基于匹配特征点得到拍摄各个道路图像的相机的位姿。这一确定方法基于前文中提及的确定车道线三维坐标数据中提及的获取相机位姿的方法，相关内容可以参见前文表述。
(2)基于车辆定位特征数据，根据定位数据确定相机的位姿。
具体实施例中，车辆中配置能够获取车辆定位信息和姿态信息的传感器，具体应用中，前述获取车辆定位信息和姿态信息的传感器可以包括惯性传感器、轮速传感器、导航用传感器中的一种或者多种，基于前述传感器生成的传感器数据，进行计算可以确定车辆的位置数据和车辆的位姿数据；随后，基于车辆的位置数据和车辆的位置数据，以及相机坐标系和车辆坐标系中的转换关系，可以确定相机的位姿。
投影计算单元12，用于根据所述位姿对所述三维坐标数据进行投影变换，得到投影至所述道路图像中的二维投影数据。
根据公式
标定单元13用于采用所述二维投影数据作为所述道路图像的车道线标注数据。标定单元13将二维投影数据作为对应道路图像标注数据，是将确定的二维投影数据作为标签和对应的道路图像建立关联。
在本申请实施例的一个应用中，用于车道线识别的道路图像标注装置除了包括前述的数据获取单元11、投影计算单元12和标定单元13外，还包括模型计算单元14和坏样本识别单元15。
模型计算单元14用于采用历史车道线识别模型处理所述道路图像，得到车道线识别数据。
历史车道线识别模型是采用历史样本数据训练对深度学习模型进行训练，得到的车道线识别模型；此车道线识别模型用于对车辆相机拍摄的道路图像进行处理，确定道路中的车道线。
本申请实施例并不限定用于车道线识别模型构建的深度学习模型进行特别地限定，可以采用各种可用的深度学习算法模型。
坏样本识别单元15用于根据所述车道线标注数据和所述车道线识别数据，判断所述道路图像是否为坏样本图像。
具体应用中，坏样本计算单元通过计算车道线标注数据和车道线识别数据的差值，并判断差值是否大于设定阈值而确定道路图像是否为坏样本图像。
如果差值大于设定阈值，则确定道路图像为坏样本图像；如果差值小于设定阈值，则确定道路图像不是坏样本图像。
实际应用中，车道线标注数据和车道线识别数据均为可能为多个，因此计算车道线标注数据和车道线识别数据的差值是首先确定各个车道线标注数据对应的车道线识别数据，或者确定车道线识别数据对应的最接近的车道线标注数据，并将对应的数据求差，并将求差值的平均值作为车道线标注数据和车道线识别数据的差值。
本申请实施例中，坏样本图像是采用历史车道线识别模型处理后，得到的车道线识别数据不符合设定要求的图像。本申请实施例中，前述设定要求采用设定要求的车道线标注数据和车道线识别数据的差值体现。因为坏样本图像不能被历史车道线识别模型处理得到较为合理的车道线识别数据，因此可以将坏样本图像作为对车道线识别模型进行再训练的依据。
实际应用中，如果差值大于设定阈值，则确定车道线识别数据相对于车道线标注数据较大；而因为车道线标注数据是较为准确的数据，则确定采用历史车道线识别模型确定的车道线识别数据并不准确，反向确定历史车道线识别模型并不能很好地处理此道路图像，因此可以将此道路图像作为坏样本图像，并将此坏样本图像作为后续再训练车道线识别模型的样本，以提高车道线识别模型的识别能力。
本申请实施例还提供一种实现用于车道线识别的道路图像标注方法的电子设备。图4是本申请实施例提供的电子设备的结构示意图。如图4所示，电子设备包括至少一个处理器21、至少一个存储器22和至少一个通信接口23。
本实施例中的存储器22可以是易失性存储器或非易失性存储器，或是前述的二者的结合。在一些具体实施方式中，存储器22存储了如下的元素：可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础任务以及处理基于硬件的任务。应用程序包含各种应用任务的应用程序。
在本申请实施例中，处理器21通过调用存储器22存储的程序或指令(具体的，可以是应用程序中存储的程序或指令)，以执行步骤用于车道线识别的道路图像标注方法的步骤。
本申请实施例中，处理器21可以是通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(fieldprogrammablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请实施例提供的用于车道线识别的道路图像标注方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器22，处理器21读取存储器22中的信息，结合其硬件完成方法的步骤。
通信接口23用于实现智能驾驶控制系统与外部设备之间的信息传输，例如以获得各种车辆传感器数据，以及生成相应的控制指令并下发给车辆的执行机构。
电子设备中的存储器、处理器组件通过总线系统24耦合在一起，总线系统24用于实现这些组件之间的连接通信。本申请实施例中，总线系统可以为can总线，也可以是其他类型的总线。总线系统234除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图4中将各种总线都标为总线系统24。
本申请实施例还提出一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储程序或指令，程序或指令使计算机执行如前用于车道线识别的道路图像标注方法实施例的步骤，为避免重复描述，在此不再赘述。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
- 还没有人留言评论。精彩留言会获得点赞！