标注数据质检方法、装置、存储介质及电子设备与流程

文档序号:32522454发布日期:2022-12-13 20:00阅读:131来源:国知局
标注数据质检方法、装置、存储介质及电子设备与流程

1.本公开涉及车道线标注技术领域,尤其涉及一种标注数据质检方法、装置、存储介质及电子设备。


背景技术:

2.车道线检测是自动驾驶领域中的一项基本感知任务,该任务的目标是从车载摄像头采集的视觉信号中识别和定位所关注的车道线。车道线检测技术在自动驾驶系统中的“定位”、“规控”、“建图”和“自动驾驶环境模拟显示”等基础应用中发挥着举足轻重的作用。相较于基于手工标注车道线和传统算法识别车道线的车道线检测技术,基于深度神经网络检测车道线的方案已成业界主流。
3.基于深度神经网络的车道线检测方式需要海量人工标注数据来训练深度神经网络模型。由于车道线具有种类繁多、分布密集并且某些类别定义模糊等特点,因此标注人员在长时间注意力高度集中的工作模式下,标注人员难免会犯错误,导致标注数据成品中含有大量错误标注。然而,用于进行车道线检测的深度神经网络模型对标注数据的精准度极其敏感,任何噪声数据都会对深度神经网络模型的精准度造成难以预估的损害。因此,完成标注的车道线标注数据需要经过质检来对人工标注结果进行清洗,以尽可能的将错误标注剔除。
4.相关技术中,车道线标注数据的质检方式是人工质检方式。具体地,将车道线标注数据可视化后得到车道图像以及显示在车道图像上的标注信息,质检人员依次检验车道图像中每条车道线的位置、以及标注信息是否准确,并标记错误的标注信息和错误的标注信息所在的车道图像。然而,由于一幅车道图像中通常包含的车道线数量较多并且位置纵横交错重叠,同时车道图像还具有远处的车道线不清晰以及车道线易被遮挡等特点,因此质检需要耗费大量人力。


技术实现要素:

5.为克服相关技术中存在的问题,本公开提供一种标注数据质检方法、装置、存储介质及电子设备。
6.根据本公开实施例的第一方面,提供一种标注数据质检方法,所述方法包括:获取待质检的道路图像标注数据,所述道路图像标注数据包括道路图像、以及所述道路图像中每一车道线的标注标签;从所有所述车道线对应的所述标注标签中确定符合预设标签约束条件的目标标签,并确定所述目标标签对应的目标车道线;将所述道路图像输入训练完成的分类模型,得到所述分类模型输出的所述目标车道线的预测标签;在所述预测标签和所述目标标签一致的情况下,将所述目标标签确定为所述道路图像中所述目标车道线的有效标注标签。
7.可选地,每一所述车道线的所述标注标签包括表征该车道线相对于主体车辆的位置的位置标签、以及该车道线的类别标签,所述位置标签和所述类别标签对应不同标签类型;所述从所有所述车道线对应的所述标注标签中确定符合预设标签约束条件的目标标签,包括:从所有所述车道线对应的所述位置标签和所述类别标签中确定符合所述预设标签约束条件的所述目标标签;相应地,所述将所述道路图像输入训练完成的分类模型,得到所述分类模型输出的所述目标车道线的预测标签,包括:将所述道路图像输入训练完成的分类模型,得到所述目标车道线在所述目标标签对应的标签类型下的所述预测标签。
8.可选地,所述目标标签包括位置标签,所述车道线的数量为多个,相应地,所述位置标签的数量为多个,所述从所有所述车道线对应的所述标注标签中确定符合预设标签约束条件的目标标签,包括:将多个所述位置标签中的与其他任一所述位置标签均不相同的所述位置标签确定为所述目标标签。
9.可选地,所述从所有所述车道线对应的所述位置标签和所述类别标签中确定符合所述预设标签约束条件的所述目标标签,包括:针对所述位置标签,确定所述位置标签对应的预设类别标签集合;在与所述位置标签对应同一所述车道线的所述类别标签存在于所述预设类别标签集合中的情况下,将所述位置标签、以及与所述位置标签对应同一所述车道线的所述类别标签均确定为所述目标标签。
10.可选地,所述目标标签包括位置标签,所述车道线的数量为多个,相应地,所述位置标签的数量为多个,所述从所有所述车道线对应的所述标注标签中确定符合预设标签约束条件的目标标签,包括:针对每一所述位置标签,在确定所述位置标签存在于关联性位置标签集合中的情况下,从多个所述位置标签中确定是否存在与所述位置标签相关联的目标位置标签;若存在所述目标位置标签,则将所述位置标签确定为所述目标标签。
11.可选地,所述道路图像标注数据还包括每一所述车道线在所述道路图像中对应的位置标注区域;所述分类模型包括特征图像提取模块、车道线特征提取模块、以及分类模块;所述特征图像提取模块用于将所述道路图像转换为特征图;所述车道线特征提取模块用于,从所述道路图像中所述目标车道线对应的目标位置标注区域内确定多个感兴趣点,并确定所述多个感兴趣点在所述特征图中对应的感兴趣特征;所述分类模块用于根据所述感兴趣特征进行分类,得到所述预测标签。
12.可选地,所述方法还包括:将所述道路图像标注数据中的除了所述有效标注标签以外的其他标注标签以及所述道路图像展示给用户,以供所述用户进行人工质检或校正所述其他标注标签。
13.根据本公开实施例的第二方面,提供一种标注数据质检装置,所述装置包括:获取模块,被配置为获取待质检的道路图像标注数据,所述道路图像标注数据包括道路图像、以及所述道路图像中每一车道线的标注标签;确定模块,被配置为从所有所述车道线对应的所述标注标签中确定符合预设标签约束条件的目标标签,并确定所述目标标签对应的目标车道线;输入模块,被配置为将所述道路图像输入训练完成的分类模型,得到所述分类模型输出的所述目标车道线的预测标签;执行模块,被配置为在所述预测标签和所述目标标签一致的情况下,将所述目标标签确定为所述道路图像中所述目标车道线的有效标注标签。
14.可选地,每一所述车道线的所述标注标签包括表征该车道线相对于主体车辆的位置的位置标签、以及该车道线的类别标签,所述位置标签和所述类别标签对应不同标签类型;所述确定模块,包括:第一确定子模块,被配置为从所有所述车道线对应的所述位置标签和所述类别标签中确定符合所述预设标签约束条件的所述目标标签;相应地,所述输入模块被配置为将所述道路图像输入训练完成的分类模型,得到所述目标车道线在所述目标标签对应的标签类型下的所述预测标签。
15.可选地,所述目标标签包括位置标签,所述车道线的数量为多个,相应地,所述位置标签的数量为多个,所述确定模块,包括:第二确定子模块,被配置为将多个所述位置标签中的与其他任一所述位置标签均不相同的所述位置标签确定为所述目标标签。
16.可选地,所述第一确定子模块,包括:第三确定子模块,被配置为针对所述位置标签,确定所述位置标签对应的预设类别标签集合;第四确定子模块,被配置为在与所述位置标签对应同一所述车道线的所述类别标签存在于所述预设类别标签集合中的情况下,将所述位置标签、以及与所述位置标签对应同一所述车道线的所述类别标签均确定为所述目标标签。
17.可选地,所述目标标签包括位置标签,所述车道线的数量为多个,相应地,所述位置标签的数量为多个,所述确定模块,包括:第五确定子模块,被配置为针对每一所述位置标签,在确定所述位置标签存在于关联性位置标签集合中的情况下,从多个所述位置标签中确定是否存在与所述位置标签相关联的目标位置标签;第六确定子模块,被配置为若存在所述目标位置标签,则将所述位置标签确定为所述目标标签。
18.可选地,所述道路图像标注数据还包括每一所述车道线在所述道路图像中对应的位置标注区域;所述分类模型包括特征图像提取模块、车道线特征提取模块、以及分类模块;所述特征图像提取模块用于将所述道路图像转换为特征图;所述车道线特征提取模块用于,从所述道路图像中所述目标车道线对应的目标位
置标注区域内确定多个感兴趣点,并确定所述多个感兴趣点在所述特征图中对应的感兴趣特征;所述分类模块用于根据所述感兴趣特征进行分类,得到所述预测标签。
19.可选地,所述装置还包括:人工处理模块,被配置为将所述道路图像标注数据中的除了所述有效标注标签以外的其他标注标签以及所述道路图像展示给用户,以供所述用户进行人工质检或校正所述其他标注标签。
20.根据本公开实施例的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开第一方面所提供的标注数据质检方法的步骤。
21.根据本公开实施例的第四方面,提供一种电子设备,包括:存储器,其上存储有计算机程序;处理器,用于执行所述存储器中的所述计算机程序,以实现本公开第一方面所提供的标注数据质检方法的步骤。
22.本公开的实施例提供的技术方案可以包括以下有益效果:获取待质检的道路图像标注数据,道路图像标注数据包括道路图像、以及道路图像中每一车道线的标注标签。从所有车道线对应的标注标签中确定符合预设标签约束条件的目标标签,并确定目标标签对应的目标车道线。将道路图像输入训练完成的分类模型,得到分类模型输出的目标车道线的预测标签。在预测标签和目标标签一致的情况下,将目标标签确定为道路图像中目标车道线的有效标注标签。本公开这种自动化质检的方式相较于相关技术中人工质检的方式效率更高。并且,相较于人工抽检的方式,本公开这种方式检测的更全面,检测结果更准确。
23.此外,本公开这种方式,先基于预设标签约束条件从标注标签层面筛选出准确地(即从标注标签层面来说是准确地)目标标签,再进一步地,通过分类模型从图像层面预测目标标签对应的目标车道线的预测标签,并根据预测标签来验证目标标签是否精准(即从图像层面来进一步验证是否准确)。这种从多个层面筛选/确定出的有效标注标签的精准性相较于根据单一层面确定出的结果的准确性更高。
24.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
25.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
26.图1是根据一示例性实施例示出的一种标注数据质检方法的流程图。
27.图2是根据一示例性实施例示出的一种分类模型的结构示意图。
28.图3是根据一示例性实施例示出的一种标注数据质检装置的框图。
29.图4是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
30.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
31.需要说明的是,本技术中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
32.相关技术中,车道线标注数据的质检通常是由深度神经网络模型的研发团队执行。然而,由于研发团队不具有和标注团队一样强大的人工处理数据的能力,若采用逐张逐线的质检流程会耗费大量的人力和时间从而拖延项目的进度。因此,研发团队通常采用对一小部分车道线标注数据进行随机抽检的方式来完成质检任务。然而,这样的质检方式会使质检后的车道线标注数据中保留大部分的错误标注,这会影响要训练的深度神经网络模型的精准度。若用于进行车道线检测的深度神经网络模型的精准度低,则对下游的自动驾驶模型来说是致命的,会严重损害下游任务的准确度和安全性。有鉴于此,本公开提供一种标注数据质检方法、装置、存储介质及电子设备。以通过智能的质检方法对标注数据进行自动化质检,以辅助甚至替代人工质检,从而提高质检后的数据的质量并且加速质检流程。
33.图1是根据一示例性实施例示出的一种标注数据质检方法的流程图,如图1所示,该标注数据质检方法用于终端设备中,包括以下步骤。
34.在步骤s11中,获取待质检的道路图像标注数据,所述道路图像标注数据包括道路图像、以及所述道路图像中每一车道线的标注标签。
35.应说明的是,一幅道路图像对应有一个道路图像标注数据,用于训练深度神经网络模型的车道线标注数据包括多幅道路图像对应的道路图像标注数据。道路图像是道路上的车辆上摄像机所拍摄得到的图像。道路图像中包括道路上绘制的车道线。
36.道路图像中每一车道线对应有标注标签,该标注标签可以是人工标注的。标注标签可以是位置标签,车道线的类别标签等标签。车道线的类别可以是指对车道线的图像特征进行分类所得到的类别。例如车道线的类别可以是白色虚线、白色实线、黄色虚线、黄色实线、双白虚线、双白实线、白色虚实线、双黄虚线、双黄实线、黄色虚实线、橙色虚/实线、蓝色虚/实线等类别。
37.在一些实施方式中,车道线的类别还可以是按照车道线的功能进行分类所得到的类别。例如车道线的类别可以是用于指示车行道、行车方向、路面边缘、人行道、停车位、停靠站及减速丘等的具有指示功能/作用的指示标线类别。指示标线类别的车道线可以为可跨越对向车行道分界线、可跨越同向车行道分界线、潮汐车道线、车行道边缘线、左弯待转区线、路口导向线、导向车道线、人行横道线、车距确认线、道路出入口标线、停车位标线、停靠站标线、减速丘标线、导向箭头、路面文字标记、路面图形标记等车道线。
38.再例如车道线的类别可以是用于告示道路交通的遵行、禁止、限制等特殊规定的具有禁止功能的禁止标线类别。禁止标线类别的车道线可以为禁止跨越对向车行道分界线、禁止跨越同向车行道分界线、禁止停车线、停止线、停车让行线、减速让行线、非机动车禁驶区标线、导流线、网状线、专用车道线、禁止掉头(转弯)线等车道线。
39.再例如车道线的类别可以是用于促使道路使用者了解道路上的特殊情况,提高警觉准备防范应变措施的具有警告功能的警告标线类别。警告标线类别的车道线可以为路面(车行道)宽度渐变段标线、接近障碍物标线、近铁路平交道口标线、减速标线等车道线。
40.在步骤s12中,从所有所述车道线对应的所述标注标签中确定符合预设标签约束条件的目标标签,并确定所述目标标签对应的目标车道线。
41.可选地,所述目标标签包括位置标签,所述车道线的数量为多个,相应地,所述位置标签的数量为多个,所述从所有所述车道线对应的所述标注标签中确定符合预设标签约束条件的目标标签,包括:将多个所述位置标签中的与其他任一所述位置标签均不相同的所述位置标签确定为所述目标标签。
42.车道线的位置标签用于表征该车道线相对于主体车辆的位置。主体车辆是指拍摄车道图像的摄像机所在的车辆。
43.由于车道图像是道路上的车辆上摄像机所拍摄得到的图像,所以道路图像中的每一车道线相对于车辆具有唯一一个相对位置。例如,位置标签可以是用于表征车道线位于车辆右侧且距离车辆最近的“右侧车道线”标签、用于表征车道线紧邻“右侧车道线”标签对应的车道线的“次右侧车道线”标签、用于表征车道线位于右侧道路边缘的“右侧道路边缘线”标签等。因此,在一些实施方式中,预设标签约束条件包括一幅车道图像对应的位置标签均具有唯一性。
44.示例地,若预设标签约束条件包括一幅车道图像对应的位置标签具有唯一性的条件,那么可将一幅车道图像对应的多个位置标签中的与其他任一位置标签均不相同的位置标签确定为目标标签。举例来说,假设一幅车道图像中6条车道线对应的位置标签分别为a、b、c、d、b、b。那么可将其中的位置标签a、c、d作为目标标签。位置标签b不能作为目标标签。
45.在步骤s13中,将所述道路图像输入训练完成的分类模型,得到所述分类模型输出的所述目标车道线的预测标签。
46.其中,分类模型是根据少量的样本数据训练得到的,训练方式为相关技术中的监督学习方式,本公开对此不作详细阐述。
47.在一些实施方式中,可在将道路图像输入训练完成的分类模型之前,先将道路图像中除了目标车道线以外的其他车道线进行掩盖处理,得到处理后的道路图像,然后将处理后的道路图像输入训练完成的分类模型,得到分类模型输出的目标车道线的预测标签。
48.在步骤s14中,在所述预测标签和所述目标标签一致的情况下,将所述目标标签确定为所述道路图像中所述目标车道线的有效标注标签。
49.在本公开实施例中,预测标签和目标标签一致是指标签类型以及标签内容/名称均相同。例如,预设标签“右侧车道线”与目标标签“右侧车道线”相同。预设标签“右侧车道线”与目标标签“次右侧车道线”标签类型相同,但标签内容/名称不相同。
50.采用这种方式,获取待质检的道路图像标注数据,道路图像标注数据包括道路图像、以及道路图像中每一车道线的标注标签。从所有车道线对应的标注标签中确定符合预设标签约束条件的目标标签,并确定目标标签对应的目标车道线。将道路图像输入训练完成的分类模型,得到分类模型输出的目标车道线的预测标签。在预测标签和目标标签一致的情况下,将目标标签确定为道路图像中目标车道线的有效标注标签。本公开这种自动化质检的方式相较于相关技术中人工质检的方式效率更高。并且,相较于人工抽检的方式,本
公开这种方式检测的更全面,检测结果更准确。
51.此外,本公开这种方式,先基于预设标签约束条件从标注标签层面筛选出准确地目标标签,再进一步地,通过分类模型从图像层面预测目标标签对应的目标车道线的预测标签,并根据预测标签来验证目标标签是否精准。这种从多个层面筛选/确定出的有效标注标签的精准性相较于根据单一层面确定出的结果的准确性更高。
52.使用根据本公开这种方式确定的车道图像、目标车道线、以及目标车道线的有效标注标签训练用于进行车道线检测的深度神经网络模型,可提升深度神经网络模型的精准度。
53.在一些实施方式中,在确定道路图像标注数据中的有效标注标签之后,可以将道路图像标注数据中的除了有效标注标签以外的其他标注标签、其他标注标签对应的车道线结合道路图像以可视化的方式展示给用户,以供用户对其他标注标签进行人工质检或校正。采用这种方式,相较于由人工对所有道路图像标注数据进行质检的方式,大大减少了人工的工作量,提升了质检效率。
54.可选地,每一所述车道线的所述标注标签包括表征该车道线相对于主体车辆的位置的位置标签、以及该车道线的类别标签,所述位置标签和所述类别标签对应不同标签类型。
55.例如,位置标签是位置类型的标签,类别标签是类别类型的标签。
56.可选地,所述从所有所述车道线对应的所述标注标签中确定符合预设标签约束条件的目标标签,包括:从所有所述车道线对应的所述位置标签和所述类别标签中确定符合所述预设标签约束条件的所述目标标签。
57.在每一车道线对应有位置标签和类别标签的情况下,可从所有车道线对应的位置标签和类别标签中确定符合预设标签约束条件的目标标签,该目标标签可以是位置标签,也可以是类别标签。
58.相应地,将所述道路图像输入训练完成的分类模型,得到所述分类模型输出的所述目标车道线的预测标签,包括:将所述道路图像输入训练完成的分类模型,得到所述目标车道线在所述目标标签对应的标签类型下的所述预测标签。
59.若目标标签是位置类型的标签,则预测标签也应当是位置类型的标签。若目标标签是类别类型的标签,则预测标签也应当是类别类型的标签。
60.一种实施方式,将道路图像输入训练完成的分类模型,可得到目标车道线在每一种标签类型下的分类结果,然后将其中目标标签对应的标签类型下的分类结果作为预测标签。
61.可选地,所述从所有所述车道线对应的所述位置标签和所述类别标签中确定符合所述预设标签约束条件的所述目标标签,包括:针对所述位置标签,确定所述位置标签对应的预设类别标签集合;在与所述位置标签对应同一所述车道线的所述类别标签存在于所述预设类别标签集合中的情况下,将所述位置标签、以及与所述位置标签对应同一所述车道线的所述类别标签均确定为所述目标标签。
62.位置标签和预设类别标签集合之间的对应关系可以是预先基于车道线设置规则确定的。例如,位置标签为“右侧道路边缘线”,那么可设置位置标签“右侧道路边缘线”对应的预设类别标签集合中包括栅栏、路沿线和围栏等对应的“白实线”。示例地,在与位置标签对应同一车道线的类别标签存在于预设类别标签集合中的情况下,如该位置标签为“右侧道路边缘线”,该类别标签为“白实线”,那么该位置标签和该类别标签均可确定为目标标签。相反地,在与位置标签对应同一车道线的类别标签不存在于预设类别标签集合中的情况下,如该位置标签为“右侧道路边缘线”,该类别标签为“白虚线”,那么该位置标签和该类别标签均不作为目标标签。
63.采用这种方式,可根据位置标签与类别标签的对应关系,筛选出目标标签。以排除同一车道线对应相斥的位置标签和类别标签的错误标注情况。
64.可选地,所述目标标签包括位置标签,所述车道线的数量为多个,相应地,所述位置标签的数量为多个,所述从所有所述车道线对应的所述标注标签中确定符合预设标签约束条件的目标标签,包括:针对每一所述位置标签,在确定所述位置标签存在于关联性位置标签集合中的情况下,从多个所述位置标签中确定是否存在与所述位置标签相关联的目标位置标签;若存在所述目标位置标签,则将所述位置标签确定为所述目标标签。
65.应说明的是,同一幅车道图像中的车道线的位置标签不应该出现“跳线”的情况。例如,当一幅车道图像中有位置标签为“次右侧车道线”的车道线a时,则应当存在位置标签为“右侧车道线”的车道线b。若不存在位置标签为“右侧车道线”的车道线b,则说明该条车道线a的位置标签可能存在“跳线”的情况。若某一条车道线的位置标签可能存在“跳线”情况,则说明该条车道线的位置标签可能存在误标的情况。
66.为避免这种情况,可预先设置关联性位置标签集合,该关联性位置标签集合中的每一位置标签,应当与其相关联的其他位置标签成对出现。其中,位置标签x的关联位置标签y可以是预先设定的,也可以是基于车道图像中的图像特征确定的。例如,位置标签x为“次右侧车道线”,那么位置标签x“次右侧车道线”对应的车道线的左侧应当具有车道线,且左侧的车道线的位置标签应当为y“右侧车道线”。
67.在一些实施方式中,在确定位置标签存在于关联性位置标签集合中的情况下,可从车道图像对应的多个位置标签中确定是否存在与该位置标签相关联的目标位置标签。如针对位置标签“次右侧车道线”,确定车道图像对应的多个位置标签中是否存在与该位置标签“次右侧车道线”相关联的目标位置标签“右侧车道线”。若存在目标位置标签,则可将该位置标签确定为目标标签。相反地,若不存在目标位置标签,则将该位置标签不作为目标标签。
68.本公开还提供另一种确定目标标签的实施方式。道路图像中的车道线的数量为多个,相应地,位置标签的数量为多个。从位置标签和类别标签中确定符合预设标签约束条件的目标标签的实施方式可以是:从多个位置标签中确定与其他任一位置标签均不相同的第一候选位置标签。针对第一候选位置标签,确定第一候选位置标签对应的预设类别标签集合。在与第一候选位置标签对应同一车道线的类别标签存在于预设类别标签集合中的情况下,将第一候选位置标签确定为第二候选位置标签,并将与第一候选位置标签对应同一车道线的类别标签确定为
目标标签。针对第二候选位置标签,在确定第二候选位置标签存在于预设的关联性位置标签集合中的情况下,从多个位置标签中确定是否存在与第二候选位置标签相关联的目标位置标签。若存在目标位置标签,则将第二候选位置标签确定为目标标签。若不存在目标位置标签,则第二候选位置标签不是目标标签。
69.采用这种方式,通过多个筛选条件筛选出的目标标签更加准确。
70.可选地,所述道路图像标注数据还包括每一所述车道线在所述道路图像中对应的位置标注区域;所述分类模型包括特征图像提取模块、车道线特征提取模块、以及分类模块;所述特征图像提取模块用于将所述道路图像转换为特征图;所述车道线特征提取模块用于,从所述道路图像中所述目标车道线对应的目标位置标注区域内确定多个感兴趣点,并确定所述多个感兴趣点在所述特征图中对应的感兴趣特征;所述分类模块用于根据所述感兴趣特征进行分类,得到所述预测标签。
71.每一车道线在道路图像中对应的位置标注区域,可以是用户针对道路图像中的车道线描绘的多个点、线条、框所表征的区域。该位置标注区域在道路图像中对应的图像区域为车道线所在的图像区域。
72.示例地,如图2所示,分类模型包括特征图像提取模块、车道线特征提取模块、以及分类模块。特征图像提取模块用于将道路图像转换为特征图。具体地,道路图像经由主干网络生成三个尺度的特征(l0、l1和l2),具体是将道路图像转换成相同尺寸的第一特征图,对第一特征图进行下采样,得到第二特征图,对第二特征图进行下采样得到第三特征图,根据第三特征图确定l0,根据第二特征图和l0确定l1,根据l1和第一特征图确定l2。更详细的原理可参见相关技术。对该三个特征(l0、l1和l2)分别进行上采样(upsample)得到相同尺寸的特征子图并联结为一个特征图。
73.车道线特征提取模块用于,从道路图像中目标车道线对应的目标位置标注区域内确定多个感兴趣点(roi,region of interest),每一感兴趣点包括一个或多个像素点,并确定多个感兴趣点在特征图中对应的感兴趣特征(如图2中特征图中虚线所表征的多个感兴趣点对应的位置上的特征),该感兴趣特征表征了目标车道线特征(代表目标车道线)。这样,分类模块根据感兴趣特征进行分类,就能得到目标车道线的预测标签。
74.其中,分类模块包括若干个全连接层(fc,fully connected layer),用于对感兴趣特征(目标车道线特征)进行分类,得到位置类型的标签分类结果和类别类型的标签分类结果,然后从中确定目标标签对应的标签类型下的预测标签。
75.在一些实施方式中,从道路图像中目标车道线对应的目标位置标注区域内确定多个感兴趣点时,可以是从道路图像中目标位置标注区域内,沿着车道线的伸展方向等间距的确定多个感兴趣点。
76.图3是根据一示例性实施例示出的一种标注数据质检装置的框图。参照图3,该标注数据质检装置300包括:获取模块310,被配置为获取待质检的道路图像标注数据,所述道路图像标注数据包括道路图像、以及所述道路图像中每一车道线的标注标签;确定模块320,被配置为从所有所述车道线对应的所述标注标签中确定符合预设标签约束条件的目标标签,并确定所述目标标签对应的目标车道线;输入模块330,被配置为将所述道路图像输入训练完成的分类模型,得到所述分类
模型输出的所述目标车道线的预测标签;执行模块340,被配置为在所述预测标签和所述目标标签一致的情况下,将所述目标标签确定为所述道路图像中所述目标车道线的有效标注标签。
77.采用这种装置,获取待质检的道路图像标注数据,道路图像标注数据包括道路图像、以及道路图像中每一车道线的标注标签。从所有车道线对应的标注标签中确定符合预设标签约束条件的目标标签,并确定目标标签对应的目标车道线。将道路图像输入训练完成的分类模型,得到分类模型输出的目标车道线的预测标签。在预测标签和目标标签一致的情况下,将目标标签确定为道路图像中目标车道线的有效标注标签。本公开这种自动化质检的方式相较于相关技术中人工质检的方式效率更高。并且,相较于人工抽检的方式,本公开这种方式检测的更全面,检测结果更准确。
78.此外,本公开这种方式,先基于预设标签约束条件从标注标签层面筛选出准确地目标标签,再进一步地,通过分类模型从图像层面预测目标标签对应的目标车道线的预测标签,并根据预测标签来验证目标标签是否精准。这种从多个层面筛选/确定出的有效标注标签的精准性相较于根据单一层面确定出的结果的准确性更高。
79.可选地,每一所述车道线的所述标注标签包括表征该车道线相对于主体车辆的位置的位置标签、以及该车道线的类别标签,所述位置标签和所述类别标签对应不同标签类型;所述确定模块320,包括:第一确定子模块,被配置为从所有所述车道线对应的所述位置标签和所述类别标签中确定符合所述预设标签约束条件的所述目标标签;相应地,所述输入模块330被配置为将所述道路图像输入训练完成的分类模型,得到所述目标车道线在所述目标标签对应的标签类型下的所述预测标签。
80.可选地,所述目标标签包括位置标签,所述车道线的数量为多个,相应地,所述位置标签的数量为多个,所述确定模块320,包括:第二确定子模块,被配置为将多个所述位置标签中的与其他任一所述位置标签均不相同的所述位置标签确定为所述目标标签。
81.可选地,所述第一确定子模块,包括:第三确定子模块,被配置为针对所述位置标签,确定所述位置标签对应的预设类别标签集合;第四确定子模块,被配置为在与所述位置标签对应同一所述车道线的所述类别标签存在于所述预设类别标签集合中的情况下,将所述位置标签、以及与所述位置标签对应同一所述车道线的所述类别标签均确定为所述目标标签。
82.可选地,所述目标标签包括位置标签,所述车道线的数量为多个,相应地,所述位置标签的数量为多个,所述确定模块320,包括:第五确定子模块,被配置为针对每一所述位置标签,在确定所述位置标签存在于关联性位置标签集合中的情况下,从多个所述位置标签中确定是否存在与所述位置标签相关联的目标位置标签;第六确定子模块,被配置为若存在所述目标位置标签,则将所述位置标签确定为所述目标标签。
83.可选地,所述道路图像标注数据还包括每一所述车道线在所述道路图像中对应的位置标注区域;所述分类模型包括特征图像提取模块、车道线特征提取模块、以及分类模块;所述特征图像提取模块用于将所述道路图像转换为特征图;所述车道线特征提取模块用于,从所述道路图像中所述目标车道线对应的目标位置标注区域内确定多个感兴趣点,并确定所述多个感兴趣点在所述特征图中对应的感兴趣特征;所述分类模块用于根据所述感兴趣特征进行分类,得到所述预测标签。
84.可选地,所述标注数据质检装置300还包括:人工处理模块,被配置为将所述道路图像标注数据中的除了所述有效标注标签以外的其他标注标签以及所述道路图像展示给用户,以供所述用户进行人工质检或校正所述其他标注标签。
85.关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
86.本公开还提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开提供的标注数据质检方法的步骤。
87.图4是根据一示例性实施例示出的一种电子设备的框图。参照图4,电子设备800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
88.继续参照图4,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出接口812,传感器组件814,以及通信组件816。
89.处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的标注数据质检方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
90.存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。
91.电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
92.多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动
动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
93.音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(mic),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
94.输入/输出接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
95.传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到电子设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如cmos或ccd图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
96.通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如wifi,2g或3g,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(nfc)模块,以促进短程通信。例如,在nfc模块可基于射频识别(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。
97.在示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述标注数据质检方法。
98.在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由电子设备800的处理器820执行以完成上述标注数据质检方法。例如,所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
99.在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的标注数据质检方法的代码部分。
100.本公开实施例还提供一种车辆,包括标注数据质检装置300或包括电子设备800。
101.本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性
变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
102.应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1