一种点云数据的标注方法及装置与流程

文档序号:27216434发布日期:2021-11-03 15:46阅读:335来源:国知局
一种点云数据的标注方法及装置与流程

1.本发明涉及数据标注技术领域,具体而言,涉及一种点云数据的标注方法及装置。


背景技术:

2.基于深度学习的3d目标检测算法的训练,依赖于大量的已标注的3d激光雷达点云数据,其中,3d激光雷达点云数据为通过激光雷达采集的点云数据。相关技术中,3d激光雷达点云数据的标注一般是人工手动标注完成的。相对于2d图片数据的标注,3d激光雷达点云数据的人工标注过程中,标注步骤繁琐、速度慢且成本高。
3.在针对于对连续多帧的3d激光雷达点云数据的人工标注的场景,需要标注人员逐帧对的3d激光雷达点云数据进行标注,在该场景下,标注人员不仅需要关注每个标注框本身,还需要参考若干帧的3d激光雷达点云数据,来对不同帧的标注框进行关联。在某些场景下还需要保证不同帧上具有关联关系的标注框即对应同一个物理对象的标注框,在一些属性信息上保持一致,这些要求对3d激光雷达点云数据的标注效率的提升产生了较大的影响。
4.那么,如何提供一种便利的对3d激光雷达点云数据的标注方法成为亟待解决的问题。


技术实现要素:

5.本发明提供了一种点云数据的标注方法及装置,以实现对点云数据的简便有效标注,降低标注人员的负担,提高标注效率。具体的技术方案如下:
6.第一方面,本发明实施例提供了一种点云数据的标注方法,所述方法包括:
7.获得待标注点云数据帧及每一待标注点云数据帧对应的采集设备位姿信息;
8.对所述待标注点云数据帧进行预设显示处理,得到待显示点云数据帧,并显示所述待显示点云数据帧;
9.在检测到针对所述待显示点云数据帧中当前显示的当前显示帧中,待标注目标所对应点云数据触发的第一选中操作之后,基于所述第一选中操作,确定所述待标注目标对应的第一标注框信息;
10.在获得叠加帧数信息之后,从所述待标注点云数据帧中,确定所述当前显示帧之后或之前的所述叠加帧数信息帧点云数据帧,作为当前叠加帧;
11.基于所述当前显示帧对应的采集设备位姿信息及每一当前叠加帧对应的采集设备位姿信息,在所述当前显示帧上叠加显示每一当前叠加帧,以显示出所述待标注目标对应的运动轨迹信息;
12.在检测到针对所述当前叠加帧的目标帧中所述待标注目标所对应点云数据触发的第二选中操作后,基于所述第二选中操作,确定所述当前叠加帧的目标帧中所述待标注目标对应的第二标注框信息;
13.基于所述第一标注框信息以及所述第二标注框信息,确定所述当前显示帧以及所
述当前叠加帧的目标帧之间的每一当前叠加帧中所述待标注目标对应的第三标注框信息。
14.可选的,所述对所述待标注点云数据帧进行预设显示处理,得到待显示点云数据帧的步骤,包括:
15.对所述待标注点云数据帧进行地面点云数据删除操作,得到待显示点云数据帧。
16.可选的,所述基于所述第一标注框信息以及所述第二标注框信息,确定所述当前显示帧以及所述当前叠加帧的目标帧之间的每一当前叠加帧中所述待标注目标对应的第三标注框信息的步骤,包括:
17.基于所述第一标注框信息以及所述第二标注框信息,确定所述当前显示帧以及所述当前叠加帧的目标帧之间的每一当前叠加帧中所述待标注目标对应的中间标注框信息;
18.针对所述当前显示帧以及所述当前叠加帧的目标帧之间的每一当前叠加帧,基于该当前叠加中所述待标注目标对应的点云数据的分布特征,调整该当前叠加中所述待标注目标对应的中间标注框信息,确定该当前叠加帧中所述待标注目标对应的第三标注框信息。
19.可选的,在所述基于所述第一选中操作,确定所述待标注目标对应的第一标注框信息的步骤之后,所述方法还包括:
20.在所述当前显示帧中显示所述第一标注框信息对应的第一标注框;
21.在所述基于所述第二选中操作,确定所述当前叠加帧的目标帧中所述待标注目标对应的第二标注框信息的步骤之后,所述方法还包括:
22.在所述当前叠加帧的目标帧中显示所述第二标注框信息对应的第二标注框。
23.可选的,在所述基于所述第一标注框信息以及所述第二标注框信息,确定所述当前显示帧以及所述当前叠加帧的目标帧之间的每一当前叠加帧中所述待标注目标对应的第三标注框信息的步骤之后,所述方法还包括:
24.若检测到针对待调整帧中所述待标注目标对应的待调整标注框信息对应的标注框的微调指令,基于所述微调指令确定所述待标注目标对应的标注框信息对应的调整方向,其中,所述待调整帧为:包含所述待标注目标所对应点云数据的当前显示帧或当前叠加帧,所述待调整标注框信息对应的标注框包括:所述待标注目标对应的第一标注框信息对应的标注框或第二标注框信息对应的标注框或第三标注框信息对应的标注框;
25.基于所述待调整帧中所述待标注目标对应的点云数据与所述待调整标注框信息对应的标注框之间的相对位置关系,以及所述调整方向,确定满足预设边缘贴合条件的所述待标注目标对应的目标标注框信息,其中,所述预设边缘贴合条件为:限定所述待标注目标对应的点云数据在所述调整方向上的指定边缘,与所述待调整标注框信息对应的标注框在所述调整方向上的指定边缘重合的条件。
26.可选的,在所述显示所述待显示点云数据帧之前,所述方法还包括:
27.获得所述待标注点云数据帧对应的预标注数据,其中,所述预标注数据包括:每一帧待标注点云数据中预标注目标所对应点云数据对应的预标注框信息;
28.所述显示所述待显示点云数据帧的步骤,包括:
29.逐帧显示所述待显示点云数据帧,并对应显示每一待显示点云数据帧对应的预标注数据中的预标注目标所对应点云数据对应的预标注框信息对应的预标注框。
30.可选的,在所述在检测到针对所述待显示点云数据帧中当前显示的当前显示帧
中,待标注目标所对应点云数据触发的第一选中操作之后,基于所述第一选中操作,确定所述待标注目标对应的第一标注框信息的步骤之前,所述方法还包括:
31.在检测到针对所显示的待显示点云数据帧中第一预标注目标所对应点云数据对应的预标注框的修改操作后,基于所述修改操作对第一预标注目标所对应点云数据对应的预标注框进行修改,其中,该修改操作包括:删除、拆分以及合并中的至少一类操作。
32.可选的,所述显示所述待显示点云数据帧的步骤,包括:
33.以二维俯视角度显示所述待显示点云数据帧。
34.可选的,在所述基于所述第一选中操作,确定所述待标注目标对应的第一标注框信息的步骤之后,所述方法还包括:
35.以预设三维空间显示形式,显示所述待标注目标以及所述第一标注框信息对应的第一标注框;和/或
36.以预设二维非俯视角度,显示所述待标注目标以及所述第一标注框信息对应的第一标注框;和/或
37.获得所述当前显示帧对应的二维图像;基于所述待标注目标对应的第一标注框信息,将所述第一标注框信息对应的第一标注框投影至当前显示帧对应的二维图像中,得到所述待标注目标对应的第一标注框信息对应的投影框;显示当前显示帧对应的二维图像以及所述待标注目标对应的第一标注框信息对应的投影框,其中,所述二维图像包括所述待标注目标。
38.第二方面,本发明实施例提供了一种点云数据的标注装置,所述装置包括:
39.第一获得模块,被配置为获得待标注点云数据帧及每一待标注点云数据帧对应的采集设备位姿信息;
40.处理显示模块,被配置为对所述待标注点云数据帧进行预设显示处理,得到待显示点云数据帧,并显示所述待显示点云数据帧;
41.第一确定模块,被配置为在检测到针对所述待显示点云数据帧中当前显示的当前显示帧中,待标注目标所对应点云数据触发的第一选中操作之后,基于所述第一选中操作,确定所述待标注目标对应的第一标注框信息;
42.第二确定模块,被配置为在获得叠加帧数信息之后,从所述待标注点云数据帧中,确定所述当前显示帧之后或之前的所述叠加帧数信息帧点云数据帧,作为当前叠加帧;
43.叠加显示模块,被配置为基于所述当前显示帧对应的采集设备位姿信息及每一当前叠加帧对应的采集设备位姿信息,在所述当前显示帧上叠加显示每一当前叠加帧,以显示出所述待标注目标对应的运动轨迹信息;
44.第三确定模块,被配置为在检测到针对所述当前叠加帧的目标帧中所述待标注目标所对应点云数据触发的第二选中操作后,基于所述第二选中操作,确定所述当前叠加帧的目标帧中所述待标注目标对应的第二标注框信息;
45.第四确定模块,被配置为基于所述第一标注框信息以及所述第二标注框信息,确定所述当前显示帧以及所述当前叠加帧的目标帧之间的每一当前叠加帧中所述待标注目标对应的第三标注框信息。
46.可选的,所述处理显示模块,被具体配置为对所述待标注点云数据帧进行地面点云数据删除操作,得到待显示点云数据帧。
47.可选的,所述第四确定模块,被具体配置为基于所述第一标注框信息以及所述第二标注框信息,确定所述当前显示帧以及所述当前叠加帧的目标帧之间的每一当前叠加帧中所述待标注目标对应的中间标注框信息;
48.针对所述当前显示帧以及所述当前叠加帧的目标帧之间的每一当前叠加帧,基于该当前叠加中所述待标注目标对应的点云数据的分布特征,调整该当前叠加中所述待标注目标对应的中间标注框信息,确定该当前叠加帧中所述待标注目标对应的第三标注框信息。
49.可选的,所述装置还包括:
50.第一显示模块,被配置为在所述基于所述第一选中操作,确定所述待标注目标对应的第一标注框信息之后,在所述当前显示帧中显示所述第一标注框信息对应的第一标注框;
51.所述装置还包括:
52.第二显示模块,被配置为在所述基于所述第二选中操作,确定所述当前叠加帧的目标帧中所述待标注目标对应的第二标注框信息之后,在所述当前叠加帧的目标帧中显示所述第二标注框信息对应的第二标注框。
53.可选的,所述装置还包括:
54.第五确定模块,被配置为在所述基于所述第一标注框信息以及所述第二标注框信息,确定所述当前显示帧以及所述当前叠加帧的目标帧之间的每一当前叠加帧中所述待标注目标对应的第三标注框信息之后,若检测到针对待调整帧中所述待标注目标对应的待调整标注框信息对应的标注框的微调指令,基于所述微调指令确定所述待标注目标对应的标注框信息对应的调整方向,其中,所述待调整帧为:包含所述待标注目标所对应点云数据的当前显示帧或当前叠加帧,所述待调整标注框信息对应的标注框包括:所述待标注目标对应的第一标注框信息对应的标注框或第二标注框信息对应的标注框或第三标注框信息对应的标注框;
55.第六确定模块,被配置为基于所述待调整帧中所述待标注目标对应的点云数据与所述待调整标注框信息对应的标注框之间的相对位置关系,以及所述调整方向,确定满足预设边缘贴合条件的所述待标注目标对应的目标标注框信息,其中,所述预设边缘贴合条件为:限定所述待标注目标对应的点云数据在所述调整方向上的指定边缘,与所述待调整标注框信息对应的标注框在所述调整方向上的指定边缘重合的条件。
56.可选的,所述装置还包括:
57.第二获得模块,被配置为在所述显示所述待显示点云数据帧之前,获得所述待标注点云数据帧对应的预标注数据,其中,所述预标注数据包括:每一帧待标注点云数据中预标注目标所对应点云数据对应的预标注框信息;
58.所述处理显示模块,被具体配置为逐帧显示所述待显示点云数据帧,并对应显示每一待显示点云数据帧对应的预标注数据中的预标注目标所对应点云数据对应的预标注框信息对应的预标注框。
59.可选的,所述装置还包括:
60.修改模块,被配置为在所述在检测到针对所述待显示点云数据帧中当前显示的当前显示帧中,待标注目标所对应点云数据触发的第一选中操作之后,基于所述第一选中操
作,确定所述待标注目标对应的第一标注框信息之前,在检测到针对所显示的待显示点云数据帧中第一预标注目标所对应点云数据对应的预标注框的修改操作后,基于所述修改操作对第一预标注目标所对应点云数据对应的预标注框进行修改,其中,该修改操作包括:删除、拆分以及合并中的至少一类操作。
61.可选的,所述处理显示模块,被具体配置为以二维俯视角度显示所述待显示点云数据帧。
62.可选的,所述装置还包括:第三显示模块,被配置为在所述基于所述第一选中操作,确定所述待标注目标对应的第一标注框信息之后,以预设三维空间显示形式,显示所述待标注目标以及所述第一标注框信息对应的第一标注框;和/或
63.所述装置还包括:第四显示模块,被配置为以预设二维非俯视角度,显示所述待标注目标以及所述第一标注框信息对应的第一标注框;和/或
64.所述装置还包括:第三获得模块,被配置为获得所述当前显示帧对应的二维图像;
65.投影模块,被配置为基于所述待标注目标对应的第一标注框信息,将所述第一标注框信息对应的第一标注框投影至当前显示帧对应的二维图像中,得到所述待标注目标对应的第一标注框信息对应的投影框;
66.第五显示模块,被配置为显示当前显示帧对应的二维图像以及所述待标注目标对应的第一标注框信息对应的投影框,其中,所述二维图像包括所述待标注目标。
67.由上述内容可知,本发明实施例提供的一种点云数据的标注方法及装置,获得待标注点云数据帧及每一待标注点云数据帧对应的采集设备位姿信息;对待标注点云数据帧进行预设显示处理,得到待显示点云数据帧,并显示待显示点云数据帧;在检测到针对待显示点云数据帧中当前显示的当前显示帧中,待标注目标所对应点云数据触发的第一选中操作之后,基于第一选中操作,确定待标注目标对应的第一标注框信息;在获得叠加帧数信息之后,从待标注点云数据帧中,确定当前显示帧之后或之前的叠加帧数信息帧点云数据帧,作为当前叠加帧;基于当前显示帧对应的采集设备位姿信息及每一当前叠加帧对应的采集设备位姿信息,在当前显示帧上叠加显示每一当前叠加帧,以显示出待标注目标对应的运动轨迹信息;在检测到针对当前叠加帧的目标帧中待标注目标所对应点云数据触发的第二选中操作后,基于第二选中操作,确定当前叠加帧的目标帧中待标注目标对应的第二标注框信息;基于第一标注框信息以及第二标注框信息,确定当前显示帧以及当前叠加帧的目标帧之间的每一当前叠加帧中待标注目标对应的第三标注框信息。
68.应用本发明实施例,可以在确定待标注目标对应的第一标注框信息之后,确定当前显示帧之后的叠加帧数信息帧当前叠加帧,并基于当前显示帧对应的采集设备位姿信息及每一当前叠加帧对应的采集设备位姿信息,在当前显示帧上叠加显示每一当前叠加帧,以显示出待标注目标对应的运动轨迹信息,以为用户对待标注目标的标注提供准确的参考基础,为用户对待标注目标的标注更方便,同时为用户在多个相似的待标注的目标位置较密集的情况下,可以基于待标注目标对应的运动轨迹信息,标注出准确的待标注目标对应的第二标注框信息,避免在多个相似的待标注的目标位置较密集时,对用户的标注造成干扰,出现标注错误的情况。提高了待标注目标对应的第二标注框信息的准确性,并提高基于第一标注框信息及第二标注框信息所确定的第三标注框信息的准确性,以实现对点云数据的简便有效标注,降低标注人员的负担,提高标注效率。当然,实施本发明的任一产品或方
法并不一定需要同时达到以上所述的所有优点。
69.本发明实施例的创新点包括:
70.1、可以在确定待标注目标对应的第一标注框信息之后,确定当前显示帧之后的叠加帧数信息帧当前叠加帧,并基于当前显示帧对应的采集设备位姿信息及每一当前叠加帧对应的采集设备位姿信息,在当前显示帧上叠加显示每一当前叠加帧,以显示出待标注目标对应的运动轨迹信息,以为用户对待标注目标的标注提供准确的参考基础,为用户对待标注目标的标注更方便,同时为用户在多个相似的待标注的目标位置较密集的情况下,可以基于待标注目标对应的运动轨迹信息,标注出准确的待标注目标对应的第二标注框信息,避免在多个相似的待标注的目标位置较密集时,对用户的标注造成干扰,出现标注错误的情况。提高了待标注目标对应的第二标注框信息的准确性,并提高基于第一标注框信息及第二标注框信息所确定的第三标注框信息的准确性,以实现对点云数据的简便有效标注,降低标注人员的负担,提高标注效率。
71.2、对待标注点云数据帧进行地面点云数据删除操作,得到待显示点云数据帧,并显示,以供用户查看标注,可以在一定程度上消除点点云数据对用户标注过程的干扰,在一定程度上降低用户标注的难度,提高标注效率。
72.3、基于第一标注框信息和第二标注框信息确定中间标注框信息,进而,自动的基于每一当前叠加中待标注目标对应的点云数据的分布特征,调整该当前叠加中待标注目标对应的中间标注框信息,以得到准确性更高的当前叠加帧中待标注目标对应的第三标注框信息,提高用户的标注效率以及准确性。
73.4、提供对标注框信息对应的标注框的微调功能,使得用户在检查到所标注的标注框信息与所对应目标对应的点云数据不够贴合的情况下,可以对所标注的标注框信息所对应的标注框进行微调,使得所标注的标注框位置更准确。
74.5、支持对待标注点云数据对应的预标注数据的加载及显示功能,并提供对预标注数据中出现标注错误的预标注框的修改功能,在一定程度上减少了用户的标注工作量,并降低了数据获取成本,且在一定程度上提供了标注框的准确性。
75.6、多视角的显示待显示点云数据中待标注目标所对应的点云数据及其对应的标注信息对应的标注框,使得用户可以从各角度检查所标注的标注框是否准确。并且将所标注投影至当前显示帧对应的二维图像中,更好的方便用户检查所标注的标注框是否准确,为用户的准确标注提供基础。
附图说明
76.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
77.图1为本发明实施例提供的点云数据的标注方法的一种流程示意图;
78.图2为叠加显示当前显示帧以及当前叠加帧的一种示例图
79.图3a待标注目标与其对应的待调整标注框对应的标注框的背视角度的一种示例图;
80.图3b为对图3a中待调整标注框对应的标注框进行微调后的一种结果示例图;
81.图4a和图4b为当前显示帧及其中的待标注目标及对应的标注框信息对应的标注框的一种显示示例图
82.图5为本发明实施例提供的点云数据的标注装置的一种结构示意图。
具体实施方式
83.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
84.需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
85.本发明提供了一种点云数据的标注方法及装置,以实现对点云数据的简便有效标注,降低标注人员的负担,提高标注效率。下面对本发明实施例进行详细说明。
86.图1为本发明实施例提供的点云数据的标注方法的一种流程示意图。该方法可以包括如下步骤:
87.s101:获得待标注点云数据帧及每一待标注点云数据帧对应的采集设备位姿信息。
88.本发明实施例所提供的点云数据的标注方法,可以应用于任意类型的具有计算能力的电子设备中,该电子设备可以为服务器或者终端。在一种实现方式中,电子设备可以预先安装有预设标注工具,通过该预设标注工具实现本发明实施例所提供的点云数据的标注方法的标注功能。
89.电子设备可以首先获得待标注的点云数据帧,作为待标注点云数据帧,并获得每一待标注点云数据帧对应的采集设备位姿信息。其中,待标注点云数据帧包括多帧连续的点云数据帧,各待标注点云数据帧基于各自对应的采集设备采集时间的先后顺序排列。每一帧待标注点云数据帧包括点云数据采集设备在同一时刻所采集的点云数据。每一待标注点云数据帧对应的采集设备位姿信息可以为:点云数据在采集得到所对应待标注点云数据帧时的位姿信息。在一种情况中,上述点云数据采集设备可以为激光雷达。
90.在一种实现方式中,该待标注点云数据帧可以为:测试车辆在目标场景中进行行驶时,通过其所设置的点云数据采集设备,如激光雷达,针对该测试车辆行驶过程中的周围环境所采集的点云数据帧。
91.在一种情况中,电子设备可以展示有用于供用户选择其需要进行标注的点云数据帧的展示界面,该展示界面展示有各点云数据帧对应的图标,用户可以通过鼠标或者触控笔或者手指选中其需要标注的点云数据帧,电子设备基于用户的操作,获得用户所需标注的点云数据帧,作为待标注点云数据以及每一待标注点云数据帧对应的采集设备位姿信息。
92.s102:对待标注点云数据帧进行预设显示处理,得到待显示点云数据帧,并显示待
显示点云数据帧。
93.电子设备获得待标注点云数据帧之后,针对每一帧待标注点云数据帧进行预设显示处理,以删除每一待标注点云数据帧中会对后续的标注过程造成干扰的点云数据,得到待显示点云数据帧,进而逐帧显示待显示点云数据帧。在一种实现中,电子设备首先显示待显示点云数据帧中的指定帧,进而根据用户触发的显示下一帧指令,逐帧显示待显示点云数据帧,直至用户触发其他标注操作,执行相应的标注流程。在另一种实现中,电子设备首先显示待显示点云数据帧中的指定帧,在用户未触发其他标注操作的情况下,基于预设显示时间间隔逐帧显示待显示点云数据帧,直至用户触发其他标注操作,执行相应的标注流程。其中,上述指定帧可以为待显示点云数据帧中的首帧,或者,可以为待显示点云数据帧中的最新一次触发标注任务时所标注的最后一帧。
94.一种实现方式中,上述预设显示处理可以指预设不同角度显示处理。例如:可以是对待标注点云数据帧进行俯视角度处理,得到以俯视角度查看的待显示点云数据帧。
95.在另一种实现方式中,所述s102,可以包括:
96.对待标注点云数据帧进行地面点云数据删除操作,得到待显示点云数据帧。
97.本实现方式中,电子设备针对每一待标注点云数据帧,从该待标注点云数据帧所包含的点云数据中确定出地面对应的地面点云数据,并将地面点云数据从该待标注点云数据帧所包含的点云数据中删除,以得到包含剩余点云数据的待显示点云数据帧。其中,确定待标注点云数据帧所包含的点云数据中地面对应的地面点云数据的确定方式可以参见相关技术中点云数据中地面点云数据的确定方式,在此不再赘述。
98.s103:在检测到针对待显示点云数据帧中当前显示的当前显示帧中,待标注目标所对应点云数据触发的第一选中操作之后,基于第一选中操作,确定待标注目标对应的第一标注框信息。
99.本步骤中,电子设备在显示待显示点云数据帧的过程中,可以实时针对该待显示点云数据帧进行监测,用户可以根据待显示点云数据帧的显示过程,观测电子设备当前所显示的待显示点云数据帧中,是否存在未被标注的目标对应的点云数据。其中,为了描述方便,后续的,将电子设备当前显示的一帧待显示点云数据帧称为当前显示帧。在用户确定待显示点云数据帧中当前显示的当前显示帧中存在未被标注的目标对应的点云数据,用户可以针对该未被标注的目标对应的点云数据触发第一选中操作,相应的,为了描述方便,将用户触发第一选中操作所针对的未被标注的目标对应的点云数据称为待标注目标所对应点云数据。电子设备在检测到针对待显示点云数据帧中当前显示的当前显示帧中,待标注目标所对应点云数据触发的第一选中操作之后,基于第一选中操作,确定待标注目标对应的第一标注框信息。
100.在一种实现中,该第一选中操作可以是用户通过电子设备对应的输入器件针对待标注目标所对应点云数据输入选中框信息的操作,即待标注目标对应的第一标注框信息,其中,该待标注目标对应的第一标注框信息包括框的指定顶点的位置信息以及相应的长宽高信息。一种情况中该待标注目标对应的第一标注框信息还可以包括:待标注目标对应的标注框标识,其中,待标注目标对应的标注框标识为可以唯一标注待标注目标的信息,同一目标对应的标注框的标注框标识相同,不同目标对应的标注框的标注框标识不同。
101.电子设备对应的输入器件包括但不限于鼠标、键盘等器件。
102.举例而言,用户在确定当前显示帧中包括满足第一预设标注条件的未被标注的目标的情况下,可以通过电子设备对应的输入器件针对待标注目标所对应点云数据输入选中框信息。其中,该满足第一预设标注条件的未被标注的目标可以是:相对于当前显示帧之前的点云数据帧所包含点云数据对应的目标而言,该满足第一预设标注条件的未被标注的目标可以为新出现的目标。
103.举例而言,用户观测待显示点云数据帧中3-10帧包括目标a对应的点云数据,然而3-10帧中目标a对应的点云数据均未被标注,相应的,目标a可以认为为满足第一预设标注条件的未被标注的目标。此时用户可以针对第3帧中该目标a对应的点云数据触发第一选中操作,电子设备基于第一选中操作,确定待标注目标对应的包括框的指定顶点的位置信息以及相应的长宽高信息的第一标注框信息。
104.又举例而言,用户观测待显示点云数据帧中1-30帧包括目标b对应的点云数据,其中,10-30帧中该目标b对应的点云数据被标注,1-10帧中该目标b对应的点云数据未被标注,相应的,目标b也可以认为为满足第一预设标注条件的未被标注的目标。
105.在另一种实现中,该第一选中操作可以用户通过电子设备对应的输入器件针对待标注目标所对应点云数据的点击操作,电子设备可以通过第一选中操作确定待标注目标对应的第一标注框信息。其中,用户在确定当前显示帧中包括满足第二预设标注条件的未被标注的目标的情况下,可以通过电子设备对应的输入器件针对待标注目标所对应点云数据的点击操作,以使得电子设备检测到第一选中操作。该满足第二预设标注条件的未被标注的目标可以是:出现隔帧漏检漏标注的目标。举例而言:用户观测待显示点云数据帧中1-20帧包括目标c对应的点云数据,其中,1-4帧中该目标c对应的点云数据被标注,即每一帧对应有该目标c对应的点云数据对应的标注框信息,即后续提到的预标注框信息;5至20帧中该目标c对应的点云数据未被标注,相应的目标c可以认为为出现隔帧漏检漏标注的目标。相应的,此时用户可以针对第4帧中该目标c对应的点云数据触发第一选中操作,电子设备基于第一选中操作,将第4帧中该目标c对应的点云数据对应的预标注框信息确定为待标注目标对应的第一标注框信息。
106.又举例而言,用户观测待显示点云数据帧中1-30帧包括目标d对应的点云数据,其中,1-4帧、10-30帧中该目标d对应的点云数据被标注,5-9帧中该目标d对应的点云数据未被标注,相应的,目标d也可以认为为出现隔帧漏检漏标注的目标。
107.s104:在获得叠加帧数信息之后,从待标注点云数据帧中,确定当前显示帧之后或之前的叠加帧数信息帧点云数据帧,作为当前叠加帧。
108.其中,上述叠加帧数信息可以是用户手动输入的也可以是电子设备自动生成的。在一种实现方式中,用户针对当前显示帧中待标注目标所对应点云数据触发的第一选中操作之后,可以基于其所观察到的待显示点云数据帧中包含该待标注目标所对应点云数据的点云数据帧的帧数,输入叠加帧数信息,电子设备获得叠加帧数信息之后,从待标注点云数据帧中,确定当前显示帧之后或之前的叠加帧数信息帧点云数据帧,作为当前叠加帧。
109.另一种实现方式中,用户针对当前显示帧中待标注目标所对应点云数据触发的第一选中操作之后,电子设备可以基于第一选中操作,确定出待标注目标对应的第一标注框信息,若电子设备检测到待标注点云数据帧中第一待标注点云数据帧所包含第一点云数据对应的标注框信息包括的标注框标识,与第一标注框信息对应的标注框标识相同,则电子
设备可以基于当前显示帧的帧数信息与第一待标注点云数据帧的帧数信息,确定叠加帧数信息,进而,从待标注点云数据帧中,确定当前显示帧之后或之前的叠加帧数信息帧点云数据帧,作为当前叠加帧。
110.相应的,若第一待标注点云数据帧在当前显示帧之后,且包括多帧,此时当前叠加帧包括:当前显示帧与最早的一帧第一待标注点云数据帧之间的帧,与最早的一帧第一待标注点云数据帧;若第一待标注点云数据帧在当前显示帧之前,且包括多帧,此时当前叠加帧包括:当前显示帧与最晚的一帧第一待标注点云数据帧之间的帧,与最晚的一帧第一待标注点云数据帧。
111.举例而言,用户观测待显示点云数据帧中1-30帧包括目标b对应的点云数据,其中,10-30帧中该目标b对应的点云数据被标注,1-10帧中该目标b对应的点云数据未被标注,用户针对第1帧中目标b对应的点云数据触发第一选中操作,并且电子设备确定出目标b对应的第一标注框信息;电子设备确定10-30帧包括的目标b对应的点云数据对应的标注框信息中的框标识信息,与目标b对应的点云数据对应的第一标注框信息中的框标识信息相同的;电子设备则基于第一帧的帧数信息1与10帧的帧数信息10,确定叠加帧数信息,进而,从待标注点云数据帧中,确定第2帧到10帧,作为当前叠加帧。
112.s105:基于当前显示帧对应的采集设备位姿信息及每一当前叠加帧对应的采集设备位姿信息,在当前显示帧上叠加显示每一当前叠加帧,以显示出待标注目标对应的运动轨迹信息。
113.本步骤中,电子设备基于当前显示帧对应的采集设备位姿信息及每一当前叠加帧对应的采集设备位姿信息,确定出当前显示帧中待标注目标对应的点云数据,与每一当前叠加帧中待标注目标对应的点云数据之间的真实的相对位置关系;进行基于所确定的真实的相对位置关系,在当前显示帧上叠加显示每一当前叠加帧,以显示出待标注目标对应的运动轨迹信息。如图2所示,为叠加显示当前显示帧以及当前叠加帧的一种示例图。
114.s106:在检测到针对当前叠加帧的目标帧中待标注目标所对应点云数据触发的第二选中操作后,基于第二选中操作,确定当前叠加帧的目标帧中待标注目标对应的第二标注框信息。
115.本步骤中,电子设备显示出叠加显示的当前显示帧与每一当前叠加帧之后,用户可以观测到待标注目标对应的运动轨迹信息,用户可以基于该待标注目标对应的运动轨迹信息,准确的确定出待标注目标的轨迹的终点,进而,可以针对当前叠加帧的目标帧中待标注目标所对应点云数据触发第二选中操作。电子设备在检测到针对当前叠加帧的目标帧中待标注目标所对应点云数据触发的第二选中操作后,确定当前叠加帧的目标帧中待标注目标对应的第二标注框信息。
116.在一种实现中,该第二选中操作可以是用户通过电子设备对应的输入器件针对待标注目标所对应点云数据输入选中框信息的操作,即待标注目标对应的第二标注框信息,其中,该待标注目标对应的第二标注框信息包括框的指定顶点的位置信息以及相应的长宽高信息。一种情况中该待标注目标对应的第二标注框信息还可以包括:待标注目标对应的标注框标识。
117.在另一种实现中,该第二选中操作可以用户通过电子设备对应的输入器件针对待标注目标所对应点云数据的点击操作。一种情况,电子设备检测到第二选中操作后,可以以
第二选中操作的点击位置为中心,生成预设标注框信息,作为待标注目标对应的第二标注框信息。另一种情况,电子设备检测到第二选中操作后,可以以第二选中操作的点击位置,确定第二选中操作对应选中的当前叠加帧的目标帧中待标注目标对应的预标注框信息,作为当前叠加帧的目标帧中待标注目标对应的第二标注框信息。
118.理论山,一种情况,当前叠加帧为当前显示帧之后的帧的情况下,当前叠加帧的目标帧可以是当前叠加帧中的尾帧;另一种情况,当前叠加帧为当前显示帧之前的帧的情况下,当前叠加帧的目标帧可以是当前叠加帧中的首帧。
119.s107:基于第一标注框信息以及第二标注框信息,确定当前显示帧以及当前叠加帧的目标帧之间的每一当前叠加帧中待标注目标对应的第三标注框信息。
120.在一种实现方式中,电子设备基于第一标注框信息以及第二标注框信息,利用预设差值算法,确定当前显示帧以及当前叠加帧的目标帧之间的每一当前叠加帧中待标注目标对应的第三标注框信息。其中,该预设差值算法可以为相关技术中任一种可以差值生成前显示帧以及当前叠加帧的目标帧之间的每一当前叠加帧中待标注目标对应的标注框信息的算法,在此不再赘述。
121.应用本发明实施例,可以在确定待标注目标对应的第一标注框信息之后,确定当前显示帧之后的叠加帧数信息帧当前叠加帧,并基于当前显示帧对应的采集设备位姿信息及每一当前叠加帧对应的采集设备位姿信息,在当前显示帧上叠加显示每一当前叠加帧,以显示出待标注目标对应的运动轨迹信息,以为用户对待标注目标的标注提供准确的参考基础,为用户对待标注目标的标注更方便,同时为用户在多个相似的待标注的目标位置较密集的情况下,可以基于待标注目标对应的运动轨迹信息,标注出准确的待标注目标对应的第二标注框信息,避免在多个相似的待标注的目标位置较密集时,对用户的标注造成干扰,出现标注错误的情况。提高了待标注目标对应的第二标注框信息的准确性,并提高基于第一标注框信息及第二标注框信息所确定的第三标注框信息的准确性,以实现对点云数据的简便有效标注,降低标注人员的负担,提高标注效率。
122.在本发明的另一实施例中,所述s107,可以包括如下步骤011-012:
123.011:基于第一标注框信息以及第二标注框信息,确定当前显示帧以及当前叠加帧的目标帧之间的每一当前叠加帧中待标注目标对应的中间标注框信息。
124.012:针对当前显示帧以及当前叠加帧的目标帧之间的每一当前叠加帧,基于该当前叠加中待标注目标对应的点云数据的分布特征,调整该当前叠加中待标注目标对应的中间标注框信息,确定该当前叠加帧中待标注目标对应的第三标注框信息。
125.本发明实施例中,电子设备基于第一标注框信息以及第二标注框信息,利用预设差值算法,差值生成当前显示帧以及当前叠加帧的目标帧之间的每一当前叠加帧中待标注目标对应的中间标注框信息。针对当前显示帧以及当前叠加帧的目标帧之间的每一当前叠加帧,确定该当前叠加中待标注目标对应的点云数据的分布特征,进而调整该当前叠加中待标注目标对应的中间标注框信息,使得该当前叠加中待标注目标对应的中间标注框信息对应的中间标注框的边缘,包围住该当前叠加中待标注目标对应的点云数据,得到该当前叠加帧中待标注目标对应的第三标注框信息。
126.利用当前叠加中待标注目标对应的点云数据的分布特征,对插值生成的中间标注框信息进行自动修正,以得到准确性更高的当前叠加帧中待标注目标对应的第三标注框信
息,提高用户的标注效率以及准确性。
127.在本发明的另一实施例中,在所述s103之后,所述方法还可以包括:
128.在当前显示帧中显示第一标注框信息对应的第一标注框。
129.为了便于用户查看针对待标注目标确定的其对应的第一标注框信息是否准确,标注是否合理,电子设备在确定出待标注目标对应的第一标注框信息之后,可以在当前显示帧中的相应位置处显示第一标注框信息对应的第一标注框,使得用户可以查看该第一标注框的位置的准确性。后续的,用户若检测第一标注框不够准确合理,可以调整第一标注框的长宽高以及位置等。
130.在本发明的另一实施例中,在所述s105之后,所述方法还可以包括:
131.在当前叠加帧的目标帧中显示第二标注框信息对应的第二标注框。
132.为了便于用户查看针对待标注目标确定的其对应的第二标注框信息是否准确,标注是否合理,电子设备在确定出待标注目标对应的第二标注框信息之后,可以在当前叠加帧的目标帧中的相应位置处显示第二标注框信息对应的第二标注框,使得用户可以查看该第二标注框的位置的准确性。后续的,用户若检测第二标注框不够准确合理,可以调整第二标注框的长宽高以及位置等。
133.在本发明的另一实施例中,在所述s107之后,所述方法还可以包括如下步骤021-022:
134.021:若检测到针对待调整帧中待标注目标对应的待调整标注框信息对应的标注框的微调指令,基于微调指令确定待标注目标对应的标注框信息对应的调整方向。
135.其中,待调整帧为:包含待标注目标所对应点云数据的当前显示帧或当前叠加帧,待调整标注框信息对应的标注框包括:待标注目标对应的第一标注框信息对应的标注框或第二标注框信息对应的标注框或第三标注框信息对应的标注框。
136.022:基于待调整帧中待标注目标对应的点云数据与待调整标注框信息对应的标注框之间的相对位置关系,以及调整方向,确定满足预设边缘贴合条件的待标注目标对应的目标标注框信息,其中,预设边缘贴合条件为:限定待标注目标对应的点云数据在调整方向上的指定边缘,与待调整标注框信息对应的标注框在调整方向上的指定边缘重合的条件。
137.本发明实施例中,电子设备确定出当前显示帧以及当前叠加帧的目标帧之间的每一当前叠加帧中待标注目标对应的第三标注框信息之后,可以在每一当前显示帧以及当前叠加帧的目标帧之间的每一当前叠加帧中的相应位置处,显示待标注目标对应的第三标注框信息对应的第三标注框,以便用户查看所生成的第三标注框信息是否准确,标注是否合理。用户在查看过程中,若确定某一帧中待标注目标对应的标注框信息需要调整,则可以针对该需要调整的标注框信息触发微调指令。为了描述清楚,本发明实施例中将需要调整的标注框信息称为待调整标注框信息,将对应需要调整的标注框信息的待显示点云数据帧称为待调整帧。
138.电子设备若检测到针对待调整帧中待标注目标对应的待调整标注框信息对应的标注框的微调指令,其中该微调指令中可以携带指示调整待标注目标对应的标注框信息的方向的信息,电子设备基于微调指令确定待标注目标对应的标注框信息对应的调整方向;进而确定待标注目标对应的待调整标注框信息的位置信息,以及待调整帧中待标注目标对
应的点云数据的位置信息,基于待标注目标对应的待调整标注框信息的位置信息与待调整帧中待标注目标对应的点云数据的位置信息,确定其两者之间的相对位置关系;基于所确定的其两者之间的相对位置关系以及调整方向,确定满足预设边缘贴合条件的待标注目标对应的目标标注框信息,即确定出可以使得待标注目标对应的点云数据在调整方向上的指定边缘,与待调整标注框信息对应的标注框在所述调整方向上的指定边缘重合的待标注目标对应的目标标注框信息。
139.举例而言,若调整方向为向右调整,则可以使得待标注目标对应的点云数据的左侧边缘与待调整标注框信息对应的标注框的左侧边缘重合。若调整方向为向上调整,则可以使得待标注目标对应的点云数据的下侧边缘与待调整标注框信息对应的标注框的下侧边缘重合。
140.其中,待调整帧中待标注目标对应的点云数据的位置信息可以指最小包围待标注目标对应的点云数据的矩形框的位置信息。
141.为了保证使得用户可以更好的检测其所标注的标注框信息的准确性,电子设备可以对从不同角度显示待显示点云数据帧。一种实现方式中,可以是以二维俯视角度显示待显示点云数据帧,以可以查看到该待显示电晕数据帧的整体结构,便于对各目标对应的点云数据的确定。另一种实现方式中,还可以从侧视角度、背面角度展示待显示点云数据帧,以从不同角度展示出待显示点云数据帧中点云数据的分布情况。
142.为了更好的全面的展示出对待标注目标标注的标注框,以便用户可以更好的检查所标注的标注框信息是否合适,在本发明的另一实施例中,在所述s103之后,所述方法还可以包括如下步骤:
143.031:以预设三维空间显示形式,显示待标注目标以及第一标注框信息对应的第一标注框。和/或
144.032:以预设二维非俯视角度,显示待标注目标以及第一标注框信息对应的第一标注框。和/或
145.033:获得当前显示帧对应的二维图像;基于待标注目标对应的第一标注框信息,将第一标注框信息对应的第一标注框投影至当前显示帧对应的二维图像中,得到待标注目标对应的第一标注框信息对应的投影框;显示当前显示帧对应的二维图像以及待标注目标对应的第一标注框信息对应的投影框。
146.其中,二维图像包括待标注目标。该当前显示帧对应的二维图像为与当前显示帧在相同的采集周期内采集的图像。
147.以预设三维空间显示形式显示待标注目标以及第一标注框信息对应的第一标注框,可以为用户提供更直观的展示,使得用户可以直观的检查出其所标注的第一标注框信息对应的第一标注框与待标注目标是否贴合,是否合适。
148.相应的,在一种实现方式中,在电子设备确定出待标注目标对应的第二标注框信息之后,还可以以预设三维空间显示形式显示待标注目标以及第二标注框信息对应的第二标注框,使得用户可以直观的检查出其所标注的第二标注框信息对应的第二标注框与待标注目标是否贴合,是否合适。
149.相应的,在电子设备确定出待标注目标对应的第三标注框信息之后,还可以以预设三维空间显示形式显示待标注目标以及第三标注框信息对应的第三标注框,使得用户可
以直观的检查出其所标注的第三标注框信息对应的第三标注框与待标注目标是否贴合,是否合适。
150.上述预设二维非俯视角度可以包括待标注目标的侧视角度、正视角度、背视角度等。以不同角度显示待标注目标以及第一标注框信息对应的第一标注框,可以供用户从不同角度确定所标注的第一标注框信息对应的第一标注框与待标注目标是否贴合,是否合适。相应的,还可以以预设二维非俯视角度显示待标注目标以及第二标注框信息对应的第二标注框;以预设二维非俯视角度显示待标注目标以及第三标注框信息对应的第三标注框,以供用户从不同角度确定所标注的第二标注框信息对应的第二标注框与待标注目标是否贴合,是否合适;第三标注框信息对应的第三标注框与待标注目标是否贴合,是否合适。
151.在一种情况中,用户可以参照预设二维非俯视角度所显示的待标注目标及其对应的标注框信息的标注框,触发微调指令。如图3a所示,为待标注目标与其对应的待调整标注框对应的标注框的背视角度的一种示例图。如图3a所示,用户可以确定所标注的待标注目标对应的待调整标注框对应的标注框,相对于待标注目标对应的点云数据的位置偏左。相应的用户可以针对该待调整标注框对应的标注框触发指示将待调整标注框对应的标注框向右调整的微调指令,电子设备获得该微调指令之后,基于待调整帧中待标注目标对应的点云数据与待调整标注框信息对应的标注框之间的相对位置关系,以及调整方向,将待调整标注框信息对应的标注框向右调整,且使得待调整标注框信息对应的标注框的左侧边缘与待标注目标对应的点云数据的左侧边缘贴合。调整后的结果示例图,如图3b所示。
152.在本发明的一种实现方式中,电子设备在确定待标注目标对应的第一标注框信息之后,还可以获得当前显示帧对应的二维图像,进而,基于二维图像对应的图像采集设备与当前显示帧对应的采集设备之间的相对位置关系,以及待标注目标对应的第一标注框信息,将第一标注框信息对应的第一标注框投影至当前显示帧对应的二维图像中,得到待标注目标对应的第一标注框信息对应的投影框,进而显示当前显示帧对应的二维图像以及待标注目标对应的第一标注框信息对应的投影框。以供用户确定所标注的第一标注框信息对应的第一标注框与待标注目标是否贴合,是否合适。
153.相应的,电子设备在在确定待标注目标对应的第二标注框信息之后,还可以获得当前叠加帧的目标帧对应的二维图像,进而,基于该二维图像对应的图像采集设备与当前显示帧对应的采集设备之间的相对位置关系,以及待标注目标对应的第二标注框信息,将第二标注框信息对应的第二标注框投影至当前叠加帧的目标帧对应的二维图像中,得到待标注目标对应的第二标注框信息对应的投影框,进而显示当前叠加帧的目标帧对应的二维图像以及待标注目标对应的第二标注框信息对应的投影框。以供用户确定所标注的第二标注框信息对应的第二标注框与待标注目标是否贴合,是否合适。
154.电子设备在在确定待标注目标对应的第三标注框信息之后,针对当前显示帧与当前叠加帧的目标帧之间的每一帧点云数据帧,还可以获得该点云数据帧对应的二维图像,进而,基于该二维图像对应的图像采集设备,与该点云数据帧对应的采集设备之间的相对位置关系,以及该点云数据帧中待标注目标对应的第三标注框信息,将第三标注框信息对应的第三标注框投影至该点云数据帧对应的二维图像中,得到待标注目标对应的第三标注框信息对应的投影框,进而显示该点云数据帧对应的二维图像以及该点云数据帧中待标注目标对应的第三标注框信息对应的投影框。以供用户确定所标注的第三标注框信息对应的
第三标注框与待标注目标是否贴合,是否合适。
155.如图4a和4b所示,为本发明实施例中所提供的当前显示帧及其中的待标注目标及对应的标注框信息对应的标注框的一种显示示例图。其中,图中左上角展示有二维图片视图,其中包括当前显示帧对应的二维图像以及待标注目标对应的第一标注框信息对应的投影框。图中左下角展示有三维视图,其中包括以预设三维空间显示形式,显示的待标注目标以及第一标注框信息对应的第一标注框。图中中间区域展示有以二维俯视角度显示的待显示点云数据帧。图中右上角展示有二维背视图,其中包括以背视角度,显示的待标注目标以及第一标注框信息对应的第一标注框。图中右下角展示有二维侧视图,其中,包括以侧视角度,显示的待标注目标以及第一标注框信息对应的第一标注框。其中,图3a为未对待标注点云数据帧进行地面点云数据删除操作前的示例图,图3b为对待标注点云数据帧进行地面点云数据删除操作后的示例图。
156.在本发明的另一实施例中,在所述显示所述待显示点云数据帧之前,所述方法还可以包括:获得待标注点云数据帧对应的预标注数据。
157.其中,预标注数据包括:每一帧待标注点云数据中预标注目标所对应点云数据对应的预标注框信息;
158.所述显示待显示点云数据帧的步骤,可以包括:
159.逐帧显示待显示点云数据帧,并对应显示每一待显示点云数据帧对应的预标注数据中的预标注目标所对应点云数据对应的预标注框信息对应的预标注框。
160.该待标注点云数据帧对应的预标注数据可以是:利用基于3d目标检测算法,对待标注点云数据帧中的各目标进行检测所得到的检测标注结果,也可以是用户历史手动标注待标注点云数据帧中的各目标的标注结果。该待标注点云数据帧对应的预标注数据可以包括:预标注的待标注点云数据帧中每一帧中所包含目标的预标注框的位置信息,从不同帧中所标注出的为同一物理对象的目标之间的关联关系,以及待标注点云数据帧中每一帧中点云数据对应的语义信息。
161.其中,不同帧中已标注出的为同一物理对象的目标之间的关联关系可以通过该目标所对应预标注框的框标识信息表示。例如:可以为:不同帧中所标注出的为同一物理对象的目标之间,其所对应预标注框的框标识信息相同。其中,对应同一物理对象的目标对应的预标注框的框标识信息相同,不同物理对象的目标对应的预标注框的框标识信息不同。
162.电子设备在获得待标注点云数据帧的同时可以获得其对应的预标注数据,进而在显示待显示点云数据帧时,对应显示每一待显示点云数据帧对应的预标注数据中的预标注目标所对应点云数据对应的预标注框信息对应的预标注框。
163.后续的,用户可以针对所显示的待显示点云数据及其中所显示的预标注框,确定预标注框中是否存在出现错误的预标注框,例如将不同的物理对象标注为相同的物理对象,或将不应被检测标注的对象,被误标注;或将相同的物理对象标注为不同的物理对象等等。用户在确定预标注框中存在出现错误的预标注框,可进行相应修改。
164.在本发明的另一实施例中,在所述s103之前,所述方法还可以包括:
165.在检测到针对所显示的待显示点云数据帧中第一预标注目标所对应点云数据对应的预标注框的修改操作后,基于修改操作对第一预标注目标所对应点云数据对应的预标注框进行修改,其中,该修改操作包括:删除、拆分以及合并中的至少一类操作。
166.针对将不同的物理对象标注为相同的物理对象的预标注框,用户可以触发指示拆分预标注框的修改操作,电子设备检测到相应的修改操作后,基于修改操作对第一预标注目标所对应点云数据对应的预标注框进行修改,即将预标注框之间的关联关系进行拆分。举例而言,待显示点云数据帧包括1-10帧,1-5帧包括目标1对应的点云数据,6-10帧包括目标2对应的点云数据,相应的预标注数据中,目标1对应的预标注框中的标注框标识与目标2对应的预标注框中的标注框标识相同,用户可以选中第6帧中目标2对应的预标注框,并触发指示拆分的修改操作,电子设备基于该修改操作,将第6-10帧中目标2对应的预标注框的标注框标识修改为其他标识,该其他标识具有唯一性,不同于已存在标注框标识。
167.针对将不应被检测标注的对象,被误标注的预标注框,用户可以触发指示删除预标注框的修改操作,用户可以直接选中该被误标注的预标注框,并触发指示删除的修改操作,电子设备基于该修改操作,删除该被误标注的预标注框对应的预标注框信息。
168.针对将相同的物理对象标注为不同的物理对象的预标注框,用户可以触发指示合并预标注框的修改操作,用户可以直接选中其中一个预标注框,并触发指示合并的修改操作,例如,将选中的预标注框对应的预标注框信息中的标注框标识,修改为对应相同物理对象的另一类预标注框对应的预标注框新西中的标注框标识。电子设备基于该修改操作,修改被选中的预标注框及相应的预标注框对应的预标注框信息中的标注框标识。其中,与选中的预标注框相应的预标注框为:对应的标注框标识与被选中的预标注框对应的标注框标识相同的预标注框。
169.相应于上述方法实施例,本发明实施例提供了一种点云数据的标注装置,如图5所示,所述装置包括:
170.第一获得模块510,被配置为获得待标注点云数据帧及每一待标注点云数据帧对应的采集设备位姿信息;
171.处理显示模块520,被配置为对所述待标注点云数据帧进行预设显示处理,得到待显示点云数据帧,并显示所述待显示点云数据帧;
172.第一确定模块530,被配置为在检测到针对所述待显示点云数据帧中当前显示的当前显示帧中,待标注目标所对应点云数据触发的第一选中操作之后,基于所述第一选中操作,确定所述待标注目标对应的第一标注框信息;
173.第二确定模块540,被配置为在获得叠加帧数信息之后,从所述待标注点云数据帧中,确定所述当前显示帧之后或之前的所述叠加帧数信息帧点云数据帧,作为当前叠加帧;
174.叠加显示模块550,被配置为基于所述当前显示帧对应的采集设备位姿信息及每一当前叠加帧对应的采集设备位姿信息,在所述当前显示帧上叠加显示每一当前叠加帧,以显示出所述待标注目标对应的运动轨迹信息;
175.第三确定模块560,被配置为在检测到针对所述当前叠加帧的目标帧中所述待标注目标所对应点云数据触发的第二选中操作后,基于所述第二选中操作,确定所述当前叠加帧的目标帧中所述待标注目标对应的第二标注框信息;
176.第四确定模块570,被配置为基于所述第一标注框信息以及所述第二标注框信息,确定所述当前显示帧以及所述当前叠加帧的目标帧之间的每一当前叠加帧中所述待标注目标对应的第三标注框信息。
177.应用本发明实施例,可以在确定待标注目标对应的第一标注框信息之后,确定当
前显示帧之后的叠加帧数信息帧当前叠加帧,并基于当前显示帧对应的采集设备位姿信息及每一当前叠加帧对应的采集设备位姿信息,在当前显示帧上叠加显示每一当前叠加帧,以显示出待标注目标对应的运动轨迹信息,以为用户对待标注目标的标注提供准确的参考基础,为用户对待标注目标的标注更方便,同时为用户在多个相似的待标注的目标位置较密集的情况下,可以基于待标注目标对应的运动轨迹信息,标注出准确的待标注目标对应的第二标注框信息,避免在多个相似的待标注的目标位置较密集时,对用户的标注造成干扰,出现标注错误的情况。提高了待标注目标对应的第二标注框信息的准确性,并提高基于第一标注框信息及第二标注框信息所确定的第三标注框信息的准确性,以实现对点云数据的简便有效标注,降低标注人员的负担,提高标注效率。
178.在本发明的另一实施例中,所述处理显示模块520,被具体配置为对所述待标注点云数据帧进行地面点云数据删除操作,得到待显示点云数据帧。
179.在本发明的另一实施例中,所述第四确定模块570,被具体配置为基于所述第一标注框信息以及所述第二标注框信息,确定所述当前显示帧以及所述当前叠加帧的目标帧之间的每一当前叠加帧中所述待标注目标对应的中间标注框信息;
180.针对所述当前显示帧以及所述当前叠加帧的目标帧之间的每一当前叠加帧,基于该当前叠加中所述待标注目标对应的点云数据的分布特征,调整该当前叠加中所述待标注目标对应的中间标注框信息,确定该当前叠加帧中所述待标注目标对应的第三标注框信息。
181.在本发明的另一实施例中,所述装置还包括:第一显示模块(图中未示出),被配置为在所述基于所述第一选中操作,确定所述待标注目标对应的第一标注框信息之后,在所述当前显示帧中显示所述第一标注框信息对应的第一标注框;
182.所述装置还包括:第二显示模块(图中未示出),被配置为在所述基于所述第二选中操作,确定所述当前叠加帧的目标帧中所述待标注目标对应的第二标注框信息之后,在所述当前叠加帧的目标帧中显示所述第二标注框信息对应的第二标注框。
183.在本发明的另一实施例中,所述装置还包括:
184.第五确定模块(图中未示出),被配置为在所述基于所述第一标注框信息以及所述第二标注框信息,确定所述当前显示帧以及所述当前叠加帧的目标帧之间的每一当前叠加帧中所述待标注目标对应的第三标注框信息之后,若检测到针对待调整帧中所述待标注目标对应的待调整标注框信息对应的标注框的微调指令,基于所述微调指令确定所述待标注目标对应的标注框信息对应的调整方向,其中,所述待调整帧为:包含所述待标注目标所对应点云数据的当前显示帧或当前叠加帧,所述待调整标注框信息对应的标注框包括:所述待标注目标对应的第一标注框信息对应的标注框或第二标注框信息对应的标注框或第三标注框信息对应的标注框;
185.第六确定模块(图中未示出),被配置为基于所述待调整帧中所述待标注目标对应的点云数据与所述待调整标注框信息对应的标注框之间的相对位置关系,以及所述调整方向,确定满足预设边缘贴合条件的所述待标注目标对应的目标标注框信息,其中,所述预设边缘贴合条件为:限定所述待标注目标对应的点云数据在所述调整方向上的指定边缘,与所述待调整标注框信息对应的标注框在所述调整方向上的指定边缘重合的条件。
186.在本发明的另一实施例中,所述装置还包括:
187.第二获得模块(图中未示出),被配置为在所述显示所述待显示点云数据帧之前,获得所述待标注点云数据帧对应的预标注数据,其中,所述预标注数据包括:每一帧待标注点云数据中预标注目标所对应点云数据对应的预标注框信息;
188.所述处理显示模块520,被具体配置为逐帧显示所述待显示点云数据帧,并对应显示每一待显示点云数据帧对应的预标注数据中的预标注目标所对应点云数据对应的预标注框信息对应的预标注框。
189.在本发明的另一实施例中,所述装置还包括:
190.修改模块(图中未示出),被配置为在所述在检测到针对所述待显示点云数据帧中当前显示的当前显示帧中,待标注目标所对应点云数据触发的第一选中操作之后,基于所述第一选中操作,确定所述待标注目标对应的第一标注框信息之前,在检测到针对所显示的待显示点云数据帧中第一预标注目标所对应点云数据对应的预标注框的修改操作后,基于所述修改操作对第一预标注目标所对应点云数据对应的预标注框进行修改,其中,该修改操作包括:删除、拆分以及合并中的至少一类操作。
191.在本发明的另一实施例中,所述处理显示模块520,被具体配置为以二维俯视角度显示所述待显示点云数据帧。
192.在本发明的另一实施例中,所述装置还包括:第三显示模块(图中未示出),被配置为在所述基于所述第一选中操作,确定所述待标注目标对应的第一标注框信息之后,以预设三维空间显示形式,显示所述待标注目标以及所述第一标注框信息对应的第一标注框;和/或所述装置还包括:第四显示模块(图中未示出),被配置为以预设二维非俯视角度,显示所述待标注目标以及所述第一标注框信息对应的第一标注框;和/或
193.所述装置还包括:第三获得模块(图中未示出),被配置为获得所述当前显示帧对应的二维图像;投影模块(图中未示出),被配置为基于所述待标注目标对应的第一标注框信息,将所述第一标注框信息对应的第一标注框投影至当前显示帧对应的二维图像中,得到所述待标注目标对应的第一标注框信息对应的投影框;第五显示模块(图中未示出),被配置为显示当前显示帧对应的二维图像以及所述待标注目标对应的第一标注框信息对应的投影框,其中,所述二维图像包括所述待标注目标。
194.上述装置、系统实施例与方法实施例相对应,与该方法实施例具有同样的技术效果,具体说明参见方法实施例。装置实施例是基于方法实施例得到的,具体的说明可以参见方法实施例部分,此处不再赘述。本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
195.本领域普通技术人员可以理解:实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
196.最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1