数据标注方法和装置与流程

文档序号:29688796发布日期:2022-04-16 10:30阅读:324来源:国知局
数据标注方法和装置与流程

1.本技术涉及数据处理技术领域,尤其涉及一种数据标注方法和装置。


背景技术:

2.随着人工智能技术的蓬勃发展,基于深度学习的计算机视觉识别技术被广泛应用于各行各业。一个表现优异的深度学习模型需要大量的高质量的标注数据予以支持,因而,如何得到高质量的标注数据是关键。
3.目前的数据标注模型是利用大量的已标注数据训练得到的,且已标注数据是基于人工标注实现的,其不仅会耗费大量的人力和时间,而且数据标注模型只能适用于训练时使用的目标类型,存在标注准确度低和标注效率低的问题。


技术实现要素:

4.本技术提供一种数据标注方法和装置,以克服人工的数据标注方法存在的标注准确度低和标注效率低的问题。
5.第一方面,本技术实施例提供一种数据标注方法,包括:
6.获取至少一个待处理数据帧;
7.对于每个待处理数据帧,基于所述待处理数据帧包括的目标类型,确定用于标注所述待处理数据帧的至少一个目标标定模板;
8.利用所述至少一个目标标定模板对所述待处理数据帧进行目标标注,得到目标标注结果。
9.在第一方面的一种可能设计中,所述至少一个目标标定模板,包括如下至少一种:
10.预先配置的标定模板库中的标定模板;
11.基于历史目标标注结果实时生成的标定模板;
12.基于模板配置指示实时生成的标定模板。
13.作为一种示例,所述基于所述待处理数据帧包括的目标类型,确定用于标注所述待处理数据帧的至少一个目标标定模板,包括:
14.基于所述待处理数据帧包括的目标类型,查询预先配置的标定模板库,在所述标定模板库中,确定出用于标注所述待处理数据帧的至少一个目标标定模板。
15.作为另一种示例,所述基于所述待处理数据帧包括的目标类型,确定用于标注所述待处理数据帧的至少一个目标标定模板,包括:
16.获取用户发出的模板配置指示,所述模板配置指示是所述用户基于所述待处理数据帧包括的目标类型发出的;
17.根据所述模板配置指示,生成用于标注所述待处理数据帧的至少一个目标标定模板。
18.在第一方面的另一种可能设计中,所述利用所述至少一个目标标定模板对所述待处理数据帧进行目标标注,得到目标标注结果,包括:
19.根据所述待处理数据帧中每个目标的边界信息,确定出所述待处理数据帧中的至少一个目标,所述至少一个目标包括:边界清晰的规则形状目标和/或边界不清晰的非规则形状目标;
20.对于所述待处理数据帧中的至少一个目标,使用与所述至少一个目标匹配的至少一个目标标定模板对所述待处理数据帧中的每个目标进行标注,得到所述待处理数据帧的目标标注结果。
21.可选的,所述基于所述待处理数据帧中的至少一个目标,使用与所述至少一个目标匹配的至少一个目标标定模板对所述待处理数据帧中的每个目标进行标注,得到所述待处理数据帧的目标标注结果,包括:
22.对于所述待处理数据帧中的规则形状目标,使用所述至少一个目标标定模板中与所述规则形状目标相匹配的已配置规则图形,在所述待处理数据帧中标注所述规则形状目标;和/或
23.对于所述待处理数据帧中的非规则形状目标,基于用户标注的关键点位置,调用所述至少一个目标标定模板和区域扩展算法,在所述待处理数据帧中标注所述非规则形状目标。
24.在第一方面的再一种可能设计中,所述方法还包括:
25.显示每个待处理数据帧的目标标注结果;
26.获取用户对所述目标标注结果的复核信息,所述复核信息包括复核通过指示或者修改后的目标标注结果。
27.在第一方面的又一种可能设计中,在所述待处理数据帧中包括至少两个目标时,所述方法还包括:
28.根据所述至少一个目标标定模板和所述目标标注结果,确定所述待处理数据帧中目标间的关系。
29.第二方面,本技术提供一种数据标注装置,包括:
30.获取模块,用于获取至少一个待处理数据帧;
31.处理模块,用于对于每个待处理数据帧,基于所述待处理数据帧包括的目标类型,确定用于标注所述待处理数据帧的至少一个目标标定模板;
32.标注模块,用于利用所述至少一个目标标定模板对所述待处理数据帧进行目标标注,得到目标标注结果。
33.在第二方面的一种可能设计中,所述至少一个目标标定模板,包括如下至少一种:
34.预先配置的标定模板库中的标定模板;
35.基于历史目标标注结果实时生成的标定模板;
36.基于模板配置指示实时生成的标定模板。
37.作为一种示例,所述处理模块,具体用于基于所述待处理数据帧包括的目标类型,查询预先配置的标定模板库,在所述标定模板库中,确定出用于标注所述待处理数据帧的至少一个目标标定模板。
38.作为另一种示例,所述处理模块,具体用于获取用户发出的模板配置指示,所述模板配置指示是所述用户基于所述待处理数据帧包括的目标类型发出的,根据所述模板配置指示,生成用于标注所述待处理数据帧的至少一个目标标定模板。
39.在第二方面的另一种可能设计中,所述标注模块,具体用于:
40.根据所述待处理数据帧中每个目标的边界信息,确定出所述待处理数据帧中的至少一个目标,所述至少一个目标包括:边界清晰的规则形状目标和/或边界不清晰的非规则形状目标;
41.对于所述待处理数据帧中的至少一个目标,使用与所述至少一个目标匹配的至少一个目标标定模板对所述待处理数据帧中的每个目标进行标注,得到所述待处理数据帧的目标标注结果。
42.可选的,所述标注模块,用于基于所述待处理数据帧中的至少一个目标,使用与所述至少一个目标匹配的至少一个目标标定模板对所述待处理数据帧中的每个目标进行标注,得到所述待处理数据帧的目标标注结果,具体为:
43.所述标注模块,具体用于:
44.对于所述待处理数据帧中的规则形状目标,使用所述至少一个目标标定模板中与所述规则形状目标相匹配的已配置规则图形,在所述待处理数据帧中标注所述规则形状目标;和/或
45.对于所述待处理数据帧中的非规则形状目标,基于用户标注的关键点位置,调用所述至少一个目标标定模板和区域扩展算法,在所述待处理数据帧中标注所述非规则形状目标。
46.在第二方面的再一种可能设计中,所述装置还包括:显示模块;
47.所述显示模块,用于显示每个待处理数据帧的目标标注结果;
48.所述获取模块,还用于获取用户对所述目标标注结果的复核信息,所述复核信息包括复核通过指示或者修改后的目标标注结果。
49.在第二方面的又一种可能设计中,在所述待处理数据帧中包括至少两个目标时,所述处理模块,还用于根据所述至少一个目标标定模板和所述目标标注结果,确定所述待处理数据帧中目标间的关系。
50.第三方面,本技术提供一种电子设备,包括:处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序指令,所述处理器执行所述计算机程序指令时实现如上述第一方面及第一方面各可能设计所述的方法。
51.第四方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现上述第一方面及第一方面各可能设计所述的方法。
52.本技术实施例提供的数据标注方法和装置,通过获取至少一个待处理数据帧,对于每个待处理数据帧,基于该待处理数据帧包括的目标类型,确定用于标注该待处理数据帧的至少一个目标标定模板,进而利用上述至少一个目标标定模板对该待处理数据帧进行目标标注,得到目标标注结果,从而得到待处理数据帧中存在的至少一个目标的信息。该技术方案中,基于配置的目标标定模板对待处理数据帧中的目标进行标注,由于标定模板的建立方便易于实现,能够准确体现目标之间的关系,无需训练数据标注模型,降低了人工标注成本,提高了数据标注效率。
附图说明
53.图1是本技术提供的数据标注方法的应用场景示意图;
54.图2为本技术提供的数据标注方法实施例一的流程示意图;
55.图3为本技术提供的数据标注方法实施例二的流程示意图;
56.图4为本技术实施例中对待处理数据帧中规则形状目标进行标注的原理示意图;
57.图5为本技术实施例中对待处理数据帧中非规则形状目标进行标注的原理示意图;
58.图6为本技术实施例提供的数据标注方法实施例三的流程示意图;
59.图7为本技术实施例中用户对目标标注结果进行复核的流程示意图;
60.图8为本技术实施例提供的数据标注方法实施例四的流程示意图;
61.图9为本技术提供的数据标注装置实施例的结构示意图;
62.图10为本技术实施例提供的用于实现数据标注方法的电子设备的结构示意图。
具体实施方式
63.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
64.在介绍本技术的方案之前,首先对本技术实施例所涉及的名词进行解释:
65.标定模板:预先定义或执行数据标注时创建的用于描述一组目标信息、非目标信息及其他配置信息等多种信息组合的通用配置集。
66.区域扩展:在数据标注过程中,有时需要用户手动标定目标的关键点位,这时需要配合目标检测算法实现对目标的区域进行精确的标定。
67.标定属性:描述待处理数据帧中目标信息的一组特征集。
68.关联关系:不同目标之间相互影响、相互关联的关系描述。
69.随着计算机技术的发展,机器学习算法的应用越来越广泛,监督学习算法是其中常用的一种算法。监督学习算法通常需要采用大批量的标注数据来对预先建立的数据标注模型进行训练,标注数据的数量和准确性直接影响着训练得到的数据标注模型的准确性。
70.目前,数据标注主要是对待处理数据帧中的目标进行定位和标注的过程,具体的,通过预先训练的数据标注模型获得待处理数据帧中感兴趣的目标的区域、类别、置信度等属性信息以及目标之间的关联关系等。而为了使得数据标注能够达到很高的准确率,必须对数据标注模型进行训练,由于标注数据具有很多属性信息,因而,需要对大量数据进行标注,用标注的数据对模型进行训练。
71.发明人发现人工的数据标注方法存在如下问题:1、目标的区域定位效果依赖于数据标注模型的实际效果,无法对兴趣目标实现单一定位;2、深度学习方法仅能够定位目标的位置,未提及如何标注目标的属性特征;3、深度学习方法仅适用于单目标标注,未提及如何标注目标间的关系;4、数据标注模型的训练过程中对数据标注的重复性工作需要耗费大量的人力和时间。即,人工的数据标注方案中已建立的数据标注模型只能适用于训练时使用的目标类型,存在标注范围局限、标注准确度低和标注效率低的问题。
72.发明人在实践中发现:根据历史标注数据集中每个数据帧包括的目标类型和目标之间的关系,可以将预先配置一些标定模板,利用标定模板表征目标的位置信息、属性信息以及目标间的关联关系,所以,利用目标区域智能检测及多目标模板关联标定技术,可以从多个维度描述目标的个体特征及其不同目标之间的关联关系,从而可以设计一个快速标注数据且获得丰富标注成果的数据标注方法,来支持算法迭代的正常进行。
73.本技术实施例提供了一种数据标注方法,通过获取至少一个待处理数据帧,对于每个待处理数据帧,基于该待处理数据帧包括的目标类型,确定用于标注该待处理数据帧的至少一个目标标定模板,进而利用上述至少一个目标标定模板对该待处理数据帧进行目标标注,得到目标标注结果,从而得到待处理数据帧中存在的至少一个目标的信息。该技术方案中,基于配置的目标标定模板对待处理数据帧中的目标进行标注,由于标定模板的建立方便易于实现,能够准确体现目标之间的关系,无需训练数据标注模型,降低了人工标注成本,提高了数据标注效率。
74.示例性的,图1是本技术提供的数据标注方法的应用场景示意图。如图1所示,该应用场景可以包括:电子设备11以及可以与该电子设备11进行通信的至少一个数据源12。其中,电子设备11可以从任意一个数据源中获取待处理数据帧,并执行数据标注等处理过程。
75.示例性的,在图1所示的应用场景中,每个数据源12可以是数据产生设备,也可以是数据存储设备,其可以根据实际场景设定,此处不再设定。
76.在本实施例中,电子设备11可以从至少一个数据源获取待处理数据。可选的,待处理数据可以是图像数据,也可以是视频数据,每个视频数据可以包括多个图像数据帧。
77.可选的,在实际应用中,数据源生成的数据或者存储的数据可能携带大量的噪声,为了提高后续数据标注的效率,电子设备11从至少一个数据源12获取到待处理数据后,首先可以对待处理数据进行滤波、去噪等预处理,得到清洗后的至少一个待处理数据帧。然后再基于待处理数据帧中包括的目标类型确定出用于数据标注的目标标定模板,最后再利用其进行目标标注。关于数据标注的具体过程可以参见下述实施例中的记载,此处不再赘述。
78.示例性的,电子设备11可以是集成有处理和显示功能于一体的设备,例如,包括:处理器111和显示器112,处理器111用于对待处理数据帧进行数据标注,显示器112用于呈现处理器111的处理结果。图1中的电子设备仅示例性的示出了一个处理器和一个显示器,关于电子设备的实际组成可以根据实际情况确定,此处不再赘述。
79.需要说明的是,图1仅是本技术实施例提供的一种应用场景的示意图,本技术实施例不对图1中包括的设备进行限定,例如,图1所示的应用场景还可以包括数据存储设备等。
80.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本技术的实施例进行描述。
81.图2为本技术提供的数据标注方法实施例一的流程示意图。如图2所示,该方法可以包括如下步骤:
82.s201、获取至少一个待处理数据帧。
83.在本技术的实施例中,当用户有数据标注的需求时,首先获取待处理数据,然后对待处理数据进行分帧处理,得到待处理数据对应的至少一个待处理数据帧。
84.示例性的,上述待处理数据帧可以是一帧图像数据,也可以是通过对视频数据进
行分帧处理得到的多帧图像数据,通常情况下,每个待处理数据帧具有至少一个目标,因而,电子设备通过对待处理数据帧进行目标定位和标注,能够得到待处理数据帧中的目标信息。
85.可选的,待处理数据可以是电子设备基于预先配置的信息从至少一个数据源获取到的数据,也可以是用户从数据存储设备导入到电子设备中的数据,本技术实施例并不对待处理数据的获取方式进行限定,其可以根据实际需求设定,此处不再赘述。
86.可选的,数据源可以是不同的类型,例如,关系型数据库系统(relational database management system,rmdb)、非关系型数据库(nosql)、文件系统(file)和分布式文件系统(hadoop distributed file system,hdfs)等。本技术实施例也不对数据源的类型进行限定,其可以根据实际情况确定,此处不再赘述。
87.进一步的,在本技术的实施例中,电子设备获取到的待处理数据可能存在数据不准确,数据缺失等低质量的数据。针对这类低质量的数据,电子设备可以采用严格的过滤条件,首先对待处理数据进行清洗,只保留符合要求的数据,以尽可能降低数据噪音对后期标注过程的影响。本技术实施例并不对数据清洗的具体实现进行限定,其可以根据实际需求设定,此处不再赘述。
88.可选的,电子设备针对获取到的每个待处理数据帧,均可以按照如下步骤s202和s203执行目标标注。
89.s202、基于待处理数据帧包括的目标类型,确定用于标注待处理数据帧的至少一个目标标定模板。
90.在本技术的实施例中,电子设备可以针对每个待处理数据帧分别进行处理,具体的,可以自动检测待处理数据帧中存在的目标类型,也可以基于用户的目标选中指示确定待处理数据帧包括的目标类型,然后根据标定模板具有的目标类型,确定用于标注待处理数据帧的至少一个目标标定模板。
91.可选的,在本技术的实施例中,每个标定模板可以表征目标类型、目标位置信息、属性特征等。其中,目标位置信息可以通过坐标值表示,属性特征可以指目标的类别、占用面积等。
92.示例性的,用户可以根据需要或者通过对历史数据进行分析,预先建立多个标定模板,生成标定模板库,然后在执行数据标注之前,将该标定模板库加载到电子设备中。
93.作为一种示例,当确定预先加载的标定模板库中不存在与该待处理数据帧匹配的标定模板,这时电子设备既可以基于用户的模板配置指示实时生成新的标定模板,还可以基于历史目标标注类型或者历史目标标注轨迹等历史目标标注结果生成新的标定模板,以用于对待处理数据帧进行目标标注。
94.由上述分析可知,在本技术的实施例中,上述至少一个目标标定模板可以包括如下至少一种:
95.预先配置的标定模板库中的标定模板;
96.基于历史目标标注结果实时生成的标定模板;
97.基于模板配置指示实时生成的标定模板。
98.作为一种示例性,在上述至少一个目标标定模板包括预先配置的标定模板库中的标定模板时,该s202可以通过如下步骤实现:
99.基于待处理数据帧包括的目标类型,查询预先配置的标定模板库,在该标定模板库中,确定出用于标注待处理数据帧的至少一个目标标定模板。
100.具体的,电子设备通过对待处理数据帧进行分析确定出待处理数据帧包括的目标类型时,可以首先查询预先配置的标定模板库,判定该标定模板库中是否存在用于标定待处理数据帧中目标的标定模板,若存在,则将标定模板库中存在的至少一个目标标定模板筛选出来,以便于后续进行目标标注。也即,在本技术的实施例中,电子设备可以按需从已配置的标定模板库中获取需要的目标标定模板。
101.可选的,在本技术的实施例中,标定模板库中的每个标定模板可以包括目标的类型信息、位置信息和属性信息,还可以包括标注的算法。本技术实施例并不对每个标定模板的具体信息进行限定,其可以根据实际需求确定。
102.通过在预先配置的标定模板库中查询,确定出用于标注待处理数据帧的至少一个目标标定模板,相应的可以确定出待处理数据帧中目标的类型信息、位置信息和属性信息等,简化了目标标注流程,提高了目标标注效率。
103.作为另一种示例性,在上述至少一个目标标定模板包括基于模板配置指示实时生成的标定模板时,该s202可以通过如下步骤实现:
104.a1、获取用户发出的模板配置指示,该模板配置指示是用户基于待处理数据帧包括的目标类型发出的;
105.a2、根据该模板配置指示,生成用于标注待处理数据帧的至少一个目标标定模板。
106.在本技术的实施例中,电子设备通过检索发现,对于待处理数据帧中的某些目标类型,无法在已配置的标定模板库中确定出对应的标定模板,这时用户可以根据待处理数据帧中包括的目标类型,确定出针对该目标类型的标定模板创建方案,从而在电子设备的用户界面上发出模板配置指示。
107.相应的,电子设备在获取到用户发出的该模板配置指示后,能够在用户交互界面上生成用于标注待处理数据帧的至少一个目标标定模板,以及在该目标标定模板中标注出目标的信息,例如,目标类型、目标的位置信息、属性特征信息、目标之间的关系等。
108.示例性的,电子设备生成新标定模板的方式有两种,一种方式为新建一个标定模板,另一种方式为更新原有的目标模板。下面分别对两种方式进行解释说明。
109.作为一种示例,电子设备需要新建标定模板时,首先根据用户指示初始化模板创建界面,在一种可能设计中,电子设备可以获取用户在该模板创建界面上输入的模板名称及目标类型之间的关系描述,然后判断该模板名称是否与目标模板库中的已有模板重名,若重名,则提示用户重新输入模板名称及目标类型之间的关系描述,若未重名,则基于用户的指示为该模板配置属性检测算法,并生成新标定模板,最后更新目标模板库中的模板列表。
110.作为另一种示例,电子设备需要更新已有标定模板时,首先根据用户指示初始化模板创建界面,选中待更新的标定模板,根据用户的指示对该标定模板执行新增目标类型、删除目标类型、调整目标类型顺序及对应属性页中的任意一种操作,然后判断该标定模板中的目标类型列表是否为空,若是,则提示用户重新操作,若否,则基于用户的指示为该模板配置属性检测算法,并生成更新的标定模板,最后更新目标模板库中的模板列表。
111.根据用户的模板配置指示生成用于标注待处理数据帧的至少一个目标标定模板,
其可以按需实时生成标注模板,提高了待处理数据帧中目标标注的准确度。
112.s203、利用至少一个目标标定模板对待处理数据帧进行目标标注,得到目标标注结果。
113.在本技术的实施例中,电子设备在确定出上述至少一个目标标定模板后,根据每个目标标定模板中存在的目标类型依次对待处理数据帧中存在的目标进行定位和标注,进而基于每个目标标定模板表征的目标类型、目标位置信息和目标属性特征等信息确定出该待处理数据帧中存在的至少一个目标的类型、位置、属性等信息,从而可以输出目标标注结果。
114.可选的,该目标标注结果中记录有每个目标的类型信息、位置信息、属性特征。当待处理数据帧中包括至少两个目标时,该电子设备还可以根据上述至少一个目标标定模板和该目标标注结果,确定待处理数据帧中目标间的关系,从而使得最终输出的目标标注结果还包括目标间的关联关系。
115.可选的,由于每个待处理数据帧可以对应多个目标标定模板,即待处理数据帧中存在的目标可以利用不同目标标定模板中标定。可选的,每个目标标定模板也可以对应多个待处理数据帧,即其可以用于对多个待处理数据帧中目标进行标注。
116.相应的,在本技术的实施例中,当电子设备基于一个目标标定模板标注出待处理数据帧中的一个目标后,若当前目标标定模板中仍然存在用于标定该待处理数据帧中其他目标的区域时,则可以继续利用该目标标定模板进行目标标注。若当前目标标定模板中不存在用于标定该待处理数据帧中其他目标的区域时,则可以选择确定的其他目标标定模板进行目标标注,直到待处理数据帧中的所有目标被标注完成。
117.可选的,当待处理数据帧中的目标被标注完后,可以对其他的待处理数据帧进行标注,标注方式类似,此处不再赘述。
118.本技术实施例提供的数据标注方法,通过获取至少一个待处理数据帧,对于每个待处理数据帧,基于该待处理数据帧包括的目标类型,确定用于标注该待处理数据帧的至少一个目标标定模板,进而利用上述至少一个目标标定模板对该待处理数据帧进行目标标注,得到目标标注结果,从而得到待处理数据帧中存在的至少一个目标的类型、属性和位置等信息。该技术方案中,基于配置的目标标定模板对待处理数据帧中的目标进行标注,由于标定模板的建立方便易于实现,能够准确体现目标之间的关系,无需训练数据标注模型,降低了人工标注成本,提高了数据标注效率。
119.图3为本技术提供的数据标注方法实施例二的流程示意图。如图3所示,上述s203可以通过如下步骤实现:
120.s301、根据待处理数据帧中每个目标的边界信息,确定出待处理数据帧中的至少一个目标。
121.其中,该至少一个目标包括:边界清晰的规则形状目标和/或边界不清晰的非规则形状目标。
122.在本技术的实施例中,电子设备可以针对待处理数据帧中的不同目标,采用不同的处理方案。因而,利用确定的至少一个目标标定模板对待处理数据帧进行目标标注时,首先可以根据待处理数据帧中目标的边界信息,确定出待处理数据帧中存在的至少一个目标。可选的,在待处理数据帧中存在的至少两个目标时,还可以对待处理数据帧中存在的所
有目标进行分类。
123.示例性的,待处理数据帧中的至少一个目标可以包括边界清晰的规则形状目标,也可以包括边界不清晰的非规则形状目标,还可以同时包括边界清晰的规则形状目标和边界不清晰的非规则形状目标。本技术实施例并不对待处理数据帧中包括的目标的类型进行限定,其可以根据实际场景确定,此处不再赘述。
124.s302、对于待处理数据帧中的至少一个目标,使用与至少一个目标匹配的至少一个目标标定模板对待处理数据帧中的每个目标进行标注,得到待处理数据帧的目标标注结果。
125.在本技术的实施例中,电子设备可以根据s301中确定的待处理数据帧中的至少一个目标,基于每个目标的形状和标注模板的配置,使用与每个目标匹配的目标标定模板依次对待处理数据帧中的每个目标进行标注。
126.示例性的,作为一种示例,该s302可以通过如下步骤实现:
127.b1、对于待处理数据帧中的规则形状目标,使用至少一个目标标定模板中与该规则形状目标相匹配的已配置规则图形,在待处理数据帧中标注规则形状目标。
128.可选的,在本技术的实施例中,电子设备对待处理数据帧中的规则形状目标进行标注时,可以在至少一个目标标定模板中确定出与该规则形状目标相匹配的已配置规则图形,然后使用该已配置规则图形在待处理数据帧中标注出该规则形状目标的区域,最后再基于目标标定模板中目标的属性信息对每个规则形状目标进行属性标定。
129.示例性的,图4为本技术实施例中对待处理数据帧中规则形状目标进行标注的原理示意图。如图4所示,电子设备的人机交互界面上显示出待处理数据帧,例如,待处理数据帧中存在一棵树、一只兔子和多颗星星(以3颗为例说明),其中,星星是边界清晰的规则形状目标,对于星星,则可以使用目标模板库中关于星星的规则图形来标定每个星星,然后再调用属性检测算法,确定出各星星的属性信息,例如,位置信息和各属性之间的关联关系。
130.可以理解的是,若电子设备未调用属性检测算法标定属性信息,则可以根据用户的指示信息进行标定。关于属性标定的具体实现可以根据实际需求确定,此处不再赘述。
131.b2、对于待处理数据帧中的非规则形状目标,基于用户标注的关键点位置,调用至少一个目标标定模板和区域扩展算法,在待处理数据帧中标注该非规则形状目标。
132.示例性的,在本技术的实施例中,待处理数据帧中的非规则形状目标主要指边界不清晰的复杂目标,当需要对这些非规则形状目标进行标注时,用户通常会首先标定出非规则形状目标的多个关键点位置,这样电子设备可以基于用户标注的目标的关键点位置,再结合上述至少一个目标标定模板中的目标形状,并调用区域扩展算法(也即,区域定位算法),在待处理数据帧中智能检测并标注该非规则形状目标的区域,最后再基于目标标定模板中目标的属性信息对每个非规则形状目标进行属性标定。
133.可选的,区域扩展算法也称为自动区域填充算法,区域填充即给出一个区域的边界,要求对边界范围内的所有象素单元赋予指定的颜色代码。区域填充中最常用的是多边形填色,
134.示例性的,图5为本技术实施例中对待处理数据帧中非规则形状目标进行标注的原理示意图。可选的,该待处理数据帧以图4所示的待处理数据进行说明,如图5所示,电子设备的人机交互界面上显示的待处理数据帧包括一棵树、一只兔子和多颗星星(以3颗为例
说明),其中,树和兔子是边界不清晰的非规则形状目标,对于树和兔子,电子设备首先获取用户对树和兔子标定的多个关键点位置,然后调用目标区域检测算法,确定出树和兔子的区域范围,然后通过调用属性检测算法标注属性信息,并对于置信度比较低的结果反馈至人工审核。
135.可以理解的是,若电子设备未调用属性检测算法标定属性信息,则可以根据用户的指示信息进行标定。关于属性标定的具体实现可以根据实际需求确定,此处不再赘述。
136.本技术实施例提供的数据标注方法,根据待处理数据帧中每个目标的边界信息,确定出待处理数据帧中的至少一个目标,对于待处理数据帧中的至少一个目标,使用与至少一个目标匹配的至少一个目标标定模板对待处理数据帧中的每个目标进行标注,得到待处理数据帧的目标标注结果。该技术方案可以得到比较准确的目标标注结果,为得到高质量的标注数据奠定了基础。
137.示例性的,在上述实施例的基础上,图6为本技术实施例提供的数据标注方法实施例三的流程示意图。如图6所示,该方法还可以包括如下步骤:
138.s601、显示每个待处理数据帧的目标标注结果。
139.在本技术的实施例中,由于电子设备是基于目标标定模板自动标注的,可能存在标注结果不准确的问题,因而,为了进一步提高目标标注的准确度,电子设备在得到每个待处理数据帧的目标标注结果后,可以将其呈现在电子设备的人机交互界面上,以便用户对其进行复核。
140.s602、获取用户对该目标标注结果的复核信息,该复核信息包括复核通过指示或者修改后的目标标注结果。
141.在本技术的实施例中,当电子设备显示出每个待处理数据帧的目标标注结果后,用户可以对该目标标注结果进行审核,判断该目标标注结果是否正确,若正确,则发出复核通过指示,若不正确,则直接对目标标注结果中进行修改,即发出修改后的目标标注结果,以使得电子设备直接保存该修改后的目标标注结果。
142.示例性的,用户对目标标注结果中进行修改可以用户对目标检测结果中的目标区域进行精修的过程,使得得到的目标标注结果更接近待处理数据帧中真实目标的区域。
143.示例性的,图7为本技术实施例中用户对目标标注结果进行复核的流程示意图。如图7所示,在电子设备的用户界面中,假设待处理数据帧中存在的目标中包括一只兔子,其对应的区域为细实线包括的区域,通过本技术的上述方案得到的目标标注结果中,该兔子对应的区域为虚线包括的区域。
144.在图7中,用户通过查看该人机交互界面可知,虚线包括的区域与兔子在待处理数据帧中的实际区域有一定的误差,因而,用户可以通过选中有误差的边界,通过移动虚线对应区域的边界,能够实现对虚线区域的修改,进而得到与实际区域吻合度较高的结果,具体为图7中粗虚线对应的区域。
145.本技术实施例提供的数据标注方法,通过显示每个待处理数据帧的目标标注结果,并获取用户对该目标标注结果的复核信息,该复核信息包括复核通过指示或者修改后的目标标注结果。该技术方案中,通过显示并获取用户对目标标注结果的复核信息,进一步提高了目标的标注精度,为后续得到高质量的标注数据奠定了基础。
146.上述通过各实施例描述了本技术的技术方案,下面通过一个整体流程对本技术的
技术方案进行解释说明。
147.图8为本技术实施例提供的数据标注方法实施例四的流程示意图。如图8所示,在本技术的实施例中,该方法可以包括如下步骤:
148.s801、加载用户已配置的标定模板库。
149.s802、获取用户导入的待处理数据。
150.s803、对待处理数据进行预处理,得到待处理数据对应的至少一个待处理数据帧。
151.针对每个待处理数据帧,依次执行如下步骤:
152.s804、基于用户的模板配置指示,创建新标定模板,并存储至标定模板库中。
153.s805、根据待处理数据帧中的目标类型,从标定模板库中,选择与该待处理数据帧对应的至少一个目标标定模板。
154.s806、根据选中的目标标定模板,对待处理数据帧中的目标进行标注。
155.具体的,对于边界清晰的简单目标(规则形状目标),执行s807,对于边界不清晰的复杂目标(非规则形状目标),执行s808。
156.s807、使用目标标定模板中的已配置的规则图形,在待处理数据帧中标注规则形状目标的区域。
157.s808、基于用户标定目标关键点位置,调用区域扩展算法和目标标定模板,在待处理数据帧中标注不规则形状目标的区域。
158.s809、对已定位目标的特征进行属性标定。
159.s810、判断选中的目标标定模板中是否还存在用于标注待处理数据帧中目标的图形,若是,转到s806,若否,执行s811。
160.s811、确定已选中标定模板标定完成,判断当前待处理数据帧帧是否标注完成,若否,选中下一个目标标定模板,转到执行s804;若是,转到执行s812;
161.s812、确定当前待处理数据帧标注完成,一方面可以转到s803,继续标注下一个待处理数据帧,另一方面,可以执行s813。
162.s813、导出待处理数据帧的目标标注结果。
163.其中,该目标标注结果包括待处理数据帧中存在的至少一个目标的信息。可选的,该信息可以包括:位置信息、属性特征及目标间的关系。
164.本技术的技术方案,通过配置的标定模板关联对待处理数据进行目标标注,能够实现对目标区域的精确定位,属性特征的标定及目标之间关系的描述,针对边界不清晰的复杂目标,可以集成区域扩展算法,自动检测并支持用户手动精修目标所在的精确区域,从而显著提高了数据的标注效率,显著提升了数据的标注维度,例如,目标的区域定位、属性特征标定、以及目标间关系等。
165.下述为本技术装置实施例,可以用于执行本技术方法实施例。对于本技术装置实施例中未披露的细节,请参照本技术方法实施例。
166.图9为本技术提供的数据标注装置实施例的结构示意图。该装置可以集成在电子设备中,也可以通过电子设备实现。如图9所示,该装置可以包括:获取模块901、处理模块902和标注模块903。
167.其中,该获取模块901,用于获取至少一个待处理数据帧;
168.处理模块902,用于对于每个待处理数据帧,基于所述待处理数据帧包括的目标类
型,确定用于标注所述待处理数据帧的至少一个目标标定模板;
169.标注模块903,用于利用所述至少一个目标标定模板对所述待处理数据帧进行目标标注,得到目标标注结果,所述目标标注结果包括:所述待处理数据帧中存在的至少一个目标的信息。
170.在本技术实施例的一种可能设计中,所述至少一个目标标定模板,包括如下至少一种:
171.预先配置的标定模板库中的标定模板;
172.基于历史目标标注结果实时生成的标定模板;
173.基于模板配置指示实时生成的标定模板。
174.作为一种示例,处理模块902,具体用于基于所述待处理数据帧包括的目标类型,查询预先配置的标定模板库,在所述标定模板库中,确定出用于标注所述待处理数据帧的至少一个目标标定模板。
175.作为另一种示例,处理模块902,具体用于获取用户发出的模板配置指示,所述模板配置指示是所述用户基于所述待处理数据帧包括的目标类型发出的,根据所述模板配置指示,生成用于标注所述待处理数据帧的至少一个目标标定模板。
176.在本技术实施例的另一种可能设计中,标注模块903,具体用于:
177.根据所述待处理数据帧中每个目标的边界信息,确定出所述待处理数据帧中的至少一个目标,所述至少一个目标包括:边界清晰的规则形状目标和/或边界不清晰的非规则形状目标;
178.对于所述待处理数据帧中的至少一个目标,使用与所述至少一个目标匹配的至少一个目标标定模板对所述待处理数据帧中的每个目标进行标注,得到所述待处理数据帧的目标标注结果。
179.可选的,标注模块903,用于对于所述待处理数据帧中的至少一个目标,使用与所述至少一个目标匹配的至少一个目标标定模板对所述待处理数据帧中的每个目标进行标注,得到所述待处理数据帧的目标标注结果,具体为:
180.标注模块903,具体用于:
181.对于所述待处理数据帧中的规则形状目标,使用所述至少一个目标标定模板中与所述规则形状目标相匹配的已配置规则图形,在所述待处理数据帧中标注所述规则形状目标;和/或
182.对于所述待处理数据帧中的非规则形状目标,基于用户标注的关键点位置,调用所述至少一个目标标定模板和区域扩展算法,在所述待处理数据帧中标注所述非规则形状目标。
183.参照图9所示,在本技术实施例的再一种可能设计中,所述装置还包括:显示模块904;
184.显示模块904,用于显示每个待处理数据帧的目标标注结果;
185.获取模块901,还用于获取用户对所述目标标注结果的复核信息,所述复核信息包括复核通过指示或者修改后的目标标注结果。
186.在本技术实施例的又一种可能设计中,在所述待处理数据帧中包括至少两个目标时,处理模块902,还用于根据所述至少一个目标标定模板和所述目标标注结果,确定所述
待处理数据帧中目标间的关系。
187.本技术实施例提供的装置,可用于执行图2至图8所示实施例中的方法,其实现原理和技术效果类似,在此不再赘述。
188.需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,处理模块可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上处理模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
189.例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(application specific integrated circuit,asic),或,一个或多个微处理器(digital signal processor,dsp),或,一个或者多个现场可编程门阵列(field programmable gate array,fpga)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(central processing unit,cpu)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,soc)的形式实现。
190.在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
191.图10为本技术实施例提供的用于实现数据标注方法的电子设备的结构示意图。如图10所示,该电子设备可以包括:处理器1001、存储器1002、通信接口1003和系统总线1004。其中,存储器1002和通信接口1003通过系统总线1004与处理器1001连接并完成相互间的通信,存储器1002用于存储计算机执行指令,通信接口1003用于和其他设备进行通信,处理器1001执行上述计算机执行指令时实现如上述图2至图8所示实施例的方案。
192.可选的,该电子设备还可以包括:人机交互界面1005。该人机交互界面1005用于显示待处理数据帧的目标标注结果,并用于接收用户对该目标标注结果的复核信息。
193.该图10中提到的系统总线可以是外设部件互连标准(peripheral component interconnect,pci)总线或扩展工业标准结构(extended industry standard architecture,eisa)总线等。所述系统总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(random access memory,ram),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
194.上述的处理器可以是通用处理器,包括中央处理器cpu、网络处理器(network processor,np)等;还可以是数字信号处理器dsp、专用集成电路asic、现场可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
195.可选的,本技术实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当其在计算机上运行时,使得计算机执行如上述图2至图8所示实施例的方法。
196.可选的,本技术实施例还提供一种运行指令的芯片,所述芯片用于执行上述图2至图8所示实施例的方法。
197.本技术实施例还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序存储在计算机可读存储介质中,至少一个处理器可以从所述计算机可读存储介质中读取所述计算机程序,所述至少一个处理器执行所述计算机程序时可实现上述图2至图8所示实施例的方法。
198.本技术中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b的情况,其中a,b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系;在公式中,字符“/”,表示前后关联对象是一种“相除”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。
199.可以理解的是,在本技术实施例中涉及的各种数字编号仅为描述方便进行的区分,并不用来限制本技术实施例的范围。在本技术的实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本技术实施例的实施过程构成任何限定。
200.最后应说明的是:以上各实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述各实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1