一种标注数据审核方法、装置、电子设备及可读存储介质与流程

1.本发明涉及数据处理技术领域，特别是指一种标注数据审核方法、装置、电子设备及可读存储介质。


背景技术：

2.目前为了训练与自动驾驶相关的算法模型，提供了标注平台标注车辆的数据。标注平台中有三个概念：项目、数据集和批次，其中，一个项目会关联多个数据集，一个数据集会关联多张连续帧的图片，一个项目会关联多个批次任务，单个批次可能属于数据集a或者数据集b。标注员分批次的标注图片数据，标注完一个项目后会产生很多批次，再由审核员按照批次的创建时间从小到达领取批次任务，审核数据标注的准确性。


技术实现要素：

3.本发明的目的是提供一种标注数据审核方法、装置、电子设备及可读存储介质，用以解决现有技术中，在标注数据审核中不能连续审核属于同一数据集下的批次数据的问题。
4.本发明实施例提供一种标注数据审核方法，包括：
5.根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息；
6.根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核；
7.在所述第一抽检文件数据均完成审核的情况下，判断是否进行第二批次审核。
8.可选地，所述的标注数据审核方法，所述确定所述待审核项目关联的目标数据集的批次信息之前，所述方法还包括：
9.根据以下步骤，确定所述目标数据集：
10.在获取到所述项目配置信息中的数据优先级信息的情况下，根据所述数据优先级信息，确定所述目标数据集；
11.在未获取到所述数据优先级信息的情况下，根据用户输入的数据选择信息，确定所述目标数据集。
12.可选地，所述的标注数据审核方法，所述根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息之前，所述方法还包括：
13.获取所述待审核项目的历史批次的审核状态。
14.可选地，所述的标注数据审核方法，所述根据所述抽检比例，确定第一批次中的第一抽检文件数据，包括：
15.根据所述抽检比例和所述第一批次的数据数量，确定所述第一抽检文件数据的数量；
16.根据所述第一抽检文件数据的数量和所述第一批次的文件名称数据，确定所述第
一抽检文件数据的文件名称，并保存所述第一抽检文件数据的文件名称。
17.可选地，所述的标注数据审核方法，所述根据所述抽检比例，确定第一批次中的第一抽检文件数据之后，所述方法还包括：
18.更新所述目标数据集的已审核批次数量。
19.可选地，所述的标注数据审核方法，所述根据所述抽检比例，确定第一批次中的第一抽检文件数据之后，所述方法还包括：
20.更新所述第一批次的名称。
21.可选地，所述的标注数据审核方法，所述方法还包括：
22.在判断进行所述第二批次审核的情况下，根据所述抽检比例，确定第二批次中的第二抽检文件数据，并对所述第二抽检文件数据进行审核。
23.本发明实施例还提供一种电子设备，包括处理器和收发机，其中：
24.所述处理器用于，根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息；
25.所述处理器还用于，根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核；
26.所述处理器还用于，在所述第一抽检文件数据均完成审核的情况下，判断是否进行第二批次审核。
27.可选地，所述的电子设备，所述处理器还用于：
28.根据以下步骤，确定所述目标数据集：
29.在获取到所述项目配置信息中的数据优先级信息的情况下，根据所述数据优先级信息，确定所述目标数据集；
30.在未获取到所述数据优先级信息的情况下，根据用户输入的数据选择信息，确定所述目标数据集。
31.可选地，所述的电子设备，所述处理器还用于：
32.获取所述待审核项目的历史批次的审核状态。
33.可选地，所述的电子设备，所述处理器具体用于：
34.根据所述抽检比例和所述第一批次的数据数量，确定所述第一抽检文件数据的数量；
35.根据所述第一抽检文件数据的数量和所述第一批次的文件名称数据，确定所述第一抽检文件数据的文件名称，并保存所述第一抽检文件数据的文件名称。
36.可选地，所述的电子设备，所述处理器还用于：
37.更新所述目标数据集的已审核批次数。
38.可选地，所述的电子设备，所述处理器还用于：
39.更新所述第一批次的名称。
40.可选地，所所述的电子设备，所述处理器还用于：
41.在判断进行所述第二批次审核的情况下，根据所述抽检比例，确定第二批次中的第二抽检文件数据，并对所述第二抽检文件数据进行审核。
42.本发明实施例还提供一种标注数据审核装置，包括：
43.第一确定模块，用于根据待审核项目的项目配置信息，确定抽检比例和所述待审
核项目关联的目标数据集的批次信息；
44.第二确定模块，用于根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核；
45.判断模块，用于在所述第一抽检文件数据均完成审核的情况下，判断是否进行第二批次审核。
46.可选地，所述的标注数据审核装置，所述装置还包括：
47.第三确定模块，用于根据以下步骤，确定所述目标数据集：
48.在获取到所述项目配置信息中的数据优先级信息的情况下，根据所述数据优先级信息，确定所述目标数据集；
49.在未获取到所述数据优先级信息的情况下，根据用户输入的数据选择信息，确定所述目标数据集。
50.可选地，所述的标注数据审核装置，所述装置还包括：
51.获取模块，用于获取所述待审核项目的历史批次的审核状态。
52.可选地，所述的标注数据审核装置，所述第二确定模块具体用于：
53.根据所述抽检比例和所述第一批次的数据数量，确定所述第一抽检文件数据的数量；
54.根据所述第一抽检文件数据的数量和所述第一批次的文件名称数据，确定所述第一抽检文件数据的文件名称，并保存所述第一抽检文件数据的文件名称。
55.可选地，所述的标注数据审核装置，所述装置还包括：
56.第一更新模块，用于更新所述目标数据集的已审核批次数。
57.可选地，所述的标注数据审核装置，所述装置还包括：
58.第二更新模块，用于更新所述第一批次的名称。
59.可选地，所述的标注数据审核装置，所述装置还包括：
60.第四确定模块，用于在判断进行所述第二批次审核的情况下，根据所述抽检比例，确定第二批次中的第二抽检文件数据，并对所述第二抽检文件数据进行审核。
61.本发明实施例还提供一种电子设备，包括：收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；所述处理器执行所述程序或指令时实现如上任一项所述的标注数据审核方法。
62.本发明实施例还提供一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上任一项所述的标注数据审核方法。
63.本发明的上述技术方案的有益效果如下：
64.本发明实施例，通过根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息；根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核；在所述第一抽检文件数据均完成审核的情况下，判断是否进行第二批次审核，简化审核流程，提高准确率，在审核完一个批次能够自动跳转到下一个批次，实现连续帧审核数据，大幅度提高审核效率，而且每审核完一个批次不需要重新输入抽检比例。
附图说明
65.图1为本发明实施例的标注数据审核方法的步骤示意图；
66.图2为本发明实施例的标注数据审核方法的具体流程示意图；
67.图3为本发明实施例的电子设备的结构示意图之一；
68.图4为本发明实施例的标注数据审核装置的示意图；
69.图5为本发明实施例的电子设备的结构示意图之二。
具体实施方式
70.为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
71.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
72.在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
73.另外，本文中术语“系统”和“网络”在本文中常可互换使用。
74.在本技术所提供的实施例中，应理解，“与a相应的b”表示b与a相关联，根据a可以确定b。但还应理解，根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其它信息确定b。
75.如图1所示，本发明实施例提供一种标注数据审核方法，包括：
76.步骤s101：根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息。
77.本发明实施例在实际应用时，用户可以在审核列表界面中选择项目名称(或者，项目身份标识)作为所述待审核项目，并根据所述待审核项目的名称，获取所述项目配置信息。
78.需要说明的是，每一项目关联至少一个数据集，每一项目又关联至少一个批次，不同批次可能属于同一数据集或者属于不同数据集。
79.步骤s102：根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核。
80.在本发明实施例中，根据所述批次信息，得到同属于目标数据集的全部批次任务，包括有第一批次、第二批次和第三批次等；根据所述批次信息，还可以得到每一批次的数据数量和文件名称数据。
81.具体地，所述根据所述抽检比例，确定第一批次中的第一抽检文件数据，包括：
82.根据所述抽检比例(qc_shot)和所述第一批次的数据数量(total)，确定所述第一抽检文件数据的数量，这里，采用qc_shot/100*total有余进1的方式得到所述第一抽检文件数据的数量。
83.根据所述第一抽检文件数据的数量和所述第一批次的文件名称数据，确定所述第
一抽检文件数据的文件名称，并保存所述第一抽检文件数据的文件名称，这里，从所述第一批次的文件名称数据中随机抽取所述第一抽检文件数据的数量的文件，从而确定所述第一抽检文件数据的文件名称(file_id)，并将所述第一抽检文件数据的文件名称(file_id)保存在(res_data)字段中。
84.步骤s103：在所述第一抽检文件数据均完成审核的情况下，判断是否进行第二批次审核。
85.在本发明实施例中，在判断进行所述第二批次审核的情况下，对所述第二批次重复所述步骤s102，即根据所述抽检比例，确定第二批次中的第二抽检文件数据，并对所述第二抽检文件数据进行审核。
86.进一步地，在所述第二抽检文件数据均完成审核的情况下，判断是否进行第三批次审核，直至该目标数据集下没有待审核的批次，简化审核流程，审核中可以自动跳转到下一批次，实现连续帧审核，从而提高审核效率和准确率，而且每审核完成一个批次不需要重新输入抽检比例。
87.需要说明的是，在判断不进行所述第二批次审核的情况下，则退回到审核列表界面。
88.本发明实施例，通过根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息；根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核；在所述第一抽检文件数据均完成审核的情况下，判断是否进行第二批次审核，从而简化审核流程，提高审核效率和准确率，在审核完一个批次能够自动跳转到下一个批次，可以连续帧审核数据，大幅度提高审核效率，而且每审核完一个批次不需要重新输入抽检比例。
89.可选地，所述的标注数据审核方法，所述确定所述待审核项目关联的目标数据集的批次信息之前，所述方法还包括：
90.根据以下步骤，确定所述目标数据集：
91.在获取到所述项目配置信息中的数据优先级信息的情况下，根据所述数据优先级信息，确定所述目标数据集；
92.在未获取到所述数据优先级信息的情况下，根据用户输入的数据选择信息，确定所述目标数据集。
93.在本发明实施例中，若获取到所述项目配置信息中的数据优先级信息，则根据所述优先级信息，对所述待审核项目关联的至少一个数据集进行优先级排序，选择优先级最高的数据集作为所述目标数据集，其中，所述数据优先级信息包括数据集的名称和版本号。这里，所述数据优先级信息可以进行调整，从而优先处理所述待审核项目中的紧急数据。
94.若未获取到所述项目配置信息中的数据优先级信息，则根据用户输入的数据选择信息，直接确定所述目标数据集。
95.可选地，所述的标注数据审核方法，所述根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息之前，所述方法还包括：
96.获取所述待审核项目的历史批次的审核状态。
97.需要说明的是，在确定所述待审核项目的名称之后，获取所述待审核项目的历史批次的审核状态，从而查找当前用户下是否有符合待审核状态，即未审核完成的批次任务，
若存在则提示用户先审核完成已领取的批次任务，若不存在则执行所述步骤s101。
98.可选地，所述的标注数据审核方法，所述根据所述抽检比例，确定第一批次中的第一抽检文件数据之后，所述方法还包括：
99.更新所述目标数据集的已审核批次数量。
100.在本发明实施例中，根据所述待审核项目的名称、目标数据集的名称和版本号，更新所述目标数据集的已审核批次数量，即将已审核批次数量增加一次。
101.可选地，所述的标注数据审核方法，所述根据所述抽检比例，确定第一批次中的第一抽检文件数据之后，所述方法还包括：
102.更新所述第一批次的名称。
103.在本发明实施例中，将所述第一批次的名称更新为当前用户的名称，明确每一批次任务的审核人员。而且可以实现用户领取批次任务后，可以进入“我的任务列表”开始审核数据。
104.下面结合图2，具体解释标注数据审核流程：
105.步骤s201：用户在审核列表界面中选择待审核项目的名称。
106.步骤s202：获取用户的待审核项目的历史批次的审核状态，判断用户的待审核项目下的已领取的批次任务是否有未完成审核状态的。
107.若步骤s202的判断结果为是，则进入步骤s203：提示用户先审核未完成审核状态的已领取的批次任务，退出该流程。
108.若步骤s202的判断结果为否，则进入步骤s204：判断待审核项目的项目配置信息中是否有数据优先级信息。
109.若步骤s204的判断结果为是，则进入步骤s205：根据数据优先级信息，确定待审核项目关联的目标数据集。
110.若步骤s204的判断结果为否，则进入步骤s206：根据用户输入的数据选择信息，确定待审核项目关联的目标数据集，其中，数据选择信息包括数据集的名称和数据集的版本。
111.步骤s207：根据项目配置信息，确定抽检比例和目标数据集的批次信息，其中，批次信息包括同属于目标数据集的全部批次任务，每一批次的数据数量和文件名称数据。
112.步骤s208：根据抽检比例和第一批次的数据数量，确定第一抽检文件数据的数量。
113.步骤s209：根据第一抽检文件数据的数量和第一批次的文件名称数据，确定第一抽检文件数据的文件名称，并保存第一抽检文件数据的文件名称。
114.步骤s210：更新目标数据集的已审核批次数量。
115.步骤s211：根据用户的名称，更新第一批次的名称。
116.步骤s212：开始审核第一抽检文件数据。
117.步骤s213：在第一抽检文件数据均审核完成时，判断是否进入第二批次审核。
118.若步骤s213的判断结果为是，则重新进入步骤s214：根据抽检比例和第二批次的数据数量，确定第二抽检文件数据的数量。
119.若步骤s213的判断结果为否，则退出该流程。
120.需要说明的是，本发明实施例可以降低用户的审核操作的复杂性，用户只需点击一次领取任务即可完成整个目标数据集的审核，而且通过数据的连续帧展示提高了审核结果的准确性，更便捷的发现错误数据，防止遗漏错误数据，避免降低标注数据的准确性。
121.本发明实施例还提供一种电子设备300，包括处理器301和收发机302，其中：
122.所述处理器301用于，根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息；
123.所述处理器301还用于，根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核；
124.所述处理器301还用于，在所述第一抽检文件数据均完成审核的情况下，判断是否进行第二批次审核。
125.本发明实施例，通过根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息；根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核；在所述第一抽检文件数据均完成审核的情况下，判断是否进行第二批次审核，简化审核流程，提高审核效率和准确率，在审核完一个批次能够自动跳转到下一个批次，可以连续帧审核数据，大幅度提高审核效率，而且每审核完一个批次不需要重新输入抽检比例。
126.可选地，所述的电子设备300，所述处理器301还用于：
127.根据以下步骤，确定所述目标数据集：
128.在获取到所述项目配置信息中的数据优先级信息的情况下，根据所述数据优先级信息，确定所述目标数据集；
129.在未获取到所述数据优先级信息的情况下，根据用户输入的数据选择信息，确定所述目标数据集。
130.可选地，所述的电子设备300，所述处理器301还用于：
131.获取所述待审核项目的历史批次的审核状态。
132.可选地，所述的电子设备300，所述处理器301具体用于：
133.根据所述抽检比例和所述第一批次的数据数量，确定所述第一抽检文件数据的数量；
134.根据所述第一抽检文件数据的数量和所述第一批次的文件名称数据，确定所述第一抽检文件数据的文件名称，并保存所述第一抽检文件数据的文件名称。
135.可选地，所述的电子设备300，所述处理器301还用于：
136.更新所述目标数据集的已审核批次数量。
137.可选地，所述的电子设备300，所述处理器301还用于：
138.更新所述第一批次的名称。
139.可选地，所述的电子设备300，所述处理器301还用于：
140.在判断进行所述第二批次审核的情况下，根据所述抽检比例，确定第二批次中的第二抽检文件数据，并对所述第二抽检文件数据进行审核。
141.本发明实施例还提供一种标注数据审核装置，包括：
142.第一确定模块401，用于根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息；
143.第二确定模块402，用于根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核；
144.判断模块403，用于在所述第一抽检文件数据均完成审核的情况下，判断是否进行
第二批次审核。
145.本发明实施例，通过根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息；根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核；在所述第一抽检文件数据均完成审核的情况下，判断是否进行第二批次审核，简化审核流程，提高审核效率和准确率，在审核完一个批次能够自动跳转到下一个批次，可以连续帧审核数据，大幅度提高审核效率，而且每审核完一个批次不需要重新输入抽检比例。
146.可选地，所述的标注数据审核装置，所述装置还包括：
147.第三确定模块，用于根据以下步骤，确定所述目标数据集：
148.在获取到所述项目配置信息中的数据优先级信息的情况下，根据所述数据优先级信息，确定所述目标数据集；
149.在未获取到所述数据优先级信息的情况下，根据用户输入的数据选择信息，确定所述目标数据集。
150.可选地，所述的标注数据审核装置，所述装置还包括：
151.获取模块，用于获取所述待审核项目的历史批次的审核状态。
152.可选地，所述的标注数据审核装置，所述第二确定模块402具体用于：
153.根据所述抽检比例和所述第一批次的数据数量，确定所述第一抽检文件数据的数量；
154.根据所述第一抽检文件数据的数量和所述第一批次的文件名称数据，确定所述第一抽检文件数据的文件名称，并保存所述第一抽检文件数据的文件名称。
155.可选地，所述的标注数据审核装置，所述装置还包括：
156.第一更新模块，用于更新所述目标数据集的已审核批次数量。
157.可选地，所述的标注数据审核装置，所述装置还包括：
158.第二更新模块，用于更新所述第一批次的名称。
159.可选地，所述的标注数据审核装置，所述装置还包括：
160.第四确定模块，用于在判断进行所述第二批次审核的情况下，根据所述抽检比例，确定第二批次中的第二抽检文件数据，并对所述第二抽检文件数据进行审核。
161.需要说明的是，本发明实施例提供的上述装置，能够实现上述标注数据审核方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
162.本发明实施例还提供一种电子设备，如图5所示，包括：处理器501；以及通过总线接口502与所述处理器501相连接的存储器503，所述存储器503用于存储所述处理器501在执行操作时所使用的程序和数据，处理器501调用并执行所述存储器503中所存储的程序和数据。
163.其中，收发机504与总线接口502连接，用于在处理器501的控制下接收和发送数据。
164.其中，在图5中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器501代表的一个或多个处理器和存储器503代表的存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都
是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口502为用户提供接口，如图5中的用户接口505。收发机504可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。处理器501负责管理总线架构和通常的处理，存储器503可以存储处理器501在执行操作时所使用的数据。
165.本领域技术人员可以理解，实现上述实施例的全部或者部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件来完成，所述程序包括执行上述方法的部分或者全部步骤的指令；且该程序可以存储于一可读存储介质中，存储介质可以是任何形式的存储介质。
166.本发明实施例还提供一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上任一项所述的标注数据审核方法。
167.在本技术所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
168.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
169.上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序代码的介质。
170.以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述的原理前提下还可以作出若干改进和润饰，这些改进和润饰也在本发明的保护范围内。