一种算法闭环辅助双向多模型数据标注的方法与装置与流程

1.本发明属于图像数据处理技术领域，具体涉及一种算法闭环辅助双向多模型数据标注的方法与装置。


背景技术：

2.目标跟踪是计算机视觉领域的基本任务之一，是利用一个视频或图像序列的上下文信息，对目标外观信息进行建模，从而对目标运动状态预测并标定目标位置的一种技术，在视频监控、视觉导航和智能人机交互等方面具有广泛应用。
3.目前的跟踪算法能很好地应对简单场景，但面对目标运动的不确定性，以及光照变化、遮挡等复杂环境，目标的位置定位难度较大，设计精度高和鲁棒性好跟踪算法仍然有很大困难。深度学习的优势在于可以通过大量数据进行学习，以保证跟踪算法网络可以达到稳定跟踪、精确标定目标位置的功能。
4.目前深度学习领域表现优异的模型需要大量的数据进行训练予以支撑，数据几乎都是采用人工的方式进行标注，耗费大量的人力成本，标注质量因人而异。在视觉目标跟踪算法领域，需逐帧标注图像且相邻图像相似度很高，仅依靠人工标注会使得标注效率较低，且在某些场景深度学习算法应用场景下，难以数据标注的实时性有较高的要求。


技术实现要素：

5.为克服上述现有技术的不足，本发明提出一种算法闭环辅助双向多模型数据标注的方法，包括：
6.初始化双向多模型标注工作流；
7.基于所述工作流，对待标注图像数据进行标注，生成标注数据；
8.根据所述标注数据和工作流，生成数据集；
9.其中，所述标注包括下述中的一种或多种：
10.双向单模型标注、双向多模型同时校正标注和多目标双向多模型数据校正标注。
11.优选的，所述初始化双向多模型标注工作流，包括：
12.从预设算法模型库中选择用于标注的辅助算法；
13.为所述辅助算法设置置信度阈值，并设置初始目标位置坐标；
14.设置数据集类型、格式以及数据集生成配置参数；
15.其中，所述数据集类型至少包括下述中的一种或多种：目标检测数据集和目标跟踪数据集；所述辅助算法至少包括下述中的一种或多种：初始目标框推荐算法、目标检测算法、目标框自动校正标注算法和单目标跟踪算法；所述数据集生成配置参数至少包括下述中的一种或多种：相似度、时间间隔、重叠率、中心点偏移以及总帧数。
16.优选的，基于所述工作流，对待标注图像数据进行双向单模型标注，生成标注数据，包括：
17.基于选择的一个辅助算法，对待标注图像数据进行正向图像连续标注，得到待标
注图像数据中目标位置的可视化定位结果；
18.若所述可视化定位结果的误差小于置信度阈值，则生成标注数据并结束，否则中止正向图像连续标注，并重新初始化目标位置坐标；
19.基于重新初始化的目标位置坐标，对所述目标位置的可视化定位结果进行倒序连续标注修正，直到符合预设的终止条件并生成标注数据。
20.优选的，基于所述工作流，对待标注图像数据进行多目标双向多模型数据校正标注，生成标注数据，包括：
21.基于标注图像数据中的各目标对应的辅助算法，分别对待标注图像数据中的各目标进行双向单模型标注，生成标注数据。
22.优选的，基于所述工作流，对待标注图像数据进行双向多模型同时校正标注，生成标注数据，包括：
23.基于选择的多个辅助算法，分别对待标注图像数据进行正向图像连续标注，得到待标注图像数据中目标位置的各辅助算法对应的可视化定位结果；
24.若所有辅助算法对应的可视化定位结果的误差均小于置信度阈值，则生成标注数据并结束；
25.若存在可视化定位结果的误差小于置信度阈值的辅助算法且存在可视化定位结果的误差大于等于置信度阈值的辅助算法，则中止正向图像连续标注，采用可视化定位结果的误差小于置信度阈值的辅助算法对误差大于等于置信度阈值的辅助算法进行校正，并继续分别采用各辅助算法对待标注图像数据进行正向图像连续标注，直到所有辅助算法对应的可视化定位结果的误差均小于置信度阈值，生成标注数据并结束；
26.若所有辅助算法对应的可视化定位结果的误差均大于等于置信度阈值，则中止正向图像连续标注，并重新初始化目标位置坐标，基于重新初始化的目标位置坐标，分别采用选择的多个辅助算法对所述目标位置的可视化定位结果进行倒序连续标注修正，直到符合预设的终止条件，生成标注数据并结束。
27.优选的，所述根据所述标注数据和工作流，生成数据集，包括：
28.根据所述工作流中设置的数据集类型，选择需要生成数据集类型为的目标检测数据集和/或目标跟踪数据集；
29.当需要生成目标检测数据集时，基于相似度算法抽取同一目标相似度最小的标注数据制作目标检测数据集；
30.当需要生成目标跟踪数据集时，根据设置的时间间隔、重合率、中心点偏差以及总帧数，从所述标注数据中抽取连续图像构成目标跟踪数据集。
31.优选的，所述生成数据集之后，还包括：
32.基于目标检测数据集，进行目标检测算法的脚本训练和/或超参数配置，训练检测数据集，生成目标检测算法模型；
33.基于目标跟踪数据集，进行单目标跟踪算法的脚本训练和/或超参数配置，训练跟踪数据集，生成单目标跟踪算法模型。
34.基于同一技术构思，本发明还提供一种算法闭环辅助双向多模型数据标注的装置，包括：人机交互标注界面、标注模块和标注数据生成模块；
35.所述人机交互标注界面，用于初始化双向多模型标注工作流；
36.所述标注模块，用于基于所述工作流，对待标注图像数据进行标注，生成标注数据；
37.所述标注数据生成模块，用于根据所述标注数据和工作流，生成数据集；
38.其中，所述标注包括下述中的一种或多种：
39.双向单模型标注、双向多模型同时校正标注和多目标双向多模型数据校正标注。
40.优选的，所述人机交互标注界面，具体用于：
41.从预设算法模型库中选择用于标注的辅助算法；
42.为所述辅助算法设置置信度阈值，并设置初始目标位置坐标；
43.设置数据集类型、格式以及数据集生成配置参数；
44.其中，所述数据集类型至少包括下述中的一种或多种：目标检测数据集和目标跟踪数据集；所述辅助算法至少包括下述中的一种或多种：初始目标框推荐算法、目标检测算法、目标框自动校正标注算法和单目标跟踪算法；所述数据集生成配置参数至少包括下述中的一种或多种：相似度、时间间隔、重叠率、中心点偏移以及总帧数。
45.优选的，所述标注模块基于所述工作流，对待标注图像数据进行双向单模型标注，生成标注数据，包括：
46.基于选择的一个辅助算法，对待标注图像数据进行正向图像连续标注，得到待标注图像数据中目标位置的可视化定位结果；
47.若所述可视化定位结果的误差小于置信度阈值，则生成标注数据并结束，否则中止正向图像连续标注，并重新初始化目标位置坐标；
48.基于重新初始化的目标位置坐标，对所述目标位置的可视化定位结果进行倒序连续标注修正，直到符合预设的终止条件并生成标注数据。
49.优选的，所述标注模块基于所述工作流，对待标注图像数据进行多目标双向多模型数据校正标注，生成标注数据，包括：
50.基于标注图像数据中的各目标对应的辅助算法，分别对待标注图像数据中的各目标进行双向单模型标注，生成标注数据。
51.优选的，所述标注模块基于所述工作流，对待标注图像数据进行双向多模型同时校正标注，生成标注数据，包括：
52.基于选择的多个辅助算法，分别对待标注图像数据进行正向图像连续标注，得到待标注图像数据中目标位置的各辅助算法对应的可视化定位结果；
53.若所有辅助算法对应的可视化定位结果的误差均小于置信度阈值，则生成标注数据并结束；
54.若存在可视化定位结果的误差小于置信度阈值的辅助算法且存在可视化定位结果的误差大于等于置信度阈值的辅助算法，则中止正向图像连续标注，采用可视化定位结果的误差小于置信度阈值的辅助算法对误差大于等于置信度阈值的辅助算法进行校正，并继续分别采用各辅助算法对待标注图像数据进行正向图像连续标注，直到所有辅助算法对应的可视化定位结果的误差均小于置信度阈值，生成标注数据并结束；
55.若所有辅助算法对应的可视化定位结果的误差均大于等于置信度阈值，则中止正向图像连续标注，并重新初始化目标位置坐标，基于重新初始化的目标位置坐标，分别采用选择的多个辅助算法对所述目标位置的可视化定位结果进行倒序连续标注修正，直到符合
预设的终止条件，生成标注数据并结束。
56.优选的，所述标注数据生成模块，具体用于：
57.根据所述工作流中设置的数据集类型，选择需要生成数据集类型为的目标检测数据集和/或目标跟踪数据集；
58.当需要生成目标检测数据集时，基于相似度算法抽取同一目标相似度最小的标注数据制作目标检测数据集；
59.当需要生成目标跟踪数据集时，根据设置的时间间隔、重合率、中心点偏差以及总帧数，从所述标注数据中抽取连续图像构成目标跟踪数据集。
60.优选的，所述装置还包括模型在线训练模块；所述模型在线训练模块具体用于：
61.基于目标检测数据集，进行目标检测算法的脚本训练和/或超参数配置，训练检测数据集，生成目标检测算法模型；
62.基于目标跟踪数据集，进行单目标跟踪算法的脚本训练和/或超参数配置，训练跟踪数据集，生成单目标跟踪算法模型。
63.优选的，还包括模型在线训练模块；所述模型在线训练模块，具体用于：
64.基于目标检测数据集，进行目标检测算法的脚本训练和/或超参数配置，训练检测数据集，生成目标检测算法模型；
65.基于目标跟踪数据集，进行单目标跟踪算法的脚本训练和/或超参数配置，训练跟踪数据集，生成单目标跟踪算法模型。
66.与最接近的现有技术相比，本发明具有的有益效果如下：
67.本发明提供了一种算法闭环辅助双向多模型数据标注的方法与装置，包括：初始化双向多模型标注工作流；基于工作流，对待标注图像数据进行标注，生成标注数据；根据标注数据和工作流，生成数据集；其中，标注包括下述中的一种或多种：双向单模型标注、双向多模型同时校正标注和多目标双向多模型数据校正标注；本发明通过对待标注图像数据进行双向单模型标注、双向多模型同时校正标注和/或多目标双向多模型数据校正标注，准确定位了目标像素坐标，大大节省了人力标注成本，提高了数据标注的速度。
附图说明
68.图1为本发明提供的一种算法闭环辅助双向多模型数据标注的方法流程示意图；
69.图2为本发明提供的一种算法闭环辅助双向多模型数据标注的方法中双向单模型标注流程示意图；
70.图3为本发明提供的一种算法闭环辅助双向多模型数据标注的方法中双向多模型同时校正标注流程示意图；
71.图4为本发明提供的一种算法闭环辅助双向多模型数据标注的装置结构示意图；
72.图5为本发明提供的一个算法闭环辅助双向多模型数据标注的装置具体示例的结构示意图；
73.图6为本发明提供的另一个算法闭环辅助双向多模型数据标注的装置具体示例的结构示意图；
74.图7为发明提供的算法模型库服务器结构示意图。
具体实施方式
75.现在将参照附图来详细描述本技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本技术的范围。
76.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
77.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，不作为对本技术及其应用或使用的任何限制。
78.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
79.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
80.另外，本技术各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本技术要求的保护范围之内。
81.需要说明的是，本技术实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
82.下面结合附图对本发明的具体实施方式做进一步的详细说明。
83.实施例1：
84.本发明提供的一种算法闭环辅助双向多模型数据标注的方法流程示意图如图1所示，包括：
85.步骤1：初始化双向多模型标注工作流；
86.步骤2：基于工作流，对待标注图像数据进行标注，生成标注数据；
87.步骤3：根据标注数据和工作流，生成数据集；
88.其中，标注包括下述中的一种或多种：
89.双向单模型标注、双向多模型同时校正标注和多目标双向多模型数据校正标注。
90.其中，步骤1具体包括：从预设算法模型库中选择用于标注的辅助算法(也即辅助模型)；为辅助算法设置置信度阈值，并设置初始目标位置坐标；设置数据集类型、格式以及数据集生成配置参数；
91.其中，数据集类型至少包括下述中的一种或多种：目标检测数据集和目标跟踪数据集；辅助算法可为算法模型库服务器中已集成的算法，或者支持自定义算法，至少包括下述中的一种或多种：初始目标框推荐算法、目标检测算法、目标框自动校正标注算法和单目标跟踪算法；数据集生成配置参数至少包括下述中的一种或多种：相似度、时间间隔、重叠率、中心点偏移以及总帧数。
92.步骤1中还包括展示图像显示模块，图像显示模块为对应的双向多模型标注工作流策略，图像显示模块数量为同时标注目标数量。
93.步骤1和步骤2之间，还包括：正向视频流的获取以及图像数据倒序读取，其中，图像数据倒序，为已经标注图像的逆向；
94.具体的来说，正向视频流源为待标注视频文件或者图像序列，图像数据倒序指已经标注目标位置标定误差较大的图像；
95.进一步而言，所述正反向图像数据帧率可通过参数控制。
96.步骤2中的标注至少包括下述一项或多项：双向单模型标注、双向多模型同时校正标注和多目标双向多模型数据校正标注，其中，多目标双向多模型数据校正标注，为多个不同目标优选算法模型的双向单模型标注，标注结果为多个目标的标注信息。
97.标注过程中，借助深度学习目标跟踪算法标定目标位置信息和类别，该目标跟踪算法，为基于卷积神经网络的单目标跟踪算法集合，可选的集成有主流anchor-based和anchor-free的单目标跟踪算法。
98.标注过程中，还可借助深度学习目标检测算法推荐待标注目标的初始位置信息和类别。
99.进一步而言，参照图2所示，双向单模型标注策略具体的为：
100.正向图像连续标注，对输入待标注图像目标位置自动标定和标注结果存储；
101.可视化定位误差较大(即误差大于等于置信度阈值)时，中止正向图像连续标注；
102.重新初始化目标坐标，倒序连续标注修正目标坐标，所述重新初始化目标坐标，可为基于目标检测算法模型获得的坐标，或者是手动选取的目标位置坐标；
103.循环上述过程，直至符合预设的终止条件则终止目标图像标注。
104.进一步而言，参照图3所示，双向多模型同时校正标注策略具体的为：
105.基于选择的多个辅助算法，分别进行正向图像连续标注，对输入待标注图像目标位置自动标定和标注结果存储；
106.部分模型位置定位可视化误差大(即误差大于等于置信度阈值)，或者预警评价指标超过对应的阈值时，中止正向标注；
107.位置定位准确的辅助算法校正其它辅助算法，继续正向标注；
108.或所有辅助算法位置定位可视化误差大(即误差大于等于置信度阈值)，或者预警评价指标超过对应的阈值时，中止正向标注；
109.重新初始化目标坐标，倒序连续标注修正目标坐标，所述重新初始化目标坐标，可为基于目标检测算法模型获得的坐标，或者是手动选取的目标位置坐标；
110.循环上述过程，直至终止图像标注。
111.其中，预警评价指标为重合率得分(overlap score，os)和/或定位误差(location error threshold,let)；其中，辅助算法a得到的bounding box(记为a)，与辅助算法b得到的box(记为b)，重合率定义为：os＝|a∩b|/|a∪b|，|
·
|表示区域的像素数目，定位误差定义为：let＝distance(a,b)；
112.双向多模型同时校正标注的标注结果为多模型标注位置的加权值，记为box_final＝k1*a+k2*b,其中，k1和k2为权值。
113.进一步而言，多目标双向多模型数据校正标注策略，为每个目标参照执行如图2所示的双向单模型标注策略。
114.步骤3具体包括：根据设置的数据集类型、格式以及数据集生成配置参数，生成目标检测数据集和/或目标跟踪数据集；
115.目标检测数据集，基于算法筛选的同一目标最不相关目标检测数据集制作，所述
算法为相似度匹配算法，可为无监督机器学习算法或者深度学习算法模型；
116.目标跟踪数据集，基于时间间隔、重合率、中心点偏差以及总帧数自定义的目标跟踪数据集制作。
117.步骤3之后，还包括：闭环标注，具体包括：
118.基于目标检测数据集，进行目标检测算法的脚本训练和/或超参数配置，训练检测数据集，生成目标检测算法模型；
119.基于目标跟踪数据集，进行单目标跟踪算法的脚本训练和/或超参数配置，训练跟踪数据集，生成单目标跟踪算法模型。
120.本发明通过对待标注图像数据进行双向单模型标注、双向多模型同时校正标注和/或多目标双向多模型数据校正标注，准确定位了目标像素坐标，大大节省了人力标注成本，提高了数据标注的速度。
121.本发明还沟通过基于目标检测数据集，进行目标检测算法的脚本训练和/或超参数配置，训练检测数据集，生成目标检测算法模型，基于目标跟踪数据集，进行单目标跟踪算法的脚本训练和/或超参数配置，训练跟踪数据集，生成单目标跟踪算法模型，实现了在线闭环迭代更新目标检测算法和/或目标跟踪算法模型参数。
122.实施例2：
123.下面给出一个算法闭环辅助双向多模型数据标注的方法的具体算例，该算例进行双向单模型数据标注，包括：
124.步骤a1：设置双向单模型数据标注软件工作流，对应设置1个图像可视化窗口；
125.进一步的，设置待标注视频、图像序列工作路径；
126.进一步的，选取软件集成单目标跟踪算法dasiamrpn模型，跟踪置信度设置为0.8，所述算法模型从模型算法库服务器获取；
127.进一步的，选取软件集成目标检测算法yolov4模型,检测置信度设置为0.5，所述算法模型从模型算法库服务器获取；
128.进一步的，目标跟踪、目标检测数据集设置pascal-voc标签保存格式；
129.进一步的，标注软件初始化运行。
130.步骤a2：参照图2，按照既定的双向单模型标注策略，完成图像序列标注；
131.进一步的，选取目标初始化坐标，所述目标初始化坐标为目标检测算法推荐后手动微调得到；
132.进一步的，算法自动跟踪标注，自动标注位置定位误差较大时，中止正向图像连续标注；
133.进一步的，重新初始化目标坐标，倒序连续标注修正目标坐标；
134.循环上述过程，直至终止目标图像标注。
135.步骤a3：数据集生成，包含目标检测和目标跟踪数据集；
136.选取软件集成相似度匹配knn算法，抽取目标检测数据集，同一目标抽取标注结果60个；
137.设定时间间隔≥30ms、0.2≥重合率os≥0.1、跟踪序列1500帧，以及，期望连续目标序列10个；
138.进一步的，传输标注数据到模型库算法服务器。
139.步骤a4：标注闭环，实时训练，将模型更新到模型库中。
140.进一步的，所述标注数据按照5：5切分训练/验证数据集，传输到服务器训练数据集中；
141.进一步的，设定重合率os大于0.95时，跟踪准确度达到95％，检测准确度达到95％模型推荐标准；
142.进一步的，模型库算法服务器中模型训练，触发标注软件更新模型；
143.步骤a5：重复上述过程直至完成标注。
144.实施例3：
145.下面给出一个算法闭环辅助双向多模型数据标注的方法的具体算例，该算例进行双向多模型同时校正标，包括：
146.步骤b1：设置双向多模型同时校正标注软件工作流，对应设置1个图像可视化窗口；
147.进一步的，设置待标注视频、图像序列工作路径；
148.进一步的，选取软件集成单目标跟踪算法dasiamrpn和siamfcplusplus模型，跟踪置信度设置为0.8，所述算法模型从模型算法库服务器获取；
149.进一步的，选取软件集成单目标检测算法yolov4模型,检测置信度设置为0.5，所述算法模型从模型算法库服务器获取；
150.进一步的，目标跟踪、目标检测数据集设置pascal-voc标签保存格式；
151.进一步的，标注软件初始化运行；
152.步骤b2：参照图3，按照既定的双向多模型标注(即双向多模型同时校正标注)策略，完成图像序列标注；
153.进一步的，选取目标初始化坐标，其中目标初始化坐标为目标检测算法推荐后手动微调得到；
154.进一步的，算法自动跟踪标注，部分模型位置定位预警较大或者可视化误差大时，中止正向标注；以及，
155.位置定位准确的模型校正其它模型继续正向标注；
156.可选的，所有模型位置定位预警较大或者可视化误差大时，中止正向标注；
157.重新初始化目标坐标，倒序连续标注修正目标坐标；
158.循环上述过程，直至终止图像标注；
159.步骤b3：数据集生成，目标检测和目标跟踪数据集生成；
160.选取软件集成相似度匹配knn算法，抽取目标检测数据集，同一目标抽取结果60个；
161.设定时间间隔≥30ms、0.2≥重合率os≥0.1、跟踪序列1500帧，以及，期望连续目标序列10个；
162.进一步的，传输标注数据到模型库算法服务器。
163.步骤b4：标注闭环，实时训练，将模型更新到模型库中。
164.进一步的，标注数据按照5：5切分训练/验证数据集，传输到服务器训练数据集中；
165.进一步的，设定重合率os大于0.95时，跟踪准确度达到95％，检测准确度达到95％；
166.进一步的，模型库算法服务器中模型更新，触发双向多模型标注软件更新模型；
167.步骤b5：重复上述过程直至完成标注。
168.实施例4：
169.下面给出一个算法闭环辅助双向多模型数据标注的方法的具体算例，该算例进行多目标双向多模型数据校正标注，包括：
170.步骤c1：设置双向四模型数据标注软件工作流，对应设置4个图像可视化窗口；
171.进一步的，设置待标注视频、图像序列工作路径；
172.进一步的，为4个目标选取软件集成单目标跟踪算法dasiamrpn、dasiamrpn、siamfcplusplus和ocean模型，跟踪置信度设置为0.8，算法模型从模型算法库服务器获取；
173.进一步的，选取软件集成单目标检测算法yolov4模型,检测置信度设置为0.5，算法模型从模型算法库服务器获取；
174.进一步的，目标跟踪、目标检测数据集设置pascal-voc标签保存格式；
175.进一步的，标注软件初始化运行；
176.步骤c2：参照图2，按照既定的双向单模型标注策略，完成图像序列标注；
177.具体的，为每一个目标单独执行双向单模型标注策略；
178.进一步的，选取目标初始化坐标、和标注结果存储，其中目标初始化坐标为目标检测算法推荐后手动微调得到；以及，
179.进一步的，算法自动跟踪标注，算法自动标注位置定位误差较大时，中止正向图像连续标注；
180.进一步的，重新初始化目标坐标，倒序连续标注修正目标坐标；
181.循环上述过程，直至终止目标图像标注。
182.步骤c3：数据集生成，目标检测和目标跟踪数据集制作；
183.选取软件集成相似度匹配knn算法，抽取目标检测数据集，同一目标抽取标注结果60个；
184.进一步的，设定时间间隔≥30ms、0.2≥重合率os≥0.1、跟踪序列1500帧，以及，期望连续目标序列10个；
185.进一步的，传输标注数据到模型库算法服务器。
186.步骤c4：标注闭环，实时训练，将模型更新到模型库中。
187.进一步的，标注数据按照5：5切分训练/验证数据集，传输到服务器训练数据集中；
188.进一步的，设定重合率大于0.95时，跟踪准确度达到95％，检测准确度达到95％；
189.进一步的，模型库算法服务器中模型更新，触发双向多模型标注软件更新模型；
190.步骤c5：重复上述过程，直至完成标注。
191.实施例5：
192.基于同一发明构思，本发明还提供一种算法闭环辅助双向多模型数据标注的装置，参照图4，包括：
193.人机交互标注界面、标注模块和标注数据生成模块；
194.人机交互标注界面，用于初始化双向多模型标注工作流；
195.标注模块，用于基于工作流，对待标注图像数据进行标注，生成标注数据；
196.标注数据生成模块，用于根据标注数据和工作流，生成数据集；
197.其中，标注包括下述中的一种或多种：
198.双向单模型标注、双向多模型同时校正标注和多目标双向多模型数据校正标注。
199.其中，人机交互标注界面，具体用于：
200.从预设算法模型库中选择用于标注的辅助算法(也即辅助模型)；为辅助算法设置置信度阈值，并设置初始目标位置坐标；设置数据集类型、格式以及数据集生成配置参数；
201.其中，数据集类型至少包括下述中的一种或多种：目标检测数据集和目标跟踪数据集；辅助算法可为算法模型库服务器中已集成的算法，或者支持自定义算法，至少包括下述中的一种或多种：初始目标框推荐算法、目标检测算法、目标框自动校正标注算法和单目标跟踪算法；数据集生成配置参数至少包括下述中的一种或多种：相似度、时间间隔、重叠率、中心点偏移以及总帧数。
202.人机交互标注界面还用于展示图像显示模块。图像显示模块对应标注工作流策略，图像显示模块数量为同时标注目标数量。
203.标注模块中的标注至少包括下述一项或多项：双向单模型标注、双向多模型同时校正标注和多目标双向多模型数据校正标注，其中，多目标双向多模型数据校正标注，为多个不同目标优选算法模型的双向单模型标注，标注结果为多个目标的标注信息。
204.标注过程中，借助深度学习目标跟踪算法标定目标位置信息和类别，该目标跟踪算法，为基于卷积神经网络的单目标跟踪算法集合，可选的集成有主流anchor-based和anchor-free的单目标跟踪算法。
205.标注过程中，还可借助深度学习目标检测算法推荐待标注目标的初始位置信息和类别。
206.标注模块中的双向单模型标注策略如图2所示，具体为：
207.正向图像连续标注，对输入待标注图像目标位置自动标定和标注结果存储；
208.可视化定位误差较大(即误差大于等于置信度阈值)时，中止正向图像连续标注；
209.重新初始化目标坐标，倒序连续标注修正目标坐标，重新初始化目标坐标，可为基于目标检测算法模型获得的坐标，或者是手动选取的目标位置坐标；
210.循环上述过程，直至符合预设的终止条件则终止目标图像标注。
211.标注模块中的双向多模型同时校正标注策略如图3所示，具体为：
212.基于选择的多个辅助算法，分别进行正向图像连续标注，对输入待标注图像目标位置自动标定和标注结果存储；
213.部分模型位置定位可视化误差大(即误差大于等于置信度阈值)，或者预警评价指标超过对应的阈值时，中止正向标注；
214.位置定位准确的辅助算法校正其它辅助算法，继续正向标注；
215.或所有辅助算法位置定位可视化误差大(即误差大于等于置信度阈值)，或者预警评价指标超过对应的阈值时，中止正向标注；
216.重新初始化目标坐标，倒序连续标注修正目标坐标，重新初始化目标坐标，可为基于目标检测算法模型获得的坐标，或者是手动选取的目标位置坐标；
217.循环上述过程，直至终止图像标注。
218.其中，预警评价指标为重合率得分(overlap score，os)和/或定位误差(location error threshold,let)；其中，辅助算法a得到的bounding box(记为a)，与辅助算法b得到
的box(记为b)，重合率定义为：os＝|a∩b|/|a∪b|，|
·
|表示区域的像素数目，定位误差定义为：let＝distance(a,b)；
219.双向多模型同时校正标注的标注结果为多模型标注位置的加权值，记为box_final＝k1*a+k2*b,其中，k1和k2为权值。
220.进一步而言，多目标双向多模型数据校正标注策略，为每个目标参照执行如图2所示的双向单模型标注策略。
221.其中，标注模块具体用于：
222.根据设置的数据集类型、格式以及数据集生成配置参数，生成目标检测数据集和/或目标跟踪数据集；
223.目标检测数据集，基于算法筛选的同一目标最不相关目标检测数据集制作，算法为相似度匹配算法，可为无监督机器学习算法或者深度学习算法模型；
224.目标跟踪数据集，基于时间间隔、重合率、中心点偏差以及总帧数自定义的目标跟踪数据集制作。
225.算法闭环辅助双向多模型数据标注的装置还包括图像数据流模块，用于正向视频流的获取以及图像数据倒序读取，图像数据倒序，为已经标注图像的逆向。
226.具体的来说，正向视频流源可选的待标注视频文件或者图像序列，图像数据倒序指已经标注目标位置标定误差较大的图像。
227.进一步而言，正反向图像数据帧率可通过参数控制。
228.算法闭环辅助双向多模型数据标注的装置还包括模型在线训练模块，用于基于目标检测数据集，进行目标检测算法的脚本训练和/或超参数配置，训练检测数据集，生成目标检测算法模型；
229.基于目标跟踪数据集，进行单目标跟踪算法的脚本训练和/或超参数配置，训练跟踪数据集，生成单目标跟踪算法模型。一个包含所有模块的算法闭环辅助双向多模型数据标注的装置的具体示例结构如图5所示。
230.实施例6：
231.下面再给出一个算法闭环辅助双向多模型数据标注的装置的示例，该装置如图6所示，包括：
232.双向多模型标注子系统，用于对待标注图像进行算法自动校正标注、存储，生成目标跟踪数据集与目标检测数据集，并提供训练数据给算法模型库服务器；
233.算法模型库服务器，用于辅助算法训练脚本/超参数配置、模型在线训练与评价，触发式更新标注算法模型，以实现标注闭环；
234.双向多模型标注子系统集成了如图5所示的算法闭环辅助双向多模型数据标注的装置的功能模块，不再赘述。
235.算法模型库服务器如图7所示，具体包括：
236.数据集划分，用于对已经生成的标注数据划分训练集与验证集。
237.训练脚本/超参数配置，训练脚本与标注算法模型对应，为已经集成的算法脚本，或者用户自定义的训练脚本。
238.模型推荐评价，进行推荐评价的性能指标为重合率得分os。
239.算法模型库，为辅助标注目标检测算法、目标跟踪算法集成的模型库。
240.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
241.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
242.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
243.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
244.最后应当说明的是:以上实施例仅用于说明本发明的技术方案而非对其保护范围的限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:本领域技术人员阅读本发明后依然可对申请的具体实施方式进行种种变更、修改或者等同替换，但这些变更、修改或者等同替换，均在申请待批的权利要求保护范围之内。