一种进行图像标注的方法、装置及设备与流程

本技术属于计算机视觉，尤其涉及一种进行图像标注的方法、装置及设备。

背景技术：

1、基于目标检测算法的目标检测模型的任务是检测图像中所有需要标注的目标，并对图像中每个待标注目标进行识别和定位以输出标注结果，即输出目标的类别数据和目标最小外接矩形(目标框)的坐标数据。目前的半自动化标注方法，在基于目标检测模型实现图像数据的半自动化标注的过程中，先将已人工标注的图像数据作为训练数据集输入到待训练的模型中，得到一个预训练模型。

2、在之后的模型使用过程中，将待标注数据集输入预训练模型得到输出的预标注结果，并对预标注结果进行人工核验修正后得到最终标注结果，同时将最终标注结果作为新的训练数据集加入模型训练的过程得到第二轮优化模型，重复上面的步骤以提高模型的精度。但是人工核验并修正预标注结果的过程中，需要核验每张图片，存在周期长、人力成本高的缺点，导致半自动化标注效率较低，相关技术中，通常会使用主动学习等机器学习方法自动修正模型的预标注结果，以实现自动化标注及降低人工干预和修正的幅度、频次。

3、但是，由于主动学习存在将标注错误的目标当成标注正确目标学习的情况，此时不仅会增加模型修正的工作量及难度，也没有减少人工标注的工作量。

技术实现思路

1、本技术提供一种进行图像标注的方法、装置及设备，用于提升标注效率。

2、第一方面，本技术提供了一种进行图像标注的方法，所述方法包括：

3、将待标注图像分别输入到多个预标注模型中，以得到所述待标注图像的多个预标注结果，其中，所述多个预标注结果包括各预标注模型对所述待标注图像中的各目标进行标注得到的预标注结果，不同的所述预标注模型在训练时使用不同的目标检测算法；

4、确定所述待标注图像中的同一目标对应的多个预标注结果中，任意两个预标注结果之间的相似度；

5、基于确定的所述相似度，判断对所述待标注图像中的所述目标进行的预标注是否准确。

6、在一种可能的实施方式中，采用如下方式训练得到所述预标注模型：

7、基于样本图像，对待训练的预标注模型进行迭代训练直到模型收敛，以得到所述预标注模型；其中，每次迭代训练执行如下过程：

8、利用所述待训练的预标注模型的特征提取层提取所述样本图像中各目标的特征矩阵时，对所述样本图像对应的原始矩阵进行特征压缩得到稀疏矩阵，其中所述稀疏矩阵中非零元素的位置对应所述样本图像中各目标所属的目标区域；

9、在所述样本图像对应的原始矩阵中，提取所述目标区域对应的子块矩阵作为所述样本图像中各目标的特征矩阵；

10、基于所述样本图像中各目标的特征矩阵，得到所述样本图像中各目标对应的本次训练的标注结果。

11、在一种可能的实施方式中，所述基于所述样本图像中各目标的特征矩阵，得到所述样本图像中各目标对应的本次训练的标注结果，包括：

12、基于所述样本图像中各目标的特征矩阵，确定所述样本图像中各目标的预标注类别；

13、对所述样本图像中各目标的特征矩阵进行反解析确定各目标的坐标信息，并基于各目标的坐标信息确定各目标的预标注目标框；

14、基于确定的各目标的预标注类别及各目标的预标注目标框，得到所述样本图像中各目标对应的本次训练的标注结果。

15、在一种可能的实施方式中，所述预标注结果包括预标注类别和预标注目标框；

16、所述将待标注图像分别输入到多个预标注模型中，以得到所述待标注图像的多个预标注结果，包括：

17、对于任意一个预标注模型，利用所述预标注模型提取所述待标注图像中的所述目标的特征矩阵，并基于所述待标注图像中的所述目标的特征矩阵，确定所述待标注图像中的所述目标的预标注类别；以及

18、利用所述预标注模型基于所述待标注图像中的所述目标的特征矩阵，确定所述待标注图像中的所述目标的坐标信息，并基于所述待标注图像中的所述目标的坐标信息，确定所述待标注图像中的所述目标的预标注目标框。

19、在一种可能的实施方式中，所述相似度包括同一目标对应的任意两个特征矩阵之间的第一相似度，以及同一目标对应的任意两个预标注目标框之间的第二相似度；

20、所述基于确定的所述相似度，判断对所述待标注图像中的所述目标进行的预标注是否准确，包括：

21、若确定所述待标注图像中的任一目标对应的多个预标注类别均一致，且所述待标注图像中的任一目标对应的第一相似度均大于第一预设阈值，且所述待标注图像中的任一目标对应的第二相似度均大于第二预设阈值，则确定对所述待标注图像中的所述目标进行的预标注准确。

22、在一种可能的实施方式中，通过下列方式确定所述第一相似度：

23、从所述待标注图像中的同一目标对应的多个特征矩阵中，依次选取任意两个特征矩阵，执行如下操作：

24、将选取的两个特征矩阵输入到相似度比较模型，基于设定的度量方式确定两个特征矩阵之间的相似度，并将确定的所述两个特征矩阵之间的相似度作为所述两个特征矩阵之间的第一相似度；

25、通过下列方式确定所述第二相似度：

26、从所述待标注图像中的同一目标对应的多个预标注目标框中，依次选取任意两个预标注目标框，执行如下操作：

27、基于选取的两个预标注目标框对应的坐标信息，确定两个预标注目标框之间的相似度，并将确定的所述两个预标注目标框之间的相似度作为所述两个预标注目标框之间的第二相似度。

28、在一种可能的实施方式中，所述确定所述待标注图像中的同一目标对应的多个预标注结果中，任意两个预标注结果之间的相似度之前，所述方法还包括：

29、确定所述待标注图像中的同一目标对应的多个预标注类别均一致；

30、所述方法还包括：

31、若所述待标注图像中的同一目标对应的多个预标注类别中存在不同的预标注类别，则确定对所述待标注图像中的所述目标进行的预标注异常。

32、第二方面，本技术提供了一种进行图像标注的装置，所述装置包括：

33、预标注模块，用于将待标注图像分别输入到多个预标注模型中，以得到所述待标注图像的多个预标注结果，其中，所述多个预标注结果包括各预标注模型对所述待标注图像中的各目标进行标注得到的预标注结果，不同的所述预标注模型在训练时使用不同的目标检测算法；

34、相似度确定模块，用于确定所述待标注图像中的同一目标对应的多个预标注结果中，任意两个预标注结果之间的相似度；

35、标注结果判定模块，用于基于确定的所述相似度，判断对所述待标注图像中的所述目标进行的预标注是否准确。

36、在一种可能的实施方式中，所述装置还包括模型训练模块，用于采用如下方式训练得到所述预标注模型：

37、基于样本图像，对待训练的预标注模型进行迭代训练直到模型收敛，以得到所述预标注模型；其中，每次迭代训练执行如下过程：

38、利用所述待训练的预标注模型的特征提取层提取所述样本图像中各目标的特征矩阵时，对所述样本图像对应的原始矩阵进行特征压缩得到稀疏矩阵，其中所述稀疏矩阵中非零元素的位置对应所述样本图像中各目标所属的目标区域；

39、在所述样本图像对应的原始矩阵中，提取所述目标区域对应的子块矩阵作为所述样本图像中各目标的特征矩阵；

40、基于所述样本图像中各目标的特征矩阵，得到所述样本图像中各目标对应的本次训练的标注结果。

41、在一种可能的实施方式中，所述模型训练模块基于所述样本图像中各目标的特征矩阵，得到所述样本图像中各目标对应的本次训练的标注结果，包括：

42、基于所述样本图像中各目标的特征矩阵，确定所述样本图像中各目标的预标注类别；

43、对所述样本图像中各目标的特征矩阵进行反解析确定各目标的坐标信息，并基于各目标的坐标信息确定各目标的预标注目标框；

44、基于确定的各目标的预标注类别及各目标的预标注目标框，得到所述样本图像中各目标对应的本次训练的标注结果。

45、在一种可能的实施方式中，所述预标注结果包括预标注类别和预标注目标框；

46、所述相似度确定模块将待标注图像分别输入到多个预标注模型中，以得到所述待标注图像的多个预标注结果，包括：

47、对于任意一个预标注模型，利用所述预标注模型提取所述待标注图像中的所述目标的特征矩阵，并基于所述待标注图像中的所述目标的特征矩阵，确定所述待标注图像中的所述目标的预标注类别；以及

48、利用所述预标注模型基于所述待标注图像中的所述目标的特征矩阵，确定所述待标注图像中的所述目标的坐标信息，并基于所述待标注图像中的所述目标的坐标信息，确定所述待标注图像中的所述目标的预标注目标框。

49、在一种可能的实施方式中，所述相似度包括同一目标对应的任意两个特征矩阵之间的第一相似度，以及同一目标对应的任意两个预标注目标框之间的第二相似度；

50、所述标注结果判定模块基于确定的所述相似度，判断对所述待标注图像中的所述目标进行的预标注是否准确，包括：

51、若确定所述待标注图像中的任一目标对应的多个预标注类别均一致，且所述待标注图像中的任一目标对应的第一相似度均大于第一预设阈值，且所述待标注图像中的任一目标对应的第二相似度均大于第二预设阈值，则确定对所述待标注图像中的所述目标进行的预标注准确。

52、在一种可能的实施方式中，所述相似度确定模块通过下列方式确定所述第一相似度：

53、从所述待标注图像中的同一目标对应的多个特征矩阵中，依次选取任意两个特征矩阵，执行如下操作：

54、将选取的两个特征矩阵输入到相似度比较模型，基于设定的度量方式确定两个特征矩阵之间的相似度，并将确定的所述两个特征矩阵之间的相似度作为所述两个特征矩阵之间的第一相似度；

55、所述相似度确定模块通过下列方式确定所述第二相似度：

56、从所述待标注图像中的同一目标对应的多个预标注目标框中，依次选取任意两个预标注目标框，执行如下操作：

57、基于选取的两个预标注目标框对应的坐标信息，确定两个预标注目标框之间的相似度，并将确定的所述两个预标注目标框之间的相似度作为所述两个预标注目标框之间的第二相似度。

58、在一种可能的实施方式中，所述装置还包括类别判断模块，所述确定所述待标注图像中的同一目标对应的多个预标注结果中，任意两个预标注结果之间的相似度之前，所述类别判断模块用于：

59、确定所述待标注图像中的同一目标对应的多个预标注类别均一致；

60、所述类别判断模块还用于：

61、若所述待标注图像中的同一目标对应的多个预标注类别中存在不同的预标注类别，则确定对所述待标注图像中的所述目标进行的预标注异常。

62、第三方面，本技术实施例提供了一种进行图像标注的设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本技术第一方面中提供的任一项所述的进行图像标注的方法。

63、第四方面，本技术实施例还提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由终端设备的处理器执行时，使得终端设备能够执行如本技术第一方面中提供的任一项所述的进行图像标注的方法。

64、本技术的实施例提供的技术方案至少带来以下有益效果：

65、本技术提供的一种进行图像标注的方法、装置及设备，通过使用多个使用不同目标检测算法的预标注模型对图像中每个目标输出多个预标注结果，基于输出的预标注结果间的相似度，可以自动判断出对图像中的预标注结果是否准确，提升图像标注效率，同时还可以自动定位出预标注结果间的差异性超出预定范围的异常标注结果，不用人工核验每张图像的预标注结果，有助于高效率的人工修正。