一种用于确定标签的方法与设备与流程

1.本申请涉及通信领域，尤其涉及一种用于确定标签的技术。


背景技术：

2.随着时代的发展，深度学习已广泛应用于各种领域且取得了巨大进度。深度学习在人脸识别、自动驾驶等图像识别领域所取得的巨大进步的基础之一是大量有标签的图像数据的积累，相对于近年来模型能力以及算力的提升，用于训练的有标签图像数据量仍处于一个较低水平，有标签图像数据的不足已经成为木桶原理中制约模型进一步提升的短板，有标签图像数据的增加能为最终模型性能带来巨大的提升，然后将大量无标签图像数据转换为有标签图像数据所需要的人工标注成本非常高。


技术实现要素：

3.本申请的一个目的是提供一种用于确定标签的方法与设备。
4.根据本申请的一个方面，提供了一种用于确定标签的方法，该方法包括：
5.对于已训练的多个图像标签预测模型中的每个图像标签预测模型，通过该图像标签预测模型对无标签图像数据进行预测，得到所述无标签图像数据对应的预测标签及该预测标签对应的置信度，其中，所述每个图像标签预测模型对应的模型结构和/或模型参数量均不相同；
6.若通过所述多个图像标签预测模型预测得到的多个预测标签满足预定的相似度且所述多个预测标签对应的置信度大于或等于第一预定置信度阈值，将所述多个预测标签中的一个预测标签确定为所述无标签图像数据的伪标签。
7.根据本申请的一个方面，提供了一种用于确定标签的网络设备，该设备包括：
8.一一模块，用于对于已训练的多个图像标签预测模型中的每个图像标签预测模型，通过该图像标签预测模型对无标签图像数据进行预测，得到所述无标签图像数据对应的预测标签及该预测标签对应的置信度，其中，所述每个图像标签预测模型对应的模型结构和/或模型参数量均不相同；
9.一二模块，用于若通过所述多个图像标签预测模型预测得到的多个预测标签满足预定的相似度且所述多个预测标签对应的置信度大于或等于第一预定置信度阈值，将所述多个预测标签中的一个预测标签确定为所述无标签图像数据的伪标签。
10.根据本申请的一个方面，提供了一种用于确定标签的设备，其中，该设备包括：
11.处理器；以及
12.被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如下操作：
13.对于已训练的多个图像标签预测模型中的每个图像标签预测模型，通过该图像标签预测模型对无标签图像数据进行预测，得到所述无标签图像数据对应的预测标签及该预测标签对应的置信度，其中，所述每个图像标签预测模型对应的模型结构和/或模型参数量
均不相同；
14.若通过所述多个图像标签预测模型预测得到的多个预测标签满足预定的相似度且所述多个预测标签对应的置信度大于或等于第一预定置信度阈值，将所述多个预测标签中的一个预测标签确定为所述无标签图像数据的伪标签。
15.根据本申请的一个方面，提供了一种存储指令的计算机可读介质，所述指令在被执行时使得系统进行如下操作：
16.对于已训练的多个图像标签预测模型中的每个图像标签预测模型，通过该图像标签预测模型对无标签图像数据进行预测，得到所述无标签图像数据对应的预测标签及该预测标签对应的置信度，其中，所述每个图像标签预测模型对应的模型结构和/或模型参数量均不相同；
17.若通过所述多个图像标签预测模型预测得到的多个预测标签满足预定的相似度且所述多个预测标签对应的置信度大于或等于第一预定置信度阈值，将所述多个预测标签中的一个预测标签确定为所述无标签图像数据的伪标签。
18.根据本申请的一个方面，提供了一种计算机程序产品，包括计算机程序，当所述计算机程序被处理器执行时，执行如下方法：
19.对于已训练的多个图像标签预测模型中的每个图像标签预测模型，通过该图像标签预测模型对无标签图像数据进行预测，得到所述无标签图像数据对应的预测标签及该预测标签对应的置信度，其中，所述每个图像标签预测模型对应的模型结构和/或模型参数量均不相同；
20.若通过所述多个图像标签预测模型预测得到的多个预测标签满足预定的相似度且所述多个预测标签对应的置信度大于或等于第一预定置信度阈值，将所述多个预测标签中的一个预测标签确定为所述无标签图像数据的伪标签。
21.与现有技术相比，本申请可通过训练的多个图像标签预测模型中的每个图像标签预测模型对无标签图像数据进行预测，得到所述无标签图像数据对应的多个预测标签以及每个预测标签对应的置信度，若预测得到的多个预测标签满足预定的相似度且所述多个预测标签对应的置信度大于或等于第一预定置信度阈值，将所述多个预测标签中的一个预测标签确定为所述无标签图像数据的伪标签，从而以较低成本将积累的大量无标签数据自动转换为有标签数据，能够扩充图像识别模型对应的训练数据集，进而提高图像识别模型的识别准确率及识别效率。
附图说明
22.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
23.图1示出根据本申请一个实施例的一种应用于网络设备端的用于确定标签的方法流程图；
24.图2示出根据本申请一个实施例的一种用于确定标签的网络设备结构图；
25.图3示出可被用于实施本申请中所述的各个实施例的示例性系统。
26.附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
27.下面结合附图对本申请作进一步详细描述。
28.在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如，中央处理器(central processing unit，cpu))、输入/输出接口、网络接口和内存。
29.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(random access memory，ram)和/或非易失性内存等形式，如只读存储器(read only memory，rom)或闪存(flash memory)。内存是计算机可读介质的示例。
30.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(phase
‑
change memory，pcm)、可编程随机存取存储器(programmable random access memory，pram)、静态随机存取存储器(static random
‑
access memory，sram)、动态随机存取存储器(dynamic random access memory，dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(electrically
‑
erasable programmable read
‑
only memory，eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(compact disc read
‑
only memory，cd
‑
rom)、数字多功能光盘(digital versatile disc,dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
31.本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、ios操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程逻辑器件(programmable logic device，pld)、现场可编程门阵列(field programmable gate array，fpga)、数字信号处理器(digital signal processor，dsp)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(cloud computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、vpn网络、无线自组织网络(ad hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
32.当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
33.在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
34.图1示出根据本申请一个实施例的一种应用于网络设备端的用于确定标签的方法流程图，该方法包括步骤s11和步骤s12。在步骤s11中，网络设备对于已训练的多个图像标签预测模型中的每个图像标签预测模型，通过该图像标签预测模型对无标签图像数据进行
预测，得到所述无标签图像数据对应的预测标签及该预测标签对应的置信度，其中，所述每个图像标签预测模型对应的模型结构和/或模型参数量均不相同；在步骤s12中，网络设备若通过所述多个图像标签预测模型预测得到的多个预测标签满足预定的相似度且所述多个预测标签对应的置信度大于或等于第一预定置信度阈值，将所述多个预测标签中的一个预测标签确定为所述无标签图像数据的伪标签。
35.在步骤s11中，网络设备对于已训练的多个图像标签预测模型中的每个图像标签预测模型，通过该图像标签预测模型对无标签图像数据进行预测，得到所述无标签图像数据对应的预测标签及该预测标签对应的置信度，其中，所述每个图像标签预测模型对应的模型结构和/或模型参数量均不相同。在一些实施例中，基于当前存在的大量带有图像标签的有标签图像数据训练得到多个图像标签预测模型，已训练的图像标签预测模型用于对未带有图像标签的无标签图像数据进行预测以得到无标签图像数据对应的预测图像标签，其中，图像标签包括但不限于“正常”、“性感”、“低俗”、“色情”等。在一些实施例中，该多个图像标签预测模型构成一个集成模型，通过集成模型进行学习的关键在于保证各个图像标签预测模型的基分类器之间的差异性，因此，该多个图像标签预测模型中每两个图像标签预测模型对应的模型结构和/或模型参数量均不相同，以此将大量有标签图像数据投射到不同的高维子空间，避免该多个图像标签预测模型的基分类器之间的同质化。在一些实施例中，对于该多个图像标签预测模型中的每两个图像标签预测模型，可以是该两个图像标签预测模型对应的模型结构及模型参数量均不相同，或者，也可以是该两个图像标签预测模型对应的模型结构相同、模型参数量不同，或者，还可以是该两个图像标签预测模型对应的模型结构不同、模型参数量相同。在一些实施例中，可以根据两个图像标签预测模型分别对应的模型结构及模型参数量，确定该两个图像标签预测模型之间的差异值。在一些实施例中，需要保证该多个图像标签预测模型中每两个图像标签预测模型之间的差异值均满足预定的差异阈值。在一些实施例中，需要先获取该多个图像标签预测模型中每两个图像标签预测模型之间的差异值，然后需要保证多个差异值对应的平均差异值满足预定的差异阈值。在一些实施例中，还需要保证该多个差异值中的最大差异值满足预定的差异值阈值。在一些实施例中，模型结构包括但不限于线性模型、核方法与支持向量机、决策树与boosting、神经网络等，其中，神经网络包括但不限于全连接神经网络、卷积神经网络、循环神经网络等。在一些实施例中，使用训练得到的多个图像标签预测模型对某个无标签图像数据进行预测，得到该无标签图像数据对应的多个预测标签及每个预测标签对应的置信度，置信度用于表征特定个体对待特定命题真实性相信的程度，即该无标签图像数据对应该预测标签真实性相信的程度。
36.在步骤s12中，网络设备若通过所述多个图像标签预测模型预测得到的多个预测标签满足预定的相似度且所述多个预测标签对应的置信度大于或等于第一预定置信度阈值，将所述多个预测标签中的一个预测标签确定为所述无标签图像数据的伪标签。在一些实施例中，无标签图像数据对应的多个预测标签满足预定的相似度可以是该多个预测标签均相同，或者，也可以是该多个预测标签中相同的至少两个预测标签相比于该多个预测标签满足预定数量占比。在一些实施例中，满足预定的相似度还可以是该多个预测标签中每两个预测标签之间的相似度均满足预定的相似度阈值，或者，也可以是该多个预测标签中每两个预测标签之间的相似度对应的平均相似度满足预定的相似度阈值，或者，还可以是
该多个预测标签中每两个预测标签之间的相似度中的最小相似度满足预定的相似度阈值。在一些实施例中，该多个预测标签对应的置信度大于或等于第一预定置信度阈值可以是该多个预测标签对应的平均置信度大于或等于所述第一预定置信度阈值，或者，也可以是每个预测标签对应的置信度均大于或等于所述第一预定置信度阈值，或者，还可以是在满足该多个预测标签对应的平均置信度大于或等于所述第一预定置信度阈值的基础上还需要满足该多个预测标签对应的最小置信度大于或等于第二预定置信度阈值，其中，所述第二预定置信度阈值小于所述第一预定置信度阈值；或者，也可以是该多个预测标签中超过预定比例的预测标签对应的置信度大于或等于所述第一预定置信度阈值。在一些实施例中，若该多个预测标签满足预定的相似度且该多个预测标签对应的置信度大于或等于第一预定置信度阈值，若该多个预测标签均相同，则将该多个预测标签中的任意一个预测标签作为该无标签图像数据的伪标签并将其加入到训练数据集中去，若该多个预测标签满足预定的相似度但并不满足该多个预测标签均相同，则可以将该多个预测标签中出现次数最多的预测标签作为该无标签图像数据的伪标签并将其加入到训练数据集中去，或者，若该多个预测标签满足预定的相似度但并不满足该多个预测标签均相同，还可以将该多个预测标签中对应的置信度最高的预测标签作为该无标签图像数据的伪标签并将其加入到训练数据集中去，其中，训练数据集中即包括带有伪标签的无标签图像数据，也包括有标签图像数据。在一些实施例中，后续在使用该训练数据集中的图像数据训练图像识别模型的时候，可以对带有伪标签的无标签图像数据、有标签图像数据使用相同的模型训练方法，也可以分别使用不同的模型训练方法。
37.本申请可通过训练的多个图像标签预测模型中的每个图像标签预测模型对无标签图像数据进行预测，得到所述无标签图像数据对应的多个预测标签以及每个预测标签对应的置信度，若预测得到的多个预测标签满足预定的相似度且所述多个预测标签对应的置信度大于或等于第一预定置信度阈值，将所述多个预测标签中的一个预测标签确定为所述无标签图像数据的伪标签，从而以较低成本将积累的大量无标签数据自动转换为有标签数据，能够扩充图像识别模型对应的训练数据集，进而提高图像识别模型的识别准确率及识别效率。
38.在一些实施例中，所述方法还包括：网络设备根据多个有标签图像数据对未训练的多个图像识别模型进行训练，得到已训练的多个图像标签预测模型，其中，所述多个图像识别模型分别对应不同的模型结构和/或模型参数量。在一些实施例中，基于当前存在的大量有标签图像数据训练多个图像标签预测模型，已训练的图像标签预测模型用于对无标签图像数据进行预测以得到无标签图像数据的图像标签，图像标签包括但不限于“正常”、“性感”、“低俗”、“色情”等。在一些实施例中，该多个图像标签预测模型构成一个集成模型，通过集成模型进行学习的关键在于保证各个图像标签预测模型的基分类器之间的差异性，因此，该多个图像标签预测模型中每两个图像标签预测模型对应的模型结构和/或模型参数量均不相同，以此将大量有标签图像数据投射到不同的高维子空间，避免该多个图像标签预测模型的基分类器之间的同质化。在一些实施例中，模型结构包括但不限于线性模型、核方法与支持向量机、决策树与boosting、神经网络等，其中，神经网络包括但不限于全连接神经网络、卷积神经网络、循环神经网络等。
39.在一些实施例中，所述多个预测标签对应的置信度大于或等于第一预定置信度阈
值包括所述多个预测标签对应的平均置信度大于或等于第一预定置信度阈值。例如，预测标签l1对应的置信度为80％，预测标签l2对应的置信度为85％，预测标签l3对应的置信度为90％，该多个预测标签对应的平均置信度为85％，第一预定置信度阈值为80％，由于该平均置信度大于该第一预定置信度阈值，因此，该多个预测标签对应的置信度满足大于或等于第一预定置信度阈值。
40.在一些实施例中，所述多个预测标签对应的置信度大于或等于第一预定置信度阈值还包括所述多个预测标签对应的最小置信度大于或等于第二预定置信度阈值，所述第二预定置信度阈值小于所述第一预定置信度阈值。在一些实施例中，在满足该多个预测标签对应的平均置信度大于或等于所述第一预定置信度阈值的基础上还需要满足该多个预测标签对应的最小置信度大于或等于第二预定置信度阈值。例如，预测标签l1对应的置信度为80％，预测标签l2对应的置信度为85％，预测标签l3对应的置信度为90％，该多个预测标签对应的平均置信度为85％，第一预定置信度阈值为80％，第二预定置信度阈值为75％，该多个预测标签对应的最小置信度为80％，由于该平均置信度大于该第一预定置信度阈值且该最小置信度大于该第二预定置信度阈值，因此，该多个预测标签对应的置信度满足大于或等于第一预定置信度阈值。
41.在一些实施例中，所述多个预测标签对应的置信度大于或等于第一预定置信度阈值包括每个预测标签对应的置信度均大于或等于第一预定置信度阈值。例如，预测标签l1对应的置信度为80％，预测标签l2对应的置信度为85％，预测标签l3对应的置信度为90％，第一预定置信度阈值为80％，由于该多个预测标签中的每个预测标签对应的置信度均大于或等于该第一预定置信度阈值，因此，该多个预测标签对应的置信度满足大于或等于第一预定置信度阈值。
42.在一些实施例中，所述多个预测标签对应的置信度大于或等于第一预定置信度阈值包括所述多个预测标签中超过预定比例阈值的至少一个预测标签中的每个预测标签对应的置信度均大于或等于所述第一预定置信度阈值。在一些实施例中，超过预定比例阈值表示该至少一个预测标签相比于该多个预测标签的数量占比大于或等于预定比例阈值。例如，预测标签l1对应的置信度为75％，预测标签l2对应的置信度为85％，预测标签l3对应的置信度为90％，第一预定置信度阈值为80％，预定比例阈值为0.6，由于预测标签l2和预测标签l3对应的置信度大于该第一预定置信度阈值，预测标签l2和预测标签l3相比于该多个预测标签的数量占比为0.67，大于该预定比例阈值，因此，该多个预测标签对应的置信度满足大于或等于第一预定置信度阈值。
43.在一些实施例中，所述步骤s12包括步骤s121(未示出)。在步骤s121中，网络设备若所述多个预测标签均相同且所述多个预测标签对应的置信度大于或等于第一预定置信度阈值，将所述多个预测标签中的一个预测标签确定为所述无标签图像数据的伪标签。在一些实施例中，通过所述多个图像标签预测模型中的每个图像标签预测模型对无标签图像数据进行预测后，得到的是同一个预测标签，但每个图像标签预测模型预测得到该预测标签时所对应的置信度可能是相同，也可能是完全不同的，该情形下，若所述多个图像标签预测模型预测得到该预测标签时所对应的一个或多个置信度大于或等于第一预定置信度阈值，则直接将该预测标签作为无标签图像数据的伪标签。
44.在一些实施例中，所述步骤s121包括：网络设备根据每个预测标签对应的置信度，
从所述多个预测标签中剔除对应的置信度小于或等于第四置信度阈值的至少一个预测标签；若所述多个预测标签中剩余的至少两个预测标签均相同、所述至少两个预测标签相比于所述多个预测标签满足第一预定数量占比且所述至少两个预测标签对应的置信度大于或等于第一预定置信度阈值，将所述至少两个预测标签中的一个预测标签确定为所述无标签图像数据的伪标签。在一些实施例中，所述第四置信度阈值远小于所述预定置信度阈值，通过从所述多个预测标签中剔除对应的置信度小于或等于第四置信度阈值的至少一个预测标签，能够提高无标签图像数据的伪标签的预测准确度，可以避免偶然误差。在一些实施例中，若所述多个预测标签在剔除后还剩余至少两个预测标签，且该至少两个预测标签是同一个预测标签，但每个图像标签预测模型预测得到该预测标签时所对应的置信度可能是相同，也可能是完全不同的，该情形下，若所述多个图像标签预测模型预测得到该预测标签时所对应的一个或多个置信度大于或等于第一预定置信度阈值，则直接将该预测标签作为无标签图像数据的伪标签。
45.在一些实施例中，所述步骤s12包括：网络设备若所述多个预测标签中相同的至少两个预测标签相比于所述多个预测标签满足第二预定数量占比，且所述至少两个预测标签对应的置信度大于或等于第一预定置信度阈值，将所述至少两个预测标签中的一个预测标签确定为所述无标签图像数据的伪标签。例如，预定数量占比为60％，100个预测标签中有75个预测标签是相同的，也即，相同的这部分预测标签的数量占比为75％(大于预定数量占比)，且该部分预测标签对应的置信度大于或等于第一预定置信度阈值，则将该部分预测标签中的一个预测标签确定为所述无标签图像数据的伪标签。在一些实施例中，所述预定数量占比大于50％。在一些实施例中，所述预定数量占比小于50％，则可能出现多个不同的预测标签都满足预定数量占比，则将该多个不同的预测标签中对应的置信度大于或等于第一预定置信度阈值的预测标签确定为所述无标签图像数据的伪标签，若该多个不同的预测标签中同时存在至少两个预测标签对应的置信度大于或等于第一预定置信度阈值(如预定数量占比为40％，预测标签a在多个预测标签中的数量占比为41％，预测标签b在多个预测标签中的数量占比为46％，且，标签a和标签b对应的置信度均大于或等于第一预定置信度阈值)，该情形下，可将数量占比最高的一个预测标签中确定为所述无标签图像数据的伪标签。
46.在一些实施例中，所述方法还包括步骤s13(未示出)。在步骤s13中，网络设备根据所述多个预测标签对应的标签类型，确定所述标签类型对应的第一预定置信度阈值。在一些实施例中，标签类型包括但不限于“道德层面”、“法律层面”等，每个预测标签都有其各自对应的标签类型，例如，预测标签“低俗”对应的标签类型为“道德层面”，预测标签“色情”对应的标签类型为“法律层面”。在一些实施例中，每个标签类型都有其对应的第一预定置信度阈值，不同的标签类型对应不同的第一预定置信度阈值，例如，“法律层面”对应的第一预定置信度阈值大于“道德层面”对应的第一预定置信度阈值。在一些实施例中，可以预先设置每个标签类型对应的第一预定置信度阈值。在一些实施例中，若通过所述多个图像标签预测模型预测得到的多个预测标签满足预定的相似度且所述多个预测标签对应的置信度大于或等于所述多个预测标签所对应的标签类型对应的第一预定置信度阈值，将所述多个预测标签中的一个预测标签确定为所述无标签图像数据的伪标签。
47.在一些实施例中，所述方法还包括：网络设备在所述多个图像标签预测模型的训
练过程中，对于所述多个有标签图像数据对应的多个标签类型中的每个标签类型，统计得到所述多个图像标签预测模型在该标签类型上的预测错误率小于或等于预定错误率阈值时的第一平均置信度；其中，所述步骤s13包括：根据所述多个预测标签对应的标签类型，将所述标签类型的第一平均置信度确定为所述标签类型对应的第一预定置信度阈值。在一些实施例中，在该多个图像标签预测模型的训练过程中，对于该多个有标签图像数据对应的多个标签类型中的每个标签类型，统计该多个图像标签预测模型所构成的集成模型在该标签类型上的预测错误率小于或等于预定错误率阈值(例如，1％)时的第一平均置信度，第一平均置信度即是某个图像数据被正确分类到该标签类型对应的预测标签的最低置信度，然后将该第一平均置信度作为该标签类型对应的第一预定置信度阈值。
48.在一些实施例中，所述方法还包括步骤s14(未示出)。在步骤s14中，网络设备根据所述无标签图像数据对应的图像类型，确定所述图像类型对应的第一预定置信度阈值。在一些实施例中，图像类型包括但不限于静态图像、动态图像、小尺寸图像、大尺寸图像、低分辨率图像、高分辨率图像、彩色图像、灰度图像、png图像、jpg图像等。在一些实施例中，每个预测标签都有其各自对应的图像类型，每个图像类型都有其对应的第一预定置信度阈值，不同的图像类型对应不同的第一预定置信度阈值。在一些实施例中，可以预先设置每个图像类型对应的第一预定置信度阈值。在一些实施例中，若通过所述多个图像标签预测模型预测得到的多个预测标签满足预定的相似度且所述多个预测标签对应的置信度大于或等于所述无标签图像数据所对应的图像类型对应的第一预定置信度阈值，将所述多个预测标签中的一个预测标签确定为所述无标签图像数据的伪标签。
49.在一些实施例中，所述方法还包括：网络设备在所述多个图像标签预测模型的训练过程中，对于所述多个有标签图像数据对应的多个图像类型中的每个图像类型，统计得到所述多个图像标签预测模型在该图像类型上的预测错误率小于或等于预定错误率阈值时的第二平均置信度；其中，所述步骤s14包括：网络设备根据所述无标签图像数据对应的图像类型，将所述图像类型的第二平均置信度确定为所述标签类型对应的第一预定置信度阈值。在一些实施例中，在该多个图像标签预测模型的训练过程中，对于该多个有标签图像数据对应的多个图像类型中的每个图像类型，统计该多个图像标签预测模型所构成的集成模型在该图像类型上的预测错误率小于或等于预定错误率阈值(例如，1％)时的第一平均置信度，第一平均置信度即是该图像类型对应的图像数据被正确分类的最低置信度，然后将该第一平均置信度作为该图像类型对应的第一预定置信度阈值。
50.在一些实施例中，所述方法还包括：网络设备若所述多个预测标签不满足预定的相似度或所述多个预测标签对应的置信度小于第一预定置信度阈值，获取用户输入的、为所述无标签图像数据人工标注的目标标签，将所述目标标签确定为所述无标签图像数据的标签。在一些实施例中，若该多个预测标签不满足预定的相似度或该多个预测标签对应的置信度小于第一预定置信度阈值，需要用户对该无标签图像数据进行人工标注，将用户人工标注的目标标签作为该无标签图像数据的标签，使得该无标签图像数据转换成了有标签图像数据，并将其加入到训练数据集中去。在一些实施例中，训练数据集中即包括带有伪标签的无标签图像数据，也包括有标签图像数据。在一些实施例中，后续在使用该训练数据集中的图像数据训练图像识别模型的时候，可以对带有伪标签的无标签图像数据、有标签图像数据使用相同的模型训练方法，也可以分别使用不同的模型训练方法。
51.图2示出根据本申请一个实施例的一种用于确定标签的网络设备结构图，该设备包括一一模块11和一二模块12。一一模块11，用于对于已训练的多个图像标签预测模型中的每个图像标签预测模型，通过该图像标签预测模型对无标签图像数据进行预测，得到所述无标签图像数据对应的预测标签及该预测标签对应的置信度，其中，所述每个图像标签预测模型对应的模型结构和/或模型参数量均不相同；一二模块12，用于若通过所述多个图像标签预测模型预测得到的多个预测标签满足预定的相似度且所述多个预测标签对应的置信度大于或等于第一预定置信度阈值，将所述多个预测标签中的一个预测标签确定为所述无标签图像数据的伪标签。
52.一一模块11，用于对于已训练的多个图像标签预测模型中的每个图像标签预测模型，通过该图像标签预测模型对无标签图像数据进行预测，得到所述无标签图像数据对应的预测标签及该预测标签对应的置信度，其中，所述每个图像标签预测模型对应的模型结构和/或模型参数量均不相同。在一些实施例中，基于当前存在的大量带有图像标签的有标签图像数据训练得到多个图像标签预测模型，已训练的图像标签预测模型用于对未带有图像标签的无标签图像数据进行预测以得到无标签图像数据对应的预测图像标签，其中，图像标签包括但不限于“正常”、“性感”、“低俗”、“色情”等。在一些实施例中，该多个图像标签预测模型构成一个集成模型，通过集成模型进行学习的关键在于保证各个图像标签预测模型的基分类器之间的差异性，因此，该多个图像标签预测模型中每两个图像标签预测模型对应的模型结构和/或模型参数量均不相同，以此将大量有标签图像数据投射到不同的高维子空间，避免该多个图像标签预测模型的基分类器之间的同质化。在一些实施例中，对于该多个图像标签预测模型中的每两个图像标签预测模型，可以是该两个图像标签预测模型对应的模型结构及模型参数量均不相同，或者，也可以是该两个图像标签预测模型对应的模型结构相同、模型参数量不同，或者，还可以是该两个图像标签预测模型对应的模型结构不同、模型参数量相同。在一些实施例中，可以根据两个图像标签预测模型分别对应的模型结构及模型参数量，确定该两个图像标签预测模型之间的差异值。在一些实施例中，需要保证该多个图像标签预测模型中每两个图像标签预测模型之间的差异值均满足预定的差异阈值。在一些实施例中，需要先获取该多个图像标签预测模型中每两个图像标签预测模型之间的差异值，然后需要保证多个差异值对应的平均差异值满足预定的差异阈值。在一些实施例中，还需要保证该多个差异值中的最大差异值满足预定的差异值阈值。在一些实施例中，模型结构包括但不限于线性模型、核方法与支持向量机、决策树与boosting、神经网络等，其中，神经网络包括但不限于全连接神经网络、卷积神经网络、循环神经网络等。在一些实施例中，使用训练得到的多个图像标签预测模型对某个无标签图像数据进行预测，得到该无标签图像数据对应的多个预测标签及每个预测标签对应的置信度，置信度用于表征特定个体对待特定命题真实性相信的程度，即该无标签图像数据对应该预测标签真实性相信的程度。
53.一二模块12，用于若通过所述多个图像标签预测模型预测得到的多个预测标签满足预定的相似度且所述多个预测标签对应的置信度大于或等于第一预定置信度阈值，将所述多个预测标签中的一个预测标签确定为所述无标签图像数据的伪标签。在一些实施例中，无标签图像数据对应的多个预测标签满足预定的相似度可以是该多个预测标签均相同，或者，也可以是该多个预测标签中相同的至少两个预测标签相比于该多个预测标签满
足预定数量占比。在一些实施例中，满足预定的相似度还可以是该多个预测标签中每两个预测标签之间的相似度均满足预定的相似度阈值，或者，也可以是该多个预测标签中每两个预测标签之间的相似度对应的平均相似度满足预定的相似度阈值，或者，还可以是该多个预测标签中每两个预测标签之间的相似度中的最小相似度满足预定的相似度阈值。在一些实施例中，该多个预测标签对应的置信度大于或等于第一预定置信度阈值可以是该多个预测标签对应的平均置信度大于或等于所述第一预定置信度阈值，或者，也可以是每个预测标签对应的置信度均大于或等于所述第一预定置信度阈值，或者，还可以是在满足该多个预测标签对应的平均置信度大于或等于所述第一预定置信度阈值的基础上还需要满足该多个预测标签对应的最小置信度大于或等于第二预定置信度阈值，其中，所述第二预定置信度阈值小于所述第一预定置信度阈值；或者，也可以是该多个预测标签中超过预定比例的预测标签对应的置信度大于或等于所述第一预定置信度阈值。在一些实施例中，若该多个预测标签满足预定的相似度且该多个预测标签对应的置信度大于或等于第一预定置信度阈值，若该多个预测标签均相同，则将该多个预测标签中的任意一个预测标签作为该无标签图像数据的伪标签并将其加入到训练数据集中去，若该多个预测标签满足预定的相似度但并不满足该多个预测标签均相同，则可以将该多个预测标签中出现次数最多的预测标签作为该无标签图像数据的伪标签并将其加入到训练数据集中去，或者，若该多个预测标签满足预定的相似度但并不满足该多个预测标签均相同，还可以将该多个预测标签中对应的置信度最高的预测标签作为该无标签图像数据的伪标签并将其加入到训练数据集中去，其中，训练数据集中即包括带有伪标签的无标签图像数据，也包括有标签图像数据。在一些实施例中，后续在使用该训练数据集中的图像数据训练图像识别模型的时候，可以对带有伪标签的无标签图像数据、有标签图像数据使用相同的模型训练方法，也可以分别使用不同的模型训练方法。
54.本申请可通过训练的多个图像标签预测模型中的每个图像标签预测模型对无标签图像数据进行预测，得到所述无标签图像数据对应的多个预测标签以及每个预测标签对应的置信度，若预测得到的多个预测标签满足预定的相似度且所述多个预测标签对应的置信度大于或等于第一预定置信度阈值，将所述多个预测标签中的一个预测标签确定为所述无标签图像数据的伪标签，从而以较低成本将积累的大量无标签数据自动转换为有标签数据，能够扩充图像识别模型对应的训练数据集，进而提高图像识别模型的识别准确率及识别效率。
55.在一些实施例中，所述设备还用于：根据多个有标签图像数据对未训练的多个图像识别模型进行训练，得到已训练的多个图像标签预测模型，其中，所述多个图像识别模型分别对应不同的模型结构和/或模型参数量。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
56.在一些实施例中，所述多个预测标签对应的置信度大于或等于第一预定置信度阈值包括所述多个预测标签对应的平均置信度大于或等于第一预定置信度阈值。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
57.在一些实施例中，所述多个预测标签对应的置信度大于或等于第一预定置信度阈值还包括所述多个预测标签对应的最小置信度大于或等于第二预定置信度阈值，所述第二预定置信度阈值小于所述第一预定置信度阈值。在此，相关操作与图1所示实施例相同或相
近，故不再赘述，在此以引用方式包含于此。
58.在一些实施例中，所述多个预测标签对应的置信度大于或等于第一预定置信度阈值包括每个预测标签对应的置信度均大于或等于第一预定置信度阈值。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
59.在一些实施例中，所述多个预测标签对应的置信度大于或等于第一预定置信度阈值包括所述多个预测标签中超过预定比例阈值的至少一个预测标签中的每个预测标签对应的置信度均大于或等于所述第一预定置信度阈值。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
60.在一些实施例中，所述一二模块12包括一二一模块121(未示出)。一二一模块121，用于若所述多个预测标签均相同且所述多个预测标签对应的置信度大于或等于第一预定置信度阈值，将所述多个预测标签中的一个预测标签确定为所述无标签图像数据的伪标签。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
61.在一些实施例中，所述一二一模块121用于：根据每个预测标签对应的置信度，从所述多个预测标签中剔除对应的置信度小于或等于第四置信度阈值的至少一个预测标签；若所述多个预测标签中剩余的至少两个预测标签均相同、所述至少两个预测标签相比于所述多个预测标签满足第一预定数量占比且所述至少两个预测标签对应的置信度大于或等于第一预定置信度阈值，将所述至少两个预测标签中的一个预测标签确定为所述无标签图像数据的伪标签。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
62.在一些实施例中，所述一二模块12用于：若所述多个预测标签中相同的至少两个预测标签相比于所述多个预测标签满足第二预定数量占比，且所述至少两个预测标签对应的置信度大于或等于第一预定置信度阈值，将所述至少两个预测标签中的一个预测标签确定为所述无标签图像数据的伪标签。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
63.在一些实施例中，所述设备还包括一三模块13(未示出)。一三模块13，用于根据所述多个预测标签对应的标签类型，确定所述标签类型对应的第一预定置信度阈值。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
64.在一些实施例中，所述设备还用于：在所述多个图像标签预测模型的训练过程中，对于所述多个有标签图像数据对应的多个标签类型中的每个标签类型，统计得到所述多个图像标签预测模型在该标签类型上的预测错误率小于或等于预定错误率阈值时的第一平均置信度；其中，所述一三模块13用于：根据所述多个预测标签对应的标签类型，将所述标签类型的第一平均置信度确定为所述标签类型对应的第一预定置信度阈值。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
65.在一些实施例中，所述设备还包括一四模块14(未示出)。一四模块14，用于根据所述无标签图像数据对应的图像类型，确定所述图像类型对应的第一预定置信度阈值。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
66.在一些实施例中，所述设备还用于：在所述多个图像标签预测模型的训练过程中，对于所述多个有标签图像数据对应的多个图像类型中的每个图像类型，统计得到所述多个图像标签预测模型在该图像类型上的预测错误率小于或等于预定错误率阈值时的第二平
均置信度；其中，所述一四模块14用于：根据所述无标签图像数据对应的图像类型，将所述图像类型的第二平均置信度确定为所述标签类型对应的第一预定置信度阈值。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
67.在一些实施例中，所述设备还用于：若所述多个预测标签不满足预定的相似度或所述多个预测标签对应的置信度小于第一预定置信度阈值，获取用户输入的、为所述无标签图像数据人工标注的目标标签，将所述目标标签确定为所述无标签图像数据的标签。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
68.图3示出了可被用于实施本申请中所述的各个实施例的示例性系统。
69.如图3所示在一些实施例中，系统300能够作为各所述实施例中的任意一个设备。在一些实施例中，系统300可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或nvm/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器305)。
70.对于一个实施例，系统控制模块310可包括任意适当的接口控制器，以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。
71.系统控制模块310可包括存储器控制器模块330，以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
72.系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例，系统存储器315可包括任意适当的易失性存储器，例如，适当的dram。在一些实施例中，系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(ddr4sdram)。
73.对于一个实施例，系统控制模块310可包括一个或多个输入/输出(i/o)控制器，以向nvm/存储设备320及(一个或多个)通信接口325提供接口。
74.例如，nvm/存储设备320可被用于存储数据和/或指令。nvm/存储设备320可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(hdd)、一个或多个光盘(cd)驱动器和/或一个或多个数字通用光盘(dvd)驱动器)。
75.nvm/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，nvm/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
76.(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
77.对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例你如，存储器控制器模块330)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(sip)。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻
辑集成在同一模具上以形成片上系统(soc)。
78.在各个实施例中，系统300可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、持有计算设备、平板电脑、上网本等)。在各个实施例中，系统300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统300包括一个或多个摄像机、键盘、液晶显示器(lcd)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(asic)和扬声器。
79.本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
80.本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
81.本申请还提供了一种计算机设备，所述计算机设备包括：
82.一个或多个处理器；
83.存储器，用于存储一个或多个计算机程序；
84.当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
85.需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(asic)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，ram存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
86.另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
87.通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、rf、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
88.作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随
机存储器(ram,dram,sram)；以及非易失性存储器，诸如闪存、各种只读存储器(rom,prom,eprom,eeprom)、磁性和铁磁/铁电存储器(mram,feram)；以及磁性和光学存储设备(硬盘、磁带、cd、dvd)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
89.在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
90.对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。