图像标签校正模型的训练方法和装置与流程

本技术涉及图像识别的，尤其涉及一种图像标签校正模型的训练方法、图像标签校正模型的训练装置，以及相应的计算设备、存储介质、和计算机程序产品。

背景技术：

1、在对图像进行深度学习时，普遍需要大量有标签、高质量的数据。然而，目前可得的公开图像中，许多图像的标签是不准确的。虽然可以对这些图像进行人工标记标签，但这样的成本非常高。而且，公开的图像也存在图像质量低下的问题，例如这些图像可能尺寸过小、存在破损等。

2、除了上述缺陷之外，公开图像的数据集中的数据分布可能并未充分覆盖实际业务场景下采集的图像，导致基于这些图像数据而进行的模型训练及后续操作与具体场景的适配性不高。此外，公开图像的数据集与实际业务中的数据集之间存在严重的领域偏差(domain bias)。例如，公开图像中存在大量的卡通图、特效图、游戏渲染图等，而实际业务中的图像多为自然拍摄图、摄像头采集图等等。训练时模型可能过拟合到公开图像的风格特征，而忽略其内容特征。如果不采用公开图像，又会面临实际场景中很难快速收集积累大量真实样本图像数据的问题。

3、为此，希望公开图像能够具有更准确的标签，而且能够与真实业务场景契合。

技术实现思路

1、有鉴于此，本技术提供了一种图像标签校正模型的训练方法、图像标签校正模型的训练装置以及相应的计算设备、存储介质、和计算机程序产品，期望克服上面提到的部分或全部缺陷以及其它可能的缺陷。

2、根据本技术的一方面，提供了一种图像标签校正模型的训练方法。所述方法包括：获取标签待校正图像和真实业务图像及其各自对应的初始标签，其中所述真实业务图像是针对具体业务场景并且标签准确性已验证的图像；基于所述真实业务图像的特征向量，确定所述真实业务图像的初始标签对应的类原型特征向量；对所述标签待校正图像的特征向量和所述类原型特征向量进行对比学习，以确定对比损失；根据所述对比损失，训练图像标签校正模型，使得所述标签待校正图像和所述真实业务图像的特征向量与对应的类原型特征向量之间的距离缩短。

3、在一些实施例中，基于所述真实业务图像的特征向量，确定所述真实业务图像的初始标签对应的类原型特征向量包括：对真实业务图像进行特征提取操作，以得到真实业务图像的第一特征向量；对所述真实业务图像的第一特征向量进行降维操作，以得到所述真实业务图像的第二特征向量，其中所述第二特征向量的维度数量小于所述第一特征向量的维度数量；对初始标签相同的真实业务图像的第二特征向量进行平均化操作，以得到各初始标签对应的类原型特征向量。

4、在一些实施例中，对所述标签待校正图像的特征向量和所述类原型特征向量进行对比学习，以确定对比损失包括：对标签待校正图像和真实业务图像进行特征提取操作，以得到标签待校正图像和真实业务图像的第三特征向量；对所述第三特征向量进行降维操作，以得到标签待校正图像和真实业务图像的第四特征向量，其中所述第四特征向量的维度数量小于所述第三特征向量的维度数量；基于所述第四特征向量与对应的类原型特征向量，确定样本与类原型损失。

5、在一些实施例中，对所述标签待校正图像的特征向量和所述类原型特征向量进行对比学习，以确定对比损失还包括：对标签待校正图像和真实业务图像进行图像增强操作，以得到标签待校正增强图像和真实业务增强图像；对标签待校正增强图像和真实业务增强图像进行特征提取操作，以得到所述标签待校正增强图像和真实业务增强图像的第五特征向量；对所述第五特征向量进行降维操作，以得到标签待校正增强图像和真实业务增强图像的第六特征向量，其中所述第六特征向量的维度数量小于所述第三特征向量的维度数量；基于标签待校正增强图像和真实业务增图像的第六特征向量与对应的标签待校正图像和真实业务图像的第四特征向量，确定样本与样本损失；并且，根据所述对比损失，训练图像标签校正模型包括：根据所述样本与类原型损失和所述样本与样本损失，训练所述图像标签校正模型。

6、在一些实施例中，所述增强操作包括下述操作中的至少一个：旋转所述标签待校正图像或真实业务图像；翻转所述标签待校正图像或真实业务图像；调整所述标签待校正图像或真实业务图像的对比度；调整所述标签待校正图像或真实业务图像的亮度；剪裁所述标签待校正图像或真实业务图像。

7、在一些实施例中，所述方法还包括：利用训练后的图像标签校正模型，获取标签待校正图像的经校正特征向量；基于标签待校正图像的经校正特征向量与类原型特征向量的相似度，校正所述标签待校正图像的初始标签。

8、在一些实施例中，所述标签待校正图像的经校正特征向量与类原型特征向量的相似度由关系模块确定，所述关系模块通过下述步骤训练：基于第一余弦相似度和第二余弦相似度，在所述标签待校正图像中筛选出干净样本图像，其中所述第一余弦相似度是标签待校正图像的特征向量与标签待校正图像的初始标签所对应的类原型特征向量之间的余弦相似度，所述第二余弦相似度是各个类原型特征向量彼此之间的余弦相似度；确定所述干净样本图像和所述真实业务图像的特征向量与其初始标签对应的类原型特征向量之间的余弦相似度，以得到第三余弦相似度；确定所述干净样本图像和所述真实业务图像的特征向量与各个类原型特征向量之间的余弦相似度，以得到第四余弦相似度；基于所述第三余弦相似度和所述第四余弦相似度，确定关系损失；基于所述关系损失，训练所述关系模块，使得所述关系模型收敛，以得到完成训练的关系模块。

9、在一些实施例中，基于标签待校正图像的经校正特征向量与类原型特征向量的相似度，校正所述标签待校正图像的初始标签包括：利用所述完成训练的关系模块，确定所述标签待校正图像的经校正特征向量与所述标签待校正图像的初始标签对应的类原型特征向量之间的关系模块相似度；确定所述关系模块相似度是否大于或等于预设的相似度阈值；响应于所述关系模块相似度大于或等于所述相似度阈值，将所述标签待校正图像的初始标签确定为所述标签待校正图像的经校正标签。

10、在一些实施例中，基于标签待校正图像的经校正特征向量与类原型特征向量的相似度，校正所述标签待校正图像的初始标签还包括：响应于所述关系模块相似度小于所述相似度阈值，基于所述标签待校正图像的经校正特征向量，确定所述标签待校正图像的标签预测值，并确定所述标签待校正图像的经校正特征向量与各类原型特征向量的固定度量标准相似度；基于所述标签待校正图像的标签预测值和所述标签待校正图像的经校正特征向量与各类原型特征向量的固定度量标准相似度的加权和，确定所述标签待校正图像与各类原型特征向量的固定度量相似度分数；确定所述标签待校正图像与各类原型特征向量的固定度量相似度分数中的最大相似度分数是否大于或等于所述相似度阈值；响应于所述最大相似度分数大于或等于所述相似度阈值，将所述最大相似度分数的类原型特征向量对应的标签确定为所述标签待校正图像的经校正标签。

11、在一些实施例中，基于标签待校正图像的经校正特征向量与所述类原型特征向量的相似度，校正所述标签待校正图像的初始标签还包括：响应于所述最大相似度分数小于所述相似度阈值，确定所述标签待校正图像与其初始标签的类原型特征向量的固定度量相似度分数是否大于或等于类原型特征向量的数量的倒数；响应于所述标签待校正图像与其初始标签的类原型特征向量的固定度量相似度分数大于或等于类原型特征向量的数量的倒数，将所述标签待校正图像的初始标签确定为所述标签待校正图像的经校正标签。

12、在一些实施例中，所述方法还包括，基于所述类原型特征向量与训练后的图像标签校正模型输出的标签待校正图像的特征向量的加权和，更新所述类原型特征向量。

13、根据本技术的另一方面，提供了一种图像标签校正模型的训练装置。所述装置包括：获取模块，其配置成获取标签待校正图像和真实业务图像及其各自对应的初始标签，其中所述真实业务图像是针对具体业务场景并且标签准确性已验证的图像；类原型特征向量确定模块，其配置成基于所述真实业务图像的特征向量，确定所述真实业务图像的初始标签对应的类原型特征向量；对比学习模块，其配置成对所述标签待校正图像的特征向量和所述类原型特征向量进行对比学习，以确定对比损失；训练模块，其配置成根据所述对比损失，训练图像标签校正模型，使得所述标签待校正图像和所述真实业务图像的特征向量与对应的类原型特征向量之间的距离缩短。

14、根据本技术的又一方面，提供了一种计算设备，包括：存储器和处理器。其中所述存储器中存储有计算机程序，所述计算机程序在被所述处理器执行时促使所述处理器执行本技术任一实施例所述的图像标签校正模型的训练方法。

15、根据本技术的又一方面，提供了一种计算机可读存储介质，其上存储计算机可读指令，所述计算机可读指令在被执行时实现本技术任一实施例所述的图像标签校正模型的训练方法。

16、根据本技术的又一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本技术任一实施例所述的图像标签校正模型的训练方法的步骤。

17、根据本技术一些实施例的图像标签校正模型的训练方法和装置不仅使用互联网上获取的海量、弱标签图像，还使用了业务场景下是少量、人工标记图像，缓解业务应用时面临的图像不足、标注成本高等问题，解决了由于公开图像数据与真实业务数据之间的偏见，实现了对公开图像数据的高效利用。该方法利用极少量的有标签的真实业务图像作为指引，使得网图学习得到的特征向量能够真正应用于业务场景。所训练的关系模块对特征表示中冗余、通用的元素进行抑制，而对具有判别力的、个别的元素进行强调，适用于在细粒度场景下衡量样本图像与类原型之间的相似度评价，对样本图像的标签进行了有效校正。