一种图像的选取方法、装置及设备与流程

本文件涉及计算机，尤其涉及一种图像的选取方法、装置及设备。

背景技术：

1、随着人们对自己的隐私数据越来越重视，智能凭证识别(即通过视觉目标检测算法识别指定凭证的真伪、种类、场景类型等信息的过程)也越来越被重视。智能凭证识别是风险防控的重要一环，涉及到产业数字化中的商户真实性、作业真实性、经营真实性等多个重要环节。智能凭证的一大挑战是场景的多样性，为了保证训练样本的多样性，一般采用主动学习算法挑选出最能提升模型效果的训练样本，以便进行标签信息的标注。但是，常用的主动学习算法最多只能关注到宏观场景的多样性，而智能凭证更强调微观的细节场景，使得常用方式受到局限。为此，需要提供一种更有针对性的提升智能凭证样本在细节场景的丰富度，从而能够以更低的标注成本，得到有效的训练数据集，进而提升模型的泛化能力的技术方案。

技术实现思路

1、本说明书实施例的目的是提供一种更有针对性的提升智能凭证样本在细节场景的丰富度，从而能够以更低的标注成本，得到有效的训练数据集，进而提升模型的泛化能力的技术方案。

2、为了实现上述技术方案，本说明书实施例是这样实现的：

3、本说明书实施例提供的一种图像的选取方法，所述方法包括：获取无标签信息的样本图像构成的样本图像集。基于所述样本图像集中的样本图像，通过目标检测模型确定每个所述样本图像中包含的未知类别的目标、每个所述样本图像中包含的目标、每个所述样本图像对应的图像特征，所述目标检测模型用于对图像中包含的目标进行检测。基于每个所述样本图像中包含的未知类别的目标、每个所述样本图像中包含的目标和每个所述样本图像对应的图像特征，确定所述样本图像集中的每个样本图像的训练价值，所述训练价值包括新颖性价值、不确定性价值和多样性价值中的一种或多种，所述新颖性价值用于表征图像中包含的未表征的信息的量，所述不确定性价值用于表征对图像中包含的目标所属的类别的不确定性，所述多样性价值用于表征与当前图像的相似程度高于预设阈值的其他图像的数量。基于预设的筛选策略和所述样本图像集中的每个样本图像的训练价值，从所述样本图像集中筛选用于重新训练所述目标检测模型的目标样本图像。

4、本说明书实施例提供的一种图像的选取装置，所述装置包括：图像获取模块，获取无标签信息的样本图像构成的样本图像集。图像处理模块，基于所述样本图像集中的样本图像，通过目标检测模型确定每个所述样本图像中包含的未知类别的目标、每个所述样本图像中包含的目标、每个所述样本图像对应的图像特征，所述目标检测模型用于对图像中包含的目标进行检测。训练价值确定模块，基于每个所述样本图像中包含的未知类别的目标、每个所述样本图像中包含的目标和每个所述样本图像对应的图像特征，确定所述样本图像集中的每个样本图像的训练价值，所述训练价值包括新颖性价值、不确定性价值和多样性价值中的一种或多种，所述新颖性价值用于表征图像中包含的未表征的信息的量，所述不确定性价值用于表征对图像中包含的目标所属的类别的不确定性，所述多样性价值用于表征与当前图像的相似程度高于预设阈值的其他图像的数量。图像选取模块，基于预设的筛选策略和所述样本图像集中的每个样本图像的训练价值，从所述样本图像集中筛选用于重新训练所述目标检测模型的目标样本图像。

5、本说明书实施例提供的一种图像的选取设备，所述图像的选取设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：获取无标签信息的样本图像构成的样本图像集。基于所述样本图像集中的样本图像，通过目标检测模型确定每个所述样本图像中包含的未知类别的目标、每个所述样本图像中包含的目标、每个所述样本图像对应的图像特征，所述目标检测模型用于对图像中包含的目标进行检测。基于每个所述样本图像中包含的未知类别的目标、每个所述样本图像中包含的目标和每个所述样本图像对应的图像特征，确定所述样本图像集中的每个样本图像的训练价值，所述训练价值包括新颖性价值、不确定性价值和多样性价值中的一种或多种，所述新颖性价值用于表征图像中包含的未表征的信息的量，所述不确定性价值用于表征对图像中包含的目标所属的类别的不确定性，所述多样性价值用于表征与当前图像的相似程度高于预设阈值的其他图像的数量。基于预设的筛选策略和所述样本图像集中的每个样本图像的训练价值，从所述样本图像集中筛选用于重新训练所述目标检测模型的目标样本图像。

6、本说明书实施例还提供了一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令在被处理器执行时实现以下流程：获取无标签信息的样本图像构成的样本图像集。基于所述样本图像集中的样本图像，通过目标检测模型确定每个所述样本图像中包含的未知类别的目标、每个所述样本图像中包含的目标、每个所述样本图像对应的图像特征，所述目标检测模型用于对图像中包含的目标进行检测。基于每个所述样本图像中包含的未知类别的目标、每个所述样本图像中包含的目标和每个所述样本图像对应的图像特征，确定所述样本图像集中的每个样本图像的训练价值，所述训练价值包括新颖性价值、不确定性价值和多样性价值中的一种或多种，所述新颖性价值用于表征图像中包含的未表征的信息的量，所述不确定性价值用于表征对图像中包含的目标所属的类别的不确定性，所述多样性价值用于表征与当前图像的相似程度高于预设阈值的其他图像的数量。基于预设的筛选策略和所述样本图像集中的每个样本图像的训练价值，从所述样本图像集中筛选用于重新训练所述目标检测模型的目标样本图像。

技术特征：

1.一种图像的选取方法，所述方法包括：

2.根据权利要求1所述的方法，所述基于所述样本图像集中的样本图像，通过目标检测模型确定每个所述样本图像中包含的未知类别的目标、每个所述样本图像中包含的目标、每个所述样本图像对应的图像特征之前，所述方法还包括：

3.根据权利要求2所述的方法，所述训练价值包括新颖性价值，所述基于每个所述样本图像中包含的未知类别的目标、每个所述样本图像中包含的目标和每个所述样本图像对应的图像特征，确定所述样本图像集中的每个样本图像的训练价值，包括：

4.根据权利要求3所述的方法，所述训练价值包括不确定性价值，所述基于每个所述样本图像中包含的未知类别的目标、每个所述样本图像中包含的目标和每个所述样本图像对应的图像特征，确定所述样本图像集中的每个样本图像的训练价值，包括：

5.根据权利要求4所述的方法，所述训练价值包括多样性价值，所述基于每个所述样本图像中包含的未知类别的目标、每个所述样本图像中包含的目标和每个所述样本图像对应的图像特征，确定所述样本图像集中的每个样本图像的训练价值，包括：

6.根据权利要求5所述的方法，所述基于每个所述样本图像对应的图像特征，确定不同所述样本图像之间的相似度，包括：

7.根据权利要求6所述的方法，所述训练价值包括新颖性价值、不确定性价值和多样性价值，所述基于预设的筛选策略和所述样本图像集中的每个样本图像的训练价值，从所述样本图像集中筛选用于重新训练所述目标检测模型的目标样本图像，包括：

8.根据权利要求7所述的方法，所述目标检测模型基于开放世界目标检测owod模型构建，且所述owod模型中的特征提取网络中设置有注意力模块，所述注意力模块包括并列的两个池化层、与所述两个池化层的输出端连接的特征拼接层、与所述特征拼接层连接的卷积层和与所述卷积层连接的sigmoid层，以及与所述sigmoid层的输出端和所述两个池化层的输入端连接的特征相乘层。

9.根据权利要求8所述的方法，所述两个池化层包括平均池化层和最大池化层。

10.根据权利要求2所述的方法，所述基于所述第一样本图像集中的第一样本图像和所述第一样本图像对应的标签信息对所述目标检测模型进行模型训练，得到训练后的目标检测模型，包括：

11.一种图像的选取装置，所述装置包括：

12.一种图像的选取设备，所述图像的选取设备包括：

技术总结
本说明书实施例公开了一种图像的选取方法、装置及设备，该方法包括：获取无标签信息的样本图像构成的样本图像集，基于样本图像，通过目标检测模型确定每个样本图像中包含的未知类别的目标、每个样本图像中包含的目标、每个样本图像对应的图像特征，基于每个样本图像中包含的未知类别的目标、每个样本图像中包含的目标和每个样本图像对应的图像特征，确定每个样本图像的训练价值，该训练价值包括新颖性价值、不确定性价值和多样性价值中的一种或多种，基于预设的筛选策略和样本图像集中的每个样本图像的训练价值，从样本图像集中筛选用于重新训练目标检测模型的目标样本图像。

技术研发人员：彭凤超,刘健
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：
技术公布日：2024/2/21