样本图像确定方法和装置、电子设备及存储介质与流程

本公开涉及图像处理技术领域，尤其涉及一种样本图像确定方法和装置、电子设备及存储介质。

背景技术：

近来，深度学习在视频图像、语音识别、自然语言处理等相关领域得到了广泛应用。卷积神经网络作为深度学习的一个重要分支，由于其超强的拟合能力以及端到端的全局优化能力，使得视频图像分类任务在应用卷积神经网络之后，预测精度大幅提升。虽然目前图像分类模型对图像具有了一定的分类能力，但是仍然会有大量预测错误的样本图像，如何进一步优化图像分类模型成为一个需要解决的问题。

在训练图像分类模型时，困难样本图像的作用往往大于简单样本图像。在图像分类模型的学习过程中即便是大量的简单样本图像都很难对图像分类模型的预测精度带来大幅度提升，而困难样本图像往往会给图像分类模型的预测精度带来较大幅度的提升。

可见，目前迫切需要本领域技术人员解决的技术问题为，如何从大量样本图像中提取困难样本图像，从而通过困难样本图像对图像分类模型进行训练。

技术实现要素：

为克服相关技术中存在的问题，本公开提供了一种样本图像确定方法和装置、电子设备及存储介质。

根据本公开实施例的第一方面，提供一种样本图像确定方法，包括：采用第一预设数量的分类器分别对各样本图像进行预测，得到所述各样本图像对应的预测向量；分别将所述各样本图像对应的预测向量转化成概率向量；依据所述各样本图像对应的概率向量，从所述各样本图像中确定困难样本图像。

可选地，所述采用第一预设数量的分类器分别对各样本图像进行预测，得到所述各样本图像对应的预测向量，包括：针对每个样本图像，分别采用所述第一预设数量的分类器对各样本图像进行预测，得到所述第一预设数量个分类标签，其中，一个分类器对一个样本图像进行预测时生成一个分类标签；依据所述第一预设数量个分类标签，生成所述样本图像对应的预测向量。

可选地，所述分别将所述各样本图像对应的预测向量转化成概率向量，包括：针对每个样本图像，确定所述样本图像对应的预测向量中各分类标签出现的次数；针对所述预测向量中出现的每个分类标签，依据所述分类标签出现的次数和所述预测向量中的分类标签总个数，确定所述分类标签对应的概率值；依据所述预测向量中出现的所述各分类标签和所述各分类标签对应的概率值，生成所述预测向量对应的概率向量。

可选地，所述依据所述各样本图像对应的概率向量，从所述各样本图像中确定困难样本图像，包括：分别计算各所述样本图像对应的概率向量的信息熵，其中，每个样本图像对应一个信息熵；依据所述各样本图像对应的信息熵，确定所述各样本图像中的困难样本图像。

可选地，所述依据所述各样本图像对应的信息熵，确定所述各样本图像中的困难样本，包括：将所述各样本图像对应的信息熵按照从大到小进行排序；将排序在前的第二预设数量个信息熵对应的样本图像确定为所述困难样本图像。

可选地，在所述采用第一预设数量的分类器分别对各样本图像进行预测，得到所述各样本图像对应的预测向量之前，所述方法还包括：随机初始化所述第一预设数量个分类器。

根据本公开实施例的第二方面，提供一种样本图像确定装置，包括：预测向量生成模块，被配置为采用第一预设数量的分类器分别对各样本图像进行预测，得到所述各样本图像对应的预测向量；转化模块，被配置为分别将所述各样本图像对应的预测向量转化成概率向量；确定模块，被配置为依据所述各样本图像对应的概率向量，从所述各样本图像中确定困难样本图像。

可选地，所述预测向量生成模块包括：分类标签确定子模块，被配置为针对每个样本图像，分别采用所述第一预设数量的分类器对所述样本图像进行预测，得到所述第一预设数量个分类标签，其中，一个分类器对所述样本图像进行预测时生成一个分类标签；生成子模块，被配置为依据所述第一预设数量个分类标签，生成所述样本图像对应的预测向量。

可选地，所述转化模块包括：次数确定子模块，被配置为针对每个样本图像，确定所述样本图像对应的预测向量中各分类标签出现的次数；概率值确定子模块，被配置为针对所述预测向量中出现的每个分类标签，依据所述分类标签出现的次数和所述预测向量中的分类标签总个数，确定所述分类标签对应的概率值；向量生成子模块，被配置为依据所述预测向量中出现的所述各分类标签和所述各分类标签对应的概率值，生成所述预测向量对应的概率向量。

可选地，所述确定模块包括：计算子模块，被配置为分别计算各所述样本图像对应的概率向量的信息熵，其中，每个样本图像对应一个信息熵；困难样本图像确定子模块，被配置为依据所述各样本图像对应的信息熵，确定所述各样本图像中的困难样本图像。

可选地，所述困难样本图像确定子模块包括：排序单元，被配置为将所述各样本图像对应的信息熵按照从大到小进行排序；困难样本图像确定单元，被配置为将排序在前的第二预设数量个信息熵对应的样本图像确定为所述困难样本图像。

可选地，所述装置还包括：初始化模块，被配置为在所述预测向量生成模块在所述采用第一预设数量的分类器分别对各样本图像进行预测，得到所述各样本图像对应的预测向量之前，随机初始化所述第一预设数量个分类器。

根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述任一种样本图像确定方法。

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备执行上述任一种样本图像确定方法。

根据本公开实施例的第五方面，提供根据一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，使得移电子设备执行上述任一种样本图像确定方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开实施例提供的样本图像确定方案，通过多个分类器分别对各样本图像进行预测得到预测向量，将预测向量转化为概率向量，然后依据各样本图像对应的概率向量来确定各样本图像中的困难样本图像，该种方式能够准确、快速的从多个样本图像中提取从困难样本图像，并且无需人工手动干预，能够节省人力资源。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种样本图像确定方法的步骤流程图；

图2是根据一示例性实施例示出的一种样本图像确定方法的步骤流程图；

图3是根据一示例性实施例示出的一种样本图像确定装置的框图；

图4是根据一示例性实施例示出的一种电子设备的结构框图；

图5是根据一示例性实施例示出的一种电子设备的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种样本图像确定方法的流程图，如图1所示样本图像确定方法用于电子设备中，包括以下步骤：

步骤101：采用第一预设数量的分类器分别对各样本图像进行预测，得到各样本图像对应的预测向量。

分类器即图像分类模型，分类器可以为多标签分类器，将单个样本图像输入分类器中进行预测时，可得到该样本图像对应的分类标签。例如：第一预设数量为k，待预测样本图像个数为m，则针对每个样本图像分别将其输入这k个分类器中进行预测，可得到k个分类标签，这k个分类标签中可能存在相同标签，这k个分类标签会形成一个长度为k的预测向量，即该样本图像对应的预测向量。重复执行上述操作，将m个样本图像分别输入k个分类器中进行预测，最终会形成m个长度为k的预测向量，每个预测向量分别对应一个样本图像。

其中，预测向量中包含多个点，每个点对应一个分类器对样本图像预测所得的分类标签。第一预设数量可以由本领域技术人员根据实际需求进行设置，本公开实施例中对此不做具体限制。

步骤102：分别将各样本图像对应的预测向量转化成概率向量。

其中，概率向量中包含多个点，每个点对应一个分类标签以及分类标签的概率值。

例如：一个预测向量中包含十个点，各点对应的分类标签分别为“猫”，“狗”，“猴”，“人”,“猫”，“狗”，“猴”，“人”,“猫”，“狗”。通过上述预测向量可知，该预测向量对应的样本图像被预测成“猫”，“狗”，“猴”，“人”的概率值分别为0.3、0.3、0.2以及0.2，则可知预测向量转化成的概率向量包四个点，这四个点分别对应分类标签“猫”，“狗”，“猴”，“人”，四个分类标签对应的概率值分别为0.3、0.3、0.2以及0.2。

在具体实现过程中，可采用上述举例中所列举的转化方式将各样本图像对应的预测向量转化为概率向量。

步骤103：依据各样本图像对应的概率向量，从各样本图像中确定困难样本图像。

概率向量中包含样本图像被预测为各分类标签的概率值，通过样本图像对应的分类标签的概率值可以确定样本是否为困难图像。具体确定方式可由本领域技术人员根据实际需求进行设置，本公开实施例中对此不做具体限制。例如：分别计算各样本图像对应的概率向量的信息熵，依据概率向量的信息熵确定样本图像是否为困难样本图像。

本示例性实施例示出的样本图像确定方法，通过多个分类器分别对各样本图像进行预测得到预测向量，将预测向量转化为概率向量，然后依据各样本图像对应的概率向量来确定各样本图像中的困难样本图像，该种方式能够准确、快速的从多个样本图像中提取从困难样本图像，并且无需人工手动干预，能够节省人力资源。

图2是根据一示例性实施例示出的一种样本图像确定方法的流程图，如图2所示样本图像确定方法用于电子设备中，包括以下步骤。

步骤201：随机初始化第一预设数量个分类器。

困难样本图像大致可分为：模型困难样本图像、算法困难样本图像。模型困难样本图像指的是由于不同的初始化参数，不同的参数更新方式造成一定比例的样本图像仅对于当前图像分类模型来说是困难样本图像，但是并不是对于所有的图像分类模型而言均为困难样本图像。算法困难样本图像指的是基于卷积神经网络的算法，无论采用何种图像分类模型、何种初始化参数都会让图像分类模型预测错误的样本图像。

本公开实施例中采用随机初始化的方式初始化参与本次困难样本确定的各分类器，能够避免在从样本图像中确定困难样本图像时模型困难样本图像被遗漏。

步骤202：采用第一预设数量的分类器分别对各样本图像进行预测，得到各样本图像对应的预测向量。

其中，预测向量中包含多个点，每个点对应一个分类器对样本图像预测所得的分类标签。

一种可选地采用第一预设数量的分类器分别对各样本图像进行预测，得到所述各样本图像对应的预测向量的方式如下：

首先，针对每个样本图像，分别采用第一预设数量的分类器对该样本图像进行预测，得到第一预设数量个分类标签；

其中，一个分类器对样本图像进行预测时生成一个分类标签。分类标签则为该分类器对样本图像的预测结果可记为predictionijx，其中i为样本图像标识，j代表分类器，jx为第x个分类器。

其次，依据第一预设数量个分类标签，生成样本图像对应的预测向量。

以第一预设数量为k为例，则依据第一预设数量个分类器对样本图像进行预测后，生成的预测向量为[predictionij0,predictionij1,predictionij2……predictionijk]。

重复执行上述方式，可生成各样本图像对应的预测向量。

步骤203：分别将各样本图像对应的预测向量转化成概率向量。

其中，概率向量中包含多个点，每个点对应一个分类标签以及分类标签的概率值。

一种可选地分别将各样本图像对应的预测向量转化成概率向量的方式如下：

首先，针对每个样本图像，确定样本图像对应的预测向量中各分类标签出现的次数；

例如：某一样本图像对应从预测向量为[“猫”，“狗”，“猴”，“人”,“猫”，“狗”，“猴”，“人”,“猫”，“狗”]。通过上述预测向量可知共出现“猫”，“狗”，“猴”，“人”四个分类标签，四个分类标签分别出现3次、3次、2次以及2次。

其次，针对预测向量中出现的每个分类标签，依据分类标签出现的次数和预测向量中的分类标签总个数，确定分类标签对应的概率值；

最后，依据预测向量中出现的各分类标签和各分类标签对应的概率值，生成预测向量对应的概率向量。

依然延续上述举例，四个分类标签“猫”，“狗”，“猴”，“人”，四个分类标签对应的概率值分别为0.3、0.3、0.2以及0.2，转化后的概率向量则包含四个点，每个点分别与上述四个分类标签对应，每个标签对应有一个概率值。

重复执行上述方法流程可将各样本图像对应的预测向量转化为概率向量，从而得到各样本图像对应的概率向量。

步骤204：分别计算各样本图像对应的概率向量的信息熵。

其中，通过步骤204中的计算后，每个样本图像将对应一个信息熵。

具体地可以通过如下公式计算一个概率向量的信息熵：

其中，x为概率向量标识，h(x)表示概率向量x的信息熵，i为概率向量中包含的分类标签的标识，pi为概率向量中第i各分类标签的概率值。

通过上述公式可计算得到各样本图像对应的概率向量的信息熵。

步骤205：依据各样本图像对应的信息熵，确定各样本图像中的困难样本图像。

步骤205可以包括如下步骤：

步骤2051：将各样本图像对应的信息熵按照从大到小进行排序；

步骤2052：将排序在前的第二预设数量个信息熵对应的样本图像确定为困难样本图像。

第二预设数量可以由本领域技术人员根据实际需求进行设置，本公开实施例中对此不做具体限制。

当然并不限于此，还可以将各样本图像对应的信息熵按照从小到大进行排序；将排序在后的第二预设数量个信息熵对应的样本图像确定为困难样本图像。或者设置信息熵阈值，将超出该信息熵阈值的信息熵对应的样本图像确定为困难样本图像。在具体实现过程中，本领域技术人员可采用上述所列举的三种方式中的任意一种方式，本公开实施例中对此不做具体限制。

本示例性实施例示出的样本图像确定方法，，通过多个分类器分别对各样本图像进行预测得到预测向量，将预测向量转化为概率向量，然后依据各样本图像对应的概率向量的信息熵来确定各样本图像中的困难样本图像，该种方式能够更加准确、快速的从多个样本图像中提取从困难样本图像，并且无需人工手动干预，能够节省人力资源。此外，本公开实施例中将第一预设数量的分类器进行随机初始化，相较于采用固定参数初始化分类器的方式，能够避免在从样本图像中确定困难样本图像时模型困难样本图像被遗漏。

图3是根据一示例性实施例示出的一种样本图像确定装置的框图，参照图3该装置包括预测向量生成模块301、转化模块302以及确定模块303。

预测向量生成模块301，被配置为采用第一预设数量的分类器分别对各样本图像进行预测，得到所述各样本图像对应的预测向量；转化模块302，被配置为分别将所述各样本图像对应的预测向量转化成概率向量；确定模块303，被配置为依据所述各样本图像对应的概率向量，从所述各样本图像中确定困难样本图像。

可选地，所述预测向量生成模块301可以包括：分类标签确定子模块3011，被配置为针对每个样本图像，分别采用所述第一预设数量的分类器对所述样本图像进行预测，得到所述第一预设数量个分类标签，其中，一个分类器对所述样本图像进行预测时生成一个分类标签；生成子模块3012，被配置为依据所述第一预设数量个分类标签，生成所述样本图像对应的预测向量。

可选地，所述转化模块302可以包括：次数确定子模块3021，被配置为针对每个样本图像，确定所述样本图像对应的预测向量中各分类标签出现的次数；概率值确定子模块3022，被配置为针对所述预测向量中出现的每个分类标签，依据所述分类标签出现的次数和所述预测向量中的分类标签总个数，确定所述分类标签对应的概率值；向量生成子模块3023，被配置为依据所述预测向量中出现的所述各分类标签和所述各分类标签对应的概率值，生成所述预测向量对应的概率向量。

可选地，所述确定模块303可以包括：计算子模块3031，被配置为分别计算各所述样本图像对应的概率向量的信息熵，其中，每个样本图像对应一个信息熵；困难样本图像确定子模块3032，被配置为依据所述各样本图像对应的信息熵，确定所述各样本图像中的困难样本图像。

可选地，所述困难样本图像确定子模块3032包括：排序单元，被配置为将所述各样本图像对应的信息熵按照从大到小进行排序；困难样本图像确定单元，被配置为将排序在前的第二预设数量个信息熵对应的样本图像确定为所述困难样本图像。

可选地，所述装置还包括：初始化模块304，被配置为在所述预测向量生成模块301在所述采用第一预设数量的分类器分别对各样本图像进行预测，得到所述各样本图像对应的预测向量之前，随机初始化所述第一预设数量个分类器。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图4是根据一示例性实施例示出的一种电子设备400的框图。电子设备可以为移动终端也可以为服务器，本公开实施例中以电子设备为移动终端为例进行说明。例如，移动终端可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图4，电子设备400可以包括以下一个或多个组件：处理组件402，存储器404，电源组件406，多媒体组件408，音频组件410，输入/输出(i/o)的接口412，传感器组件414，以及通信组件416。

处理组件402通常控制电子设备400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理部件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。

存储器404被配置为存储各种类型的数据以支持在电子设备400的操作。这些数据的示例包括用于在电子设备400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。

电源组件406为电子设备400的各种组件提供电力。电源组件406可以包括电源管理系统，一个或多个电源，及其他与为电子设备400生成、管理和分配电力相关联的组件。

多媒体组件408包括在电子设备400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当移动终端400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件410被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(mic)，当电子设备400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。

i/o接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件414包括一个或多个传感器，用于为电子设备400提供各个方面的状态评估。例如，传感器组件414可以检测到电子设备400的打开/关闭状态，组件的相对定位，例如所述组件为移动终端400的显示器和小键盘，传感器组件414还可以检测电子设备400或电子设备400一个组件的位置改变，用户与电子设备400接触的存在或不存在，电子设备400方位或加速/减速和电子设备400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件416被配置为便于电子设备400和其他设备之间有线或无线方式的通信。电子设备400可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信部件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件416还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。

在示例性实施例中，电子设备400可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图1、图2中所述的样本图像确定方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由电子设备400的处理器420执行以完成上述图1、图2中所示的样本图像确定方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品，当计算机程序产品中的指令由电子设备400的处理器420执行时，使得电子设备400执行上述图1、图2中所示的样本图像确定方法。

图5是根据一示例性实施例示出的一种电子设备的框图。电子设备可以为移动终端也可以为服务器，本公开实施例中以电子设备为服务器为例进行说明。参照图5，电子设备500包括处理组件501，其进一步包括一个或多个处理器，以及由存储器502所代表的存储器资源，用于存储可由处理组件501的执行的指令，例如应用程序。存储器502中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件501被配置为执行指令，以执行上述图1、图2中所示的样本图像确定方法，所述方法具体包括：

采用第一预设数量的分类器分别对各样本图像进行预测，得到所述各样本图像对应的预测向量；分别将所述各样本图像对应的预测向量转化成概率向量；依据所述各样本图像对应的概率向量，从所述各样本图像中确定困难样本图像。电子设备500还可以包括一个电源组件503被配置为执行电子设备500的电源管理，一个有线或无线网络接口504被配置为将电子设备500连接到网络，和一个输入输出(i/o)接口505。电子设备500可以操作基于存储在存储器502的操作系统，例如windowsservertm，macosxtm，unixtm,linuxtm，freebsdtm或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。