神经网络模型的训练方法、装置和电子设备与流程

本公开涉及人工智能领域，更具体地，本公开涉及一种神经网络模型的训练方法、图像处理方法、神经网络模型的训练装置、电子设备和计算机可读存储介质。
背景技术：
：神经网络是一种大规模、多参数优化的工具。依靠大量的训练数据，神经网络能够学习出数据中难以总结的隐藏特征，从而完成多项复杂的任务，如图像语义分割、物体检测、动作追踪、自然语言翻译等。神经网络已被人工智能界广泛应用。在利用神经网络模型执行上述诸如图像语义分割、物体检测、动作追踪、自然语言翻译等复杂任务时，需要利用人工标注的大量训练样本数据对神经网络模型执行训练过程，以便在训练过程中不断调整整个神经网络模型的参数设置，直到获得满足训练结束条件的神经网络模型以便随后执行相应的处理任务。为了减少对于大量训练样本数据的人工标注成本，通常采用随机采样学习的方式选取一部分训练样本数据进行人工标注。然而，由于随机采样学习的方式从未标注的训练样本数据集中均匀采样部分数据进行人工标注，对于原始训练样本数据集的数据分布没有改变，即采样后的用于训练的标注训练样本中优质样本的比例没有变化。此外，采样后数据集样本数量下降，会导致神经网络模型的训练更容易过拟合而导致性能下降。技术实现要素：鉴于上述问题而提出了本公开。本公开提供了一种神经网络模型的训练方法、图像处理方法、神经网络模型的训练装置、电子设备和计算机可读存储介质。根据本公开的一个方面，提供了一种神经网络模型的训练方法，包括：执行初始训练步骤，以利用第一训练样本集执行初始训练，获得初始神经网络模型，所述第一训练样本集中的样本为已标注的样本；执行预测步骤，以利用所述初始神经网络模型对第二训练样本集执行预测，获得所述第二训练样本集中每个训练样本的预测结果，所述第二训练样本集中的样本为未标注的样本；执行优选样本确定步骤，以基于所述预测结果，从所述第二训练样本集确定多个优选样本；执行样本扩展步骤，以接收对于所述多个优选样本的标注结果，将标注后的所述多个优选样本加入所述第一训练样本集，获得扩展的第一训练样本集；执行更新训练步骤，以利用所述扩展的第一训练样本集执行更新训练，以获得更新的神经网络模型；判断是否满足训练结束条件，在满足训练结束条件的情况下，结束所述训练方法；以及在不满足所述训练结束条件的情况下，重复执行所述预测步骤、所述优选样本确定步骤、所述样本扩展步骤以及所述更新训练步骤。此外，根据本公开一个方面的神经网络模型的训练方法，其中，所述优选样本确定步骤包括：确定所述第二训练样本集中每个训练样本的信息量，并且选择第一预定数目的高信息量样本；以及基于所述第一预定数目的高信息量样本中每个样本的复杂度，以从低复杂度到高复杂度的顺序，从所述第一预定数目的高信息量样本确定第二预定数目的高信息量样本，作为所述多个优选样本。此外，根据本公开一个方面的神经网络模型的训练方法，其中，所述确定所述第二训练样本集中每个训练样本的信息量包括：确定所述第二训练样本集中每个训练样本的不确定性和多样性；以及对所述不确定性和所述多样性进行加权计算，获得所述每个训练样本的信息量。此外，根据本公开一个方面的神经网络模型的训练方法，其中，所述第二训练样本集中每个训练样本具有相应的弱监督信息，每个训练样本的所述不确定性基于每个训练样本相应的弱监督信息和预测结果确定；每个训练样本的所述多样性基于每个训练样本与所述第二训练样本集中的其他训练样本的相似性确定。此外，根据本公开一个方面的神经网络模型的训练方法，其中，所述第二训练样本集中每个训练样本具有相应的弱监督信息，并且所述每个样本的复杂度与所述每个训练样本相应的弱监督信息的确信度负相关。此外，根据本公开一个方面的神经网络模型的训练方法，其中，所述训练结束条件包括：所述优选样本确定步骤不再生成优选样本；或者所述更新的神经网络模型满足预定收敛条件。根据本公开的另一个方面，提供了一种利用神经网络模型的图像处理方法，包括：接收输入图像；利用所述神经网络模型对所述输入图像执行特征提取处理；以及基于提取的特征，输出处理结果图像，其中，利用如上所述的神经网络模型的训练方法，获得所述神经网络模型。根据本公开的又一个方面，提供了一种神经网络模型的训练装置，包括：初始训练单元，用于执行初始训练步骤，以利用第一训练样本集执行初始训练，获得初始神经网络模型，所述第一训练样本集中的样本为已标注的样本；预测单元，用于执行预测步骤，以利用所述初始神经网络模型对第二训练样本集执行预测，获得所述第二训练样本集中每个训练样本的预测结果，所述第二训练样本集中的样本为未标注的样本；优选样本确定单元，用于执行优选样本确定步骤，以基于所述预测结果，从所述第二训练样本集确定多个优选样本；样本扩展单元，用于执行样本扩展步骤，以接收对于所述多个优选样本的标注结果，将标注后的所述多个优选样本加入所述第一训练样本集，获得扩展的第一训练样本集；更新训练单元，用于执行更新训练步骤，以利用所述扩展的第一训练样本集执行更新训练，以获得更新的神经网络模型；其中，判断是否满足训练结束条件，在满足训练结束条件的情况下，所述训练装置结束训练；以及在不满足所述训练结束条件的情况下，所述预测单元、所述优选样本确定单元、所述样本扩展单元以及所述更新训练单元重复执行所述预测步骤、所述优选样本确定步骤、所述样本扩展步骤以及所述更新训练步骤。此外，根据本公开又一个方面的神经网络模型的训练装置，其中，所述优选样本确定单元用于：确定所述第二训练样本集中每个训练样本的信息量，并且选择第一预定数目的高信息量样本；以及基于所述第一预定数目的高信息量样本中每个样本的复杂度，以从低复杂度到高复杂度的顺序，从所述第一预定数目的高信息量样本确定第二预定数目的高信息量样本，作为所述多个优选样本。此外，根据本公开又一个方面的神经网络模型的训练装置，其中，所述优选样本确定单元用于：确定所述第二训练样本集中每个训练样本的不确定性和多样性；以及对所述不确定性和所述多样性进行加权计算，获得所述每个训练样本的信息量。此外，根据本公开又一个方面的神经网络模型的训练装置，其中，所述第二训练样本集中每个训练样本具有相应的弱监督信息，所述优选样本确定单元基于每个训练样本相应的弱监督信息和预测结果，确定每个训练样本的所述不确定性；所述优选样本确定单元基于每个训练样本与所述第二训练样本集中的其他训练样本的相似性，确定每个训练样本的所述多样性。此外，根据本公开又一个方面的神经网络模型的训练装置，其中，所述第二训练样本集中每个训练样本具有相应的弱监督信息，并且所述每个样本的复杂度与所述每个训练样本相应的弱监督信息的确信度负相关。此外，根据本公开又一个方面的神经网络模型的训练装置，其中，所述训练结束条件包括：所述优选样本确定步骤不再生成优选样本；或者所述更新的神经网络模型满足预定收敛条件。根据本公开的再一个方面，提供了一种电子设备，包括：处理器；以及存储器，用于存储计算机程序指令；其中，当所述计算机程序指令由所述处理器加载并运行时，所述处理器执行如上所述的训练方法和图像处理方法。根据本公开的再一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序指令，其中，所述计算机程序指令被处理器加载并运行时，所述处理器执行如上所述的训练方法和图像处理方法。如以下将详细描述的，根据本公开实施例的神经网络模型的训练方法、神经网络模型的训练装置、电子设备和计算机可读存储介质，通过从未标注的训练样本集中找出高信息量样本，从而最大程度地保留训练样本集提供的有价值信息，避免随机采样导致的训练样本集规模缩小而丢失有价值信息的问题。此外，进一步从高信息量样本中选择相对更容易的样本进行标注，而在多次迭代训练过程中逐渐标注一些相对更难的样本来更新训练神经网络模型。如此可以进一步降低被选择用于标注的样本数量，克服深度学习过程中容易出现的过拟合的问题，训练的过程也更鲁棒。同时减少深度主动学习的迭代次数，并且在取得优异性能的同时，可以极大的降低训练样本的标注量并且加快神经网络模型的训练过程。要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。附图说明通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1是图示根据本公开实施例的医学图像处理系统的示意图；图2是概述根据本公开实施例的神经网络模型的训练方法的应用场景的示意图；图3是图示根据本公开实施例的神经网络模型的训练方法的流程图；图4是图示根据本公开实施例的神经网络模型的训练方法的示意图；图5a和5b是进一步图示根据本公开实施例的神经网络模型的训练方法的训练效果示意图；图6是图示根据本公开实施例的神经网络模型的训练装置的功能框图；图7是图示根据本公开实施例的电子设备的硬件框图；以及图8是图示根据本公开的实施例的计算机可读存储介质的示意图。具体实施方式为了使得本公开的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。首先，参照图1示意性地描述本公开的应用场景。图1是图示根据本公开实施例的医学图像处理系统的示意图。如图1所示，根据本公开实施例的医学图像处理系统100包括图像获取单元101、图像处理单元102以及结果输出单元103。图像获取单元101、图像处理单元102以及结果输出单元103可以配置为处于同一物理位置，甚至配置为属于同一物理设备。可替代地，图像获取单元101、图像处理单元102以及结果输出单元103可以配置为处于不同位置，并且通过有线或者无线通信网络连接，从而在相互之间传输数据或者命令。具体地，图像获取单元101用于获取待处理的医学图像。在本公开的实施例中，所述医学图像包括但不限于血管造影图像、计算机断层扫描图像、正子发射断层扫描图像、核磁共振图像、超音波图像等。图像处理单元102用于处理所述医学图像，生成图像处理结果。图像处理单元102例如为服务器、图形工作站、个人计算机等。如下将详细描述的，图像处理单元102可以利用其中配置的神经网络模型对图像获取单元101提供的医学图像执行特征提取处理，基于提取的特征生成图像处理结果。图像处理单元102中配置的神经网络模型需要预先利用根据本公开实施例的神经网络模型的训练方法来训练以获取。结果输出单元103用于输出所述图像处理结果。所述图像处理结果例如为指示医学图像病灶所处位置、状态的可视化图像。由于图像处理结果是由图像处理单元102利用训练好的神经网络模型所生成的，利用了人眼无法观察和判断的更多维度的丰富信息，并且不像医生受其经验和专业知识的限制，从而实现了对于医学图像更加高效和精准的处理。参照图2示意性地描述根据本公开实施例的神经网络模型的训练方法的应用场景。如图2所示，根据本公开实施例的神经网络模型20用于接收输入10，并且所述输入10执行特征提取处理，基于提取的特征，生成输出30。在本公开的实施例中，所述输入10例如可以是图像、视频、自然语言文本等待处理的对象。所示神经网络模型20对所述输入10执行图像语义分割、物体检测、动作追踪、自然语言翻译等处理，以生成所述输出30。在本公开的一个实施例中，所述神经网络模型20可以配置于医学影像辅助诊断系统(例如乳腺钼靶影像的ai诊断系统)中。在医学影像的辅助诊断系统中，将医学影像作为所述输入10，神经网络模型20输出的热图作为所述输出30，所述输出30可以给出病灶的区域并使用阈值二值化处理示出病灶的位置与轮廓。例如，为了检测钼靶影像中肿块病灶的位置和轮廓，神经网络模型20可以是端到端的全卷积网络(fcn)模型。在全卷积网络模型中，使用编码器的卷积层对输入图像进行编码压缩，提取维度更低的特征图。此后，使用解码器的反卷积层和上采样层对特征图进行解码运算，输出图像原尺寸的空间密度估计，即热图(heatmap)。为了提升像素级密度估计的准确性，全卷积网络模型中还可以使用跳跃连接的方式将编码器中的低层特征图融合到解码器中。这种全卷积网络模型可以获取到非线性的、局部到全局的特征映射，融合了低层的视觉特征和高层的语义信息。全卷积网络模型的输出热图给出了输入影像中每个像素属于肿块病灶的概率值，同时热图显式地展现了肿块病灶的显著区域。对热图使用阈值进行二值化处理，可以得到肿块显著区域的位置和轮廓。容易理解的是，全卷积网络模型仅仅是示例，根据本公开实施例的神经网络模型20可以采用不同的网络结构，包括但不限于卷积神经网络(cnn)、循环神经网络(rnn)、u-net神经网络等。为了获得用于医学影像辅助诊断系统中的所述神经网络模型20，需要收集大量的医学影像作为训练样本，对初始神经网络模型执行训练。对于所收集的医学影像，通常具有对应的医疗诊断报告，该报告提供的信息可以作为神经网络模型20的训练过程中的弱监督信息。不同于将所收集的医学影像全部进行人工标注，或者从所收集的医学影像中随机采样部分医院影像进行标注的传统方法，在如下将详细的对于神经网络模型20的训练过程中，通过迭代地从未标注的训练样本集中找出高信息量样本，并且进一步从高信息量样本中选择相对更容易的样本进行标注，从而最大程度地保留训练样本集提供的有价值信息，降低被选择用于标注的样本数量，同时克服深度学习过程中容易出现的过拟合的问题，训练的过程也更鲁棒。以下，参照图3到图5b详细描述根据本公开实施例的神经网络模型的训练方法。图3是图示根据本公开实施例的神经网络模型的训练方法的流程图；图4是图示根据本公开实施例的神经网络模型的训练方法的示意图；图5a-5b是进一步图示根据本公开实施例的神经网络模型的训练方法的训练效果示意图。如图3所示，根据本公开实施例的神经网络模型的训练方法包括以下步骤。在步骤s201中，利用第一训练样本集执行初始训练，获得初始神经网络模型。如图4所示，在初始训练步骤201中，利用第一训练样本集301执行神经网络模型f0初始训练，获得初始神经网络模型ft。第一训练样本集301中的样本为已标注的样本，即包括样本图像302和对应的样本标注303。更具体地，在医学影像辅助诊断系统的应用场景下，由医学影像专家对第一训练样本集301中的样本图像302进行人工标注，获得对应的样本标注303。在人工标注的过程中，可以参考样本图像302附带的诊断报告的信息，并且通常选择病灶视觉特征显著的样本图像作为第一训练样本集301中的样本图像302。此外，如上所述，不管是第一训练样本集301中的样本图像302还是下面第二训练样本集304中的样本图像，都附带有诊断报告作为训练过程中的弱监督信息。在步骤s202中，利用初始神经网络模型对第二训练样本集执行预测，获得第二训练样本集中每个训练样本的预测结果。如图4所示，在预测步骤202中，初始神经网络模型ft对第二训练样本集304执行预测，获得所述第二训练样本集304中每个训练样本的预测结果305。所述第二训练样本集304仅包括未标注的样本图像。更具体地，在医学影像辅助诊断系统的应用场景下，每个训练样本的预测结果305为样本图像所对应的热图。在步骤s203中，基于所述预测结果，从所述第二训练样本集确定多个优选样本。如图4所示，在优选样本确定步骤203中，基于所述预测结果305，从所述第二训练样本集确定多个优选样本308。具体地，所述优选样本确定步骤203包括：确定所述第二训练样本集304中每个训练样本的信息量307，并且选择第一预定数目的高信息量样本；以及基于所述第一预定数目的高信息量样本中每个样本的复杂度307，以从低复杂度到高复杂度的顺序，从所述第一预定数目的高信息量样本确定第二预定数目的高信息量样本，作为所述多个优选样本306。也就是说，通过从未标注的训练样本集304中找出高信息量样本，从而最大程度地保留训练样本集304提供的有价值信息，避免随机采样导致的训练样本集规模缩小而丢失有价值信息的问题。此外，进一步从高信息量样本中选择相对更容易的样本进行标注，而在多次迭代训练过程中逐渐标注一些相对更难的样本来更新训练神经网络模型。如此可以进一步降低被选择用于标注的样本数量，克服深度学习过程中容易出现的过拟合的问题。更具体地，训练样本的信息量由样本的不确定性和多样性两个因素共同决定。确定所述第二训练样本集中每个训练样本的信息量包括：确定所述第二训练样本集中每个训练样本的不确定性和多样性；以及对所述不确定性和所述多样性进行加权计算，获得所述每个训练样本的信息量。也就是说，每个训练样本的所述不确定性基于每个训练样本相应的弱监督信息306和预测结果305确定；每个训练样本的所述多样性基于每个训练样本与所述第二训练样本集中的其他训练样本的相似性确定。在医学影像辅助诊断系统的应用场景下，样本的不确定性是指当前的神经网络模型ft在该样本中检测到病灶的置信度，由当前的神经网络模型ft给出的热图与该样本的弱监督信息来计算。样本的多样性是指样本在所有样本中的特异性和代表性，该指标越高的样本可以丰富数据集的特征空间和增强模型检测的泛化能力。另一方面，样本的多样性可以避免选择过多的冗余样本进行人工标注。具有较高信息量的未标注样本可以被定性地归为4类，即“不匹配”、“无召回”、“低召回”和“假阳性过多”。其中，“不匹配”表示病灶区域没有被召回且召回了一些假阳性区域，“无召回”表示病灶区域没有被召回且也没有召回假阳性区域，“低召回”表示病灶区域被定位到但是只召回了一小部分区域，“假阳性过多”表示病灶区域被召回但是还召回了很多假阳性区域。病灶区域的权重更大，所以“不匹配”和“无召回”类型的样本不确定性更高。另一方面，“无召回”和“低召回”的样本通常相对较少，因此这两个类别的样本具有更高的多样性。所以，“不匹配”和“无召回”的样本在信息量评估中排序更靠前，在高信息量样本中占多数。所述第二训练样本集304中每个训练样本具有相应的弱监督信息308，并且所述每个样本的复杂度与所述每个训练样本相应的弱监督信息308的确信度负相关。也就是说，弱监督信息给出信息的可信任度越高，该样本的复杂度越低，样本相对更容易检测。随着训练迭代的进行，为了确保不过度丢失样本的多样性，从高信息量样本中选择相对更容易的样本的比率应随着迭代的进行而增大，即在多次迭代之后应该保留更高比例的高信息量样本。在步骤s204中，接收对于所述多个优选样本的标注结果，将标注后的所述多个优选样本加入所述第一训练样本集，获得扩展的第一训练样本集。如图4所示，在样本扩展步骤204中，对于多个优选样本308进行人工标注，接收优选样本的标注309，并且将多个优选样本308以及对应的优选样本的标注309一并加入第一训练样本集301，形成扩展的第一训练样本集310。在步骤s205中，利用扩展的第一训练样本集执行更新训练，以获得更新的神经网络模型。如图4所示，在更新训练步骤s205中，利用扩展的第一训练样本集310执行更新训练，以获得更新的神经网络模型ft。扩展的第一训练样本集310中的样本图像311包括原第一训练样本集301中的样本图像302以及在优选样本确定步骤203中确定的优选样本308。同样地，扩展的第一训练样本集310中的样本标注312包括原第一训练样本集301中的样本标注303以及在样本扩展步骤204中确定的优选样本的标注309。在步骤s206中，判断是否满足训练结束条件。如果满足训练在满足训练结束条件的情况下，结束所述训练方法。在不满足所述训练结束条件的情况下，重复执行所述预测步骤202、所述优选样本确定步骤203、所述样本扩展步骤204以及所述更新训练步骤205。需要注意的是，在迭代的后续预测步骤202中，第二训练样本集304为前一次迭代中未被选中作为优选样本的剩余未标注样本。具体地，所述训练结束条件包括：所述优选样本确定步骤不再生成优选样本；或者所述更新的神经网络模型满足预定收敛条件。图5a和5b的froc曲线图示出了根据本公开实施例的神经网络模型的训练方法与采用随机采样学习方式的训练效果比较。采集2223张实际图像样本作为数据集，其中311张图像样本作为测试集，1912张图像样本用于训练。为了初始化神经网络模型，标注了220张图像样本用于初始训练。对于随机采样学习方式，进行了2次独立的测试。分别从1692张未标注图像样本中随机选取182张图像样本进行标注，那么加上初始的220张被标注图像样本，得到的训练图像样本各有402张。最终，训练神经网络模型所取得的性能分别如下图5a中的random_v1和random_v2。利用根据本公开实施例的神经网络模型的训练方法，进行了3次迭代直到没有足够的优选样本，每次迭代分别选取了137、27、18张优选样本，与初始220张共计402张图像样本进行了人工标注。最终，每次迭代所取得的结果如图5b中active_r1到active_r3所示。技术方案rl_1rl_2本公开pauc0.88740.85370.9220标注样本数402402402表1表1示出了本公开的神经网络模型的训练方法与采用随机采样学习方式的训练方法的性能比较。根据本公开实施例的神经网络模型的训练方法，不仅能减少标注样本的总量，而且还可以降低迭代的次数，同时还能取得更好的性能。图6是图示根据本公开实施例的神经网络模型的训练装置的功能框图。如图6所示，根据本公开实施例的训练装置50包括：初始训练单元501、预测单元502、优选样本确定单元503、样本扩展单元504和更新训练单元505。上述各模块可以分别执行如上参照图3到图5b描述的根据本公开的实施例的神经网络模型的训练方法的各个步骤。本领域的技术人员理解：这些单元模块可以单独由硬件、单独由软件或者由其组合以各种方式实现，并且本公开不限于它们的任何一个。初始训练单元501用于执行初始训练步骤，以利用第一训练样本集执行初始训练，获得初始神经网络模型，所述第一训练样本集中的样本为已标注的样本。预测单元502用于执行预测步骤，以利用所述初始神经网络模型对第二训练样本集执行预测，获得所述第二训练样本集中每个训练样本的预测结果，所述第二训练样本集中的样本为未标注的样本。优选样本确定单元503用于执行优选样本确定步骤，以基于所述预测结果，从所述第二训练样本集确定多个优选样本。样本扩展单元504用于执行样本扩展步骤，以接收对于所述多个优选样本的标注结果，将标注后的所述多个优选样本加入所述第一训练样本集，获得扩展的第一训练样本集。更新训练单元505用于执行更新训练步骤，以利用所述扩展的第一训练样本集执行更新训练，以获得更新的神经网络模型。在满足训练结束条件的情况下，所述训练装置结束训练；以及在不满足所述训练结束条件的情况下，所述预测单元502、所述优选样本确定单元503、所述样本扩展单元504以及所述更新训练单元505重复执行所述预测步骤、所述优选样本确定步骤、所述样本扩展步骤以及所述更新训练步骤。更具体地，所述优选样本确定单元503用于：确定所述第二训练样本集中每个训练样本的信息量，并且选择第一预定数目的高信息量样本；以及基于所述第一预定数目的高信息量样本中每个样本的复杂度，以从低复杂度到高复杂度的顺序，从所述第一预定数目的高信息量样本确定第二预定数目的高信息量样本，作为所述多个优选样本。所述优选样本确定单元503用于：确定所述第二训练样本集中每个训练样本的不确定性和多样性；以及对所述不确定性和所述多样性进行加权计算，获得所述每个训练样本的信息量。所述第二训练样本集中每个训练样本具有相应的弱监督信息，所述优选样本确定单元503基于每个训练样本相应的弱监督信息和预测结果，确定每个训练样本的所述不确定性；所述优选样本确定单元503基于每个训练样本与所述第二训练样本集中的其他训练样本的相似性，确定每个训练样本的所述多样性。所述第二训练样本集中每个训练样本具有相应的弱监督信息，并且所述每个样本的复杂度与所述每个训练样本相应的弱监督信息的确信度负相关。所述训练结束条件包括：所述优选样本确定步骤不再生成优选样本；或者所述更新的神经网络模型满足预定收敛条件。图7是图示根据本公开实施例的电子设备600的硬件框图。根据本公开实施例的电子设备至少包括处理器；以及存储器，用于存储计算机程序指令。当计算机程序指令由处理器加载并运行时，所述处理器执行如上所述的神经网络模型的训练方法。图7所示的电子设备600具体地包括：中央处理单元(cpu)601、图形处理单元(gpu)602和主存储器603。这些单元通过总线604互相连接。中央处理单元(cpu)601和/或图形处理单元(gpu)602可以用作上述处理器，主存储器603可以用作上述存储计算机程序指令的存储器。此外，电子设备600还可以包括通信单元605、存储单元606、输出单元607、输入单元608和外部设备606，这些单元也连接到总线604。图8是图示根据本公开的实施例的计算机可读存储介质的示意图。如图8所示，根据本公开实施例的计算机可读存储介质700其上存储有计算机程序指令701。当所述计算机程序指令701由处理器运行时，执行参照以上附图描述的根据本公开实施例的神经网络模型的训练方法。所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存、光盘、磁盘等。以上，参照附图描述了根据本公开实施例的神经网络模型的训练方法、神经网络模型的训练装置、电子设备和计算机可读存储介质，通过从未标注的训练样本集中找出高信息量样本，从而最大程度地保留训练样本集提供的有价值信息，避免随机采样导致的训练样本集规模缩小而丢失有价值信息的问题。此外，进一步从高信息量样本中选择相对更容易的样本进行标注，而在多次迭代训练过程中逐渐标注一些相对更难的样本来更新训练神经网络模型。如此可以进一步降低被选择用于标注的样本数量，克服深度学习过程中容易出现的过拟合的问题，训练的过程也更鲁棒。同时减少深度主动学习的迭代次数，并且在取得优异性能的同时，可以极大的降低训练样本的标注量并且加快神经网络模型的训练过程。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“a、b或c的至少一个”的列举意味着a或b或c，或ab或ac或bc，或abc(即a和b和c)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。当前第1页12