数据处理方法、装置、设备和计算机存储介质与流程

1.本公开的示例性总体上涉及计算机技术领域，并且更具体地涉及数据处理方法、装置、设备和计算机存储介质。


背景技术：

2.图像是视觉感知的物质再现，图像可以通过如摄像头等的光学设备来捕获，也可以由人类创作或者机器自动生成。视频是指将一系列图像以电信号的方式加以捕获、记录、处理、存储以及重现的技术，能够组成平滑连续的视觉画面。根据预定的采样策略，可以从视频中采样得到若干视频帧，每个视频帧可以作为一个图像。
3.机器学习是一种统计学习方法，机器利用已有的数据得出某种模型，然后再利用模型预测结果。机器学习已广泛应用于数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学处理等各种领域。机器学习通常需要大量的训练数据，而训练数据已经通过人工或者机器标注。


技术实现要素：

4.本公开的示例性实现方式提供了数据处理方法、装置、设备和计算机存储介质，能够提高图像处理模型的性能。
5.在本公开的第一方面，提供了一种数据处理方法。该方法包括使用图像数据集中的第一数据集来训练图像处理模型，其中图像数据集根据预定条件被分成第一数据集和第二数据集。方法还包括通过经训练的图像处理模型从第二数据集选择至少第一子集，以及至少使用第一数据集和第一子集的组合来进一步训练图像处理模型。
6.在本公开的第二方面，提供了一种数据处理方法。该方法包括获得图像作为输入，并且使用根据第一方面所训练的图像处理模型基于所述输入来生成图像处理的输出。
7.在本公开的第三方面，提供了一种数据处理装置。该装置包括第一训练模块、子集选择模块以及第二训练模块。第一训练模块被配置为使用图像数据集中的第一数据集来训练图像处理模型，图像数据集根据预定条件被分成第一数据集和第二数据集。子集选择模块被配置为通过经训练的图像处理模型从第二数据集选择至少第一子集。第二训练模块被配置为至少使用第一数据集和第一子集的组合来进一步训练图像处理模型。
8.在本公开的第四方面，提供了一种数据处理装置。该装置包括输入模块和输出模块，其中输入模块被配置为获得图像作为输入，并且输出模块被配置为使用第三方面所训练的图像处理模型基于所述输入来生成图像处理的输出。
9.在本公开的第五方面，提供了一种电子设备。该设备包括至少一个处理单元和至少一个存储器。至少一个存储器被耦合到至少一个处理单元并且存储有用于由至少一个处理单元执行的指令，指令当由至少一个处理单元执行时，使得设备执行根据第一方面和/或第二方面所述的方法。
10.在本公开的第六方面，提供了一种计算机可读存储介质。该计算机可读存储介质
存储有计算机可读程序指令，计算机可读程序指令用于执行根据第一方面和/或第二方面所述的方法。
11.提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。
附图说明
12.通过结合附图对本公开的示例性实现方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开的示例性实现方式中，相同的附图标记通常指代相同部件。
13.图1示出了根据本公开的实施例的数据处理的示例环境；
14.图2示出了根据本公开的实施例的数据处理方法的流程图；
15.图3a示出了根据本公开的实施例的用于从图像数据集选择有用的训练数据的过程的示意图；
16.图3b示出了根据本公开的实施例的用于并行训练图像处理模型的过程的示意图；
17.图4示出了根据本公开的实施例的用于使用贝叶斯卷积神经网络(bcnn)确定不确定性值的示意图；
18.图5示出了根据本公开的实施例的用于使用卷积神经网络(cnn)确定损失值的示意图；
19.图6示出了根据本公开的实施例的用于应用增加样本比例的增加策略的示意图；
20.图7示出了根据本公开的实施例的用于调整增加策略的方法的流程图；
21.图8示出了根据本公开的实施例的数据处理装置的框图；
22.图9示出了根据本公开的实施例的使用图像处理模型的方法的流程图；以及
23.图10其中可以实施本公开的一个或多个实施例的电子设备的框图。
具体实施方式
24.下面将参照附图详细地描述本公开的优选示例性实现方式。虽然附图中显示了本公开的优选示例性实现方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的示例性实现方式所限制。相反，提供这些示例性实现方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
25.在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一些实施例”表示“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。
26.通常，机器学习是通过对大量训练数据的学习来训练出预测模型。在某些情况下，训练数据中的各种类型的数据可能是不平衡的。例如，对于目标检测任务而言，目标样本的比例可能很小，造成目标样本与背景样本之间的不平衡；对于图像分类任务而言，某些类型的样本可能很少，造成不同类型的样本之间的不平衡。直接利用这种不平衡的训练数据进行模型训练可能导致模型的整体性能不高，甚至某些情况下造成准确性和/或精度很低。
27.为此，本公开的实施例提供了一种自动选择样本的模型训练方案，能够自动选择
有助于模型训练的有用样本，由此解决图像训练数据中的数据不平衡而导致的模型性能不高的问题。根据本公开的实施例，能够从不平衡的训练数据中选择对模型训练有用的样本，进而使用所选择的样本来训练图像处理模型，由此提高训练出的图像处理模型的性能，模型的性能可以通过例如模型的准确率、精度、丢失率等中的一项或多项来表示。
28.在将本公开的实施例应用于目标检测任务或场景时，能够使得针对图像的目标检测更加准确，并且减小检测目标的丢失率。在将本公开的实施例应用于图像分类任务或场景时，能够使得图像分类的结果更加准确。
29.在此所使用的术语“有用”是指样本对于模型训练有帮助或者很重要，如果某个样本对于模型训练很有帮助，则说明该样本很有用；反之，如果样本对于模型训练帮助很小甚至没有帮助，则说明该样本有用性很低甚至没有用。以下将参考附图1-10描述了本公开的一些示例实施例。
30.图1示出了根据本公开的实施例的数据处理的示例环境100。如图1所示，图像数据集110中存在着大量的已标注图像(例如已标注图像类别和/或已标注图像中的目标区域等)以用于模型训练，但是图像数据集110中的数据是不平衡的。其中，术语“数据不平衡”是指训练数据中的各种类型的数据之间是不平衡的，例如两种类型的样本比例大于某个阈值，或者目标样本的数量小于或远小于背景样本，等等。举例来说，在目标检测任务中，图像数据集110中的目标样本的比较可能很少。再例如，在图像分类任务中，某一类或多类的样本可能很少。应当理解，在不同的训练任务或实际场景中，数据不平衡的标准可以动态地变化。
31.本公开的实施例不是用不平衡的图像数据集110直接训练图像处理模型；相反，本公开的实施例从图像数据集110中选择一些对于模型训练更有用的图像子集115来训练模型。如图1所示，从图像数据集110中选择对于模型训练更有用的图像子集115。本公开的实施例将图像数据集110分成两个部分，第一部分和第二部分，其中第一部分是基础部分，其包括预定条件的样本，然后利用第一部分训练出的模型来从第二部分中选择一些样本，并与第一部分组合来获得用于模型训练的图像子集115。
32.接下来，在框120，使用所选择的图像子集115来进行训练，从而获得所训练的图像处理模型130。根据本公开的实施例，由于图像子集115包括从整个图像数据集110中选择的更有用的样本，因而能够训练出性能更好的图像处理模型130。在一些实施例中，可以根据预定的增加策略并行训练多个模型，然后通过测试来选择性能较好的一个模型。在一些实施例，可以通过递增所选择的训练样本的比例来进行迭代训练，从而获得更准确的模型。
33.继续参考图1，在完成训练之后，图像处理模型130可以处理输入的图像135，并生成对应的输出145。如图1所示，在输出145中，可以准确地预测出图像中的目标的区域(例如猫的区域)147。因此，根据本公开的实施例训练出的图像处理模型130能够使得图像目标检测更加准确，更容易识别到图像中的目标的区域或位置。虽然图1的示例环境100示出了目标检测的场景，然而，本公开的实施例的图像处理模型也可以应用于其他场景。例如，对于图像分类任务而言，所训练的图像处理模型130的输出可以是输入图像135的类型，例如类型为猫。因此，根据本公开的实施例训练出的图像处理模型130能够使得图像分类更加准确。
34.图2示出了根据本公开的实施例的数据处理方法200的流程图。应当理解，方法200
可以在本地设备执行，也可以在远程服务器或者云端执行，也可以一部分在本地执行而另一部分在远程执行。此外，方法200也可以利用专用的加速器资源来执行。
35.在框202，使用图像数据集中的第一数据集来训练图像处理模型，其中图像数据集根据预定条件被分成第一数据集和第二数据集。可以根据预先设定的条件或标准，将图像数据集划分成基础数据集(即第一数据集)和池数据集(即第二数据集)。例如，对于目标检测任务，基础数据集可以包括所有的目标样本，而池数据集包括图像数据集中除了基础数据集之外的其他所有样本。再例如，对于图像分类任务，基础数据集可以包括预订比例的各类样本，诸如相同数目的各类样本，而池数据集包括图像数据集中除了基础数据集之外的其他所有样本。在对整个图像数据集进行划分之后，可以利用基础数据集初步训练图像处理模型，以训练出一个基础的模型。在一些实施例中，图像数据集中的图像可以为从视频提取的视频帧。
36.在框204，通过经训练的图像处理模型从图像数据集中的第二数据集选择至少第一子集。例如，在利用基础数据集预训练图像处理模型之后，使用所训练的基础模型来判断池数据集中的每个样本对于模型训练的有用程度。在一些实施例中，可以确定池数据集中的每个样本的贝叶斯不确定性，然后根据不确定性来从池数据集中选择有用的一部分样本。备选地，可以使用基础的模型计算池数据集中的每个样本的损失，然后根据损失来从池数据集中选择有用的一部分样本。在一些实施例中，还可以从池数据集中同时选择多个子集以用于并行训练。
37.在框206，至少使用第一数据集和第一子集的组合来进一步训练图像处理模型。例如，使用基础数据集和池数据集中的有用的一部分样本来进一步训练图像处理模型，由此训练出性能更好的图像处理模型。在一些实施例中，可以并行地训练多个模型，然后通过测试来选择性能较好的一个模型。备选地或附加地，可以通过递增所选择的训练样本的比例来进行迭代训练，从而获得更准确的模型。
38.因此，根据本公开的实施例的方法200，能够从不平衡的训练数据中选择更有助于模型训练的样本，进而使用所选择的样本来训练图像处理模型，由此提高训练出的图像处理模型的性能。
39.在一个示例场景中，图像数据集110中的图像可以为从胃镜检查视频中提取的图像帧，其中的目标图像(如息肉)与背景图像(其他正常图像)之间的比例是不平衡的。根据本公开的实施例的方法200，能够使用目标图像和背景图像中有用的一部分来训练息肉检测模型，由此能够训练出性能更好的息肉检测模型。
40.图3a示出了根据本公开的实施例的用于从图像数据集选择有用的训练数据的过程300的示意图。如图3所示，在获得图像数据集110之后，根据具体的训练任务，将图像数据集110划分成基础数据集310和池数据集320，其中基础数据集310包括用于训练模型的基础训练数据，而池数据集320包括其他的训练数据。在本公开的实施例中，通过组合基础数据集310和池数据集320中有用的一部分，来构成模型的实际训练数据。
41.在一些实施例中，在训练目标检测任务的情况下，基础数据集310可以包括所有的目标样本，即包含目标的所有图像，而池数据集320可以包括图像数据集110中除了基础数据集310之外的其他所有样本。备选地，基础数据集310可以包括所有的目标样本和一些无目标的背景样本。
42.在一些实施例中，在训练图像分类任务的情况下，基础数据集310可以包括预订比例的各类样本，诸如相同数目的各类样本，而池数据集320包括图像数据集110中除了基础数据集310之外的其他所有样本。假设图像数据集110中涉及三类图像，基础数据集310可以包括1:1:1的这三类样本。
43.继续参考图3a，在框315，使用基础数据集310中的训练数据来进行训练，以训练出基础的图像处理模型130，其中图像处理模型130可以为各种机器学习模型，包括但不限于神经网络模型。接下来，基础的图像处理模型130可以对池数据集320中的图像进行处理，并选择一个或多个图像子集。如图3所示，基础的图像处理模型130从池数据集320中选择3个图像子集331、332、333以用于模型训练。应当理解，虽然图3中示出了从池数据集320中选择3个图像子集，也可以从池数据集320中选择大于3个或者小于3个图像子集，例如仅选择1个图像子集用于训练。
44.可选地，图像处理模型130可以通过贝叶斯不确定性估计来从池数据集320自动选择一个或多个图像子集，作为模型的训练样本。例如，图像处理模型130可以为贝叶斯卷积神经网络(bcnn)模型，其能够将不确定性传播到模型的预测结果，然后通过贝叶斯不确定性来从池数据集320中选择子集，其中贝叶斯不确定性可以基于贝叶斯推断来估计各个图像的不确定性值，不确定性值能够指示样本对于模型训练的有用程度。不确定性值越高的样本具有的信息量越多，表示当前模型没有很好地学习到其特征，其有用程度也越高。
45.参考图4，其示出了根据本公开的实施例的用于使用bcnn 400确定不确定性值的示意图。如图4所示，bcnn 400是基于贝叶斯推断的卷积神经网络，其包括输入层410、贝叶斯卷积层420、激活层430、池化层440、贝叶斯卷积层450、激活层460、池化层470、改进的全连接层480以及输出层490。不同于传统的cnn，bcnn 400中的卷积层为贝叶斯卷积层，网络中的权重和偏置为概率分布。改进的全连接层480中的每个神经元与前面的池化层470中的所有神经元进行全连接，从而整合池化层470中的分类相关信息。此外，改进的全连接层480对传统的全连接层进行了改进，使得其不仅能够输出分类相关信息，还可以输出用于计算不确定性值的相关信息。因此，bcnn 400的输出层490除了包括传统的输出结果491之外，还包括均值492和方差493，而通过均值492和方差493可以计算输入图像的不确定性值495。在一些实施例中，bcnn 400的输出层490中也可以直接输出不确定性值495，而不用额外的计算。此外，bcnn 400可以为具有更多个贝叶斯卷积层、激活层、池化层的深层神经网络(dnn)。
46.返回参考图3a，图像处理模型130可以计算池数据集320中的每个样本的不确定性值，然后可以选择不确定性值较高的一部分图像用于训练模型，例如，可以选择不确定性值排名前50％的样本。备选地，可以选择一些不确定性值较高的样本再随机选择一些样本。例如，图像子集331可以包括池数据集320中不确定性值排名前5％样本和随机选择的5％样本，图像子集332可以包括池数据集320中不确定性值排名前10％样本和随机选择的0％样本，图像子集333可以包括池数据集320中不确定性值排名前0％样本和随机选择的10％样本。应当理解，可以根据具体的任务和场景来调整图像子集的数目以及各个子集中的样本比例。由于不确定性值能够指示样本对于模型训练的有用程度，因此本公开的实施例能够从池数据集320中选择对于模型训练更有用的训练样本。
47.备选地，图像处理模型130可以通过计算损失来从池数据集320选择一个或多个图
像子集。例如，图像处理模型130可以为cnn模型，其可以计算池数据集320中的每个样本的损失值，其中样本的损失值越大，说明该样本对于模型的训练越有用。
48.参考图5，其示出了根据本公开的实施例的用于使用cnn 500确定损失值的示意图。cnn 500是一个卷积神经网络，其包括输入层510、卷积层520、激活层530、池化层540、卷积层550、激活层560、池化层570、全连接层580以及输出层590。cnn 500可以处理池数据集320中的每个样本，并且在输出层590确定各个样本的预测输出，然后，在框595，将输出层590的预测输出与池数据集320中已标注的实际输出592进行比较，由此计算各个样本的损失值。
49.返回参考图3a，图像处理模型130可以计算池数据集320中的每个样本的损失值，然后可以选择损失值较高的一部分图像用于训练模型，例如，可以选择损失值排名前50％的样本。备选地，可以选择一些损失值较高的样本再随机选择一些样本。例如，图像子集331可以包括池数据集320中损失值排名前5％样本和随机选择的5％样本，图像子集332可以包括池数据集320中损失值排名前10％样本和随机选择的0％样本，图像子集333可以包括池数据集320中损失值排名前0％样本和随机选择的10％样本。应当理解，可以根据具体的任务和场景来调整图像子集的数目以及各个子集中的样本比例。由于损失值能够指示样本对于模型训练的有用程度，因此本公开的实施例能够从池数据集320中选择对于模型训练更有用的样本。
50.在图像处理模型130根据不确定性值和/或损失值从池数据集320选择一个或多个图像子集(例如图像子集331、332和333)之后，使用所选择的图像子集331、332和333来进一步训练图像处理模型130。
51.参考图3b，其示出了根据本公开的实施例的用于并行训练图像处理模型的过程350的示意图。参考图3b，基于所选择的图像子集331和基础数据集310来生成训练样本组合351，基于所选择的图像子集332和基础数据集310来生成训练样本组合352，以及基于所选择的图像子集333和基础数据集310来生成训练样本组合353。然后，使用这些训练样本组合来并行训练模型，例如，使用各自的训练样本都训练一个或多个轮次(epoch)，在框361，使用训练样本组合351进行训练得到候选图像处理模型371；在框362，使用训练样本组合352进行训练得到候选图像处理模型372；在框363，使用训练样本组合353进行训练得到候选图像处理模型373。
52.接下来，使用图像数据集110之外的测试集来分别评估候选图像处理模型371、候选图像处理模型372、候选图像处理模型373的性能，然后选择性能最好的一个作为当前最优的图像处理模型375。对于不同的训练任务，可以设置不同的性能评价指标。对于目标检测任务，性能评价指标可以为丢失率、准确率、均值平均精度、平均精度中的一项或多项，例如，丢失率越低说明模型性能越好。对于图像分类任务，性能评价指标可以为准确率、平均准确率、精度中的一项或多项，例如，准确率越高说明模型性能越好。
53.可选地，可以将当前最优的图像处理模型375作为最终的模型。备选地，可以进行迭代训练，从而获得性能更好的图像处理模型。如图3b所示，可以使用当前最优的图像处理模型375再次计算池数据集320中的每个样本的不确定性值和/或损失值，然后在框380应用增加样本比例的增加策略再次选择3个图像子集继续迭代训练。例如，在初始训练(即第一次迭代)时，各个图像子集只占池数据集320中的10％样本比例，然后可以通过递增样本比
例来进行迭代训练，例如，每次增加10％样本比例，直到满足迭代停止条件。迭代停止条件可以为已经用完池数据集320中的所有数据、迭代次数达到预定次数、模型的性能提高不明显、或者模型的性能持续下降，等等。迭代停止时的最优的图像处理模型即为最终的模型。
54.图6示出了根据本公开的实施例的用于应用增加样本比例的增加策略的示意图。在第一次迭代训练610时，根据预定的增加策略，基于不确定性值和/或损失值选择初始的样本组合611、612和613，预定的增加策略可以为三个样本组合分别按照不同的比例组合递增，例如，迭代的样本比例的增加策略为(5％,5％)、(10％,0％)、(0％,10％)。在第一次迭代训练610时，各个样本组合占池数据集320的10％，其中样本组合611可以包括池数据集320中不确定性值和/或损失值排名前5％的样本和随机选择的5％样本，样本组合612可以包括池数据集320中不确定性值和/或损失值排名前10％的样本和随机选择的0％样本，样本组合613可以包括池数据集320中不确定性值和/或损失值排名前0％的样本和随机选择的10％样本。
55.在完成第一次迭代训练610之后，在框615，使用测试集来评估第一次训练的3个候选模型的性能，并且将性能最好的模型对应的样本组合认定成最优组合，然后对最优组合再应用预定的增加策略。例如，基于第一次迭代的最优组合611，再应用增加策略，即分别增加(5％,5％)、(10％,0％)、(0％,10％)，进而获得第二次迭代训练620中的三个样本组合621、622和623，然后开始第二次迭代训练。在完成第二次迭代训练620之后，在框625，可以继续评估新的模型，然后基于最优组合再应用增加策略，直到满足迭代停止条件。通过这种方式，能够动态地选择训练样本，并且通过迭代训练获得性能更好的模型。
56.图7示出了根据本公开的实施例的用于调整增加策略的方法700的流程图。增加策略的初始配置可能不是很精确，因此，本公开的实施例进一步提出了一种策略进化的方法700。
57.在框702，按照初始的增加策略进行迭代训练，例如每次迭代样本比例分别增加(5％,5％)、(10％,0％)、(0％,10％)，如上所描述的。然后在框704，判断是否连续n次(诸如3次)迭代模型的性能持续降低。如果否，则继续进行训练。如果在框704判断为是，则在框706，退回到性能持续降低前的模型，并且调整增加策略再训练一个迭代，例如，可以将增加策略中的值减半为(2.5％,2.5％)、(5％,0％)、(0％,5％)。
58.在框708，判断调整后的策略所训练的模型性能是否最优，如果是，则在框710，使用当前增加策略继续迭代训练。如果在框708判断为否，则在框712，继续调整增加策略再训练一个迭代，直到满足预定条件就停止训练，例如，可以将增加策略中的值再减半为(1.25％,1.25％)、(2.5％,0％)、(0％,2.5％)。在一些实施例中，如果增加策略中的每组值之和减小到阈值(1％)以下模型性能仍没有提高，则可以停止训练，说明当前的模型已经是性能最好的模型。通过这种方式，可以动态地调整增加策略，从而获得性能更好的图像处理模型。
59.上文已经参见1至图7描述了数据处理方法的一些示例实现方式。图8示出了根据本公开的实施例的数据处理装置800的框图。如图8所示，装置800包括第一训练模块810、子集选择模块820以及第二训练模块830。第一训练模块810被配置为使用图像数据集中的第一数据集来训练图像处理模型，其中图像数据集根据预定条件被分成第一数据集和第二数据集。子集选择模块820被配置为通过经训练的图像处理模型从第二数据集选择至少第一
子集。第二训练模块830被配置为至少使用第一数据集和第一子集的组合来进一步训练图像处理模型。
60.在一些实施例中，其中子集选择模块820包括：不确定性值确定模块，被配置为通过经训练的图像处理模型确定第二数据集中的图像的不确定性值；以及第一选择模块，被配置为基于不确定性值，从第二数据集选择至少第一子集。
61.在一些实施例中，其中子集选择模块820包括：预测模块，被配置为通过经训练的图像处理模型预测第二数据集中的图像的预测输出；损失确定模块，被配置为确定图像的预测输出与图像的实际输出之间的损失值；以及第二选择模块，被配置为基于损失值，从第二数据集选择至少第一子集。
62.在一些实施例中，其中图像处理模型是贝叶斯卷积神经网络模型，并且不确定性值确定模块包括：图像输出模块，被配置为通过贝叶斯卷积神经网络模型获得图像的输出；以及不确定性值获得模块，被配置为基于图像的输出，获得图像的不确定性值。
63.在一些实施例中，其中子集选择模块820包括：第二子集选择模块，被配置为根据不确定性值从第二数据集选择至少第一子集和第二子集；第一组合模块，被配置为基于第一数据集和第一子集，获得第一训练样本组合；以及第二组合模块，被配置为基于第一数据集和第二子集，获得第二训练样本组合。
64.在一些实施例中，其中第二训练模块830包括：候选获得模块，被配置为使用第一训练样本组合和第二训练样本组合来并行训练图像处理模型以获得第一候选图像处理模型和第二候选图像处理模型；以及候选选择模块，被配置为基于测试数据集，从至少第一候选图像处理模型和第二候选图像处理模型选择一个候选图像处理模型。
65.在一些实施例中，装置800还包括：迭代训练模块，被配置为迭代执行以下操作至少一次，直到满足停止条件：增加用于从第二数据集选择子集的样本比例；根据所选择的候选图像处理模型确定的不确定性值，从第二数据集选择多个子集；基于第一数据集和多个子集，获得多个训练样本组合；使用多个训练样本组合并行训练所选择的候选图像处理模型以获得多个候选图像处理模型；以及基于测试数据集，从多个候选图像处理模型选择一个候选图像处理模型。
66.在一些实施例中，装置800还包括：第一调整模块，被配置为根据确定所选择的候选图像处理模型的性能预定次迭代持续下降，调整样本比例的增加策略；性能比较模块，被配置为确定经调整的增加策略是否提高候选图像处理模型的性能；调整训练模块，被配置为根据确定经调整的增加策略提高了候选图像处理模型的性能，使用经调整的增加策略来迭代训练候选图像处理模型；以及第二调整模块，被配置为根据确定经调整的增加策略没有提高候选图像处理模型的性能，继续调整增加策略。
67.在一些实施例中，其中图像数据集用于训练目标检测任务，第一数据集包括图像数据集中的所有目标样本，并且装置800还包括：目标检测模块，被配置为使用经训练的图像处理模型对输入的给定图像进行目标检测。
68.在一些实施例中，其中图像数据集用于训练图像分类任务，第一数据集包括图像数据集中的预订比例的各类样本，并且装置800还包括：图像分类模块，被配置为使用经训练的图像处理模型对输入的给定图像进行分类。
69.因此，根据本公开的实施例的装置800，能够从不平衡的训练数据中选择有助于模
型训练的样本，进而使用所选择的样本来训练图像处理模型，由此提高训练出的图像处理模型的性能。
70.图9示出了根据本公开的实施例的使用图像处理模型的方法900的流程图。例如，方法900可以在用户设备本地执行，也可以在远程服务器或者云端执行，也可以一部分在本地执行另一部分在远程执行。在框902，获得图像作为模型输入。在框904，使用根据本公开的实施例所训练的图像处理模型130基于输入来生成图像处理的输出。例如，使用图像处理模型130来确定输入图像的类别，或者检测输入图像中的目标的区域。
71.此外，本公开的实施例提供了一种数据处理装置。装置包括输入模块和输出模块，其中输入模块被配置为获得图像作为输入，并且输出模块被配置为使用根据本公开的实施例所训练的图像处理模型基于所述输入来生成图像处理的输出。
72.图10示出了可以用来实施本公开内容的示例性实现方式的示例设备1000的示意性框图，其可以用于实现本公开的实施例的方法或者过程中的至少一部分。如图所示，设备1000包括中央处理单元(cpu)1001，其可以根据存储在只读存储器(rom)1002中的计算机程序指令或者从存储单元1008加载到随机访问存储器(ram)1003中的计算机程序指令，来执行各种适当的动作和处理。在ram 1003中，还可存储设备1000操作所需的各种程序和数据。cpu 1001、rom 1002以及ram 1003通过总线1004彼此相连。输入/输出(i/o)接口1005也连接至总线1004。
73.设备1000中的多个部件连接至i/o接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
74.上文所描述的各个方法和/或过程可由处理单元1001执行。例如，在一些示例性实现方式中，方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些示例性实现方式中，计算机程序的部分或者全部可以经由rom 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序被加载到ram 1003并由cpu 1001执行时，可以执行上文描述的方法的一个或多个动作。
75.根据本公开的示例性实现方式，提供了一种电子设备，包括：至少一个处理单元；至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令，指令当由至少一个处理单元执行时，使得该设备执行如上文所述的方法。
76.本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
77.计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是、但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。在此所使用的计算机可
读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
78.在此所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
79.用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言，以及常规的过程式编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些示例性实现方式中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
80.在此参照根据本公开示例性实现方式的方法、装置、设备和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
81.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
82.也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
83.附图中的流程图和框图显示了根据本公开的多个示例性实现方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本
并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
84.已经描述了本公开的各实施方式，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施方式。在不偏离所说明的各实施方式的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施方式的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施方式。