神经网络训练方法、装置、电子设备以及存储介质与流程

1.本公开涉及图像数据技术领域，具体而言，涉及一种神经网络训练方法、装置、电子设备以及存储介质。


背景技术：

2.目前，基于监督学习的神经网络算法已经在各类视觉相关的问题上展现了强大的能力，然而监督学习当中的数据标注是比较难获得的，监督学习中的数据标注往往需要花费大量的人力，并且通常难以保证数据标注的质量。
3.监督学习中的自监督学习旨在无数据标注的情况下，利用图像自身的特征进行表征学习。在现有的自监督学习算法中，将数据库中的每一张图片都看作为一个类别，并且用网络模型进行识别。然而，在数据规模比较大的情况下，数据中往往会出现许多语意上非常相似的样本。现有的自监督学习算法会简单的把这些相似的样本看作不同的类别，此时，会降低网络模型学习到的表征质量，从而降低网络模型的处理精度。


技术实现要素：

4.本公开实施例至少提供一种神经网络训练方法、装置、电子设备以及存储介质。
5.第一方面，本公开实施例提供了一种神经网络训练方法，包括：获取多个待处理样本图像；并确定每个待处理样本图像在多种图像增强条件下的表征向量；基于所述表征向量构建目标核矩阵；其中，所述目标核矩阵用于表征所述多个待处理样本图像之间的相似度和每个待处理样本图像在多种图像增强条件下的差异度；对所述目标核矩阵进行行列式点过程dpp处理，得到相似样本集，其中，所述相似样本集中包含所述多个待处理样本图像中的至少一个目标样本图像，每个所述目标样本图像中的目标与在所述相似样本集外的待处理样本图像中的至少部分目标相匹配；在所述多个待处理样本图像中删除所述相似样本集中的目标样本图像；基于删除所述目标样本图像之后的所述多个待处理样本图像对神经网络进行训练。
6.在本公开实施例中，通过待处理样本图像的表征图像确定目标核矩阵，并对目标核矩阵进行dpp处理，得到相似样本集的方式，可以删除待处理样本图像中的相似样本，在此情况下，通过删除相似样本之后的待处理样本图像对神经网络进行训练的过程中，可以为神经网络提供更利的训练样本进行训练，从而提高了神经网络的训练精度。
7.一种可选的实施方式中，所述基于所述表征向量构建目标核矩阵，包括：基于每个待处理样本图像在多种图像增强条件下的表征向量分别确定用于描述所述多个待处理样本图像之间相似度的相似度矩阵和每个所述待处理样本图像的样本质量矩阵，其中，样本质量用于表征每个待处理样本图像在多种图像增强条件下的差异度；对所述相似度矩阵和所述样本质量矩阵进行对位相乘处理，得到所述目标核矩阵。
8.在本公开实施例中，通过上述所描述的处理方式，可以从多个待处理样本图像中选择出语义相近的样本图像丢弃，该处理方式可以减少神经网络在进行训练过程中所出现
的类别碰撞问题。同时，在本公开实施例中，还通过结合样本质量矩阵从多个待处理样本图像中选择样本质量低的样本图像丢弃，该处理方式可以提高神经网络的训练精度。
9.一种可选的实施方式中，所述基于每个待处理样本图像在多种图像增强条件下的表征向量分别确定用于描述所述多个待处理样本图像之间相似度的相似度矩阵，包括：计算每个待处理样本图像在多种图像增强条件下的表征向量的平均值，得到每个所述待处理样本图像的平均表征向量；基于每个所述待处理样本图像的平均表征向量，确定用于描述所述多个待处理样本图像之间相似度的相似度矩阵。
10.在本公开实施例中，在丢弃目标样本图像时，主要考虑负样本之间的相似性，因此，可以通过每个待处理样本图像在多种图像增强条件下获得的表征向量的平均值作为每个待处理样本图像的表征向量。通过上述所描述的相似度矩阵的确定方式，可以实现对多个待处理样本图像之间的相似性进行度量，从而实现根据该相似度矩阵从多个待处理样本图像中选择语义相近的样本图像丢弃，进而减少神经网络在进行训练过程中所出现的类别碰撞问题。
11.一种可选的实施方式中，所述对所述目标核矩阵进行行列式点过程dpp处理，得到相似样本集，包括：确定所述目标核矩阵的逆矩阵；对所述目标核矩阵的逆矩阵进行行列式点过程dpp处理，得到所述相似样本集。
12.一种可选的实施方式中，所述对所述目标核矩阵的逆矩阵进行行列式点过程dpp处理，得到所述相似样本集，包括：对所述目标核矩阵的逆矩阵进行行列式点过程dpp处理，得到多个样本子集的推荐概率，其中，每个所述样本子集包括所述多个待处理样本图像中的至少一幅图像；基于所述多个样本子集的推荐概率在所述多个样本子集中确定所述相似样本集。
13.在本公开实施例中，通过目标核矩阵的逆矩阵进行行列式点过程dpp处理，得到相似样本集的方式，可以降低dpp算法复杂度，加速样本图像的采样过程。
14.一种可选的实施方式中，所述确定每个待处理样本图像在多种图像增强条件下的表征向量，包括：对每个所述待处理样本图像进行多种图像增强条件下的图像增强处理，得到针对所述多种图像增强条件的样本图像；通过目标神经网络对所述多种图像增强条件的样本图像进行图像处理，得到每个待处理样本图像在多种图像增强条件下的表征向量。
15.通过上述描述可知，神经网络训练的目的是为了拉近正样本之间的距离，同时拉远正样本和负样本之间的距离。因此，在对神经网络进行训练的过程中需要构建大量的正样本和负样本。在本公开实施例中，通过采用多种图像增强方法对每个待处理样本图像进行图像增强处理，从而得到多种图像增强条件下的样本图像的方式，可以实现对待处理样本图像进行扩充，从而使得在待处理样本图像的数量有限的情况下，依然可以获得相应数量的正样本和负样本，从而进一步提升了神经网络的训练精度。
16.一种可选的实施方式中，所述基于删除所述目标样本图像之后的所述多个待处理样本图像对神经网络进行训练，包括：基于所述神经网络对删除所述目标样本图像之后的所述多个待处理样本图像进行图像处理，获取样本学习结果；根据所述样本学习结果和所述多个待处理样本图像的样本标注标签，计算目标损失函数；基于所述目标损失函数调整所述神经网络的网络参数。
17.在本公开实施例中，通过删除相似样本之后的待处理样本图像对神经网络进行训
练的过程中，可以为神经网络提供更有利于网络训练的样本进行训练，从而提高了神经网络的训练质量。
18.一种可选的实施方式中，所述目标核矩阵中包含：目标超参数，其中，所述目标超参数用于表征在根据所述目标核矩阵确定所述相似样本集的过程中影响因素的权重值，所述影响因素包括：所述相似度和/或所述差异度。
19.在本公开实施例中，通过目标超参数来对相似度和差异度之间进行平衡，在根据该目标核矩阵确定相似样本集时，可以满足用户的多元化需求，从而实现自动的调节相似度和差异度之间的权重值，根据权重值的设置得到满足不同用户需求的不同相似样本集。
20.一种可选的实施方式中，所述基于删除所述目标样本图像之后的所述多个待处理样本图像对神经网络进行训练，包括：基于删除所述目标样本图像之后的所述多个待处理样本图像，采用对比学习的方式对神经网络进行训练。
21.第二方面，本公开实施例提供了一种神经网络训练装置，包括：获取单元，用于获取多个待处理样本图像；并确定每个待处理样本图像在多种图像增强条件下的表征向量；确定单元，用于基于所述表征向量构建目标核矩阵；其中，所述目标核矩阵用于表征所述多个待处理样本图像之间的相似度和每个待处理样本图像在多种图像增强条件下的差异度；dpp处理单元，用于对所述目标核矩阵进行行列式点过程dpp处理，得到相似样本集，其中，所述相似样本集中包含所述多个待处理样本图像中的至少一个目标样本图像，每个所述目标样本图像中的目标与在所述相似样本集外的待处理样本图像中的至少部分目标相匹配；删除单元，用于在所述多个待处理样本图像中删除所述相似样本集中的目标样本图像；训练单元，用于根据删除所述目标样本图像之后的所述多个待处理样本图像对神经网络进行训练。
22.第三方面，本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
23.第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
24.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
25.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
26.图1示出了本公开实施例所提供的一种神经网络训练方法的流程图；
27.图2示出了本公开实施例所提供的一种可选的多个待处理样本图像的示意图；
28.图3示出了本公开实施例所提供的一种删除相似样本集之后的多个待处理样本图像的示意图；
29.图4示出了本公开实施例所提供的神经网络训练方法中，确定每个待处理样本图像的表征向量的具体方法的流程图；
30.图5示出了本公开实施例所提供的神经网络训练方法中，基于所述表征向量确定目标核矩阵的具体方法的流程图；
31.图6示出了本公开实施例所提供的一种神经网络训练装置的示意图；
32.图7示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
33.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
34.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
35.本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
36.经研究发现，在现有的自监督学习算法中，将数据库中的每一张图片都看作为一个类别，并且用网络模型进行识别。然而，在数据规模比较大的情况下，数据中往往会出现许多语意上非常相似的样本。现有的自监督学习算法会简单的把这些相似的样本看作不同的类别，此时，会降低网络模型学习到的表征质量，从而降低网络模型的处理精度。
37.基于上述研究，本公开提供了一种神经网络训练方法，在本公开实施例中，首先获取多个待处理样本图像，并确定每个待处理样本图像在多种图像增强条件下的表征向量，进而，根据该表征向量构建用于表征多个待处理样本图像之间的相似度和每个待处理样本图像在多种图像增强条件下的差异度的目标核矩阵，之后，对该目标核矩阵进行行列式点过程dpp处理，得到相似样本集，最后，就可以在多个待处理样本图像中删除相似样本集中的目标样本图像，以基于删除目标样本图像之后的多个待处理样本图像对神经网络进行训练。在本公开实施例中，通过待处理样本图像的表征图像确定目标核矩阵，并对目标核矩阵进行dpp处理，得到相似样本集的方式，可以删除待处理样本图像中的目标样本图像，在此情况下，基于删除目标样本图像之后的待处理样本图像对神经网络进行训练的过程中，可以为神经网络提供更有利的训练样本图像进行训练，从而提高了神经网络的训练精度。
38.为便于对本实施例进行理解，首先对本公开实施例所公开的一种神经网络训练方法进行详细介绍，本公开实施例所提供的神经网络训练方法的执行主体一般为具有一定计
算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(user equipment，ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(personal digital assistant，pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该神经网络训练方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
39.参见图1所示，为本公开实施例提供的一种神经网络训练方法的流程图，所述方法包括步骤s101～s109，其中：
40.s101：获取多个待处理样本图像；并确定每个待处理样本图像在多种图像增强条件下的表征向量。
41.在本公开实施例中，可以通过神经网络确定每个待处理样本图像的表征向量。针对一个待处理样本图像，可以通过多种不同的图像增强方法对该待处理样本图像进行图像增强处理，从而得到待处理样本图像在多种不同图像增强条件下所对应的不同样本图像，其中，同一张待处理样本图像在多种不同图像增强条件下所对应的样本图像为正样本，不同待处理样本图像在多种不同图像增强条件下所对应的样本图像为负样本。
42.在本公开实施例中，可以通过神经网络对待处理样本图像在多种图像增强条件下的样本图像进行图像处理，得到相对应的表征向量。
43.s103：基于所述表征向量确定目标核矩阵；其中，所述目标核矩阵用于表征所述多个待处理样本图像之间的相似度和每个待处理样本图像在多种图像增强条件下的差异度。
44.在本公开实施例中，可以通过高斯核函数对多个待处理样本图像在多种图像增强条件下的表征向量进行处理，从而通过确定出高斯核矩阵来度量多个待处理样本图像在多种图像增强条件下的表征向量之间的相似度。同时，还可以通过每个待处理样本图像在多种图像增强条件下表征向量的差异度来表征每个待处理样本图像的样本质量，其中，差异度越大，则样本质量越高，则更有利于对神经网络的训练。
45.通过上述描述可知，在该目标核矩阵中，包含多个待处理样本图像之间的相似度，同时还包含通过每个待处理样本图像在多种图像增强条件下表征向量的差异度所确定的样本质量参数。
46.s105：对所述目标核矩阵进行行列式点过程dpp(determinantal point process)处理，得到相似样本集，其中，所述相似样本集中包含所述多个待处理样本图像中的至少一个目标样本图像，每个所述目标样本图像中的目标与在所述相似样本集外的待处理样本图像中的至少部分目标相匹配。
47.如图2所示的即为一种可选的多个待处理样本图像，从图2中可以看出，多个待处理样本图像分别包含图像a1至图像a8，其中，图像a1和a2中所包含的目标相匹配，该相匹配可以理解为图像a1和a2中所包含的目标的类型相同。图像a3和a4中所包含的目标相匹配，图像a5和a6中所包含的目标相匹配。如果采用如图2所示的多个待处理样本图像进行神经网络的训练时，将影响神经网络的训练精度。因此，在本公开实施例中，可以从多个待处理样本图像中确定推荐删除的相似样本集。例如，如图3所示，相对于图2所示的多个待处理样本图像，将图2中的图像a1，图像a3和图像a6作为推荐删除的相似样本集。
48.在本公开实施例中，在确定推荐删除的相似样本集时，可以同时结合多个待处理样本图像之间的相似度，以及每个待处理样本图像的样本质量参数来对目标核矩阵进行行
列式点过程dpp处理，得到相似样本集。例如，确定出推荐删除的相似样本集可以为多个待处理样本图像中相似度较大，且质量较低的样本图像。
49.s107：在所述多个待处理样本图像中删除所述相似样本集中的目标样本图像。
50.s109：基于删除所述目标样本图像之后的所述多个待处理样本图像对神经网络进行训练。
51.示例性地，可以使用删除目标样本图像之后的多个待处理样本图像，采用批量训练的方式迭代优化神经网络的参数。
52.示例性地，可以基于删除所述目标样本图像之后的所述多个待处理样本图像，采用对比学习的方式对神经网络进行训练。
53.对比学习的目的是为了拉近正样本之间的距离，同时拉远负样本之间的距离。在现有的对比学习中，针对语义相近的不同样本图像，现有的对比学习算法会简单的把这些语义相近的样本图像看作不同的类别，其中，语义相近的样本图像属于相同的类别。此时，在神经网络的对比学习过程中可能导致拉大正样本之间的距离，从而导致神经网络的无法学习好更好的表征向量，从而导致处理精度降低。因此，需要丢弃多个待处理样本图像中的目标样本图像。在丢弃目标样本图像的同时，还希望保留难度较大的正样本，此时，可以通过样本质量参数(也即差异度)来丢弃多个待处理样本图像中质量较差的待处理样本图像。
54.在本公开实施例中，首先获取多个待处理样本图像，并确定每个待处理样本图像在多种图像增强条件下的表征向量，进而，根据该表征向量构建用于表征多个待处理样本图像之间的相似度和每个待处理样本图像在多种图像增强条件下的差异度的目标核矩阵，之后，对该目标核矩阵进行行列式点过程dpp处理，得到相似样本集，最后，就可以在多个待处理样本图像中删除相似样本集中的目标样本图像，以基于删除目标样本图像之后的多个待处理样本图像对神经网络进行训练。在本公开实施例中，通过待处理样本图像的表征向量确定目标核矩阵，并对目标核矩阵进行dpp处理，得到相似样本集的方式，可以删除待处理样本图像中的目标样本图像，在此情况下，通过删除目标样本图像之后的待处理样本图像对神经网络进行训练的过程中，可以为神经网络提供更有利的训练样本图像进行训练，从而提高了神经网络的训练精度。
55.在本公开实施例的一个可选实施方式中，如图4所示，步骤s101，所述确定每个待处理样本图像在多种图像增强条件下的表征向量，包括如下过程：
56.步骤s401，对每个所述待处理样本图像进行多种图像增强条件的处理，得到针对所述多种图像增强条件的样本图像；
57.步骤s402，通过目标神经网络对所述多种图像增强条件的样本图像进行图像处理，得到每个待处理样本图像针对多种图像增强条件的样本图像的表征向量。
58.通过上述描述可知，在本公开实施例中，针对一个待处理样本图像，可以通过多种图像增强方法对该待处理样本图像进行图像增强处理，从而得到待处理样本图像在多种图像增强条件下所对应的不同样本图像，其中，同一张待处理样本图像在多种图像增强条件下所对应的样本图像为正样本，不同待处理样本图像在多种图像增强条件下所对应的样本图像为负样本。在本公开实施例中，多种图像增强方法可以为对比度变换方法、空间滤波方法、彩色变换方法和多光谱变换方法等。
59.在得到每个待处理样本图像针对多种图像增强条件的样本图像之后，就可以通过
神经网络对待处理样本图像在多种图像增强条件下的样本图像进行图像处理，得到相对应的表征向量。
60.通过上述描述可知，对神经网络进行训练的目的是为了拉近正样本之间的距离，同时拉远正样本和负样本之间的距离。因此，在对神经网络进行训练的过程中需要构建大量的正样本和负样本。在本公开实施例中，通过采用不同的图像增强方法对每个待处理样本图像进行图像增强处理，从而得到多种图像增强条件下的样本图像的方式，可以实现对待处理样本图像进行扩充，从而使得在待处理样本图像的数量有限的情况下，依然可以获得相应数量的正样本和负样本，从而进一步提升了神经网络的训练精度。
61.通过上述描述可知，步骤s101中所描述的表征向量可以理解为每个待处理样本图像在多种图像增强条件下的表征向量。
62.在此情况下，在一个可选的实施方式中，如图5所示，步骤s103，所述基于所述表征向量构建目标核矩阵，包括如下步骤：
63.步骤s501，基于每个待处理样本图像在多种图像增强条件下的表征向量分别确定用于描述所述多个待处理样本图像之间相似度的相似度矩阵和每个所述待处理样本图像的样本质量矩阵，其中，样本质量用于表征每个待处理样本图像在多种图像增强条件下的差异度；
64.步骤s502，对所述相似度矩阵和所述样本质量矩阵进行对位相乘处理，得到所述目标核矩阵。
65.在上述神经网络训练方法中，将同一张待处理样本图像在多种图像增强条件下所对应的样本图像为正样本，不同待处理样本图像在多种图像增强条件下所对应的样本图像为负样本。针对负样本来说，为了减少神经网络在进行对比学习过程中所出现的类别碰撞问题，需要将语意相似的负样本丢弃。在神经网络的训练过程当中，可以将表征向量相近的样本图像视作目标样本图像。基于此，在本公开实施例中，为此，可以通过高斯核函数对每个待处理样本图像在多种图像增强条件下的表征向量进行计算，得到用于度量表征向量之间的相似度矩阵。
66.对于同一张待处理样本图像在多种图像增强条件下的样本图像来说，如果神经网络对同一张待处理样本图像在多种图像增强条件下的样本图像进行图像处理之后，输出的表征向量并不相似，那么说明神经网络对于该待处理样本图像的表征向量的学习较差。因此，在本公开实施例中，可以根据同一张待处理样本图像在多种图像增强条件下的样本图像所对应的表征向量的差异度确定该待处理样本图像的样本质量参数，差异度越大样本质量越高，更有利于神经网络的训练。
67.基于此，在本公开实施例中，可以通过每个待处理样本图像在多种图像增强条件下的表征向量，确定多个待处理样本图像之间的相似度矩阵，以及确定每个待处理样本图像的样本质量矩阵，其中，该样本质量矩阵中包含通过上述所描述的差异度表示的待处理样本图像的样本质量参数；进而根据相似度矩阵和样本质量矩阵构建目标核矩阵。此时，在对目标核矩阵进行行列式点过程dpp(determinantal point process)处理时，就可以从多个待处理样本图像中选择语义相近，且质量低的样本图像，并将选择出的样本图像丢弃。
68.在本公开实施例中，通过上述所描述的处理方式，可以从多个待处理样本图像中选择出语义相近的样本图像丢弃，该处理方式可以减少神经网络在训练过程中所出现的类
别碰撞问题。同时，在本公开实施例中，还通过结合样本质量矩阵从多个待处理样本图像中选择质量低的样本图像丢弃，该处理方式可以提高神经网络的训练精度。
69.在本公开实施例的一个可选实施方式中，步骤s501，基于每个待处理样本图像在多种图像增强条件下的表征向量分别确定用于描述所述多个待处理样本图像之间相似度的相似度矩阵，包括如下步骤：
70.(1)、计算每个待处理样本图像在多种图像增强条件下的表征向量的平均值，得到每个所述待处理样本图像的平均表征向量；
71.(2)、基于每个所述待处理样本图像的平均表征向量，确定用于描述所述多个待处理样本图像之间相似度的相似度矩阵。
72.在本公开实施例中，可以通过公式计算每个待处理样本图像在多种图像增强条件下的表征向量的平均值。其中，表示平均表征向量，z1表示待处理样本图像在第一种图像增强条件下的表征向量，z
n
表示待处理样本图像在第n种图像增强条件下的表征向量。如果待处理样本图像在多种图像增强条件下的表征向量包括z1和z2，那么上述公式可以改写为：其中，n表示多个待处理样本图像的数量，d表示待处理样本图像的尺寸。
73.在确定出每个待处理样本图像的平均表征向量之后，就可以基于确定出的平均表征向量，确定用于描述多个待处理样本图像之间相似度的相似度矩阵。
74.具体地，在本公开实施例中，根据经验值可知，由于高斯核(也称为径向基函数核)在二维空间上采样结果更好，因此可以通过高斯核(也称为径向基函数核)来度量多个待处理样本图像之间的相似度。例如，在本公开实施例中，可以通过公式计算相似度矩阵，其中，l表示相似度矩阵，l
ab
表示相似度矩阵中第a行第b列的元素，表示待处理样本图像a的平均表征向量，表示待处理样本图像b的平均表征向量，t为大于零的固定参数，一般情况下，t的取值可以设置为3。
75.在本公开实施例中，在丢弃目标样本图像时，主要考虑负样本之间的相似性，因此，可以通过每个待处理样本图像在多种图像增强条件下获得的表征向量的平均值作为每个待处理样本图像的平均表征向量。通过上述所描述的相似度矩阵的确定方式，可以实现对多个待处理样本图像之间的相似性进行度量，从而实现根据该相似度矩阵从多个待处理样本图像中选择语义相近的样本图像丢弃，进而减少神经网络在训练过程中所出现的类别碰撞问题。
76.示例性的，针对任意一个待处理样本图像，可以采用两种图像增强方法对其进行处理，得到两个新的样本图像。基于此，可以通过公式计算样本质量矩阵，其中，q表示样本质量矩阵，z1和z2分别为两个新的样本图像的表征向量，t为大于零的固定参数，一般情况下，t的取值可以设置为3。
77.在本公开实施例中，在按照上述所描述的方式确定出相似度矩阵和样本质量矩阵之后，就可以对相似度矩阵和所述样本质量矩阵进行对位相乘处理，得到所述目标核矩阵。
78.在本公开实施例中，目标核矩阵的计算公式可以表示为下述公式：其中，l表示目标核矩阵，l
ab
表示目标核矩阵l中的第a行第b列的元素，q
a
和q
b
分别表示第a张待处理样本图像的样本质量参数和第b张待处理样本图像的样本质量参数，表示第a张待处理样本图像的平均表征向量，表示第b张待处理样本图像的平均表征向量。λ表示为目标超参数，其中，所述目标超参数用于表征在根据所述目标核矩阵确定所述相似样本集的过程中影响因素的权重值，所述影响因素包括：所述相似度和/或所述差异度。其中，λ为大于零，小于1的数值，用户可以根据实际需要来确定λ的具体数值，本公开对此不作具体限定。
79.在本公开实施例中，通过目标超参数来对相似度和差异度(也即，样本质量参数)之间进行平衡，在根据该目标核矩阵确定相似样本集时，可以满足用户的多元化需求，从而实现自动的调节相似度和样本质量参数之间的权重值，根据权重值的设置得到满足不同用户需求的不同相似样本集。
80.在本公开实施例中，在按照上述所描述的方式确定出目标核矩阵之后，就可以对所述目标核矩阵进行行列式点过程dpp处理，得到相似样本集，具体包括如下过程：
81.首先，确定所述目标核矩阵的逆矩阵；
82.然后，对所述目标核矩阵的逆矩阵进行行列式点过程dpp处理，得到所述相似样本集。
83.基于行列式点过程dpp可知，行列式点过程的补集同样是行列式点过程，区别在于行列式点过程的补集更倾向于采样较相似的样本图像。在多个待处理样本图像中，考虑到相似的样本图像并不会太多，所以与其寻找大量的不目标样本图像，不如采样少量的目标样本图像并丢弃。丢弃之后剩下的样本图像就是需要的不目标样本图像。
84.通过上述描述可知，在本公开实施例中，是从多个待处理样本图像中抽取一个样本子集来进行对比学习。此时，样本子集的大小是一个非常大的问题。通常来说，在一个小批量的待处理样本图像中不太可能有很多类似的样本图像。因此，当对样本子集进行抽样时，需要保留大部分的样本。这仍然是耗时的，因为dpp算法在运行时较为复杂性，当样本子集非常大时，也将增加dpp算法的复杂性。
85.基于此，在本公开实施例中，可以将采样上述样本子集的问题转化为对少量的目标样本图像进行过滤，而不是对大量不同的样本图像进行抽样。基于此，发明人提出了一种基于行列式点过程的补集来确定相似样本集的方法，通过该方法可以加速样本图像的采样过程。
86.发明人经研究发现，行列式点过程的补集的核矩阵为目标核矩阵的逆矩阵，通过对该逆矩阵进行dpp处理，可以确定出相似样本集，基于此，在本公开实施例中，可以通过目标核矩阵的逆矩阵来丢弃低质量且相似的样本图像。
87.需要说明的是，行列式点过程是指将目标核矩阵转化为行列式的形式，然后，通过dpp算法对行列式进行处理，从而得到相应的样本子集a，此处得到的样本子集a是不包含目标样本图像的样本子集。由于一个小批量的待处理样本图像中所包含的目标样本图像的数量是有限的，因此，该样本子集a中将包含大量的不相似的样本图像，此时，会增加dpp算法的复杂度。行列式点过程的补集是指上述确定出的样本子集a的补集，即多个待处理样本图
像减去样本子集a中的样本图像所得到的补集。
88.在本公开实施例中，在对所述目标核矩阵的逆矩阵进行行列式点过程dpp处理，得到所述相似样本集时，可以对所述目标核矩阵的逆矩阵进行行列式点过程dpp处理，得到多个样本子集的推荐概率；每个所述样本子集包括所述多个待处理样本图像中的至少一幅图像；所述推荐概率用于表征每个样本子集为用户所期望的样本子集的概率；之后，基于所述多个样本子集的推荐概率在所述多个样本子集中确定所述相似样本集。
89.在本公开实施例中，通过目标核矩阵的逆矩阵进行行列式点过程dpp处理，得到相似样本集的方式，可以降低dpp算法复杂度，加速样本图像的采样过程。
90.在本公开实施例中，在得到相似样本集之后，就可以在所述多个待处理样本图像中删除所述相似样本集中的目标样本图像，以基于删除所述目标样本图像之后的所述多个待处理样本图像对神经网络进行训练。
91.在通过删除所述目标样本图像之后的所述多个待处理样本图像对神经网络进行训练时，可以对删除所述目标样本图像之后的所述多个待处理样本图像进行图像处理，获取样本学习结果。
92.具体地，针对删除所述目标样本图像之后的多个待处理样本图像中每张待处理样本图像，获取该待处理样本图像在多种图像增强条件下的表征向量，然后，通过神经网络对获取到的表征向量进行对比学习，得到样本学习结果，之后，根据样本学习结果和多个待处理样本图像的样本标注标签，计算目标损失函数l
nce
；进而，基于所述目标损失函数l
nce
调整所述神经网络的网络参数。
93.在本公开实施例中，该目标损失函数l
nce
的计算公式可以表示为下述公式：其中，τ为用于帮助网络收敛的温度参数；z
i
和z
k
为负样本对的表征向量，n为多个待处理样本图像的数量。
94.在本公开实施例中，通过删除相似样本之后的待处理样本图像对神经网络进行训练的过程中，可以为神经网络提供更有利于对比学习的样本进行训练，从而提高了神经网络的对比学习质量。本本公开实施例所提出的方法能使得神经网络学习到更好的表征。在不改变任何网络结构和损失函数的情况下，在数据集cifar10，cifair100，stll10和imagenet100上面均达到的了效果的提升。
95.本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
96.基于同一发明构思，本公开实施例中还提供了与神经网络训练方法对应的神经网络训练装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述神经网络训练方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
97.参照图6所示，为本公开实施例提供的一种神经网络训练装置的示意图，所述装置包括：获取单元61、确定单元62、dpp处理单元63、删除单元64、训练单元65；其中，
98.获取单元61，用于获取多个待处理样本图像；并确定每个待处理样本图像在多种图像增强条件下的表征向量；
99.确定单元62，用于基于所述表征向量构建目标核矩阵；其中，所述目标核矩阵用于
表征所述多个待处理样本图像之间的相似度和每个待处理样本图像在多种图像增强条件下的差异度；
100.dpp处理单元63，用于对所述目标核矩阵进行行列式点过程dpp处理，得到相似样本集，其中，所述相似样本集中包含所述多个待处理样本图像中的至少一个目标样本图像，每个所述目标样本图像中的目标与在所述相似样本集外的待处理样本图像中的至少部分目标相匹配；
101.删除单元64，用于在所述多个待处理样本图像中删除所述相似样本集中的目标样本图像；
102.训练单元65，用于基于删除所述目标样本图像之后的所述多个待处理样本图像对神经网络进行训练。
103.在本公开实施例中，首先获取多个待处理样本图像，并确定每个待处理样本图像在多种图像增强条件下的表征向量，进而，根据该表征向量构建用于表征多个待处理样本图像之间的相似度和每个待处理样本图像在多种图像增强条件下的差异度的目标核矩阵，之后，对该目标核矩阵进行行列式点过程dpp处理，得到相似样本集，最后，就可以在多个待处理样本图像中删除相似样本集中的目标样本图像，以基于删除目标样本图像之后的多个待处理样本图像对神经网络进行训练。在本公开实施例中，通过待处理样本图像的表征图像确定目标核矩阵，并对目标核矩阵进行dpp处理，得到相似样本集的方式，可以删除待处理样本图像中的目标样本图像，在此情况下，基于删除目标样本图像之后的待处理样本图像对神经网络进行训练的过程中，可以为神经网络提供更有利的训练样本进行训练，从而提高了神经网络的训练精度。
104.一种可能的实施方式中，确定单元62，还用于：基于每个待处理样本图像在多种图像增强条件下的表征向量分别确定用于描述所述多个待处理样本图像之间相似度的相似度矩阵和每个所述待处理样本图像的样本质量矩阵，其中，样本质量用于表征每个待处理样本图像在多种图像增强条件下的差异度；对所述相似度矩阵和所述样本质量矩阵进行对位相乘处理，得到所述目标核矩阵。
105.一种可能的实施方式中，确定单元62，还用于：计算每个待处理样本图像在多种图像增强条件下的表征向量的平均值，得到每个所述待处理样本图像的平均表征向量；基于每个所述待处理样本图像的平均表征向量，确定用于描述所述多个待处理样本图像之间相似度的相似度矩阵。
106.一种可能的实施方式中，dpp处理单元63，还用于：确定所述目标核矩阵的逆矩阵；对所述目标核矩阵的逆矩阵进行行列式点过程dpp处理，得到所述相似样本集。
107.一种可能的实施方式中，dpp处理单元63，还用于：对所述目标核矩阵的逆矩阵进行行列式点过程dpp处理，得到多个样本子集的推荐概率，其中，每个所述样本子集包括所述多个待处理样本图像中的至少一幅图像；基于所述多个样本子集的推荐概率在所述多个样本子集中确定所述相似样本集。
108.一种可能的实施方式中，获取单元61，还用于：对每个所述待处理样本图像进行多种图像增强条件下的图像增强处理，得到针对所述多种图像增强条件的样本图像；通过目标神经网络对所述多种图像增强条件的样本图像进行图像处理，得到每个待处理样本图像在多种图像增强条件下的表征向量。
109.一种可能的实施方式中，训练单元65，还用于：基于所述神经网络对删除所述目标样本图像之后的所述多个待处理样本图像进行图像处理，获取样本学习结果；根据所述样本学习结果和所述多个待处理样本图像的样本标注标签，计算目标损失函数；基于所述目标损失函数调整所述神经网络的网络参数。
110.一种可能的实施方式中，所述目标核矩阵中包含：目标超参数，其中，所述目标超参数用于表征在根据所述目标核矩阵确定所述相似样本集的过程中影响因素的权重值，所述影响因素包括：所述相似度和/或所述差异度。
111.一种可能的实施方式中，训练单元，还用于：基于删除所述目标样本图像之后的所述多个待处理样本图像，采用对比学习的方式对神经网络进行训练。
112.关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
113.对应于图1中的神经网络训练方法，本公开实施例还提供了一种电子设备700，如图7所示，为本公开实施例提供的电子设备700结构示意图，包括：
114.处理器71、存储器72、和总线73；存储器72用于存储执行指令，包括内存721和外部存储器722；这里的内存721也称内存储器，用于暂时存放处理器71中的运算数据，以及与硬盘等外部存储器722交换的数据，处理器71通过内存721与外部存储器722进行数据交换，当所述电子设备700运行时，所述处理器71与所述存储器72之间通过总线73通信，使得所述处理器71执行以下指令：
115.获取多个待处理样本图像；并确定每个待处理样本图像在多种图像增强条件下的表征向量；基于所述表征向量构建目标核矩阵；其中，所述目标核矩阵用于表征所述多个待处理样本图像之间的相似度和每个待处理样本图像在多种图像增强条件下的差异度；对所述目标核矩阵进行行列式点过程dpp处理，得到相似样本集，其中，所述相似样本集中包含所述多个待处理样本图像中的至少一个目标样本图像，每个所述目标样本图像中的目标与在所述相似样本集外的待处理样本图像中的至少部分目标相匹配；在所述多个待处理样本图像中删除所述相似样本集中的目标样本图像；基于删除所述目标样本图像之后的所述多个待处理样本图像对神经网络进行训练。
116.本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的神经网络训练方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
117.本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的神经网络训练方法的步骤，具体可参见上述方法实施例，在此不再赘述。
118.其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
119.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实
现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
120.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
121.另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
122.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
123.最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。