神经网络的更新方法、更新装置和电子设备与流程

本申请涉及深度学习和神经网络领域，且更为具体地，涉及一种神经网络的更新方法、更新装置和电子设备。

背景技术：

目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

图像语义分割是无人驾驶等应用的研究基础，现有基于深度学习以及神经网络的图像语义分割方法往往需要大量的像素级标注样本进行训练，而像素级标注样本的获取十分费时费力，极大的提高了算法的实现成本。另一方面，不同城市的道路场景往往有很大的不同，这种场景与场景间的差异，使得之前训练好的模型在新的城市场景下，难以取得较好的分割效果。

因此，期望提供改进的用于更新神经网络的方案。

技术实现要素：

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种神经网络的更新方法、更新装置和电子设备，其可以通过集成结构相同的第一和第二深度神经网络而实现具有标签信息的图像集和不具有标签信息的图像集之间的领域适应。

根据本申请的一个方面，提供了一种神经网络的更新方法，包括：将具有标签信息的第一图像集输入第一深度神经网络，基于所述第一深度神经网络确定所述第一图像集的交叉熵损失值；将不具有标签信息的第二图像集分别输入所述第一深度神经网络和第二深度神经网络，确定所述第二图像集的一致性损失值，所述第一深度神经网络和所述第二深度神经网络具有相同的网络结构；基于所述交叉熵损失值和所述一致性损失值，更新所述第一深度神经网络的参数；以及，基于更新后的所述第一深度神经网络的参数更新所述第二深度神经网络的参数。

根据本申请的另一方面，提供了一种神经网络的更新装置，包括：第一计算单元，用于将具有标签信息的第一图像集输入第一深度神经网络，基于所述第一深度神经网络确定所述第一图像集的交叉熵损失值；第二计算单元，用于将不具有标签信息的第二图像集分别输入所述第一深度神经网络和第二深度神经网络，确定所述第二图像集的一致性损失值，所述第一深度神经网络和所述第二深度神经网络具有相同的网络结构；第一更新单元，用于基于所述第一计算单元确定的所述交叉熵损失值和所述第二计算单元确定的所述一致性损失值，更新所述第一深度神经网络的参数；以及，第二更新单元，用于基于所述第一更新单元更新后的所述第一深度神经网络的参数更新所述第二深度神经网络的参数。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的神经网络的更新方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的神经网络的更新方法。

与现有技术相比，本申请提供的神经网络的更新方法、更新装置和电子设备可以将具有标签信息的第一图像集输入第一深度神经网络，基于所述第一深度神经网络确定所述第一图像集的交叉熵损失值；将不具有标签信息的第二图像集分别输入所述第一深度神经网络和第二深度神经网络，确定所述第二图像集的一致性损失值，所述第一深度神经网络和所述第二深度神经网络具有相同的网络结构；基于所述交叉熵损失值和所述一致性损失值，更新所述第一深度神经网络的参数；以及，基于更新后的所述第一深度神经网络的参数更新所述第二深度神经网络的参数。

这样，通过集成结构相同的第一和第二深度神经网络，可以实现具有标签信息的图像集和不具有标签信息的图像集之间的领域适应，从而使得具有标签信息的图像集可以用于更新不同深度神经网络，减少了对不具有标签信息的图像集进行标注的成本。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的神经网络的更新方法的应用场景图。

图2图示了根据本申请实施例的神经网络的生成方法的流程图。

图3图示了根据本申请实施例的注意力机制模块的示意图。

图4图示了根据本申请实施例的基于具有注意力机制的第一深度神经网络确定第一图像集的交叉熵损失值的流程图。

图5图示了根据本申请实施例的基于具有注意力机制的第一深度神经网络和第二深度神经网络确定第二图像集的一致性损失值的流程图。

图6图示了根据本申请实施例的神经网络的更新装置的框图。

图7图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

如上所述，针对神经网络所应用的场景的变化，现在主要采用对抗学习方法，让深度网络同时学习源域(即已有标签信息的数据集)与目标域(有数据但没有标签信息的数据集)数据，并使得网络无法分辨输入数据是来自源域还是目标域，从而减小不同域间的特征差异。

但是，对抗学习模型的训练往往十分困难，网络中的相关超参数，如学习率、对抗损失函数的权重等对模型的效果有很大影响，具有模式坍塌等风险，因此训练十分费时费力。

针对上述技术问题，本申请的基本构思是集成具有相同的网络结构的第一深度神经网络和第二深度神经网络以构成自集成模型，并在所述自集成模型的训练过程中，首先更新输入具有标签信息的数据集的第一深度神经网络的参数，再进一步基于已更新的第一深度神经网络的参数更新输入不具有标签信息的数据集的第二深度神经网络的参数。

具体地，本申请提供的神经网络的更新方法、更新装置和电子设备首先将具有标签信息的第一图像集输入第一深度神经网络，基于所述第一深度神经网络确定所述第一图像集的交叉熵损失值，然后将不具有标签信息的第二图像集分别输入所述第一深度神经网络和第二深度神经网络，确定所述第二图像集的一致性损失值，所述第一深度神经网络和所述第二深度神经网络具有相同的网络结构，再基于所述交叉熵损失值和所述一致性损失值，更新所述第一深度神经网络的参数，最后基于更新后的所述第一深度神经网络的参数更新所述第二深度神经网络的参数。

这样，通过集成结构相同的第一和第二深度神经网络，可以实现具有标签信息的图像集和不具有标签信息的图像集之间的领域适应，从而使得具有标签信息的图像集可以用于更新不同深度神经网络，减少了对不具有标签信息的图像集进行标注的成本。

这里，本领域技术人员可以理解，本申请实施例中的深度神经网络除了应用于图像语义分割之外，还可以应用于其它具有针对具有和不具有标签信息的数据集的跨域学习的应用场景，例如对象检测等，本申请实施例并不意在对此进行任何限制。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图1图示了根据本申请实施例的神经网络的更新方法的应用场景图。

如图1所示，在本申请实施例中，将具有标签信息的第一图像集in1，即源域图像输入第一深度神经网络110，从而基于所述第一深度神经网络110确定所述第一图像集in1的交叉熵损失值。这里，由于第一深度神经网络110输入具有标签信息的图像集，因此也可以被称为“学生网络”。

继续参考图1，不具有标签信息的第二图像集in2，即目标域图像被分别输入所述第一深度神经网络110和第二深度神经网络120，并确定所述第二图像集in2针对所述第一深度神经网络110和所述第二深度神经网络120的一致性损失值。这里，所述第一深度神经网络110和所述第二深度神经网络120具有相同的网络结构。由于第二深度神经网络120输入不具有标签信息的图像集，因此也可以被称为“老师网络”。

然后，基于所述交叉熵损失值和所述一致性损失值更新所述第一深度神经网络110的参数，并基于更新后的所述第一深度神经网络110的参数更新所述第二深度神经网络120的参数。这样，在所述第二深度神经网络120的更新结束后，基于输入的没有标签信息的第二图像集in2，所述第二深度神经网络120也可以实现所需的功能，例如图像语义分割，图像分类，对象检测等。

下面，将进一步说明根据本申请实施例的神经网络的生成方法。

示例性方法

图2图示了根据本申请实施例的神经网络的生成方法的流程图。

如图2所示，根据本申请实施例的神经网络的生成方法包括以下步骤。

在步骤s210中，将具有标签信息的第一图像集输入第一深度神经网络，基于所述第一深度神经网络确定所述第一图像集的交叉熵损失值。

其中，所述第一图像集的标签信息可以是之前通过标注得到的，可以表示图像的类别、语义等。并且，所述第一深度神经网络可以是用于图像语义分割等的各种类型的深度神经网络，比如deeplab-v2模型等。

在步骤s220中，将不具有标签信息的第二图像集分别输入所述第一深度神经网络和第二深度神经网络，确定所述第二图像集的一致性损失值，所述第一深度神经网络和所述第二深度神经网络具有相同的网络结构。

其中，所述不具有标签信息的第二图像集是需要所述第二深度神经网络执行诸如图像语义分割之类的功能的图像集，例如，其可以是不同场景下，比如不同城市的道路场景下的图像。并且，所述第二深度神经网络也可以是用于图像语义分割等的各种类型的深度神经网络，比如deeplab-v2模型等，且具有与所述第一深度神经网络完全相同的网络结构。

并且，所述第一深度神经网络和所述第二深度神经网络在接收所述第一图像集和所述第二图像集之前，可以对网络参数进行初始化。

并且，所述第一图像集和所述第二图像集在输入所述深度神经网络和所述第二深度神经网络之前，可以对其中的每个图像进行随机增强，以提高深度神经网络的泛化能力。例如，可以向所述第一图像集和所述第二图像集中的每个图像的每个像素添加具有0的均值和0.1的标准差的高斯噪声，以进行随机增强。

在步骤s230中，基于所述交叉熵损失值和所述一致性损失值，更新所述第一深度神经网络的参数。

其中，通过基于所述交叉熵损失值和所述一致性损失值，可以通过各种方式对所述第一深度神经网络进行训练，以更新所述第一深度神经网络的参数。在一实施例中，可以基于所述交叉熵损失值和所述一致性损失值的加权和以梯度下降法更新所述第一深度神经网络的参数。

具体来说，通过梯度下降法以反向传播的方式更新所述第一深度神经网络的参数，以使得所述交叉熵损失值和所述一致性损失值的加权和减小，在所述加权和减小到零的情况下，就可以认为所述第一深度神经网络更新完毕。这样，可以通过该方式有效地训练所述第一深度神经网络，使得所述第一深度神经网络能够基于所述第一图像集实现所需的功能，例如图像语义分割，图像分类，对象检测等。

在步骤s240中，基于更新后的所述第一深度神经网络的参数更新所述第二深度神经网络的参数。

类似地，基于更新后的所述第一深度神经网络的参数，可以通过各种方式对所述第二深度神经网络进行训练，以更新所述第二深度神经网络的参数。在一实施例中，可以基于更新后的所述第一深度神经网络的参数以指数移动平均方法更新所述第二深度神经网络的参数。

具体来说，令更新后的第一深度神经网络的参数为θs，更新前的第二深度神经网络的参数为θt，则更新后的第二深度神经网络的参数θt+1可以表示为：

θt+1＝αθt+(1-α)θs

其中，α表示每一轮更新的权重，由于在迭代更新过程中，α会以指数形式出现，因此也被称为指数移动平均方法。这样，通过该方式，可以基于所述第一深度神经网络的更新来有效地同步更新所述第二深度神经网络，使得所述第二深度神经网络能够基于所述第二图像集实现所需的功能，例如图像语义分割，图像分类，对象检测等。

另外，如上所述，在本申请实施例中，可以通过迭代方式更新所述第一深度神经网络的参数，也就是说，以迭代方式执行上述步骤s210到步骤s240，并判定迭代是否收敛。在迭代不收敛的情况下，返回步骤s210继续进行迭代，而在迭代收敛的情况下，将所述第二图像集输入所述第二深度神经网络，以实现所需的功能。

也就是说，在如图2所示的实施例的步骤s240之后，可以进一步包括：确定更新后的所述第二深度神经网络的参数相对于更新前的所述第二深度神经网络的参数是否收敛；以及，若所述第二深度神经网络的参数收敛，基于所述更新后的第二深度神经网络设置图像语义分割模型。

因此，针对图像语义分割的任务，在一个示例中，训练好的所述第二深度神经网络可以直接基于不具有标签信息的所述第二图像集进行图像语义分割，从而用作图像语义分割模型。所以，本申请实施例所获得的图像语义分割模型可以基于不具有标签信息的图像集进行图像语义分割，从而不需要对图像进行人工标注的成本。

因此，更新后的所述第二深度神经网络可以针对不具有标签信息的第二图像集实现所需的功能，例如图像语义分割等，从而实现了具有标签信息的图像集和不具有标签信息的图像集之间的领域适应。这样，即使输入图像集不具有标签信息，也可以应用于深度神经网络执行所需的功能，减少了对图像集进行标注的成本。

并且，相对于对抗学习的方法，由于避免了对抗学习模型的模式坍塌等风险，本申请实施例的神经网络的更新方法的训练更加鲁棒，且适应的效果更好。

此外，图像中不同区域对应的域间差异往往不同，如不同城市的天空场景往往较为相似，而道路区域差异更大，因此，可以进一步针对影像中不同区域对应的域间差异进行特定的学习。

在另一实施例中，所述第一深度神经网络和所述第二深度神经网络可以包含注意力机制模块，从而考虑图像中不同区域对应的领域差异，使得域适应的学习更有针对性。

图3图示了根据本申请实施例的注意力机制模块的示意图。如图3所示，注意力机制模块针对输入的影像特征，进行池化、插值、卷积和非线性激活得到注意力图。然后，所述注意力图与输入的影像特征进行点乘和点加获得注意力特征。

也就是说，图3所示的注意力图，例如记为a(x)可用如下公式表达：

a(x)＝t(u(d(f(x))))

其中f(x)为输入影像特征，d代表池化，例如2×2池化，u代表插值，例如双线性内插，且t代表卷积，例如1×1卷积和非线性激活。

另外，图3所示的注意力特征，例如记为h(x)可用如下公式表达：

h(x)＝(1+a(x))*f(x)

下面，将参考图4和图5详细说明注意力机制模块在本申请实施例中的具体应用。

图4图示了根据本申请实施例的基于具有注意力机制的第一深度神经网络确定第一图像集的交叉熵损失值的流程图。如图4所示，在上述图2所示实施例的基础上，步骤s210可包括如下步骤：

s211，将具有标签信息的第一图像集输入第一深度神经网络以获得第一图像特征，例如，获得的所述第一图像特征记为f1(x)；

s212，对所述第一图像特征进行池化以获得第一池化图像特征，例如，以d表示池化，例如2×2平均池化，则获得第一池化图像特征d(f1(x))；

s213，对所述第一池化图像特征进行插值以获得第一插值图像特征，例如，以u表示插值，例如双线性插值，则获得第一插值图像特征u(d(f1(x)))；

s214，对所述第一插值图像特征卷积和激活以生成第一注意力图，例如，以t表示卷积和激活，例如1×1卷积和sigmoid非线性激活，则获得第一注意力图t(u(d(f1(x))))，为了简单起见记为a1(x)；

s215，对所述第一注意力图与所述第一图像特征进行点乘以获得第一点乘结果，即，将a1(x)与f1(x)进行点乘以获得a1(x)*f1(x)；

s216，将所述第一点乘结果与所述第一图像特征进行点加以获得第一注意力特征，即，将a1(x)*f1(x)与f1(x)进行点加以获得(1+a1(x))*f1(x)；以及

s217，基于所述第一深度神经网络从所述第一注意力特征计算出所述交叉熵损失值。

可以看到，针对第一注意力特征(1+a1(x))*f1(x)，a1(x)可以被看作为f1(x)中的特征的控制门。如果a1(x)对于f1(x)中的所有位置均为0，则第一注意力特征为初始第一图像特征f1(x)。否则，f1(x)中的特征可以在某些位置被加强而在其它位置被抑制。

因此，通过具有注意力机制的第一深度神经网络，可以使得所述第一深度神经网络的训练更有针对性。

图5图示了根据本申请实施例的基于具有注意力机制的第一深度神经网络和第二深度神经网络确定第二图像集的一致性损失值的流程图。如图5所示，在上述图2所示实施例的基础上，步骤s220可包括如下步骤：

s221，将不具有标签信息的第二图像集分别输入所述第一深度神经网络和所述第二深度神经网络以获得第二图像特征和第三图像特征，例如，获得的所述第二图像特征和所述第三图像特征分别记为f2(x)和f3(x)；

s222，对所述第二图像特征和所述第三图像特征分别进行池化以获得第二池化图像特征和第三池化图像特征，例如，以d表示池化，例如2×2平均池化，则分别获得第二池化图像特征d(f2(x))和第三池化图像特征d(f3(x))；

s223，对所述第二池化图像特征和所述第三池化图像特征分别进行插值以获得第二插值图像特征和第三插值图像特征，例如，以u表示插值，例如双线性插值，则分别获得第二插值图像特征u(d(f2(x)))和第三插值图像特征u(d(f3(x)))；

s224，对所述第二插值图像特征和所述第三插值图像特征分别进行卷积和激活以生成第二注意力图和第三注意力图，例如，以t表示卷积和激活，例如1×1卷积和sigmoid非线性激活，则分别获得第二注意力图t(u(d(f2(x))))和第三注意力图t(u(d(f3(x))))，为了简单起见记为a2(x)和a3(x)；

s225，对所述第二注意力图与所述第二图像特征进行点乘以获得第二点乘结果，和对所述第三注意力图与所述第三图像特征进行点乘以获得第三点乘结果，即，将a2(x)与f2(x)进行点乘以获得a2(x)*f2(x)，并将a3(x)与f3(x)进行点乘以获得a3(x)*f3(x)；

s226，将所述第二点乘结果与所述第二图像特征进行点加以获得第二注意力特征，和将所述第三点乘结果与所述第三图像特征进行点加以获得第三注意力特征，即，将a2(x)*f2(x)与f2(x)进行点加以获得(1+a2(x))*f2(x)，并将a3(x)*f3(x)与f3(x)进行点加以获得(1+a3(x))*f3(x)；以及

s227，基于所述第一深度神经网络和所述第二深度神经网络从所述第二注意力特征和所述第三注意力特征计算出所述一致性损失值。

同样，针对第二注意力特征(1+a2(x))*f2(x)，a2(x)可以被看作为f2(x)中的特征的控制门。如果a2(x)对于f2(x)中的所有位置均为0，则第二注意力特征为初始第二图像特征f2(x)。否则，f2(x)中的特征可以在某些位置被加强而在其它位置被抑制。

并且，针对第三注意力特征(1+a3(x))*f3(x)，a3(x)可以被看作为f3(x)中的特征的控制门。如果a3(x)对于f3(x)中的所有位置均为0，则第二注意力特征为初始第二图像特征f3(x)。否则，f3(x)中的特征可以在某些位置被加强而在其它位置被抑制。

因此，通过具有注意力机制的第一深度神经网络和第二深度神经网络，可以使得所述第一深度神经网络和所述第二深度神经网络之间的域适应训练更有针对性。

示例性装置

图6图示了根据本申请实施例的神经网络的更新装置的框图。

如图6所示，根据本申请实施例的神经网络的更新装置300包括：第一计算单元310，用于将具有标签信息的第一图像集输入第一深度神经网络，基于所述第一深度神经网络确定所述第一图像集的交叉熵损失值；第二计算单元320，用于将不具有标签信息的第二图像集分别输入所述第一深度神经网络和第二深度神经网络，确定所述第二图像集的一致性损失值，所述第一深度神经网络和所述第二深度神经网络具有相同的网络结构；第一更新单元330，用于基于所述第一计算单元310确定的所述交叉熵损失值和所述第二计算单元320确定的所述一致性损失值，更新所述第一深度神经网络的参数；以及，第二更新单元340，用于基于所述第一更新单元330更新后的所述第一深度神经网络的参数更新所述第二深度神经网络的参数。

在一个示例中，在上述神经网络的更新装置300中，所述第一计算单元310用于基于所述交叉熵损失值和所述一致性损失值的加权和以梯度下降法更新所述第一深度神经网络的参数。

在一个示例中，在上述神经网络的更新装置300中，所述第二计算单元320用于基于更新后的所述第一深度神经网络的参数以指数移动平均方法更新所述第二深度神经网络的参数。

在一个示例中，在上述神经网络的更新装置300中，所述第一计算单元310包括：第一特征子单元，用于将具有标签信息的第一图像集输入第一深度神经网络以获得第一图像特征；第一池化子单元，用于对所述第一特征子单元所获得的所述第一图像特征进行池化以获得第一池化图像特征；第一插值子单元，用于对所述第一池化子单元所获得的所述第一池化图像特征进行插值以获得第一插值图像特征；第一卷积子单元，用于对所述第一插值子单元所获得的第一插值图像特征卷积和激活以生成第一注意力图；第一点乘子单元，用于对所述第一卷积子单元所获得的第一注意力图与所述第一特征子单元所获得的第一图像特征进行点乘以获得第一点乘结果；第一点加子单元，用于将所述第一点乘子单元所获得的第一点乘结果与所述第一特征子单元所获得的第一图像特征进行点加以获得第一注意力特征；以及，第一值计算子单元，用于基于所述第一深度神经网络从所述第一点加子单元所获得的第一注意力特征计算出所述交叉熵损失值。

在一个示例中，在上述神经网络的更新装置300中，所述第二计算单元320包括：第二特征子单元，用于将不具有标签信息的第二图像集分别输入所述第一深度神经网络和所述第二深度神经网络以获得第二图像特征和第三图像特征；第二池化子单元，用于对所述第二特征子单元所获得的所述第二图像特征和所述第三图像特征分别进行池化以获得第二池化图像特征和第三池化图像特征；第二插值子单元，用于对所述第二池化子单元所获得的所述第二池化图像特征和所述第三池化图像特征分别进行插值以获得第二插值图像特征和第三插值图像特征；第二卷积子单元，用于对所述第二插值子单元所获得的第二插值图像特征和所述第三插值图像特征分别进行卷积和激活以生成第二注意力图和第三注意力图；第二点乘子单元，用于对所述第二卷积子单元所获得的所述第二注意力图与所述第二特征子单元所获得的所述第二图像特征进行点乘以获得第二点乘结果，和对所述第二卷积子单元所获得的所述第三注意力图与所述第二特征子单元所获得的所述第三图像特征进行点乘以获得第三点乘结果；第二点加子单元，用于将所述第二点乘子单元所获得的所述第二点乘结果与所述第二特征子单元所获得的所述第二图像特征进行点加以获得第二注意力特征，和将所述第二点乘子单元所获得的所述第三点乘结果与所述第二特征子单元所获得的所述第三图像特征进行点加以获得第三注意力特征；以及，第二值计算子单元，用于基于所述第一深度神经网络和所述第二深度神经网络从所述第二点加子单元所获得的所述第二注意力特征和所述第三注意力特征计算出所述一致性损失值。

这里，本领域技术人员可以理解，上述神经网络的更新装置300中的各个单元和模块的具体功能和操作已经在上面参考图1到图5的神经网络的更新方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的神经网络的更新装置300可以实现在各种终端设备中，例如用于更新神经网络的服务器等。在一个示例中，根据本申请实施例的神经网络的更新装置300可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该神经网络的更新装置300可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该神经网络的更新装置300同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该神经网络的更新装置300与该终端设备也可以是分立的设备，并且该神经网络的更新装置300可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性电子设备

下面，参考图7来描述根据本申请实施例的电子设备。

图7图示了根据本申请实施例的电子设备的框图。

如图7所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的神经网络的更新方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如交叉熵损失值、一致性损失值等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括更新后的神经网络、对图像进行图像语义分割的结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图7中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的神经网络的更新方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的神经网络的更新方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。