处理图像的方法和神经网络系统、设备、介质、程序与流程

本公开涉及计算机视觉技术，尤其是一种处理图像的方法和神经网络系统、设备、介质、程序。

背景技术：

随着计算机视觉技术的发展，通过神经网络实现图像分类和图像分割已实现广泛应用，在计算机视觉领域，图像分割(Segmentation)指的是将数字图像细分为多个图像子区域(像素的集合)(也被称作超像素)的过程。图像分割的目的是简化或改变图像的表示形式，使得图像更容易理解和分析。图像分割通常用于定位图像中的物体和边界(线，曲线等)。图像分类，根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。

技术实现要素：

本公开实施例提供的一种图像处理技术。

根据本公开实施例的一个方面，提供的一种用于处理图像的神经网络系统，包括：

共享网络、分类网络、分割网络和传递网络，其中，

所述共享网络用于对待处理图像进行特征提取，得到所述待处理图像的初始特征，并将所述初始特征输入到所述分类网络和分割网络；

所述分类网络用于根据所述初始特征，对所述待处理图像进行分类处理，得到所述待处理图像的分类结果；

所述分割网络用于根据所述初始特征，对所述待处理图像进行图像分割处理，得到所述待处理图像的图像分割结果；

所述传递网络用于在所述分类网络和所述分割网络之间传递信息。

在基于本发明上述系统的另一个实施例中，所述传递网络用于在所述分类网络的第一网络层和所述分割网络的第二网络层之间传递信息。

在基于本发明上述系统的另一个实施例中，所述传递网络用于：将来源于所述第一网络层的第一特征传递至所述第二网络层，并将来源于所述第二网络层的第二特征传递至所述第一网络层，其中，所述第一特征被所述分割网络用于确定所述待处理图像的图像分割结果，所述第二特征被所述分类网络用于确定所述待处理图像的分类结果。

在基于本发明上述系统的另一个实施例中，所述传递网络，包括至少一个卷积层、激活函数层和门限函数层；

所述卷积层，用于对所述第一网络层输出的特征执行卷积操作，获得对应于所述第二网络层输出特征的第一中间特征；对所述第二网络层输出的特征执行卷积操作，获得对应于所述第一网络层输出特征的第二中间特征；

所述激活函数层，用于对所述第一中间特征进行类型转换得到第一特征，对所述第二中间特征进行类型转换得到第二特征；

所述门限函数层，用于基于门限函数控制所述第一网络层和所述第二网络层之间的信息传递。

在基于本发明上述系统的另一个实施例中，所述门限函数层，具体用于：

响应于所述第一特征满足第一预设条件，将所述第一特征传递至所述第二网络层；和/或

响应于所述第二特征满足第二预设条件，将所述第二特征传递至所述第一网络层。

在基于本发明上述系统的另一个实施例中，所述第一网络层包括：

处理模块，用于对所述分类网络中位于所述第一网络层的前一网络层输入的信息进行处理，得到第一原始输出特征；

融合模块，用于融合所述第二特征和所述第一原始输出特征，得到融合特征。

在基于本发明上述系统的另一个实施例中，所述融合模块用于将所述第一原始输出特征与所述第二特征逐元素相加，获得所述融合特征。

在基于本发明上述系统的另一个实施例中，所述分割网络包括至少一个带孔卷积层和上采样层；

所述带孔卷积层，用于对所述初始特征执行卷积操作，获得对应所述待处理图像的特征图；

所述上采样层，用于对所述特征图进行处理，输出与所述待处理图像相同大小的特征向量图。

在基于本发明上述系统的另一个实施例中，所述分割网络还包括结果确定单元，用于利用带权重的交叉熵损失函数，确定所述待处理图像的图像分割结果。

在基于本发明上述系统的另一个实施例中，所述待处理图像为皮肤镜检测图像；

所述分类网络用于确定所述皮肤镜检测图像对应的皮肤疾病的类别；

所述分割网络用于确定所述皮肤镜检测图像对应的病理区域。

在基于本发明上述系统的另一个实施例中，所述传递网络是在完成对所述共享网络、所述分类网络和所述分割网络的训练之后训练得到的。

在基于本发明上述系统的另一个实施例中，所述分割网络是在完成对所述共享网络和所述分类网络的联合训练之后训练得到的。

根据本公开实施例的另一个方面，提供的一种处理图像的方法，包括：

通过共享网络对待处理图像进行特征提取，得到所述待处理图像的初始特征，并将所述初始特征输入到所述分类网络和分割网络；

基于传递网络将所述分类网络和所述分割网络中网络层输出的信息相互传递；

利用所述分类网络，基于所述初始特征和所述传递网络传递的信息，对所述待处理图像进行分类处理，得到所述待处理图像的分类结果；

利用所述分割网络，基于所述初始特征和所述传递网络传递的信息，对所述待处理图像进行图像分割处理，得到所述待处理图像的图像分割结果。

在基于本发明上述方法的另一个实施例中，基于传递网络将所述分类网络和所述分割网络中网络层输出的信息相互传递，包括：

基于所述传递网络在所述分类网络的第一网络层和所述分割网络的第二网络层之间传递信息。

在基于本发明上述方法的另一个实施例中，基于所述传递网络在所述分类网络的第一网络层和所述分割网络的第二网络层之间传递信息，包括：

将来源于所述第一网络层的第一特征传递至所述第二网络层，并将来源于所述第二网络层的第二特征传递至所述第一网络层，其中，所述第一特征被所述分割网络用于确定所述待处理图像的图像分割结果，所述第二特征被所述分类网络用于确定所述待处理图像的分类结果。

在基于本发明上述方法的另一个实施例中，将所述第一网络层得到的第一特征传递至所述第二网络层，并将所述第二网络层得到的第二特征传递至所述第一网络层，包括：

对所述第一网络层输出的特征执行卷积操作，获得对应于所述第二网络层输出特征的第一中间特征；对所述第二网络层输出的特征执行卷积操作，获得对应于所述第一网络层输出特征的第二中间特征；

对所述第一中间特征进行类型转换得到第一特征，对所述第二中间特征进行类型转换得到第二特征；

基于门限函数控制所述第一网络层和所述第二网络层之间的信息传递。

在基于本发明上述方法的另一个实施例中，所述基于门限函数控制所述第一网络层和所述第二网络层之间的信息传递，包括：

响应于所述第一特征满足第一预设条件，将所述第一特征传递至所述第二网络层；和/或

响应于所述第二特征满足第二预设条件，将所述第二特征传递至所述第一网络层。

在基于本发明上述方法的另一个实施例中，基于所述初始特征和所述传递网络传递的信息，对所述待处理图像进行分类处理，包括：

对所述分类网络中位于所述第一网络层的前一网络层输入的信息进行处理，得到第一原始输出特征；所述前一网络层输入的信息基于所述初始特征获得；

融合所述第二特征和所述第一原始输出特征，得到融合特征；

基于所述融合特征，得到所述待处理图像的分类结果。

在基于本发明上述方法的另一个实施例中，融合所述第二特征和所述第一原始输出特征，得到融合特征，包括：

将所述第一原始输出特征与所述第二特征逐元素相加，获得所述融合特征。

在基于本发明上述方法的另一个实施例中，基于所述初始特征和所述传递网络传递的信息，对所述待处理图像进行图像分割处理，包括：

对所述初始特征执行卷积操作，获得对应所述待处理图像的特征图；

对所述特征图进行处理，输出与所述待处理图像相同大小的特征向量图。

在基于本发明上述方法的另一个实施例中，还包括：利用带权重的交叉熵损失函数，确定所述待处理图像的图像分割结果。

在基于本发明上述方法的另一个实施例中，所述待处理图像为皮肤镜检测图像；

利用所述分类网络，基于所述初始特征和所述传递网络传递的信息，对所述待处理图像进行分类处理，得到所述待处理图像的分类结果，包括：

利用分类网络，确定所述皮肤镜检测图像对应的皮肤疾病的类别；

利用所述分割网络，基于所述初始特征和所述传递网络传递的信息，对所述待处理图像进行图像分割处理，得到所述待处理图像的图像分割结果，包括：

利用所述分割网络，确定所述皮肤镜检测图像对应的病理区域。

在基于本发明上述方法的另一个实施例中，所述通过共享网络对待处理图像进行特征提取，得到所述待处理图像的初始特征之前，还包括：

基于样本数据训练所述共享网络、分类网络和分割网络，直至满足预设停止条件；得到训练后的共享网络、分类网络和分割网络；所述样本数据标注有标注分类结果和标注分割结果。

在基于本发明上述方法的另一个实施例中，所述通过共享网络对待处理图像进行特征提取，得到所述待处理图像的初始特征之前，或基于传递网络将所述分类网络和所述分割网络中网络层输出的信息相互传递之前，还包括：

基于所述训练后的共享网络、分类网络和分割网络，结合样本数据训练所述传递网络。

在基于本发明上述方法的另一个实施例中，所述基于样本数据训练所述共享网络、分类网络和分割网络，包括：

在保持所述分割网络的参数固定的条件下，基于样本数据训练所述共享网络和所述分类网络；直至满足第一预设停止条件，得到训练后的共享网络和分类网络；

在保持所述训练后的分类网络的参数固定的条件下，基于样本数据训练所述训练后的共享网络与所述分割网络，直到满足第二预设停止条件，得到训练后的共享网络、分类网络和分割网络。

在基于本发明上述方法的另一个实施例中，在保持所述训练后的分类网络的参数固定的条件下，基于样本数据训练所述训练后的共享网络与所述分割网络，还包括：

基于所述训练后的分类网络中的参数对所述分割网络执行初始化操作。

在基于本发明上述方法的另一个实施例中，还包括：

增加预设数量的附加样本数据到初始样本数据中构成所述样本数据。

在基于本发明上述方法的另一个实施例中，所述增加预设数量的附加样本数据到初始样本数据中构成所述样本数据，包括：

计算数据库中的预存样本数据与所述初始样本数据之间的距离，基于所述距离获得预设数量的附加数据；所述数据库包括至少一个预存样本数据。

在基于本发明上述方法的另一个实施例中，所述计算数据库中的预存样本数据与所述初始样本数据之间的距离，基于所述距离获得预设数量的附加样本数据，包括：

分别计算所述数据库中预存样本数据与至少一个所述初始样本数据之间的平均距离值；

响应于所述平均距离值小于或等于预设值，将所述预存样本数据作为附加样本数据。

根据本公开实施例的另一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上所述的用于处理图像的神经网络系统。

根据本公开实施例的另一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；

以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成如上所述处理图像的方法。

根据本公开实施例的另一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，所述指令被执行时执行如上所述处理图像的方法。

根据本公开实施例的另一个方面，提供的一种计算机程序，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现如上所述处理图像的方法的指令。

根据本发明实施例的再一个方面，提供的一种计算机程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任一可能的实现方式中所述的处理图像的方法。

在一个可选实施方式中，所述计算机程序产品具体为计算机存储介质，在另一个可选实施方式中，所述计算机程序产品具体为软件产品，例如SDK等。

基于本公开上述实施例提供的一种处理图像的方法和神经网络系统、设备、介质、程序，通过共享网络对待处理图像提取初始特征，该初始特征为分类网络和分割网络共同需要的特征，通过共享网络一次提取，避免了重复提取特征，提高了图像处理的效率；分别通过分类网络和分割网络输出待处理图像的分类结果和图像分割结果，实现了通过一个网络同时完成对图像的分类和分割；通过传递网络在分类网络和分割网络之间传递信息，充分利用了分类网络与分割网络之间的关联性，将分类网络中对于分割网络有用的特征传递给分割网络，将分割网络中对分类网络有用的特征传递给分类网络，使获得传递后的特征更具有表征力信息，提高了当前任务的效果。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1为本公开实施例提供的用于处理图像的神经网络系统的结构示意图。

图2为本公开实施例提供的用于处理图像的方法的示意流程图。

图3为用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

还应理解，在本公开实施例中，“A与B连接”可以指A与B直接连接，或者A与B通过一个或多个其他单元/部件间接连接，本公开实施例对此不做限定。

本公开实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

皮肤病是发生在皮肤和皮肤附属器官疾病的总称，是严重影响人民健康的常见并多发病之一，严重时甚至造成患者死亡。如果能早期发现并治疗，可以有效缓解和控制病情。然而，由于专业皮肤病医生人手的缺乏，早期的诊断和治疗都很难实现。因此，借助计算机视觉技术，发展自动化皮肤病诊断以协助提高临床实践中皮肤科医生诊断的效率和客观性是很有必要的。另外，自动分割出医学图像中的病灶区域也可为医生提供了有意义的诊断参考意见。

在实现本公开的过程中，公开人发现，在处理皮肤病检测图像时，利用分类和分割任务之间的潜在关系能够提高图像的处理效率和识别效果。

应理解，本公开实施例提供的技术方案可以主要应用于处理皮肤病检测图像，例如皮肤镜图片，但本公开实施例还可以处于其他类型的图像，本公开实施例对此不做限定。

图1为本公开实施例提供的用于处理图像的神经网络系统的结构示意图。如图1所示，该系统包括：

共享网络11(FeatureNet)、分类网络12(ClsNet)、分割网络13(SegNet)和传递网络14(例如：Feature Passing Module)，其中，共享网络11的输出端分别与分类网络12和分割网络13的输入端连接。传递网络14连接在分类网络12和分割网络13之间。

在一个或多个可选实施例中，共享网络11用于对待处理图像进行特征提取，得到待处理图像的初始特征，并将初始特征输入到分类网络和分割网络。

可选地，待处理图像可以是皮肤检测图像，例如皮肤镜图片，或者也可以是其他类型的图像，本申请实施例对此不做限定。

由于图像分类任务和分割任务是两个相关的任务，特别是皮肤病图像的分类和分割之间的相关度特别高，本实施例通过共享网络11将既能应用于分类网络、也能应用于分割网络的特征提取出来作为初始特征，通过初始特征的提取，提高了图像处理的效率。可选地，初始特征可能包括细节特征和/或边缘特征，但本申请实施例对初始特征的具体实现不做限定。

分类网络12用于根据初始特征，对待处理图像进行分类处理，得到待处理图像的分类结果。分割网络13用于根据初始特征，对待处理图像进行图像分割处理，得到待处理图像的图像分割结果。

这样，通过神经网络系统中的分类网络和分割网络，可以同时得到图像的分类和图像分割结果。

可选地，分类网络和分割网络可以分别包括至少一个网络层，本公开实施例对分类网络和分割网络的实现不作限定。

可选地，如果待处理图像具体为皮肤检测图像，则该分类网络可以用于确定皮肤检测图像对应的皮肤疾病的类别，例如是否有皮肤疾病，再例如，如果有皮肤疾病，则可以包括皮肤疾病的种类。分割网络可以确定皮肤检测图像对应的病理区域。

传递网络14用于在分类网络12和分割网络13之间传递信息。

共享网络11可以向分类网络12和分割网络13输入相同的初始特征，分类网络12可以基于该初始特征进行分类，分割网络可以基于该初始特征进行图像分割。传递网络14可以在分类网络12和分割网络13之间传递信息，分割网络13通过传递网络14传递的信息可以被分类网络12用于进行分类，分类网络12通过传递网络14传递到分割网络13的信息可以被分割网络13用于进行图像分割，有利于提高分类和图像分割过程中的信息多样性，提高分类和图像分割的准确率。

在一个或多个可选实施例中，传递网络在接收到分类网络和分割网络中的一方输入的信息之后，可以向另一方传递该信息。其中，应理解，本公开实施例中的向另一方传递该信息可以指直接将该信息传递至另一方，或者也可以指将该信息进行处理之后传递至另一方，本申请实施例对此不做限定。

在一个或多个可选实施例中，传递网络14可以在分类网络和分割网络之间传递特征，也就是说，上述信息可以包括特征。例如，传递网络14可以向分类网络传递分割网络在图像分割过程中得到的一个或多个特征，或者向分割网络传递分类网络在分类过程中得到的一个或多个特征，本公开实施例对此不做限定。

在一个或多个可选实施例中，传递网络14可以向分类网络和分割网络中的一方传递另一方包括的一个或多个网络层输出的特征。其中，传递的特征所属的网络层以及传递的特征类型可以通过对神经网络系统进行训练得到，本申请实施例对此不做限定。

在一个或多个可选实施例中，传递网络14可以在分类网络的第一网络层和分割网络的第二网络层之间传递信息。其中，第一网络层为分类网络中的一个网络层，第二网络层为分割网络中的一个网络层，而具体第一网络层和第二网络层分别为分类网络和分割网络的第几层可以由具体任务对象和训练决定，本申请实施例对其具体实现不做限定。

作为可选实施例，传递网络14可以在两个或两个以上的第一网络层和两个或两个以上的第二网络层之间传递信息，并且第一网络层的数量和第二网络层的数量不一定相等，可以存在多个第一网络层对应一个第二网络层，或一个第一网络层对应多个第二网络层的情况。

基于本公开上述实施例提供的一种用于处理图像的神经网络系统，通过共享网络对待处理图像提取初始特征，该初始特征为分类网络和分割网络共同需要的特征，通过共享网络一次提取，避免了重复提取特征，提高了图像处理的效率；分别通过分类网络和分割网络输出待处理图像的分类结果和图像分割结果，实现了通过一个网络同时完成对图像的分类和分割；通过传递网络在分类网络和分割网络之间传递信息，充分利用了分类网络与分割网络之间的关联性，将分类网络中对于分割网络有用的特征传递给分割网络，将分割网络中对分类网络有用的特征传递给分类网络，使获得传递后的特征更具有表征力信息，提高了当前任务的效果。

在至少一个可选实施例中，传递网络14将第一网络层得到的第一特征传递至第二网络层，并将第二网络层得到的第二特征传递至第一网络层。

其中，第一特征被分割网络用于确定待处理图像的图像分割结果，第二特征被分类网络用于确定待处理图像的分类结果。

此时，可选地，分割网络可以基于共享网络输入的初始特征和传递网络传递的第一特征，对待处理图像进行图像分割处理。例如，分割网络可以将第一特征与分割网络中的原有特征进行融合处理，得到融合特征，并基于该融合特征得到图像分割结果。

类似可选地，分类网络可以基于共享网络输入的初始特征和传递网络传递的第二特征，对待处理图像进行分类处理。例如，分类网络可以将第二特征与分类网络中的原有特征进行融合处理，得到融合特征，并基于该融合特征得到分类结果。

在一个或多个可选实施例中，传递网络可以包括门限函数层，用于控制分类网络和分割网络之间的信息传递。例如，门限函数层可以控制第一网络层和第二网络层之间的特征传递。

可选地，在分类网络和分割网络中的一方输入到传递网络的特征中，只有对另一方有用的特征才会被传递到另一方，例如，第一特征是对图像分割任务有用的特征，而第二特征是对于图像分类任务有用的特征。这样，通过将一个网络分支(分类网络或分割网络)对另一个网络分支(分割网络或分类网络)有用的特征被筛选并加入到另一个网络分支中，另一个网络分支将接收的有用的特征与原有特征融合得到的特征能更好的表征图像，并对当前任务产生正面的影响，即能够同时增强分类和分割的效果。

可选地，门限函数层可以根据特征是否满足特定条件，来确定是否传递该特征。作为一个例子，门限函数层可以响应于第一特征满足第一预设条件，确定将第一特征传递至所述第二网络层。作为另一个例子，门限函数层可以响应于第二特征满足第二预设条件，确定将第二特征传递至所述第一网络层。其中，可选地，第一预设条件和/或第二预设条件可以是通过对神经网络系统的训练获得的，对应不同任务，经过训练可以获得不同的预设条件，本申请实施例对该第一预设条件和/或第二预设条件的具体实现不做限定。

这样，只有满足第一预设条件的特征被认为是有用的特征并被传递至第二网络层，并且只有满足第一预设条件的特征被认为是有用的特征并被传递至第一网络层。

可选地，门限函数层可以基于门限函数，控制分类网络和分割网络之间的信息传递。门限函数层通过门限函数可以使得信息通过率在0到1之间，这些门限函数是可学习的，因此信息传递率可由响应特定视觉模式的门限函数过滤器控制并适用于个体样本。借助传递网络，分类(分割)网络的特征通过门限函数传递给分割(分类)网络，传递过来的特征与当前网络分支的特征融合可以得到更具有表征力的信息，因而能提高当前任务效果。

可选地，传递网络可以包括至少一个卷积层和激活函数层。

在一个可选示例中，卷积层，用于对第一网络层输出的特征执行卷积操作，获得第一中间特征；并对第二网络层输出的特征执行卷积操作，获得第二中间特征；

具体地，通过卷积层的卷积操作可以将第一网络层输出的特征的大小与第二网络层输出的特征的维度进行统一，以便于后续将两个网络的特征进行融合，具体地，特征的维度可以包括特征图的长度和宽度；通过卷积操作可以将特征图进行缩放实现两个特征维度的统一。

可选地，激活函数层可以对第一中间特征进行类型转换得到第一特征，并对第二中间特征进行类型转换得到第二特征。

激活函数层可以采用Sigmoid函数或其他类型的激活函数实现。由于分类网络和分割网络对应不同的任务，因此，需要激活函数将传递的图像特征进行转换。

在一个或多个可选实施例中，第一网络层在接收到传递网络传递的第二特征之后，可以将第二特征以及该第一网络层的原有特征进行融合处理，得到融合特征，并输出该融合特征。

可选地，这里的原有特征可以是在未接收到传递网络传递的信息的情况下，该第一网络层输入的特征或者该第一网络层输出的特征(即原始输出特征)，或者也可以是该第一网络层在得到输出特征的过程中得到的一个中间特征，等等，本申请实施例对此不做限定。

在一个可选例子中，第一网络层包括：处理模块，用于对分类网络中第一网络层的前一网络层输入的信息进行处理，得到第一原始输出特征；融合模块，用于融合第二特征和第一原始输出特征，得到融合特征。

具体地，处理模块可以对分类网络中其他层的输入信息(例如：输入特征)进行处理，得到第一原始输出特征，即在未考虑传递网络传递的信息的情况下得到的特征。可选地，该前一网络层输入的信息可以是分类网络中该第一网络层的前一网络层输出的特征，可选地，如果该第一网络层是分类网络的第一层，则该前一网络层输入的信息也可以是共享网络输出的初始特征，但本申请实施例对此不做限定。融合模块可以融合第一原始输出特征和第二特征，得到融合特征，并输出该融合特征。这样，在接收到传递网络传递的第二特征之后，第一网络层的输出由第一原始输出特征变成了融合特征，其中，该融合特征在一个或多个可选例子中，融合模块将第一原始输出特征与第二特征逐元素相加，获得融合特征。

通过逐元素相加，该实施例中元素可以包括特征值或特征向量等，将对应位置的特征相加，获得的融合特征除了体现分类网络获得的特征，还体现了分割网络中对分类任务有用的特征，实现了通过分割任务对分类任务产生正面的影响，增强了分类网络的效果。

类似地，分割网络中的第二网络层在接收到第一特征之后，也可以对该第一特征和第二网络层的原有特征进行融合处理，得到融合特征。可选地，该第二网络层对第一特征的具体处理可以与第一网络层类似，这里不再赘述。

在一个可选例子中，第一网络层和第二网络层输出的融合特征可以由以下公式(1)确定：

其中，xcls和xseg分别代表分类网络输入到第一网络层的信息以及分割网络输入到第二网络层的信息，和分别代表第一网络层和第二网络层的原有输出，即基于xcls和xseg得到的输出。和分别代表添加传递网络时第一网络层和第二网络层的新的输出。Gseg2cls(Gcls2seg)表示控制特征从分割(分类)网络传递至分类(分割)网络的门限函数。Sig和σ分别是Sigmoid函数和ReLU函数。是卷积操作，而ω和b是卷积核的参数,这里的op代表逐元素相加的操作。分别表示对应分割网络的卷积核的权重weight、对应分类网络的卷积核的权重weight、对应分割网络的卷积核的偏移量bias、对应分类网络的卷积核的偏移量bias。

应理解，上述实现方式只是用于举例说明第一网络层和第二网络层在接收到传递网络传递的信息之后如何进行处理得到输出特征，其中，为了简洁，公式(1)中忽略了BN函数，在本申请实施例中，第一网络层和第二网络层还可以通过其他处理方式得到输出特征，本申请实施例对此不做限定。

在一个可选例子中，分类网络可以采用Resnet-101网络的后半部分，此时，对应的共享网络可以采用Resnet-101网络前部分(残差模块conv4_10之前)；该分类网络除了最后一层全连接层的输出改为皮肤病种类数。该分类网络连接在共享网络(FeatureNet)之后，输出c维向量(c代表类别)，经过归一化操作转化为概率向量，代表每种皮肤病的可能性，通过归一化(例如：softmax)操作使分类结果转化为概率形式。

可选地，针对提取皮肤镜图像的任务，共享网络(FeatureNet)可以选择从深残余网络部分(resnet-101，直到conv4 10块)。共享网络包括一组残差模块，其中每一个残差模块由几个网络层叠加获得，其中，网络层可以包括：卷积层，批量化(BN)层和热鲁层等。在每个残差模块中引入额外的跳跃连接，以改善信息流，并在很大程度上缓解梯度消失问题。

在本公开的一个可选的实施例中，分割网络包括至少一个带孔卷积层(dilated convolution)和上采样层。带孔卷积层可以用于对初始特征执行卷积操作，获得对应待处理图像的特征图。带孔卷积使用在两个连续的卷积核值之间插入零点得到的上采样滤波器进行卷积，在相同的计算条件下，带孔卷积提供了更大的感受野。通过控制插入零点的比例值自适应地修改滤波器的感受野。这样，可以得到更高分辨率更加稠密的输出图，对于物体的边缘细节处理的更好，因而结果更加精确。

上采样层可以用于对特征图进行处理，输出与所述待处理图像相同大小的特征向量图，并基于特征向量图获得对应待处理图像中的每个像素的判别结果。该分割网络连接在共享网络(FeatureNet)之后，输出可以为c×h/8×w/8(h和w代表原图的高和宽)的得分图，经过上采样恢复到与待处理图像相同的尺寸，从而可以对每个像素都产生了一个预测，同时保留了待处理图像中的空间信息，最后在上采样的得分特征图上进行逐像素的前景、背景分类，其中，前景像素代表需分割出的部分，因此，基于前景、背景分类即可实现待处理图像的分割。

可选地，分割网络结构可以仿照deeplab-ResNet101进行构建。

在一个或多个可选实施例中，考虑到前景和背景类别之间的深度可能存在的不平衡，分割网络可以结果确定单元利用带权重的交叉熵损失函数，确定待处理图像的图像分割结果。

在一个可选例子中，带权重的交叉熵损失函数的公式如公式(2)所示：

其中，X是输入图像，yi∈{0,1},j＝|1,…,X|，j是X的单像素(pixel-wise)二进制标签，而Y+和Y-表示是否有正标记和负标记像素，权重β等于前景像素点和背景像素点的数量比值，即β＝|Y-|/|Y+|，P()是通过在输出层使用Sigmoid函数获得的。

可选地，分割网络的损失函数还可以采取其他形式，本申请实施例对此不作限定。

可选地，在本公开的一个具体示例中，待处理图像为皮肤镜检测图像；皮肤镜又称皮表透光显微镜，皮肤镜学的英文名称和同义名包括Dermatoscope、Dermoscope、Epiluminescence Microscope(ELM)、Incident light microscope、Skin surface microscope。此时，可选地，分类网络用于确定皮肤镜检测图像对应的皮肤疾病的类别；在具体检测皮肤疾病的实施例中，皮肤疾病的类别可以预先设置。例如，可以设定n个类别，输出的特征向量可以包括n+1个值，其中前n个可以分别对应一种皮肤病，最后一个对应无皮肤病。可选地，分割网络用于确定皮肤镜检测图像对应的病理区域。在皮肤镜检测图像的分割任务中，分割任务与分类任务的相关性更高，因此，分割网络结合分类网络传输的特征能更好的确定前景区域(病理区域)。

在一个或多个可选实施例中，传递网络是在完成对共享网络、分类网络和分割网络的训练之后训练得到的。

具体地，为了保证传递网络在分类网络和分割网络之间传递的特征是有用特征，需要将传递网络结合共享网络、分类网络和分割网络共同训练，以实现传递有用特征，屏蔽无用特征。

在一个或多个可选实施例中，分割网络是在完成对共享网络和分类网络的联合训练之后训练得到的。

在一个具体例子中，在训练共享网络、分类网络和分割网络时，不加特征传递模块，固定分割网络的参数权值训练网络其他部分至收敛。用分类网络此时的权值初始化分割分支(两者不同的部分随机初始化)；固定分类网络，训练网络其他部分至收敛。

图2为本公开实施例提供的处理图像的方法的示意流程图。如图2所示，该实施例方法应用于神经网络系统，神经网络系统包括共享网络、分类网络、分割网络和传递网络。

该实施例方法包括：

步骤201，通过共享网络对待处理图像进行特征提取，得到待处理图像的初始特征。

可选地，待处理图像可以是皮肤检测图像，例如皮肤镜图片，或者也可以是其他类型的图像，本申请实施例对此不做限定。由于图像分类任务和分割任务是两个相关的任务，特别是皮肤病图像的分类和分割之间的相关度特别高，本实施例通过共享网络将既能应用于分类网络、也能应用于分割网络的特征提取出来作为初始特征，通过初始特征的提取，提高了图像处理的效率。可选地，初始特征可能包括细节特征和/或边缘特征，但本申请实施例对初始特征的具体实现不做限定。

步骤202，基于传递网络将分类网络和分割网络中网络层输出的信息相互传递。

具体地，传递网络可以在分类网络和分割网络之间传递特征，也就是说，上述信息可以包括特征。例如，传递网络可以向分类网络传递分割网络在图像分割过程中得到的一个或多个特征，或者向分割网络传递分类网络在分类过程中得到的一个或多个特征，本公开实施例对此不做限定。

可选地，传递网络可以向分类网络和分割网络中的一方传递另一方包括的一个或多个网络层输出的特征。其中，传递的特征所属的网络层以及传递的特征类型可以通过对神经网络系统进行训练得到，本申请实施例对此不做限定。

步骤203，利用分类网络，基于初始特征和传递网络传递的信息，对待处理图像进行分类处理，得到待处理图像的分类结果。

步骤204，利用分割网络，基于初始特征和传递网络传递的信息，对待处理图像进行图像分割处理，得到待处理图像的图像分割结果。

其中操作203和操作204之间不存在先后顺序，可以先执行操作203再执行操作204，或先执行操作204再执行操作203，或同时执行操作203和操作203。

基于本公开上述实施例提供的一种处理图像的方法，通过共享网络对待处理图像提取初始特征，该初始特征为分类网络和分割网络共同需要的特征，通过共享网络一次提取，避免了重复提取特征，提高了图像处理的效率；分别通过分类网络和分割网络输出待处理图像的分类结果和图像分割结果，实现了通过一个网络同时完成对图像的分类和分割；通过传递网络在分类网络和分割网络之间传递信息，充分利用了分类网络与分割网络之间的关联性，将分类网络中对于分割网络有用的特征传递给分割网络，将分割网络中对分类网络有用的特征传递给分类网络，使获得传递后的特征更具有表征力信息，提高了当前任务的效果。

在一个或多个可选实施例中，操作202具体可以包括：

基于传递网络在分类网络的第一网络层和分割网络的第二网络层之间传递信息。

其中，第一网络层为分类网络中的一个网络层，第二网络层为分割网络中的一个网络层，而具体第一网络层和第二网络层分别为分类网络和分割网络的第几层可以由具体任务对象和训练决定，本申请实施例对其具体实现不做限定。

传递网络在接收到分类网络和分割网络中的一方输入的信息之后，可以向另一方传递该信息。其中，应理解，本公开实施例中的向另一方传递该信息可以指直接将该信息传递至另一方，或者也可以指将该信息进行处理之后传递至另一方，本申请实施例对此不做限定。

作为可选实施例，传递网络可以在两个或两个以上的第一网络层和两个或两个以上的第二网络层之间传递信息，并且第一网络层的数量和第二网络层的数量不一定相等，可以存在多个第一网络层对应一个第二网络层，或一个第一网络层对应多个第二网络层的情况。

在一个或多个可选实施例中，基于传递网络在分类网络的第一网络层和分割网络的第二网络层之间传递信息，包括：

将来源于第一网络层的第一特征传递至第二网络层，并将来源于第二网络层的第二特征传递至第一网络层，其中，第一特征被分割网络用于确定待处理图像的图像分割结果，第二特征被分类网络用于确定待处理图像的分类结果。

此时，可选地，分割网络可以基于共享网络输入的初始特征和传递网络传递的第一特征，对待处理图像进行图像分割处理。例如，分割网络可以将第一特征与分割网络中的原有特征进行融合处理，得到融合特征，并基于该融合特征得到图像分割结果。

类似可选地，分类网络可以基于共享网络输入的初始特征和传递网络传递的第二特征，对待处理图像进行分类处理。例如，分类网络可以将第二特征与分类网络中的原有特征进行融合处理，得到融合特征，并基于该融合特征得到分类结果。

在一个或多个可选实施例中，传递网络可以包括门限函数层，用于控制分类网络和分割网络之间的信息传递。例如，门限函数层可以控制第一网络层和第二网络层之间的特征传递。

可选地，在分类网络和分割网络中的一方输入到传递网络的特征中，只有对另一方有用的特征才会被传递到另一方，例如，第一特征是对图像分割任务有用的特征，而第二特征是对于图像分类任务有用的特征。这样，通过将一个网络分支(分类网络或分割网络)对另一个网络分支(分割网络或分类网络)有用的特征被筛选并加入到另一个网络分支中，另一个网络分支将接收的有用的特征与原有特征融合得到的特征能更好的表征图像，并对当前任务产生正面的影响，即能够同时增强分类和分割的效果。

可选地，门限函数层可以根据特征是否满足特定条件，来确定是否传递该特征。作为一个例子，门限函数层可以响应于第一特征满足第一预设条件，确定将第一特征传递至所述第二网络层。作为另一个例子，门限函数层可以响应于第二特征满足第二预设条件，确定将第二特征传递至所述第一网络层。其中，可选地，第一预设条件和/或第二预设条件可以是通过对神经网络系统的训练获得的，对应不同任务，经过训练可以获得不同的预设条件，本申请实施例对该第一预设条件和/或第二预设条件的具体实现不做限定。

这样，只有满足第一预设条件的特征被认为是有用的特征并被传递至第二网络层，并且只有满足第一预设条件的特征被认为是有用的特征并被传递至第一网络层。

可选地，门限函数层可以基于门限函数，控制分类网络和分割网络之间的信息传递。

在至少一个可选实施例中，将第一网络层得到的第一特征传递至第二网络层，并将第二网络层得到的第二特征传递至第一网络层，包括：

对第一网络层输出的特征执行卷积操作，获得对应于第二网络层输出特征的第一中间特征；对第二网络层输出的特征执行卷积操作，获得对应于第一网络层输出特征的第二中间特征。

具体地，通过卷积层的卷积操作可以将第一网络层输出的特征的大小与第二网络层输出的特征的维度进行统一，以便于后续将两个网络的特征进行融合，具体地，特征的维度可以包括特征图的长度和宽度；通过卷积操作可以将特征图进行缩放实现两个特征维度的统一。

对第一中间特征进行类型转换得到第一特征，对第二中间特征进行类型转换得到第二特征。

具体地，类型转换是通过激活函数实现的，激活函数可以采用Sigmoid函数或其他类型的激活函数实现。由于分类网络和分割网络对应不同的任务，因此，需要激活函数将传递的图像特征进行转换。

基于门限函数控制第一网络层和第二网络层之间的信息传递。

门限函数可以使得信息通过率在0到1之间，这些门限函数是可学习的，因此信息传递率可由响应特定视觉模式的门限函数过滤器控制并适用于个体样本。借助传递网络，分类(分割)网络的特征通过门限函数传递给分割(分类)网络，传递过来的特征与当前网络分支的特征融合可以得到更具有表征力的信息，因而能提高当前任务效果。

在一个或多个可选实施例中，操作203包括：

对分类网络中位于第一网络层的前一网络层输入的信息进行处理，得到第一原始输出特征；前一网络层输入的信息基于初始特征获得；

融合第二特征和第一原始输出特征，得到融合特征；基于融合特征，得到待处理图像的分类结果。

具体地，可以对分类网络中其他层的输入信息(例如输入特征)进行处理，得到第一原始输出特征，即在未考虑传递网络传递的信息的情况下得到的特征。可选地，该前一网络层输入的信息可以是分类网络中该第一网络层的前一网络层输出的特征，可选地，如果该第一网络层是分类网络的第一层，则该前一网络层输入的信息也可以是共享网络输出的初始特征，但本申请实施例对此不做限定。融合模块可以融合第一原始输出特征和第二特征，得到融合特征，并输出该融合特征。这样，在接收到传递网络传递的第二特征之后，第一网络层的输出由第一原始输出特征变成了融合特征，其中，该融合特征在一个或多个可选例子中，融合模块将第一原始输出特征与第二特征逐元素相加，获得融合特征。

通过逐元素相加，该实施例中元素可以包括特征值或特征向量等，将对应位置的特征相加，获得的融合特征除了体现分类网络获得的特征，还体现了分割网络中对分类任务有用的特征，实现了通过分割任务对分类任务产生正面的影响，增强了分类网络的效果。

类似地，分割网络中的第二网络层在接收到第一特征之后，也可以对该第一特征和第二网络层的原有特征进行融合处理，得到融合特征。可选地，该第二网络层对第一特征的具体处理可以与第一网络层类似，这里不再赘述。

在一个或多个可选实施例中，操作204包括：

对初始特征执行卷积操作，获得对应待处理图像的特征图；

对特征图进行处理，输出与待处理图像相同大小的特征向量图。

操作204通过分割网络实现，具体地，分割网络包括至少一个带孔卷积层(dilated convolution)和上采样层。带孔卷积层可以用于对初始特征执行卷积操作，获得对应待处理图像的特征图。带孔卷积使用在两个连续的卷积核值之间插入零点得到的上采样滤波器进行卷积，在相同的计算条件下，带孔卷积提供了更大的感受野。通过控制插入零点的比例值自适应地修改滤波器的感受野。这样，可以得到更高分辨率更加稠密的输出图，对于物体的边缘细节处理的更好，因而结果更加精确。

上采样层可以用于对特征图进行处理，输出与所述待处理图像相同大小的特征向量图，并基于特征向量图获得对应待处理图像中的每个像素的判别结果。该分割网络连接在共享网络(FeatureNet)之后，输出可以为c×h/8×w/8(h和w代表原图的高和宽)的得分图，经过上采样恢复到与待处理图像相同的尺寸，从而可以对每个像素都产生了一个预测，同时保留了待处理图像中的空间信息，最后在上采样的得分特征图上进行逐像素的前景、背景分类，其中，前景像素代表需分割出的部分，因此，基于前景、背景分类即可实现待处理图像的分割。

可选地，分割网络结构可以仿照deeplab-ResNet101进行构建。

在一个或多个可选实施例中，考虑到前景和背景类别之间的深度可能存在的不平衡，操作204中利用带权重的交叉熵损失函数，确定待处理图像的图像分割结果。

在一个可选例子中，带权重的交叉熵损失函数的公式可以如上文公式(2)所示，但本申请实施例不限于此。

可选地，在本公开的一个具体示例中，待处理图像为皮肤镜检测图像；皮肤镜又称皮表透光显微镜，皮肤镜学的英文名称和同义名包括Dermatoscope、Dermoscope、Epiluminescence Microscope(ELM)、Incident light microscope、Skin surface microscope。

此时，可选地，操作203包括：利用分类网络，确定皮肤镜检测图像对应的皮肤疾病的类别；在具体检测皮肤疾病的实施例中，皮肤疾病的类别可以预先设置。例如，可以设定n个类别，输出的特征向量可以包括n+1个值，其中前n个可以分别对应一种皮肤病，最后一个对应无皮肤病。

可选地，操作204包括：利用分割网络，确定皮肤镜检测图像对应的病理区域。在皮肤镜检测图像的分割任务中，分割任务与分类任务的相关性更高，因此，分割网络结合分类网络传输的特征能更好的确定前景区域(病理区域)。

在一个或多个可选实施例中，在操作201之前，还包括：

基于样本数据训练共享网络、分类网络和分割网络，直至满足预设停止条件；得到训练后的共享网络、分类网络和分割网络；样本数据标注有标注分类结果和标注分割结果。

在一个具体例子中，在训练共享网络、分类网络和分割网络时，不加特征传递模块，固定分割网络的参数权值训练网络其他部分至收敛。用分类网络此时的权值初始化分割分支(两者不同的部分随机初始化)；固定分类网络，训练网络其他部分至收敛。

具体地，基于样本数据训练共享网络、分类网络和分割网络，包括：

在保持分割网络的参数固定的条件下，基于样本数据训练共享网络和分类网络；直至满足第一预设停止条件，得到训练后的共享网络和分类网络；

在保持训练后的分类网络的参数固定的条件下，基于样本数据训练训练后的共享网络与分割网络，直到满足第二预设停止条件，得到训练后的共享网络、分类网络和分割网络。

在一个或多个可选实施例中，在保持训练后的分类网络的参数固定的条件下，基于样本数据训练训练后的共享网络与分割网络，还包括：

基于训练后的分类网络中的参数对分割网络执行初始化操作。

具体地，对于分类网络和分割网络不对应部分的参数随机初始化。

对于训练网络之前，还可以对样本数据进行数据翻转和叠加高斯噪声，以获得更多和更全面的样本数据，以实现对网络更全面的训练。

在一个或多个可选实施例中，操作201之前，或操作202之前，还包括：

基于训练后的共享网络、分类网络和分割网络，结合样本数据训练传递网络。

具体地，为了保证传递网络在分类网络和分割网络之间传递的特征是有用特征，需要将传递网络结合共享网络、分类网络和分割网络共同训练，以实现传递有用特征，屏蔽无用特征。

在一个或多个可选实施例中，为了更好的训练共享网络、分类网络、分割网络和传递网络，在训练中每次迭代时，增加预设数量的附加样本数据到初始样本数据中构成样本数据。通过增加附件样本数据使网络能力得到更好的训练。具体地，附件样本数据的选择是通过计算数据库中的预存样本数据与初始样本数据之间的距离，基于距离获得预设数量的附加数据。

具体地，数据库包括至少一个预存样本数据。该数据库中还可以包括其他图像，有可能大部分图像包含强噪声，如果在数据库中随机选择预存样本数据作为附件样本数据，噪声数据将会导致网络训练的效果下降。因此，提出了一种附件样本数据的选择方法，即通过计算预存样本数据与初始样本数据之间的距离，确定哪些预存样本数据与初始样本数据类似，加入与初始样本数据类似的附加样本数据能提高网络训练效果。

在一个或多个可选的实施例中，计算数据库中的预存样本数据与初始样本数据之间的距离，基于距离获得预设数量的附加样本数据，包括：

分别计算数据库中预存样本数据与至少一个初始样本数据之间的平均距离值；

响应于平均距离值小于或等于预设值，将预存样本数据作为附加样本数据。

具体地，可以通过卷积计算预存样本数据和初始样本数据获得预存样本特征和初始样本特征，具体可采用用pretrained VGG网络实现卷积操作，基于获得的预存样本特征和初始样本特征计算每个预存样本数据与初始样本数据之间的平均距离值(例如：特征之间的余弦距离)。当平均距离值小于或预设值时，可认为该预存样本数据与初始样本数据相似，可认为该预存样本数据适用于当前任务，通过计算所有预存样本数据与初始样本数据的平均距离值，将从数据库中获得满足条件的多个预存样本数据，这些满足条件的预存样本数据可作为附加样本数据，具体地，可以将所有附加样本数据一次全部加入初始样本数据；也可以分几批将附件样本数据加入初始样本数据；还可以根据数量限制，每次迭代加入预设数量的附加样本数据。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

根据本公开实施例的一个方面，提供的一种电子设备，包括处理器，处理器包括本公开上述任一实施例的用于处理图像的神经网络系统。

根据本公开实施例的一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；

以及处理器，用于与存储器通信以执行可执行指令从而完成本公开处理图像的方法上述任一实施例。

根据本公开实施例的一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，指令被执行时执行本公开处理图像的方法上述任一实施例。

根据本公开实施例的一个方面，提供的一种计算机程序，包括计算机可读代码，当计算机可读代码在设备上运行时，该设备中的处理器执行用于实现本公开上述任一实施例处理图像的方法的指令。

在一个或多个可选实施方式中，本公开实施例还提供了一种计算机程序产品，用于存储计算机可读指令，该指令被执行时使得计算机执行上述任一可能的实现方式中处理图像的方法。

该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选例子中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选例子中，所述计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

在一个或多个可选实施方式中，本发明实施例还提供了一种处理图像的和神经网络系统、电子设备、计算机存储介质、计算机程序以及计算机程序产品，其中，该方法包括：通过共享网络对待处理图像进行特征提取，得到待处理图像的初始特征；基于传递网络将分类网络和分割网络中网络层输出的信息相互传递；利用分类网络，基于初始特征和传递网络传递的信息，对待处理图像进行分类处理，得到待处理图像的分类结果；利用分割网络，基于初始特征和传递网络传递的信息，对待处理图像进行图像分割处理，得到待处理图像的图像分割结果。

在一些实施例中，该人体关键点检测指示可以具体为调用指令，第一装置可以通过调用的方式指示第二装置执行图像的处理，相应地，响应于接收到调用指令，第二装置可以执行上述处理图像的方法中的任意实施例中的步骤和/或流程。

本公开实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图3，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备300的结构示意图：如图3所示，计算机系统300包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)301，和/或一个或多个图像处理器(GPU)313等，处理器可以根据存储在只读存储器(ROM)302中的可执行指令或者从存储部分308加载到随机访问存储器(RAM)303中的可执行指令而执行各种适当的动作和处理。通信部312可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡。

处理器可与只读存储器302和/或随机访问存储器330中通信以执行可执行指令，通过总线304与通信部312相连、并经通信部312与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，通过共享网络对待处理图像进行特征提取，得到待处理图像的初始特征；基于传递网络将分类网络和分割网络中网络层输出的信息相互传递；利用分类网络，基于初始特征和传递网络传递的信息，对待处理图像进行分类处理，得到待处理图像的分类结果；利用分割网络，基于初始特征和传递网络传递的信息，对待处理图像进行图像分割处理，得到待处理图像的图像分割结果。

此外，在RAM 303中，还可存储有装置操作所需的各种程序和数据。CPU301、ROM302以及RAM303通过总线304彼此相连。在有RAM303的情况下，ROM302为可选模块。RAM303存储可执行指令，或在运行时向ROM302中写入可执行指令，可执行指令使处理器301执行上述通信方法对应的操作。输入/输出(I/O)接口305也连接至总线304。通信部312可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。

以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。

需要说明的，如图3所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图3的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本公开公开的保护范围。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，通过共享网络对待处理图像进行特征提取，得到待处理图像的初始特征；基于传递网络将分类网络和分割网络中网络层输出的信息相互传递；利用分类网络，基于初始特征和传递网络传递的信息，对待处理图像进行分类处理，得到待处理图像的分类结果；利用分割网络，基于初始特征和传递网络传递的信息，对待处理图像进行图像分割处理，得到待处理图像的图像分割结果。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元(CPU)301执行时，执行本申请的方法中限定的上述功能。

可能以许多方式来实现本公开的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。