图像分割模型训练、图像分割方法、装置及电子设备与流程

[0001]
本公开涉及人工智能技术领域，尤其涉及一种图像分割模型训练、图像分割方法、装置及电子设备。


背景技术：

[0002]
人工智能(artificial intelligence，ai)技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。其中，利用人工智能技术进行图像分割，在视频监控、公共安全等多个领域发挥着重要的作用。
[0003]
相关技术中，由于构建训练样本的成本高，难度大，基于未知类别的词向量自动合成图片像素特征的零样本分割技术方案在业界大受欢迎。但零样本分割技术由于只有文本信息参与图像分割模型的训练，导致基于文本信息生成的参照图的相邻像素间是独立的，与现实世界中图像的分布存在差异，因此，存在分割精度低，易出错的问题。


技术实现要素：

[0004]
本公开提供一种图像分割模型训练、图像分割方法、装置及电子设备，以至少解决相关技术中分割精度低，易出错的问题。本公开的技术方案如下：根据本公开实施例的第一方面，提供一种图像分割模型训练方法，包括：确定目标类别信息对应的目标形状属性，所述目标类别信息表征训练样本和预测样本的类别信息；从预设图像集中获取与所述目标形状属性对应的目标图像；基于所述目标图像的前景信息生成所述目标类别信息对应的形状掩膜图像；基于所述形状掩膜图像，确定所述目标类别信息的目标类别特征信息；将所述目标类别特征信息输入初始生成网络进行图像合成处理，得到第一合成图像；将所述第一合成图像输入初始判别网络进行真实性判别，得到第一图像判别结果；将所述第一合成图像输入初始图像分割模型的分类网络进行图像分割，得到第一图像分割结果；基于所述第一图像判别结果、所述第一图像分割结果和所述形状掩膜图像训练所述初始图像分割模型的分类网络，得到目标图像分割模型。
[0005]
可选的，所述从预设图像集中获取与所述目标形状属性对应的目标图像包括：获取预设图像集；将所述预设图像集输入形状属性识别模型，进行形状属性识别，得到所述预设图像集的形状属性；将所述目标形状属性与所述预设图像集的形状属性进行匹配，确定所述目标图像。
[0006]
可选的，所述基于所述目标图像的前景信息生成所述目标类别信息对应的形状掩膜图像包括：对所述目标图像进行显著性区域检测，得到所述目标图像的前景信息；
确定所述前景信息的形状信息；根据所述前景信息的形状信息生成目标类别信息对应的形状掩膜图像。
[0007]
可选的，所述基于所述形状掩膜图像，确定所述目标类别信息的目标类别特征信息包括：确定所述形状掩膜图像对应的类别信息；将所述对应的类别信息输入目标词向量模型，得到所述形状掩膜图像的类别特征信息；将所述形状掩膜图像的类别特征信息作为所述目标类别信息的目标类别特征信息。
[0008]
可选的，所述基于所述第一图像判别结果、所述第一图像分割结果和所述形状掩膜图像训练所述初始图像分割模型的分类网络，得到目标图像分割模型包括：利用所述第一图像判别结果和所述第一合成图像的真实性标签计算第一判别损失；利用所述第一图像分割结果和所述形状掩膜图像计算第一分割损失；根据所述第一判别损失和所述第一分割损失，确定第一目标损失；在所述第一目标损失不满足第一预设条件的情况下，更新所述初始图像分割模型的分类网络、所述初始生成网络和所述初始判别网络中的网络参数；基于更新后初始图像分割模型的分类网络、初始生成网络和初始判别网络更新所述第一目标损失，至所述第一目标损失满足所述第一预设条件，将当前的初始图像分割模型作为所述目标图像分割模型。
[0009]
可选的，所述方法还包括：获取所述训练样本和所述训练样本的训练类别特征信息；将所述训练样本输入待训练分割模型的特征提取网络进行特征提取，得到分割特征图像；将所述训练类别特征信息输入待训练生成网络进行图像合成处理，得到第二合成图像；将所述第二合成图像和所述分割特征图像输入所述待训练分割模型的分类网络，分别进行图像分割，得到所述第二合成图像对应的第二图像分割结果和所述分割特征图像对应的第三图像分割结果；将所述分割特征图像和所述第二合成图像输入待训练判别网络，分别进行真实性判别，得到所述分割特征图像对应的第二图像判别结果和所述第二合成图像对应的第三图像判别结果；基于所述第二合成图像、所述分割特征图像、所述第二图像分割结果、所述第三图像分割结果、所述训练类别特征信息、所述第二图像判别结果和所述第三图像判别结果训练所述待训练分割模型、所述待训练生成网络和所述待训练判别网络，得到所述初始图像分割模型、所述初始生成网络和所述初始判别网络。
[0010]
可选的，所述基于所述第二合成图像、所述分割特征图像、所述第二图像分割结果、所述第三图像分割结果、所述训练类别特征信息、所述第二图像判别结果和所述第三图像判别结果训练所述待训练分割模型、所述待训练生成网络和所述待训练判别网络，得到所述初始图像分割模型、所述初始生成网络和所述初始判别网络包括：利用所述第二合成图像和所述分割特征图像计算内容损失；
利用所述第二图像分割结果、所述第三图像分割结果和所述训练类别特征信息，计算第二分割损失；利用所述第二图像判别结果和所述第三图像判别结果计算第二判别损失；根据所述内容损失、所述第二判别损失和所述第二分割损失，确定第二目标损失；在所述第二目标损失不满足第二预设条件的情况下，更新所述待训练分割模型、所述待训练生成网络和所述待训练判别网络中的网络参数；基于更新后待训练分割模型、待训练生成网络和待训练判别网络更新所述第二目标损失，至所述第二目标损失满足所述第二预设条件，将当前的待训练分割模型作为初始图像分割模型，将当前的待训练生成网络作为所述初始生成网络，将当前的待训练判别网络作为所述初始判别网络。
[0011]
根据本公开实施例的第二方面，提供一种图像分割模型训练装置，包括：目标形状属性确定模块，被配置为执行确定目标类别信息对应的目标形状属性，所述目标类别信息表征训练样本和预测样本的类别信息；目标图像获取模块，被配置为执行从预设图像集中获取与所述目标形状属性对应的目标图像；形状掩膜图像生成模块，被配置为执行基于所述目标图像的前景信息生成所述目标类别信息对应的形状掩膜图像；目标类别特征信息确定模块，被配置为执行基于所述形状掩膜图像，确定所述目标类别信息的目标类别特征信息；第一图像合成处理模块，被配置为执行将所述目标类别特征信息输入初始生成网络进行图像合成处理，得到第一合成图像；第一真实性判别模块，被配置为执行将所述第一合成图像输入初始判别网络进行真实性判别，得到第一图像判别结果；第一图像分割模块，被配置为执行将所述第一合成图像输入初始图像分割模型的分类网络进行图像分割，得到第一图像分割结果；模型训练模块，被配置为执行基于所述第一图像判别结果、所述第一图像分割结果和所述形状掩膜图像训练所述初始图像分割模型的分类网络，得到目标图像分割模型。
[0012]
可选的，所述目标图像获取模块包括：预设图像集获取单元，被配置为执行获取预设图像集；形状属性识别单元，被配置为执行将所述预设图像集输入形状属性识别模型，进行形状属性识别，得到所述预设图像集的形状属性；形状属性匹单元，被配置为执行将所述目标形状属性与所述预设图像集的形状属性进行匹配，确定所述目标图像。
[0013]
可选的，所述形状掩膜图像生成模块包括：显著性区域检测单元，被配置为执行对所述目标图像进行显著性区域检测，得到所述目标图像的前景信息；形状信息确定单元，被配置为执行确定所述前景信息的形状信息；形状掩膜图像生成单元，被配置为执行根据所述前景信息的形状信息生成目标类别信息对应的形状掩膜图像。
[0014]
可选的，所述目标类别特征信息确定模块包括：类别信息确定单元，被配置为执行确定所述形状掩膜图像对应的类别信息；类别特征信息获取单元，被配置为执行将所述对应的类别信息输入目标词向量模型，得到所述形状掩膜图像的类别特征信息；目标类别特征信息确定单元，被配置为执行将所述形状掩膜图像的类别特征信息作为所述目标类别信息的目标类别特征信息。
[0015]
可选的，所述模型训练模块包括：第一判别损失计算单元，被配置为执行利用所述第一图像判别结果和所述第一合成图像的真实性标签计算第一判别损失；第一分割损失计算单元，被配置为执行利用所述第一图像分割结果和所述形状掩膜图像计算第一分割损失；第一目标损失确定单元，被配置为执行根据所述第一判别损失和所述第一分割损失，确定第一目标损失；第一网络参数更新单元，被配置为执行在所述第一目标损失不满足第一预设条件的情况下，更新所述初始图像分割模型的分类网络、所述初始生成网络和所述初始判别网络中的网络参数；目标图像分割模型确定单元，被配置为执行基于更新后初始图像分割模型的分类网络、初始生成网络和初始判别网络更新所述第一目标损失，至所述第一目标损失满足所述第一预设条件，将当前的初始图像分割模型作为所述目标图像分割模型。
[0016]
可选的，所述装置还包括：数据获取模块，被配置为执行获取所述训练样本和所述训练样本的训练类别特征信息；特征提取模块，被配置为执行将所述训练样本输入待训练分割模型的特征提取网络进行特征提取，得到分割特征图像；第二图像合成处理模块，被配置为执行将所述训练类别特征信息输入待训练生成网络进行图像合成处理，得到第二合成图像；第二图像分割模块，被配置为执行将所述第二合成图像和所述分割特征图像输入所述待训练分割模型的分类网络，分别进行图像分割，得到所述第二合成图像对应的第二图像分割结果和所述分割特征图像对应的第三图像分割结果；第二真实性判别模块，被配置为执行将所述分割特征图像和所述第二合成图像输入待训练判别网络，分别进行真实性判别，得到所述分割特征图像对应的第二图像判别结果和所述第二合成图像对应的第三图像判别结果；初始模型训练模块，被配置为执行基于所述第二合成图像、所述分割特征图像、所述第二图像分割结果、所述第三图像分割结果、所述训练类别特征信息、所述第二图像判别结果和所述第三图像判别结果训练所述待训练分割模型、所述待训练生成网络和所述待训练判别网络，得到所述初始图像分割模型、所述初始生成网络和所述初始判别网络。
[0017]
可选的，所述初始模型训练模块包括：内容损失计算单元，被配置为执行利用所述第二合成图像和所述分割特征图像计算内容损失；
第二分割损失计算单元，被配置为执行利用所述第二图像分割结果、所述第三图像分割结果和所述训练类别特征信息，计算第二分割损失；第二判别损失计算单元，被配置为执行利用所述第二图像判别结果和所述第三图像判别结果计算第二判别损失；第二目标损失确定单元，被配置为执行根据所述内容损失、所述第二判别损失和所述第二分割损失，确定第二目标损失；第二网络参数更单元，被配置为执行在所述第二目标损失不满足第二预设条件的情况下，更新所述待训练分割模型、所述待训练生成网络和所述待训练判别网络中的网络参数；初始模型确定单元，被配置为执行基于更新后待训练分割模型、待训练生成网络和待训练判别网络更新所述第二目标损失，至所述第二目标损失满足所述第二预设条件，将当前的待训练分割模型作为初始图像分割模型，将当前的待训练生成网络作为所述初始生成网络，将当前的待训练判别网络作为所述初始判别网络。
[0018]
根据本公开实施例的第三方面，提供一种图像分割方法，包括：获取待分割图像；将所述待分割图像输入上述第一方面中任一项所述的图像分割模型训练方法训练得到的目标图像分割模型，对所述待分割图像进行图像分割，得到目标分割图像。
[0019]
根据本公开实施例的第四方面，提供一种图像分割装置，包括：待分割图像获取模块，被配置为执行获取待分割图像；第三图像分割模块，被配置为执行将所述待分割图像输入上述第一方面中任一项所述的图像分割模型训练方法训练得到的目标图像分割模型，对所述待分割图像进行图像分割，得到目标分割图像。
[0020]
根据本公开实施例的第五方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述第一方面或第三方面中任一项所述的方法。
[0021]
根据本公开实施例的第六方面，提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例的第一方面或第三方面中任一所述的方法。
[0022]
根据本公开实施例的第七方面，提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例的第一方面或第三方面中任一所述的方法。
[0023]
本公开的实施例提供的技术方案至少带来以下有益效果：通过获取与目标类别信息对应的目标形状属性相匹配的目标图像，并结合目标图像的前景信息来生成可以作为参照图的形状掩膜图像，有效提升了参照图中相邻像素点之间的联系，进而结合该形状掩膜图像来生成目标类别特征信息，可以通过相邻像素点之间的联系更好的优化初始图像分割模型的分类网络，提升训练出的目标图像分割模型的分割精度。
[0024]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0025]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
[0026]
图1是根据一示例性实施例示出的一种应用环境的示意图。
[0027]
图2是根据一示例性实施例示出的一种图像分割模型训练方法的流程图；图3是根据一示例性实施例示出的一种从预设图像集中获取与目标形状属性对应的目标图像方法的流程图；图4是根据一示例性实施例示出的一种基于目标图像的前景信息生成目标类别信息对应的形状掩膜图像方法的流程图；图5是根据一示例性实施例示出的一种基于形状掩膜图像，确定目标类别信息的目标类别特征信息方法的流程图；图6是根据一示例性实施例示出的一种图像分割模型预训练方法的流程图；图7是根据一示例性实施例示出的一种图像分割方法的流程图；图8是根据一示例性实施例示出的一种图像分割模型训练装置框图；图9是根据一示例性实施例示出的一种图像分割装置框图；图10是根据一示例性实施例示出的一种用于图像分割模型训练或用于图像分割的电子设备的框图；图11是根据一示例性实施例示出的一种用于图像分割模型训练或用于图像分割的电子设备的框图。
具体实施方式
[0028]
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
[0029]
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0030]
请参阅图1，图1是根据一示例性实施例示出的一种应用环境的示意图，如图1所示，该应用环境可以包括服务器01和终端02。
[0031]
在一个可选的实施例中，服务器01可以用于训练可以进行图像分割的目标图像分割模型。具体的，服务器01可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn（content delivery network，内容分发网络）、以及大数据和人工智能平台等基础云计算服务的云服务器。
[0032]
在一个可选的实施例中，终端02可以结合服务器01训练出的图像分割模型进行图像分割处理。具体的，终端02可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality，ar)/虚拟现实(virtual reality，
vr)设备、智能可穿戴设备等类型的电子设备。可选的，电子设备上运行的操作系统可以包括但不限于安卓系统、ios系统、linux、windows等。
[0033]
此外，需要说明的是，图1所示的仅仅是本公开提供的一种应用环境，在实际应用中，还可以包括其他应用环境，例如目标图像分割模型的训练，也可以在终端02上实现。
[0034]
本说明书实施例中，上述服务器01以及终端02可以通过有线或无线通信方式进行直接或间接地连接，本公开在此不做限制。
[0035]
图2是根据一示例性实施例示出的一种图像分割模型训练方法的流程图，如图2所示，图像分割模型训练方法可以应用于服务器、终端、边缘计算节点等电子设备中，包括以下步骤。
[0036]
在步骤s201中，确定目标类别信息对应的目标形状属性。
[0037]
在一个可选的实施例中，可以结合训练好的目标图像分割模型的应用领域，选取该应用领域的涉及的类别信息作为目标类别信息。在一个具体的实施例中，目标类别信息表征训练样本和预测样本的类别信息；在一个具体的实施例中，训练样本可以包括大量用于训练目标图像分割模型的训练图像；预测样本可以包括大量未参与目标图像分割模型训练，且属于训练好的目标图像分割模型可分割（需要预测）的图像，即零样本。一般的，可以将训练样本的类别信息作为已知类别，预测样本的类别信息作为未知类别。
[0038]
本说明书实施例中，在训练时，虽然没有获取预测样本，但可以结合实际应用需求，获取实际应用中目标图像分割模型需要分割的图像的类别信息作为预测样本的类别信息。
[0039]
在一个具体的实施例中，类别信息可以为大量图像（即训练样本或预测样本）中包含的分割对象的类别，例如一张图像中包括猫（分割对象），相应的，该图像的类别信息为猫。
[0040]
在实际应用中，苹果是球形的、台式电脑主机是长方体的，某一类别的分割对象往往具有一定的形状属性；相应的，每一类别信息会对应着一个形状属性。在一个具体的实施例中，形状属性可以包括但不限于长方形、球形、立体形、星形、圆柱形、月牙形等。
[0041]
本说明书实施例中，在获取目标类别信息之后，可以确定该目标类别信息对应的目标形状属性。相应的，目标形状属性可以包括目标类别信息中类别信息对应的形状属性。
[0042]
在步骤s203中，从预设图像集中获取与目标形状属性对应的目标图像。
[0043]
在一个可选的实施例中，如图3所示，从预设图像集中获取与目标形状属性对应的目标图像可以包括如下步骤：在步骤s301中，获取预设图像集。
[0044]
在一个具体实施例中，预设图像集可以包括多种类别（类别信息）的图像，不同的类别可以对应相同的形状属性，也可以对应相同的形状属性。例如苹果和橘子对应的形状属性均为球形；而苹果和香蕉对应的形状属性分别为球形和月牙形。在一个可选的实施例中，预设图像集可以为imagenet（一个用于视觉对象识别软件研究的大型可视化数据库）中的大量图像。
[0045]
在步骤s303中，将预设图像集输入形状属性识别模型，进行形状属性识别，得到预设图像集的形状属性。
[0046]
在一个具体的实施例中，可以以具有形状属性标注的图像为训练数据，对第一预
设深度学习模型进行训练，得到可以进行形状属性识别的形状属性识别模型。相应的，将预设图像集输入该形状属性识别模型，进行形状属性识别，可以得到预设图像集中每一图像的形状属性。
[0047]
可选的，第一预设深度学习模型可以包括但不限于卷积神经网络、逻辑回归神经网络、递归神经网络等深度学习模型。
[0048]
在步骤s305中，将目标形状属性与预设图像集的形状属性进行匹配，确定目标图像。
[0049]
在一个具体的实施例中，可以将预设图像中形状属性与目标形状属性相同的图像作为目标图像。可选的，当形状属性与某一类别信息对应的目标形状属性相同的图像有多个时，可以多个图像中随机选取一个图像作为目标图像。
[0050]
上述实施例中，将与目标类别信息对应的目标形状属性相匹配的目标图像来作为初始图像分割模型的训练数据，可以解决零样本学习过程中缺失符合现实世界图像分布的参照图的问题，提升后续生成的参照图中相邻像素点之间的联系。
[0051]
在步骤s205中，基于目标图像的前景信息生成目标类别信息对应的形状掩膜图像。
[0052]
在一个具体的实施例中，如图4所示，基于目标图像的前景信息生成目标类别信息对应的形状掩膜图像可以包括如下步骤：在步骤s401中，对目标图像进行显著性区域检测，得到目标图像的前景信息；在步骤s403中，确定前景信息的形状信息；在步骤s405中，根据前景信息的形状信息生成目标类别信息对应的形状掩膜图像。
[0053]
本说明书实施例中，目标图像的前景信息可以为目标图像中的分割对象所在区域（即显著性区域）的图像信息。在一个可选的实施例中，可以预先基于标注有前景信息的图像为训练数据，对第二预设深度学习模型进行训练，得到可以进行显著性区域检测的显著性区域检测模型。相应的，将目标图像输入该显著性区域检测模型进行显著性区域检测，可以得到目标图像的前景信息。进而可以确定前景信息的形状信息；根据前景信息的形状信息生成目标类别信息对应的形状掩膜图像。具体的，形状掩膜图像的形状信息与上述前景信息的形状信息一致，可选的，该形状掩膜图像的颜色可以为白色。
[0054]
在一个具体的实施例中，形状信息可以包括形状属性和形状尺寸。
[0055]
可选的，第二预设深度学习模型可以包括但不限于卷积神经网络、逻辑回归神经网络、递归神经网络等深度学习模型。
[0056]
上述实施例中，结合目标图像的前景信息来生成可以作为参照图的形状掩膜图像，有效提升了参照图中相邻像素点之间的联系，进而保证后续可以更好的优化模型的分类器。
[0057]
在步骤s207中，基于形状掩膜图像，确定目标类别信息的目标类别特征信息。
[0058]
在一个具体的实施例中，如图5所示，基于形状掩膜图像，确定目标类别信息的目标类别特征信息包括以下步骤：在步骤s501中，确定形状掩膜图像对应的类别信息；在步骤s503中，将对应的类别信息输入目标词向量模型，得到形状掩膜图像的类别特征信息；
networks，生成式对抗网络）中生成器。将训练类别特征信息输入待训练生成网络进行图像合成处理，可以得到第二合成图像。
[0071]
s607：将第二合成图像和分割特征图像输入待训练分割模型的分类网络，分别进行图像分割，得到第二合成图像对应的第二图像分割结果和分割特征图像对应的第三图像分割结果。
[0072]
本说明书实施例中，第二合成图像可以包括训练样本中每一训练图像对应的合成图像，相应的，这里每一合成图像对应的第二图像分割结果可以表征该合成图像的预测类别特征信息；可选的，分割特征图像可以包括训练样本中每一训练图像对应的图像特征信息；相应的，这里每一图像特征信息对应的第三图像分割结果可以表征该图像特征信息的预测类别特征信息。
[0073]
s609：将分割特征图像和第二合成图像输入待训练判别网络，分别进行真实性判别，得到分割特征图像对应的第二图像判别结果和第二合成图像对应的第三图像判别结果。
[0074]
在一个可选的实施例中，待训练判别网络可以为gan中判别器。本说明书实施例中，分割特征图像对应的第二图像判别结果可以表征分割特征图像为真实图像的预测概率；第二合成图像对应的第三图像判别结果可以表征第二合成图像为真实图像的预测概率。本说明书实施例中，真实图像可以为非合成的图像。
[0075]
s611：基于第二合成图像、分割特征图像、第二图像分割结果、第三图像分割结果、训练类别特征信息、第二图像判别结果和第三图像判别结果训练待训练分割模型、待训练生成网络和待训练判别网络，得到初始图像分割模型、初始生成网络和初始判别网络。
[0076]
在一个具体的实施例中，上述基于第二合成图像、分割特征图像、第二图像分割结果、第三图像分割结果、训练类别特征信息、第二图像判别结果和第三图像判别结果训练待训练分割模型、待训练生成网络和待训练判别网络，得到初始图像分割模型、初始生成网络和初始判别网络可以包括：利用第二合成图像和分割特征图像计算内容损失；利用第二图像分割结果、第三图像分割结果和训练类别特征信息，计算第二分割损失；利用第二图像判别结果和第三图像判别结果计算第二判别损失；根据内容损失、第二判别损失和第二分割损失，确定第二目标损失；在第二目标损失不满足第二预设条件的情况下，更新待训练分割模型、待训练生成网络和待训练判别网络中的网络参数；基于更新后待训练分割模型、待训练生成网络和待训练判别网络更新第二目标损失，至第二目标损失满足第二预设条件，将当前的待训练分割模型作为初始图像分割模型，将当前的待训练生成网络作为初始生成网络，将当前的待训练判别网络作为初始判别网络。
[0077]
在一个具体的实施例中，内容损失可以反映待训练生成网络生成的第二合成图像与分割特征图间的差异。在一个具体的实施例中，内容损失可以为训练样本中训练图像对应的第二合成图像和分割特征图像间的相似距离。在一个可选的实施例中，第二合成图像和分割特征图像间的相似距离可以包括但不限于第二合成图像和分割特征图像间的余弦距离、欧式距离、曼哈顿距离。在一个可选的实施例中，内容损失的数值的大小与第二合成图像与分割特征图间的差异大小成正比，相应的，内容损失的数值的越小，训练得到的初始
生成网络的性能越高。
[0078]
在一个具体的实施例中，利用第二图像分割结果、第三图像分割结果和训练类别特征信息，计算第二分割损失可以包括基于预设损失函数计算第二图像分割结果与训练类别特征信息间的第一分割子损失，以及计算第三图像分割结果与训练类别特征信息间的第二分割子损失，将第一分割子损失和第二分割子损失进行加权，得到上述第二分割损失。第一分割子损失和第二分割子损失的权重可以结合实际应用需求进行设置。
[0079]
具体的，第一分割子损失可以表征第二合成图像每个像素点与训练类别特征信息每个像素点间的差异；第二分割子损失可以表征分割特征图像每个像素点与训练类别特征信息每个像素点间的差异。
[0080]
在一个具体的实施例中，利用第二图像判别结果和第三图像判别结果计算第二判别损失可以包括基于预设损失函数计算第二图像判别结果与分割特征图像对应的真实性标签间的第一判别子损失，以及计算第三图像判别结果与第二合成图像对应的真实性标签间的第二判别子损失。将第一判别子损失和第二判别子损失进行加权，得到上述第二判别损失。第一判别子损失和第二判别子损失的权重可以结合实际应用需求进行设置。
[0081]
具体的，第一判别子损失可以表征第二图像判别结果与分割特征图像对应的真实性标签间间差异；第二判别子损失可以表征第三图像判别结果与第二合成图像对应的真实性标签间差异。
[0082]
在一个可选的实施例中，由于分割特征图像是真实图像，相应的，分割特征图像对应的真实性标签可以为1（1表征真实图像）；由于第二合成图像是合成图，不是真实图像；相应的，第二合成图像对应的真实性标签可以为0（0表征非真实图像，即合成图像）；本说明书实施例中，预设损失函数可以包括但不限于交叉熵损失函数、逻辑损失函数、hinge（铰链）损失函数、指数损失函数等，本说明书实施例并不以上述为限。且用于计算判别损失和分割损失的损失函数可以相同，也可以不同。
[0083]
在一个具体的实施例中，在得到内容损失、第二分割损失和第二判别损失之后，可以对内容损失、第二分割损失和第二判别损失进行加权计算，得到第二目标损失。具体的，内容损失、第二分割损失和第二判别损失的权重可以结合实际应用需求进行设置。
[0084]
在一个可选的实施例中，第二目标损失满足第二预设条件可以为第二目标损失小于等于指定阈值，或前后两次训练过程中对应的第二目标损失与上一次训练学习后对应的第二目标损失间的差值小于一定阈值。本说明书实施例中，指定阈值和一定阈值可以为结合实际训练需求进行设置。
[0085]
在实际应用中，在模型训练的多次迭代过程中，每次会随机的从训练样本中选取部分训练样本来参与本次的训练。相应的，基于更新后待训练分割模型、待训练生成网络和待训练判别网络更新第二目标损失可以包括随机的从训练样本中选取部分训练样本和这部门训练样本的训练类别特征信息，并结合更新后的待训练分割模型、待训练生成网络和待训练判别网络重复上述步骤s603-s611中确定第二目标损失的步骤。
[0086]
上述实施例中，通过结合训练样本进行预训练，可以大大提升了初始图像分割模型中特征提取网络对训练样本的特征映射能力，且结合内容损失、第二分割损失和第二判别损失来确定第二目标损失，可以提高训练好的初始生成网络所生成的合成图像与真实训练样本间的相似性，进而提升训练出的初始图像分割模型的分割精度。
[0087]
在一个可选的实施例中，初始生成网络可以为基于训练样本的训练类别特征信息对gan中生成器进行预训练后得到的。本说明书实施例中，将目标类别特征信息输入初始生成网络进行图像合成处理，得到第一合成图像。
[0088]
在步骤s211中，将第一合成图像输入初始判别网络进行真实性判别，得到第一图像判别结果。
[0089]
在一个可选的实施例中，初始判别网络可以为基于训练样本和训练样本的训练类别特征信息对gan中判别器进行预训练后得到的。
[0090]
本说明书实施例中，第一合成图像可以包括训练样本中每一训练图像或预测样本中每一图像对应的合成图像，相应的，这里每一合成图像的第一图像判别结果可以表征该合成图像是否为真实的训练图像或是否为真实的预测样本中图像的预测概率。
[0091]
在步骤s213中，将第一合成图像输入初始图像分割模型的分类网络进行图像分割，得到第一图像分割结果。
[0092]
在一个可选的实施例中，初始图像分割模型为基于训练样本和训练样本的训练类别特征信息对待训练分割模型进行预训练得到的。
[0093]
可选的，将第一合成图像输入初始图像分割模型的分类网络进行图像分割，可以得到第一图像分割结果。可选的，第一合成图像对应的第一图像分割结果可以表征第一合成图像的预测类别特征信息。
[0094]
在步骤s215中，基于第一图像判别结果、第一图像分割结果和形状掩膜图像训练初始图像分割模型的分类网络，得到目标图像分割模型。
[0095]
在一个具体的实施例中，基于第一图像判别结果、第一图像分割结果和形状掩膜图像训练初始图像分割模型的分类网络，得到目标图像分割模型可以包括：利用第一图像判别结果和第一合成图像的真实性标签计算第一判别损失；利用第一图像分割结果和形状掩膜图像计算第一分割损失；根据第一判别损失和第一分割损失，确定第一目标损失；在第一目标损失不满足第一预设条件的情况下，更新初始图像分割模型的分类网络、初始生成网络和初始判别网络中的网络参数；基于更新后初始图像分割模型的分类网络、初始生成网络和初始判别网络更新第一目标损失，至第一目标损失满足第一预设条件，将当前的初始图像分割模型作为目标图像分割模型。
[0096]
在一个具体的实施例中，利用第一图像判别结果和第一合成图像的真实性标签计算第一判别损失可以包括基于预设损失函数计算第一图像判别结果与第一合成图像的真实性标签间的判别损失，将该判别损失作为第一判别损失。具体的，第一判别损失可以表征第一图像判别结果与第一合成图像对应的真实性标签间差异。
[0097]
在一个可选的实施例中，由于第一合成图像是合成图，不是真实图像；相应的，第一合成图像对应的真实性标签可以为0（0表征非真实图像，即合成图像）在一个具体的实施例中，利用第一图像分割结果和形状掩膜图像计算第一分割损失可以包括基于预设损失函数计算第一图像分割结果和形状掩膜图像间的分割损失，将该分割损失作为上述第一分割损失。第一分割损失可以表征一合成图像每个像素点与目标类型特征信息每个像素点间的差异。
[0098]
本说明书实施例中，上述预设损失函数可以包括但不限于交叉熵损失函数、逻辑损失函数、hinge（铰链）损失函数、指数损失函数等，本说明书实施例并不以上述为限。且用于计算判别损失和分割损失的损失函数可以相同，也可以不同。
[0099]
在一个具体的实施例中，在得到第一分割损失和第一判别损失，可以对第一分割损失和第一判别损失进行加权计算，得到第一目标损失。具体的，第一分割损失和第一判别损失的权重可以结合实际应用需求进行设置。
[0100]
在一个可选的实施例中，第一目标损失满足第一预设条件可以为输入第一目标损失小于等于指定阈值，或前后两次训练过程中对应的第一目标损失与上一次训练学习后对应的第一目标损失间的差值小于一定阈值。本说明书实施例中，指定阈值和一定阈值可以为结合实际训练需求进行设置。
[0101]
在实际应用中，在模型训练的多次迭代过程中，每次会随机的从目标类别信息中选取部分类别信息来参与本次的训练，可选的，以较大概率随机出未知类别，较小的概率随机出已知类别。相应的，基于更新后初始图像分割模型的分类网络、初始生成网络和初始判别网络更新第一目标损失的具体细化可以参见上述基于更新后待训练分割模型、待训练生成网络和待训练判别网络更新第二目标损失的相关细化步骤，在此不再赘述。
[0102]
上述实施例中，结合第一图像分割结果和形状掩膜图像息确定的第一分割损失，以及第一图像判别结果和第一合成图像的真实性标签确定的第二判别损失，来确定第一目标损失，可以在有效保证初始生成网络所生成的第一合成图像与真实样本（训练样本或预测样本）的相似性的基础上，更好的训练初始图像分割模型的分类网络，大大提升零样本分割的精度。
[0103]
由以上本说明书实施例提供的技术方案可见，本说明书通过获取与目标类别信息对应的目标形状属性相匹配的目标图像，并结合目标图像的前景信息来生成可以作为参照图的形状掩膜图像，有效提升了参照图中相邻像素点之间的联系，进而结合该形状掩膜图像来生成目标类别特征信息，可以通过相邻像素点之间的联系更好的优化初始图像分割模型的分类网络，提升训练出的目标图像分割模型的分割精度。
[0104]
基于上述图像分割模型训练方法的实施例，以下介绍本公开一种图像分割方法的实施例中，图7是根据一示例性实施例示出的一种图像分割方法的流程图，参照图7，该方法可以应用于服务器、终端、边缘计算节点等电子设备中，包括以下步骤。
[0105]
在步骤s701中，获取待分割图像；在步骤s703中，将待分割图像输入上述图像分割模型训练方法训练得到的目标图像分割模型，对待分割图像进行图像分割，得到目标分割图像。
[0106]
本说明书实施例中，待分割图像可以为需要进行分割的图像，具体的，待分割图像可以包含目标分割对象。相应的，目标分割图像可以为待分割图像中目标分割对象所在区域的图像。
[0107]
上述实施例中，在目标图像分割模型训练过程中，通过过引入类别信息的形状属性可以充分利用相邻像素点的联系（图像像素点一般成块或者成形状的属于某特定类别），来优化初始图像分割模型的分类网络，进而在基于该目标图像分割模型进行图像分割时，可以大大提升分割精度，降低出错率。
[0108]
图8是根据一示例性实施例示出的一种图像分割模型训练装置框图。参照图8，该
装置包括：目标形状属性确定模块810，被配置为执行确定目标类别信息对应的目标形状属性，目标类别信息表征训练样本和预测样本的类别信息；目标图像获取模块820，被配置为执行从预设图像集中获取与目标形状属性对应的目标图像；形状掩膜图像生成模块830，被配置为执行基于目标图像的前景信息生成目标类别信息对应的形状掩膜图像；目标类别特征信息确定模块840，被配置为执行基于形状掩膜图像，确定目标类别信息的目标类别特征信息；第一图像合成处理模块850，被配置为执行将目标类别特征信息输入初始生成网络进行图像合成处理，得到第一合成图像；第一真实性判别模块860，被配置为执行将第一合成图像输入初始判别网络进行真实性判别，得到第一图像判别结果；第一图像分割模块870，被配置为执行将第一合成图像输入初始图像分割模型的分类网络进行图像分割，得到第一图像分割结果；模型训练模块880，被配置为执行基于第一图像判别结果、第一图像分割结果和形状掩膜图像训练初始图像分割模型的分类网络，得到目标图像分割模型。
[0109]
可选的，目标图像获取模块820包括：预设图像集获取单元，被配置为执行获取预设图像集；形状属性识别单元，被配置为执行将预设图像集输入形状属性识别模型，进行形状属性识别，得到预设图像集的形状属性；形状属性匹单元，被配置为执行将目标形状属性与预设图像集的形状属性进行匹配，确定目标图像。
[0110]
可选的，形状掩膜图像生成模块830包括：显著性区域检测单元，被配置为执行对目标图像进行显著性区域检测，得到目标图像的前景信息；形状信息确定单元，被配置为执行确定前景信息的形状信息；形状掩膜图像生成单元，被配置为执行根据前景信息的形状信息生成目标类别信息对应的形状掩膜图像。
[0111]
可选的，目标类别特征信息确定模块840包括：类别信息确定单元，被配置为执行确定形状掩膜图像对应的类别信息；类别特征信息获取单元，被配置为执行将对应的类别信息输入目标词向量模型，得到形状掩膜图像的类别特征信息；目标类别特征信息确定单元，被配置为执行将形状掩膜图像的类别特征信息作为目标类别信息的目标类别特征信息。
[0112]
可选的，模型训练模块880包括：第一判别损失计算单元，被配置为执行利用第一图像判别结果和第一合成图像的真实性标签计算第一判别损失；第一分割损失计算单元，被配置为执行利用第一图像分割结果和形状掩膜图像计算第
一分割损失；第一目标损失确定单元，被配置为执行根据第一判别损失和第一分割损失，确定第一目标损失；第一网络参数更新单元，被配置为执行在第一目标损失不满足第一预设条件的情况下，更新初始图像分割模型的分类网络、初始生成网络和初始判别网络中的网络参数；目标图像分割模型确定单元，被配置为执行基于更新后初始图像分割模型的分类网络、初始生成网络和初始判别网络更新第一目标损失，至第一目标损失满足第一预设条件，将当前的初始图像分割模型作为目标图像分割模型。
[0113]
可选的，上述装置还包括：数据获取模块，被配置为执行获取训练样本和训练样本的训练类别特征信息；特征提取模块，被配置为执行将训练样本输入待训练分割模型的特征提取网络进行特征提取，得到分割特征图像；第二图像合成处理模块，被配置为执行将训练类别特征信息输入待训练生成网络进行图像合成处理，得到第二合成图像；第二图像分割模块，被配置为执行将第二合成图像和分割特征图像输入待训练分割模型的分类网络，分别进行图像分割，得到第二合成图像对应的第二图像分割结果和分割特征图像对应的第三图像分割结果；第二真实性判别模块，被配置为执行将分割特征图像和第二合成图像输入待训练判别网络，分别进行真实性判别，得到分割特征图像对应的第二图像判别结果和第二合成图像对应的第三图像判别结果；初始模型训练模块，被配置为执行基于第二合成图像、分割特征图像、第二图像分割结果、第三图像分割结果、训练类别特征信息、第二图像判别结果和第三图像判别结果训练待训练分割模型、待训练生成网络和待训练判别网络，得到初始图像分割模型、初始生成网络和初始判别网络。
[0114]
可选的，初始模型训练模块包括：内容损失计算单元，被配置为执行利用第二合成图像和分割特征图像计算内容损失；第二分割损失计算单元，被配置为执行利用第二图像分割结果、第三图像分割结果和训练类别特征信息，计算第二分割损失；第二判别损失计算单元，被配置为执行利用第二图像判别结果和第三图像判别结果计算第二判别损失；第二目标损失确定单元，被配置为执行根据内容损失、第二判别损失和第二分割损失，确定第二目标损失；第二网络参数更单元，被配置为执行在第二目标损失不满足第二预设条件的情况下，更新待训练分割模型、待训练生成网络和待训练判别网络中的网络参数；初始模型确定单元，被配置为执行基于更新后待训练分割模型、待训练生成网络和待训练判别网络更新第二目标损失，至第二目标损失满足第二预设条件，将当前的待训练分割模型作为初始图像分割模型，将当前的待训练生成网络作为初始生成网络，将当前的待训练判别网络作为初始判别网络。
[0115]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法
的实施例中进行了详细描述，此处将不做详细阐述说明。
[0116]
图9是根据一示例性实施例示出的一种图像分割装置框图。参照图9，该装置包括：待分割图像获取模块910，被配置为执行获取待分割图像；第三图像分割模块920，被配置为执行将待分割图像输入上述图像分割模型训练方法训练得到的目标图像分割模型，对待分割图像进行图像分割，得到目标分割图像。
[0117]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0118]
图10是根据一示例性实施例示出的一种用于图像分割模型训练或用于图像分割的电子设备的框图，该电子设备可以是终端，其内部结构图可以如图10所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像分割模型训练或图像分割的方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0119]
图11是根据一示例性实施例示出的一种用于图像分割模型训练或用于图像分割的电子设备的框图，该电子设备可以是服务器，其内部结构图可以如图11所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像分割模型训练或图像分割的方法。
[0120]
本领域技术人员可以理解，图10和图11中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0121]
在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本公开实施例中的图像分割模型训练或图像分割方法。
[0122]
在示例性实施例中，还提供了一种存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的图像分割模型训练或图像分割方法。
[0123]
在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例中的图像分割模型训练或图像分割方法。
[0124]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申
请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom (prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0125]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0126]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。