多模态边缘实体图像转换方法、装置、计算机设备和介质与流程

本申请涉及图像生成术领域，特别是涉及一种多模态边缘实体图像转换方法、装置、计算机设备和介质。

背景技术：

在图像生成与转换应用中，有时需要根据素描边缘图像生成实体图像，例如，根据手工绘制的包或者是鞋子的边缘轮廓，转换为实体场景对应的包或者是鞋子等。

在传统方式中，通常一种素描边缘图像仅能一个实体图像，从而使得输出的实体图像较为单一，缺乏多样性。

技术实现要素：

基于此，有必要针对上述技术问题，提供一种能够提升生成的实体图像的多样性的多模态边缘实体图像转换方法、装置、计算机设备和介质。

一种多模态边缘实体图像转换方法，所述方法包括：

获取终端设备采集的素描边缘图像；

将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像，多个实体图像中各实体图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实体图像以及对应各不同内容模态的实体图像的生成参数确定。

在其中一个实施例中，将素描边缘图像输入多模态条件生成对抗网络之前，还包括：

对素描边缘图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的素描边缘图像；

将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像，包括：

将图像尺寸归一化处理后的素描边缘图像输入多模态条件生成对抗网络，输出对应尺寸归一化处理后的素描边缘图像的多个实体图像。

在其中一个实施例中，将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像，包括：

通过多模态条件生成对抗网络中的编码器对素描边缘图像进行特征提取，生成对应素描边缘图像的特征图；

通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应素描边缘图像的多个实体图像。

在其中一个实施例中，通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应素描边缘图像的多个实体图像，包括：

通过生成器配置多个不同的生成参数，并根据各生成参数以及特征图，生成对应素描边缘图像的多个实体图像。

在其中一个实施例中，多模态条件生成对抗网络的生成方式包括：

获取训练集图像；

将训练集图像输入构建的初始多模态条件生成对抗网络，并基于确定的各生成参数，生成对应的各预测实体图像；

根据各预测实体图像以及训练集图像，生成对应各预测实体图像的各图像集；

将各图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果；

基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。

在其中一个实施例中，根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练之后，还包括：

存储每一次迭代训练的初始多模态条件生成对抗网络以及对应的训练指标值；

得到训练完成的多模态条件生成对抗网络，包括：

确定对应最高的训练指标值的初始多模态条件生成对抗网络中为训练完成的多模态条件生成对抗网络。

在其中一个实施例中，基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，生成训练完成的多模态条件生成对抗网络，包括：

根据各鉴别结果，计算初始多模态条件生成对抗网络的损失值，并基于损失值对初始多模态条件生成对抗网络的网络参数进行第一调整，得到第一调整后的初始多模态条件生成对抗网络；

根据各鉴别结果为真的预测实体图像以及对应的各生成参数，基于预设的调控函数确定各预测实体图像之间的差异指标，并基于各差异指标对初始多模态条件生成对抗网络的网络参数进行第二调整，得到第二调整后的初始多模态条件生成对抗网络；

根据预设的迭代次数，对第一调整以及第二调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。

一种多模态边缘实体图像转换装置，所述装置包括：

初始图像获取模块，用于获取素描边缘图像；

多模态实体图像生成模块，用于将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像，多个实体图像中各实体图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实体图像以及对应各不同内容模态的实体图像的生成参数确定。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例中所述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例中所述的方法的步骤。

上述多模态边缘实体图像转换方法、装置、计算机设备和存储介质，通过获取素描边缘图像，并将素描边缘图像输入多模态条件生成对抗网络，输出对应所述素描边缘图像的多个实体图像，多个实体图像中各实体图像的内容模态不同，且多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实体图像以及对应各不同内容模态的实体图像的生成参数确定。由于多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，且预设的调控函数根据各不同内容模态的实体图像以及对应各不同内容模态的实体图像的生成参数确定，从而在根据多模态条件生成对抗网络生成实体图像的时候，可以提升生成的实体图像的多样性。

附图说明

图1为一个实施例中多模态边缘实体图像转换方法的应用场景图；

图2为一个实施例中多模态边缘实体图像转换方法的流程示意图；

图3为另一个实施例中多模态边缘实体图像转换步骤的流程示意图；

图4为一个实施例中生成多个实体图像步骤的流程示意图；

图5为一个实施例中网络迭代训练步骤的流程示意图；

图6为一个实施例中多模态边缘实体图像转换装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的多模态边缘实体图像转换方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102可以采集素描边缘图像，并通过网络发送至服务器104。服务器104在接收到素描边缘图像后，可以将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像。其中，多个实体图像中各实体图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实体图像以及对应各不同内容模态的实体图像的生成参数确定。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种多模态边缘实体图像转换方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤s202，获取终端设备采集的素描边缘图像。

其中，素描边缘图像是指仅包括物体外形边缘轮廓的图像，素描边缘图像可以如图3中条件图像所示。在本实施例中，素描边缘图像中可以包括多个对象，例如，可以包括素描的包或者是鞋子等。

在本实施例中，服务器获取的终端设备采集的素描边缘图像可以是用户通过终端设备绘制的素描边缘图像，或者也可以是通过终端设备采集的实体图像，并通过其他图像转换软件等转换得到的素描边缘图像。

步骤s204，将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像，多个实体图像中各实体图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实体图像以及对应各不同内容模态的实体图像的生成参数确定。

在本实施例中，服务器在获取到素描边缘图像后，可以将获取的素描边缘图像输入预先训练完成的多模态条件生成对抗网络，以通过多模态条件生成对抗网络输出对应不同内容模态的多个实体图像。

继续参考图3，服务器通过多模态条件生成对抗网络生成的多个实体图像如301和302所示，多个实体图像内容模态不同，其色彩、像素差等存在不同。

在本实施例中，多模态条件生成对抗网络可以基于预设的调控函数确定的差异指标训练生成，预设的调控函数可以入公式(1)所示。

其中，g(e(x)，z1)为对应生成参数z1输出的实体图像，g(e(x)，z2)为对应生成参数z2输出的实体图像。在本实施例中，服务器在对多模态条件生成对抗网络进行训练的时候，使得调控函数确定的差异指标的数值尽可能大，即使得输出实体图像g(e(x)，z1)和g(e(x)，z2)差异性尽可能大，以使得通过训练后的多模态条件生成对抗网络可以生成差异性较大的多个实体图像。

上述多模态边缘实体图像转换方法中，通过获取素描边缘图像，并将素描边缘图像输入多模态条件生成对抗网络，输出对应所述素描边缘图像的多个实体图像，多个实体图像中各实体图像的内容模态不同，且多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实体图像以及对应各不同内容模态的实体图像的生成参数确定。由于多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，且预设的调控函数根据各不同内容模态的实体图像以及对应各不同内容模态的实体图像的生成参数确定，从而在根据多模态条件生成对抗网络生成实体图像的时候，可以提升生成的实体图像的多样性。

在其中一个实施例中，将素描边缘图像输入多模态条件生成对抗网络之前，还可以包括：对素描边缘图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的素描边缘图像。

具体地，不同的终端采集到的初始赌徒图像的尺寸可能不一致，从而，服务器获取到的素描边缘图像的尺寸不一致。

在本实施例中，服务器在接收到素描边缘图像后，可以对素描边缘图像进行预处理，例如，进行图像尺寸的归一化处理，将素描边缘图像的图像调整至同一尺寸，以使得图像尺寸归一化处理后的素描边缘图像符合多模态条件生成对抗网络的输入要求。

具体地，服务器对素描边缘图像进行图像尺寸归一化处理可以是先确定素描边缘图像的长宽比例是否与预设尺寸的长宽比例一致，若不一致，则通过预设像素图像对素描边缘图像进行填充，填充至与预设尺寸的长宽比例一致，并缩放至预设尺寸，得到预设尺寸的素描边缘图像，若一致，则将素描边缘图像缩放至预设尺寸，得到预设尺寸的素描边缘图像。

例如，预设尺寸长*宽为256*256，从终端获取的素描边缘图像的尺寸为255*256，则服务器可以通过预设像素图像，例如0像素，对素描边缘图像的长进行填充，填充至256*256，同理，当素描边缘图像的尺寸为256*255时，服务器可以通过0像素对素描边缘图像的宽进行填充，填充至256*256。

可选地，当服务器获取到的素描边缘图像的尺寸为512*510，则可以通过0像素将素描边缘图像填充至512*512，使其与预设尺寸的长宽比例一致，然后缩小至256*256，使其与预设尺寸一致；或者，素描边缘图像尺寸为128*123，则可以通过0像素将预设图像填充至128*128，使其与预设尺寸的长宽比例一致，然后放大至256*256，使其与预设尺寸一致。

在其他实施例中，服务器还可以对素描边缘图像进行图像亮度调整、图像转正处理等，使得处理后的素描边缘图像。

在本实施例中，将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像，可以包括：将图像尺寸归一化处理后的素描边缘图像输入多模态条件生成对抗网络，输出对应尺寸归一化处理后的素描边缘图像的多个实体图像。

具体地，服务器在得到图像尺寸归一化处理后的素描边缘图像后，可以将图像尺寸归一化处理后的素描边缘图像输入多模态条件生成对抗网络，以通过多模态条件生成对抗网络生成对应尺寸归一化处理后的素描边缘图像的多个实体图像。

上述实施例中，通过对素描边缘图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的素描边缘图像，然后输入至多模态条件生成对抗网络并输出对应的实体图像，可以提升多模态条件生成对抗网络生成的实体图像的准确性。

在其中一个实施例中，参考图4，服务器将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像，可以包括：

步骤s402，通过多模态条件生成对抗网络中的编码器对素描边缘图像进行特征提取，生成对应素描边缘图像的特征图。

在本实施例中，多模态条件生成对抗网络可以包括编码器以及对应的生成器(或者解码器)，服务器将始图像输入多模态条件生成对抗网络后，可以通过多模态条件生成对抗网络的编码器对素描边缘图像进行特征提取，以得到对应素描边缘图像的特征图。

在本实施例中，编码器可以包括多层卷积层，各卷积层的尺寸以及通道数量各不相同，例如，可以包括8层卷积层，其中，第一卷积层至第八卷积层尺寸较小，通道数量逐渐增加。具体地，第一卷积层通道数量为64通道，第二卷积层通道数量为128通道，第三卷积层通道数量为512通道，第四卷积层通道数量为512通道，第五卷积层通道数量为512通道，第六卷积层通道数量为512通道，第七卷积层通道数量为512通道，第八卷积层通道数量为512通道。

步骤s404，通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应素描边缘图像的多个实体图像。

其中，生成器可以包括多层网络结构，例如，可以是包括跳跃连接的生成器，或者是通用的生成器等。

在一个实施例中，包括跳跃连接的生成器可以包括多层卷积层、多层dropout层以及tann层，具体可以是第一层为512通道的卷积层，随后依次为dropout层、1024通道的卷积层、dropout层、1024通道的卷积层、dropout层、1024通道的卷积层、1024通道的卷积层1024通道的卷积层、512通道的卷积层、125通道的卷积层、3通道的卷积层以及tann层。

在另一个实施例中，通用的生成年期可以包括多层卷积层，例如，包括64通道的卷积层、128通道的卷积层、256通道的卷积层以及多层512通道的卷积层组成。

在本实施例中，服务器可以将编码器生成的特征图输入生成器，以进行解码转换，得到对应素描边缘图像的实体图像。

本领域技术人员可以理解的是，上述对编码器以及生成器结构的说明仅是举例说明，在其他实施例中，也可以是其他的结构，本申请对此不作限制。

在其中一个实施例中，通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应素描边缘图像的多个实体图像，可以包括：通过生成器配置多个不同的生成参数，并根据各生成参数以及特征图，生成对应素描边缘图像的多个实体图像。

具体地，继续参考图3，服务器在生成特征图后，服务器从正态分布n(0,1)中取两个不相等的生成参数，即潜向量z1和z2，并从编码器和生成器之间的潜空间输入。

在本实施例中，生成器根据各生成参数以及特征图，生成对应素描边缘图像的多个实体图像，即分别基于z1和z2，生成对应的实景地图数据g(e(x)，z1)和g(e(x)，z2)。

上述实施例中，通过配置不同的生成参数，并基于特征图，生成对应素描边缘图像的多个实体图像，可以使得生成的实体图像各不相同。

在其中一个实施例中，多模态条件生成对抗网络的生成方式可以包括：获取训练集图像；将训练集图像输入构建的初始多模态条件生成对抗网络，并基于确定的各生成参数，生成对应的各预测实体图像；根据各预测实体图像以及训练集图像，生成对应各预测图像的各图像集；将各图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果；基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。

在本实施例中，服务器获取一批配对的二维平面地图以及卫星地图图像，并将二维平面地图作为训练集图像。

进一步，服务器从正态分布n(0,1)中随机取两个不相等的生成参数，即潜向量z1和z2，并从编码器和生成器之间的潜空间输入初始多模态条件生成对抗网络。

进一步，服务器通过初始多模态条件生成对抗网络对训练集图像进行特征提取，并基于各生成参数以及特征提取得到的特征图，生成对应的各测试地图图像。

进一步，服务器将测试地图图像以及训练集图像生成图像集，并将各图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果。

在本实施例中，当鉴别器输出的鉴别结果为假时，则服务器可以根据得到的测试地图图像以及对应二维平面地图的卫星地图图像，计算损失值，以基于计算的损失值更新初始多模态条件生成对抗网络的网络参数。

进一步，服务器根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，直至鉴别器输出的鉴别结果为真，以得到训练完成的多模态条件生成对抗网络。

上述实施例中，通过生成图像进行真伪鉴别，并输出对应的各鉴别结果，然后基于鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，可以使得得到的初始多模态条件生成对抗网络更加准确，提升生成的实体图像的准确性。

在其中一个实施例中，根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练之后，还可以包括：存储每一次迭代训练的初始多模态条件生成对抗网络以及对应的训练指标值。

在本实施例中，服务器在进行模型训练的时候，或者在对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练之后，可以对应存储每一次迭代训练的初始多模态条件生成对抗网络以及对应的训练指标值。

其中，训练指标值是指示初始多模态条件生成对抗网络的完成度以及完成情况与效果的指标值，具体可以是一个指标等级或者是分值。

在其他实施例中，服务器也可以存储每一次迭代训练的初始多模态条件生成对抗网络的网络参数以及训练指标值，本申请对此不作限制。

在本实施例中，得到训练完成的多模态条件生成对抗网络，可以包括：确定对应最高的训练指标值的初始多模态条件生成对抗网络中为训练完成的多模态条件生成对抗网络。

具体地，服务器在完成预设的迭代次数的网络训练后，可以根据每一次迭代训练的训练指标值，对各训练指标值进行排序，并在排序后确定训练指标值最高的初始多模态条件生成对抗网络中为训练完成的多模态条件生成对抗网络，并用于后续的测试应用。

上述实施例中，通过存储每一次迭代训练后的初始多模态条件生成对抗网络以及对应的训练指标值，并选取指标值最高的初始多模态条件生成对抗网络作为最终的训练完成的多模态条件生成对抗网络，可以使得最终确定的多模态条件生成对抗网络为训练效果最好的网络，可以提升网络预测的准确性。

在其中一个实施例中，参考图5，服务器基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，生成训练完成的多模态条件生成对抗网络，可以包括：

步骤s502，根据各鉴别结果，计算初始多模态条件生成对抗网络的损失值，并基于损失值对初始多模态条件生成对抗网络的网络参数进行第一调整，得到第一调整后的初始多模态条件生成对抗网络。

具体地，服务器在得到鉴别结果后，可以对鉴别结果为真或者是假进行判定。在本实施例中，当服务器确定鉴别器输出的鉴别结果为假时，则服务器可以根据得到的测试地图图像以及对应二维平面地图的卫星地图图像，计算损失值，以基于计算的损失值对初始多模态条件生成对抗网络的网络参数进行第一调整。

在本实施例中，损失值可以通过不同的损失函数进行计算，例如，交叉熵损失函数、二分类损失函数、多分类损失函数等，对此不作限制。

步骤s504，根据各鉴别结果为真的预测实体图像以及对应的各生成参数，基于预设的调控函数确定各预测实体图像之间的差异指标，并基于各差异指标对初始多模态条件生成对抗网络的网络参数进行第二调整，得到第二调整后的初始多模态条件生成对抗网络。

在本实施例中，服务器还可以根据不同的生成参数生成的预测实体图像以及对应的各生成参数，通过预设的调控函数计算各预测实体图像之间的差异指标。

在本实施例中，调控函数可以参照前文公式(1)所示，此处不再赘述。

在本实施例中，服务器为了使得基于训练的多模态条件生成对抗网络输出的多个实体图像之间的差异尽可能的大，服务器可以根据计算得到的差异指标对初始多模态条件生成对抗网络的网络参数进行第二调整，以得到第二调整后的初始多模态条件生成对抗网络。

步骤s506，根据预设的迭代次数，对第一调整以及第二调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。

在本实施例中，服务器对第一调整以及第二调整后的初始多模态条件生成对抗网络进行预设迭代次数的迭代训练，以得到训练完成的多模态条件生成对抗网络。

上述实施例中，通过分别计算损失值以及差异指标，并分别对初始多模态条件生成对抗网络进行调整并进行迭代，可以提升训练的准确性，可以提升最终得到的多模态条件生成对抗网络预测的准确性。

在本实施例中，多模态条件生成对抗网络以及鉴别器可以通过交叉迭代训练的方式进行训练。具体地，通过如下方式进行交叉迭代训练：一个一代的多模态条件生成对抗网络，能生成一些很差的图像，然后一个一代的鉴别器能准确的把多模态条件生成对抗网络生成的图片和真实的图片进行分类，简而言之，鉴别器是一个二分类器，对多模态条件生成对抗网络生成的图像输出0，对真实的图像输出1。进一步，服务器基于鉴别器的鉴别结果开始训练出二代的多模态条件生成对抗网络，二代的多模态条件生成对抗网络能生成稍好一点的图像，能够让一代的鉴别器认为这些生成的图像是真实的图形。然后服务器会训练出一个二代的鉴别器，它能准确的识别出真实的图像以及二代的多模态条件生成对抗网络生成的图像。以此类推，会有三代，四代…n代的多模态条件生成对抗网络和鉴别器。最后，最终的鉴别器将无法分辨出多模态条件生成对抗网络生成的图像和真实图像，从而训练完成。

应该理解的是，虽然图2、图4和图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图4和图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种多模态边缘实体图像转换装置，包括：初始图像获取模块100和多模态实体图像生成模块200，其中：

初始图像获取模块100，用于获取素描边缘图像。

多模态实体图像生成模块200，用于将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像，多个实体图像中各实体图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实体图像以及对应各不同内容模态的实体图像的生成参数确定。

在其中一个实施例中，上述装置还可以包括：

归一化处理模块，用于在多模态实体图像生成模块200将素描边缘图像输入多模态条件生成对抗网络之前，对素描边缘图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的素描边缘图像。

在本实施例中，多模态实体图像生成模块200用于将图像尺寸归一化处理后的素描边缘图像输入多模态条件生成对抗网络，输出对应尺寸归一化处理后的素描边缘图像的多个实体图像。

在其中一个实施例中，多模态实体图像生成模块200可以包括：

特征提取子模块，用于通过多模态条件生成对抗网络中的编码器对素描边缘图像进行特征提取，生成对应素描边缘图像的特征图。

解码转换子模块，用于通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应素描边缘图像的多个实体图像。

在其中一个实施例中，解码转换子模块用于通过生成器配置多个不同的生成参数，并根据各生成参数以及特征图，生成对应素描边缘图像的多个实体图像。

在其中一个实施例中，上述装置还可以包括：

训练模块，用于训练多模态条件生成对抗网络。

在本实施例中，训练模块可以包括：

训练集图像获取子模块，用于获取训练集图像。

预测实体图像生成子模块，用于将训练集图像输入构建的初始多模态条件生成对抗网络，并基于确定的各生成参数，生成对应的各预测实体图像。

图像集生成子模块，用于根据各预测实体图像以及训练集图像，生成对应各预测实体图像的各图像集。

鉴别子模块，用于将各图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果。

迭代训练子模块，用于基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。

在其中一个实施例中，上述装置还可以包括：

存储模块，用于在迭代训练子模块根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练之后，存储每一次迭代训练的初始多模态条件生成对抗网络以及对应的训练指标值。

在本实施例中，迭代训练子模块可以确定对应最高的训练指标值的初始多模态条件生成对抗网络中为训练完成的多模态条件生成对抗网络。

在其中一个实施例中，迭代训练子模块可以包括：

第一调整单元，用于根据各鉴别结果，计算初始多模态条件生成对抗网络的损失值，并基于损失值对初始多模态条件生成对抗网络的网络参数进行第一调整，得到第一调整后的初始多模态条件生成对抗网络。

第二调整单元，用于根据各鉴别结果为真的预测实体图像以及对应的各生成参数，基于预设的调控函数确定各预测实体图像之间的差异指标，并基于各差异指标对初始多模态条件生成对抗网络的网络参数进行第二调整，得到第二调整后的初始多模态条件生成对抗网络。

迭代单元，用于根据预设的迭代次数，对第一调整以及第二调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。

关于多模态边缘实体图像转换装置的具体限定可以参见上文中对于多模态边缘实体图像转换方法的限定，在此不再赘述。上述多模态边缘实体图像转换装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储素描边缘图像以及生成的实体图像等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多模态边缘实体图像转换方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取素描边缘图像；将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像，多个实体图像中各实体图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实体图像以及对应各不同内容模态的实体图像的生成参数确定。

在其中一个实施例中，处理器执行计算机程序时实现将素描边缘图像输入多模态条件生成对抗网络之前，还可以实现以下步骤：对素描边缘图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的素描边缘图像。

在本实施例中，处理器执行计算机程序时实现将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像，可以包括：将图像尺寸归一化处理后的素描边缘图像输入多模态条件生成对抗网络，输出对应尺寸归一化处理后的素描边缘图像的多个实体图像。

在其中一个实施例中，处理器执行计算机程序时实现将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像，可以包括：通过多模态条件生成对抗网络中的编码器对素描边缘图像进行特征提取，生成对应素描边缘图像的特征图；通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应素描边缘图像的多个实体图像。

在其中一个实施例中，处理器执行计算机程序时实现通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应素描边缘图像的多个实体图像，可以包括：通过生成器配置多个不同的生成参数，并根据各生成参数以及特征图，生成对应素描边缘图像的多个实体图像。

在其中一个实施例中，处理器执行计算机程序时实现多模态条件生成对抗网络的生成方式可以包括：获取训练集图像；将训练集图像输入构建的初始多模态条件生成对抗网络，并基于确定的各生成参数，生成对应的各预测实体图像；根据各预测实体图像以及训练集图像，生成对应各预测实体图像的各图像集；将各图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果；基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。

在其中一个实施例中，处理器执行计算机程序时实现根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练之后，还可以实现以下步骤：存储每一次迭代训练的初始多模态条件生成对抗网络以及对应的训练指标值。

在本实施例中，处理器执行计算机程序时实现得到训练完成的多模态条件生成对抗网络，可以包括：确定对应最高的训练指标值的初始多模态条件生成对抗网络中为训练完成的多模态条件生成对抗网络。

在其中一个实施例中，处理器执行计算机程序时实现基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，生成训练完成的多模态条件生成对抗网络，可以包括：根据各鉴别结果，计算初始多模态条件生成对抗网络的损失值，并基于损失值对初始多模态条件生成对抗网络的网络参数进行第一调整，得到第一调整后的初始多模态条件生成对抗网络；根据各鉴别结果为真的预测实体图像以及对应的各生成参数，基于预设的调控函数确定各预测实体图像之间的差异指标，并基于各差异指标对初始多模态条件生成对抗网络的网络参数进行第二调整，得到第二调整后的初始多模态条件生成对抗网络；根据预设的迭代次数，对第一调整以及第二调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取素描边缘图像；将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像，多个实体图像中各实体图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实体图像以及对应各不同内容模态的实体图像的生成参数确定。

在其中一个实施例中，计算机程序被处理器执行时实现将素描边缘图像输入多模态条件生成对抗网络之前，还可以实现以下步骤：对素描边缘图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的素描边缘图像。

在本实施例中，计算机程序被处理器执行时实现将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像，可以包括：将图像尺寸归一化处理后的素描边缘图像输入多模态条件生成对抗网络，输出对应尺寸归一化处理后的素描边缘图像的多个实体图像。

在其中一个实施例中，计算机程序被处理器执行时实现将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像，可以包括：通过多模态条件生成对抗网络中的编码器对素描边缘图像进行特征提取，生成对应素描边缘图像的特征图；通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应素描边缘图像的多个实体图像。

在其中一个实施例中，计算机程序被处理器执行时实现通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应素描边缘图像的多个实体图像，可以包括：通过生成器配置多个不同的生成参数，并根据各生成参数以及特征图，生成对应素描边缘图像的多个实体图像。

在其中一个实施例中，计算机程序被处理器执行时实现多模态条件生成对抗网络的生成方式可以包括：获取训练集图像；将训练集图像输入构建的初始多模态条件生成对抗网络，并基于确定的各生成参数，生成对应的各预测实体图像；根据各预测实体图像以及训练集图像，生成对应各预测实体图像的各图像集；将各图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果；基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。

在其中一个实施例中，计算机程序被处理器执行时实现根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练之后，还可以实现以下步骤：存储每一次迭代训练的初始多模态条件生成对抗网络以及对应的训练指标值。

在本实施例中，计算机程序被处理器执行时实现得到训练完成的多模态条件生成对抗网络，可以包括：确定对应最高的训练指标值的初始多模态条件生成对抗网络中为训练完成的多模态条件生成对抗网络。

在其中一个实施例中，计算机程序被处理器执行时实现基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，生成训练完成的多模态条件生成对抗网络，可以包括：根据各鉴别结果，计算初始多模态条件生成对抗网络的损失值，并基于损失值对初始多模态条件生成对抗网络的网络参数进行第一调整，得到第一调整后的初始多模态条件生成对抗网络；根据各鉴别结果为真的预测图像以及对应的各生成参数，基于预设的调控函数确定各预测实体图像之间的差异指标，并基于各差异指标对初始多模态条件生成对抗网络的网络参数进行第二调整，得到第二调整后的初始多模态条件生成对抗网络；根据预设的迭代次数，对第一调整以及第二调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。