一种图像生成方法及装置与流程

本文件涉及图像处理，尤其涉及一种图像生成方法及装置。

背景技术：

1、随着人们对自己的隐私数据越来越重视，在需要大量图像的应用场景中大范围获取图像已不可能实现，通常只能得到少数有限的图像样本。基于此，文生图大模型的应用越来越广泛。文生图大模型旨在按照文本信息生成逼真且多样性的图像，当前，文生图大模型技术已取得显著进步，通过文生图大模型能够根据文本提示信息生成符合用户需求的高质量图像。

2、相关技术中，可以采用模型微调的方式进行图像生成，即在少量图像样本上进行微调泛化处理，从而实现基于小样本的图像生成，当小样本发生变更后需要再次进行模型微调，并需要存储每次微调处理后的模型。因此，需要提供一种模型复用较高、无需微调且能够快速泛化到小样本上的更优的图像生成方法。

技术实现思路

1、一方面，本说明书一个或多个实施例提供一种图像生成方法，包括：获取目标主体的前景图像以及所述目标主体所在的待确定的目标图像的文本描述信息，所述目标图像中包括所述目标主体的前景图像和背景图像；从所述目标主体的前景图像中分别提取所述目标主体的类别表征信息和风格表征信息；将所述目标主体的类别表征信息和风格表征信息输入预先训练的前景控制模型中，得到所述目标主体的前景控制信息，所述前景控制模型是用于对所述目标主体的类别表征信息进行重构采样处理以确定对应的风格表征信息的模型；通过扩散模型，根据所述目标图像的文本描述信息和前景控制信息，并通过对所述目标主体的前景图像添加噪声信息的方式，确定所述目标主体对应的目标图像。

2、另一方面，本说明书一个或多个实施例提供一种图像生成方法，包括：获取目标主体的前景图像以及所述目标主体所在的待确定的目标图像的文本描述信息，所述目标图像中包括所述目标主体的前景图像和背景图像；基于图像生成模型中的类别表征子模型，从所述目标主体的前景图像中提取所述目标主体的类别表征信息，并基于图像生成模型中的风格表征子模型，从所述目标主体的前景图像中提取所述目标主体的风格表征信息；将所述目标主体的类别表征信息和风格表征信息输入图像生成模型中的前景控制子模型中，得到所述目标主体的前景控制信息，所述前景控制子模型是用于对所述目标主体的类别表征信息进行重构采样处理以确定对应的风格表征信息的模型；通过图像生成模型中的扩散子模型，根据所述目标图像的文本描述信息和前景控制信息，并通过对所述目标主体的前景图像添加噪声信息的方式，确定所述目标主体对应的目标图像。

3、再一方面，本说明书一个或多个实施例提供一种图像生成装置，包括：信息获取模块，获取目标主体的前景图像以及所述目标主体所在的待确定的目标图像的文本描述信息，所述目标图像中包括所述目标主体的前景图像和背景图像；表征信息提取模块，从所述目标主体的前景图像中分别提取所述目标主体的类别表征信息和风格表征信息；前景控制信息确定模块，将所述目标主体的类别表征信息和风格表征信息输入预先训练的前景控制模型中，得到所述目标主体的前景控制信息，所述前景控制模型是用于对所述目标主体的类别表征信息进行重构采样处理以确定对应的风格表征信息的模型；扩散模块，通过扩散模型，根据所述目标图像的文本描述信息和前景控制信息，并通过对所述目标主体的前景图像添加噪声信息的方式，确定所述目标主体对应的目标图像。

4、再一方面，本说明书一个或多个实施例提供一种图像生成装置，包括：信息获取模块，获取目标主体的前景图像以及所述目标主体所在的待确定的目标图像的文本描述信息，所述目标图像中包括所述目标主体的前景图像和背景图像；表征信息提取模块，基于图像生成模型中的类别表征子模型，从所述目标主体的前景图像中提取所述目标主体的类别表征信息，并基于图像生成模型中的风格表征子模型，从所述目标主体的前景图像中提取所述目标主体的风格表征信息；前景控制信息确定模块，将所述目标主体的类别表征信息和风格表征信息输入图像生成模型中的前景控制子模型中，得到所述目标主体的前景控制信息，所述前景控制子模型是用于对所述目标主体的类别表征信息进行重构采样处理以确定对应的风格表征信息的模型；扩散模块，通过图像生成模型中的扩散子模型，根据所述目标图像的文本描述信息和前景控制信息，并通过对所述目标主体的前景图像添加噪声信息的方式，确定所述目标主体对应的目标图像。

5、再一方面，本说明书一个或多个实施例提供一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，在所述可执行指令被执行时，能够使得所述处理器：获取目标主体的前景图像以及所述目标主体所在的待确定的目标图像的文本描述信息，所述目标图像中包括所述目标主体的前景图像和背景图像；从所述目标主体的前景图像中分别提取所述目标主体的类别表征信息和风格表征信息；将所述目标主体的类别表征信息和风格表征信息输入预先训练的前景控制模型中，得到所述目标主体的前景控制信息，所述前景控制模型是用于对所述目标主体的类别表征信息进行重构采样处理以确定对应的风格表征信息的模型；通过扩散模型，根据所述目标图像的文本描述信息和前景控制信息，并通过对所述目标主体的前景图像添加噪声信息的方式，确定所述目标主体对应的目标图像。

6、再一方面，本说明书一个或多个实施例提供一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，在所述可执行指令被执行时，能够使得所述处理器：获取目标主体的前景图像以及所述目标主体所在的待确定的目标图像的文本描述信息，所述目标图像中包括所述目标主体的前景图像和背景图像；基于图像生成模型中的类别表征子模型，从所述目标主体的前景图像中提取所述目标主体的类别表征信息，并基于图像生成模型中的风格表征子模型，从所述目标主体的前景图像中提取所述目标主体的风格表征信息；将所述目标主体的类别表征信息和风格表征信息输入图像生成模型中的前景控制子模型中，得到所述目标主体的前景控制信息，所述前景控制子模型是用于对所述目标主体的类别表征信息进行重构采样处理以确定对应的风格表征信息的模型；通过图像生成模型中的扩散子模型，根据所述目标图像的文本描述信息和前景控制信息，并通过对所述目标主体的前景图像添加噪声信息的方式，确定所述目标主体对应的目标图像。

7、再一方面，本说明书一个或多个实施例提供存储介质，用于存储计算机程序，所属计算机程序能够被处理器执行以实现以下流程：获取目标主体的前景图像以及所述目标主体所在的待确定的目标图像的文本描述信息，所述目标图像中包括所述目标主体的前景图像和背景图像；从所述目标主体的前景图像中分别提取所述目标主体的类别表征信息和风格表征信息；将所述目标主体的类别表征信息和风格表征信息输入预先训练的前景控制模型中，得到所述目标主体的前景控制信息，所述前景控制模型是用于对所述目标主体的类别表征信息进行重构采样处理以确定对应的风格表征信息的模型；通过扩散模型，根据所述目标图像的文本描述信息和前景控制信息，并通过对所述目标主体的前景图像添加噪声信息的方式，确定所述目标主体对应的目标图像。

8、再一方面，本说明书一个或多个实施例提供存储介质，用于存储计算机程序，所属计算机程序能够被处理器执行以实现以下流程：获取目标主体的前景图像以及所述目标主体所在的待确定的目标图像的文本描述信息，所述目标图像中包括所述目标主体的前景图像和背景图像；基于图像生成模型中的类别表征子模型，从所述目标主体的前景图像中提取所述目标主体的类别表征信息，并基于图像生成模型中的风格表征子模型，从所述目标主体的前景图像中提取所述目标主体的风格表征信息；将所述目标主体的类别表征信息和风格表征信息输入图像生成模型中的前景控制子模型中，得到所述目标主体的前景控制信息，所述前景控制子模型是用于对所述目标主体的类别表征信息进行重构采样处理以确定对应的风格表征信息的模型；通过图像生成模型中的扩散子模型，根据所述目标图像的文本描述信息和前景控制信息，并通过对所述目标主体的前景图像添加噪声信息的方式，确定所述目标主体对应的目标图像。