一种图像生成方法及装置与流程

本申请涉及图像生成，尤其涉及一种图像生成方法及装置。

背景技术：

1、随着ai的不断发展，ai的应用也变得越来越广泛。对于不同的应用场景，人们往往需要使用适用于相应应用场景特点的ai模型。经过不同应用场景的数据训练后的不同的ai模型可以用于执行相应应用场景的特定任务。在图像生成技术中，如基于姿态的人体或动物图像生成、基于表情的人脸图像合成和基于视角的新视角合成等，都是基于特定概念进行训练，让网络具备生成该概念图像的能力。

2、现有的图像生成技术，如采用dreambooth、lora网络生成图像，在生成图像的过程中并未充分利用图像本身的信息，训练生成的图像存在细节缺失、不够真实等缺陷。

技术实现思路

1、有鉴于此，本申请实施例提供了一种图像生成方法、装置、电子设备及可读存储介质，以解决现有技术中在生成图像的过程中并未充分利用图像本身的信息，训练生成的图像存在的细节缺失、不够真实的问题。

2、本申请实施例的第一方面，提供了一种图像生成方法，包括：

3、获取待处理图像和目标文本，将待处理图像和目标文本输入至图像文本处理模型，目标文本与待处理图像相关联；对待处理图像依序进行多次图像特征提取，得到待处理图像的多个特征图像；对待处理图像进行高级语义特征提取，获取待处理图像的图像条件特征和概念文本特征，概念文本特征表征待处理图像的文本语义特征；融合概念文本特征与目标文本的文本特征，得到文本条件特征；基于多个特征图像、图像条件特征、以及文本条件特征，生成目标图像。

4、本申请实施例的第二方面，提供了一种图像生成装置，包括：

5、获取模块，用于获取待处理图像和目标文本，将待处理图像和目标文本输入至图像文本处理模型，对待处理图像依序进行多次图像特征提取，得到待处理图像的多个特征图像；提取模块，用于对待处理图像进行高级语义特征提取，获取待处理图像的图像条件特征和概念文本特征，概念文本特征表征待处理图像的文本语义特征；融合模块，用于融合概念文本特征与目标文本的文本特征，得到文本条件特征；生成模块，用于基于多个特征图像、图像条件特征、以及文本条件特征，生成目标图像。

6、本申请实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。

7、本申请实施例的第四方面，提供了一种可读存储介质，该可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

8、本申请实施例与现有技术相比存在的有益效果是：通过提取待处理图像的高级语义信息，与目标文本融合，并对待处理图像进行多次特征图像提取，用于图像文本处理。将提取得到的多次特征图像和高级语义等信息与不同的层次上与去噪网络进行适配结合，充分地利用了图像本身的信息生成新的图像，生成图像的细节会更加完整和真实，从而提高图像文本处理模型生成图像的准确度。

技术特征：

1.一种图像生成方法，其特征在于，包括：

2.根据权利要求1所述的图像生成方法，其特征在于，所述对所述待处理图像依序进行多次图像特征提取，得到所述待处理图像的多个特征图像包括：

3.根据权利要求1所述的图像生成方法，其特征在于，所述融合所述概念文本特征与所述目标文本的文本特征，得到文本条件特征包括：

4.根据权利要求2所述的图像生成方法，其特征在于，所述基于所述多个特征图像、所述图像条件特征、以及所述文本条件特征，生成目标图像包括：

5.根据权利要求4所述的图像生成方法，其特征在于，所述通过所述潜在高斯分布噪声特征，对所述多个特征图像、所述图像条件特征、以及所述文本条件特征进行去噪处理，得到预测图像特征矩阵包括：

6.根据权利要求5所述的图像生成方法，其特征在于，所述通过下采样计算模块对所述潜在高斯分布噪声特征、所述多个特征图像、所述图像条件特征、以及所述文本条件特征进行下采样处理，得到下采样图像矩阵包括：

7.根据权利要求5所述的图像生成方法，其特征在于，所述通过上采样计算模块对所述下采样图像矩阵、所述多个特征图像、所述图像条件特征、以及所述文本条件特征进行上采样处理，得到所述预测图像特征矩阵包括：

8.一种图像生成装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述方法的步骤。

10.一种可读存储介质，所述可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。

技术总结
本申请涉及图像生成技术领域，尤其涉及一种图像生成方法及装置。该方法包括：获取待处理图像和目标文本，将待处理图像和目标文本输入至图像文本处理模型，目标文本与待处理图像相关联；对待处理图像依序进行多次图像特征提取，得到待处理图像的多个特征图像；对待处理图像进行高级语义特征提取，获取待处理图像的图像条件特征和概念文本特征，概念文本特征表征待处理图像的文本语义特征；融合概念文本特征与目标文本的文本特征，得到文本条件特征；基于多个特征图像、图像条件特征、以及文本条件特征，生成目标图像。本申请实施例充分利用图像本身的信息训练并生成新的图像，生成图像更加真实，细节更加完整。

技术研发人员：石雅洁
受保护的技术使用者：深圳须弥云图空间科技有限公司
技术研发日：
技术公布日：2024/1/22