一种图像生成方法及装置与流程

文档序号:37354773发布日期:2024-03-18 18:38阅读:来源:国知局

技术特征:

1.一种图像生成方法,包括:

2.根据权利要求1所述的方法,所述前景控制模型基于自回归模型构建,所述扩散模型是能够进行语义分割处理的模型。

3.根据权利要求1所述的方法,所述目标主体对应的目标图像的文本描述信息包括:描述所述目标主体的前景图像的前景描述信息、描述所述目标主体的背景图像的背景描述信息以及所述目标主体的前景图像和背景图像之间的交互关系信息中的一种或多种。

4.根据权利要求3所述的方法,还包括:

5.根据权利要求1所述的方法,所述噪声信息是基于高斯分布的噪声信息。

6.根据权利要求1所述的方法,所述前景控制模型和扩散模型的训练方法包括:

7.根据权利要求6所述的方法,所述预设的损失函数根据第一子损失函数和第二子损失函数确定,所述第一子损失函数基于最小化所述前景图像样本的风格表征信息以及对所述前景图像样本所匹配的主体的类别表征信息重构采样处理所确定的风格表征信息之间的差异性而确定,所述第二子损失函数基于最小化去噪重构损失值而确定。

8.根据权利要求6所述的方法,所述目标主体与所述多个主体是类别不同的主体。

9.一种图像生成方法,包括:

10.一种图像生成装置,包括:

11.一种图像生成装置,包括:

12.一种电子设备,包括:

13.一种电子设备,包括:


技术总结
本说明书一个或多个实施例公开了一种图像生成方法及装置,该方法首先获取目标主体的前景图像以及目标主体所在的待确定的目标图像的文本描述信息,该目标图像中包括目标主体的前景图像和背景图像,其次,从目标主体的前景图像中分别提取目标主体的类别表征信息和风格表征信息,然后将所提取的类别表征信息和风格表征信息输入预先训练的前景控制模型中,得到目标主体的前景控制信息,最后,通过扩散模型,根据目标图像的文本描述信息和前景控制信息,并通过对目标主体的前景图像添加噪声信息的方式,确定目标主体对应的目标图像。

技术研发人员:洪燕,兰钧,祝慧佳,王维强
受保护的技术使用者:支付宝(杭州)信息技术有限公司
技术研发日:
技术公布日:2024/3/17
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1