文本图像生成方法以及扩散生成模型训练方法与流程

文档序号:35537133发布日期:2023-09-23 13:01阅读:来源:国知局

技术特征:

1.一种文本图像生成方法,包括:

2.根据权利要求1所述的方法,所述将所述初始图像输入条件编码器,获得所述初始图像的图像特征,包括:

3.根据权利要求2所述的方法,所述条件编码器包括文本识别编码器,所述图像特征包括视觉特征;

4.根据权利要求2所述的方法,所述初始图像携带初始文本信息,所述条件编码器包括文本识别分类器,所述图像特征包括语义特征;

5.根据权利要求2所述的方法,所述初始图像携带初始风格信息,所述条件编码器包括风格编码器,所述图像特征包括风格特征;

6.根据权利要求2所述的方法,所述将所述初始图像和所述图像特征输入扩散生成模型,获得所述初始图像对应的噪声数据,包括:

7.根据权利要求1所述的方法,所述目标文本图像包括第一目标文本图像和第二目标文本图像;

8.根据权利要求1所述的方法,所述根据所述初始图像和所述噪声数据,生成所述初始图像对应的目标文本图像之后,还包括:

9.根据权利要求1所述的方法,所述条件编码器包括文本识别编码器和文本识别分类器,所述条件编码器的训练方式,包括:

10.根据权利要求1所述的方法,所述扩散生成模型的训练方式,包括:

11.一种手写文本图像生成方法,包括:

12.一种扩散生成模型训练方法,应用于云侧设备,包括:

13.一种计算设备,包括:

14.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至10任意一项或者权利要求11或者权利要求12所述方法的步骤。


技术总结
本说明书实施例提供文本图像生成方法以及扩散生成模型训练方法,其中所述文本图像生成方法包括:获取初始图像;将初始图像输入条件编码器,获得初始图像的图像特征;将初始图像和图像特征输入扩散生成模型,获得初始图像对应的噪声数据,其中,扩散生成模型基于样本文本图像、样本文本图像的样本图像特征和噪声样本图像训练得到,噪声样本图像是对样本文本图像添加样本噪声得到,样本图像特征包括样本视觉特征和样本语义特征中的至少一种;根据初始图像和噪声数据,生成初始图像对应的目标文本图像。通过样本噪声扩充扩散生成模型的训练数据,并引入样本图像特征,显著提升了扩散生成模型所生成的文本图像的质量。

技术研发人员:朱远志,李兆海,何梦超,姚聪
受保护的技术使用者:阿里巴巴(中国)有限公司
技术研发日:
技术公布日:2024/1/15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1