图像处理方法、装置以及存储介质与流程

文档序号:22738917发布日期:2020-10-31 09:20阅读:来源:国知局

技术特征:

1.一种图像处理方法,包括:

构建通过文本生成图像的生成式对抗网络模型;其中,所述的生成式对抗网络模型包括:生成器和判别器;

将样本图像描述文本输入所述生成器,获得所述生成器输出的生成图像;

生成包含有与样本草图和所述生成图像的联合图像;其中,所述样本草图对应的图像特征与所述图像样本描述文本对应的图像特征相同;

将所述联合图像、所述样本图像描述文本输入所述判别器,获得判别结果;

根据所述判别结果生成所述生成式对抗网络模型的目标函数,基于所述目标函数对所述生成器和所述判别器进行调整;

使用调整后的所述生成器基于图像描述文本生成图像并输出。

2.如权利要求1所述的方法,所述获得判别结果信息包括:

获得用于表征所述生成图像与所述样本草图之间的相似度的第一判别结果;

获得用于表征所述生成图像为假的第二判别结果;和,

获得用于表征所述生成图像为真的第三判别结果。

3.如权利要求2所述的方法,还包括:

根据所述第一判别结果构建所述生成器的草图损失函数;

根据所述第二判别结果构建所述生成器的语义损失函数;

基于所述草图损失函数和所述语义损失函数构建生成器目标函数;

根据所述第三判别结果构建判别器损失函数;

基于所述生成器损失函数和所述判别器损失函数生成所述目标函数。

4.如权利要求3所述的方法,所述根据所述第一判别结果构建所述生成器的草图损失函数包括:

使用图像掩码对所述联合图像进行过滤处理,获得与所述生成图像对应的生成图像简笔图、与所述样本草图相对应的样本草图简笔图;

计算所述生成图像简笔图与所述样本草图简笔图之间的距离,其中,所述距离为所述第一判别结果,所述距离包括:kl距离、欧式距离;

基于所述距离构建用于确定所述生成图像简笔图与所述样本草图简笔图之间的相似度的所述草图损失函数。

5.如权利要求4所述的方法,所述根据所述第二判别结果构建所述生成器的语义损失函数包括:

获得判别所述生成图像为假的第一概率信息;其中,所述第一概率信息为所述第二判别结果;

基于所述第一概率信息构建所述语义损失函数。

6.如权利要求5所述的方法,所述基于所述草图损失函数和所述语义损失函数构建生成器目标函数包括:

确定与所述草图损失函数或所述语义损失函数相对应的加权值;

基于所述草图损失函数、所述语义损失函数以及所述加权值生成所述生成器目标函数。

7.如权利要求6所述的方法,所述将样本图像描述文本输入所述生成器包括:

使用编码器将所述样本图像描述文本转换为用于表示图像特征的输入向量;

获得与所述样本图像描述文本相对应的随机变量;

将所述输入向量和所述随机变量相结合,输入所述生成器。

8.如权利要求7所述的方法,其中,

所述生成器目标函数为:

l1=dkl(m⊙y,m⊙g(z,φ(t)))+λlog(1-d(g(z,φ(t))));

其中,m为图像掩码,z为所述随机变量,φ(t)为所述输入向量,y为所述样本草图,g(z,φ(t)为所述生成图像,m⊙y为所述样本草图简笔图,m⊙g(z,φ(t))为所述生成图像简笔图,dkl为所述草图损失函数,d(g(z,φ(t))为生成器输出的所述生成图像为与所述样本图像描述文本相对应的真实图像的概率;1-d(g(z,φ(t))为所述第一概率信息,λ为所述加权值。

9.如权利要求6所述的方法,所述根据所述第三判别结果构建判别器损失函数包括:

获得判别所述生成图像为真的第二概率信息;其中,所述第二概率信息为所述第三判别结果;

基于所述第二概率信息构建所述判别器损失函数。

10.如权利要求9所述的方法,其中,

所述判别器损失函数为l2=logd(g(z,φ(t));其中,d(g(z,φ(t))为第二概率信息,第二概率信息为生成器输出的所述生成图像为与所述样本图像描述文本相对应的真实图像的概率。

11.如权利要求10所述的方法,其中,

确定所述目标函数为mingmaxdv(d,g)=l2+l1;

其中,v(d,g)为所述生成器和所述判别器进行调整后的数学期望,d为判别器器,g为生成器。

12.如权利要求1至11任一项所述的方法,其中,

利用深度卷积神经网络构建所述生成器和所述判别器;

其中,所述生成器和所述判别器包括:输入层、全连接层和输出层。

13.一种图像处理装置,包括:

模型构建模块,用于构建通过文本生成图像的生成式对抗网络模型;其中,所述的生成式对抗网络模型包括:生成器和判别器;

样本生成模块,用于将样本图像描述文本输入所述生成器,获得所述生成器输出的生成图像;

图像联合模块,用于生成包含有与样本草图和所述生成图像的联合图像;其中,所述样本草图对应的图像特征与所述图像样本描述文本对应的图像特征相同;

图像判别模块,用于将所述联合图像、所述样本图像描述文本输入所述判别器,获得判别结果;

模型调整模块,根据所述判别结果生成所述生成式对抗网络模型的目标函数,基于所述目标函数对所述生成器和所述判别器进行调整;

图像生成模块,用于使用调整后的所述生成器基于图像描述文本生成图像并输出。

14.一种图像处理装置,包括:

存储器;以及耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如权利要求1至12中任一项所述的方法。

15.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述指令被处理器执行如权利要求1至12中任一项所述的方法。


技术总结
本公开提供了一种图像处理方法、装置以及存储介质,涉及计算机技术领域,其中方法包括:构建生成式对抗网络模型,生成器根据样本图像描述文本获得生成图像,生成包含有与样本草图和生成图像的联合图像,根据判别器对于联合图像、样本图像描述文本的判别结果生成目标函数,使用基于目标函数调整后的生成器生成图像。本公开的图像处理方法、装置以及存储介质,样本图像描述文本和样本草图能够互补信息,可以基于样本图像描述文本和样本草图调整模型,通过调整后的模型生成更加精准的图像;提供新的对抗网络模型,提高网络训练的效率、生成的图像的准确度,适用性和鲁棒性较好。

技术研发人员:董博
受保护的技术使用者:北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司
技术研发日:2019.04.30
技术公布日:2020.10.30
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1