图片生成方法及装置、存储介质及电子设备与流程

文档序号:17627519发布日期:2019-05-10 23:49阅读:186来源:国知局
图片生成方法及装置、存储介质及电子设备与流程

本发明涉及计算机视觉技术领域,特别是涉及一种图片生成方法及装置、存储介质及电子设备。



背景技术:

随着技术的发展,在众多领域的应用中通过获取图片来实现不同的目的,比如在计算机视觉领域中,利用视觉训练模型对图片进行处理,从而达到识别图片或是获取图片中信息的目的。为了达到这个目的,视觉训练模型进行训练时需要大量的图片作为视觉训练模型的训练图片数据集,视觉训练模型中的训练数据集的图片数量直接决定了视觉训练模型的性能。

现有技术在获取训练图片的过程中,需要对网络中获取的大量图片进行筛选、标注和清理等步骤,获得符合风格的图片,过程复杂且耗时。



技术实现要素:

有鉴于此,本发明实施例提供了一种图片生成方法,通过将图片输入生成器中,生成与所述生成器对应风格的图片,以此增加了训练数据集中图片的数量;本发明还提供了一种图片生成装置,用以保证所述方法在实际中的实现及应用。

为实现上述目的,本发明实施例提供如下技术方案:

一种图片生成方法,包括:

确定目标图片集,所述目标图片集中包含多张第一类图片及多张第二类图片,所述第一类图片属于第一图片风格,所述第二类图片属于第二图片风格;

将所述目标图片集中的第一类图片输入至预先建立的第一生成器中进行风格转换,生成与所述目标图片集中第一类图片对应的属于第二图片风格的图片;并将所述目标图片集中的第二类图片输入至预先建立的第二生成器中进行风格转换,生成与所述目标图片集中第二类图片对应的属于第一图片风格的图片。

上述的方法,可选的,所述确定目标图片集,包括:

调用预先设定的网络爬虫获取多张初选图片;

依据预先设定的第一图片风格判定条件及第二图片风格判定条件,分别对所述多张初选图片进行筛选,将所述多张初选图片中,属于第一图片风格的图片及属于第二图片风格的图片,添加至所述目标图片集中。

上述的方法,可选的,所述第一生成器及所述第二生成器的预先建立过程,包括:

选取第一训练样本集与第二训练样本集,所述第一训练样本集中包含多张第一训练图片,所述第一训练图片属于第一图片风格;所述第二训练样本集中包含多张第二训练图片,所述第二训练图片属于第二图片风格;

选取第一生成器基础模型及第二生成器基础模型,并为所述第一生成器基础模型配置第一判别器基础模型,为所述第二生成器基础模型配置第二判别器基础模型;

从所述第一训练样本集中选取第一训练图片执行第一训练体系,同时,从所述第二训练样本集中选取第二训练图片执行第二训练体系;所述第一训练体系包括:将所述第一训练样本集中的第一训练图片,输入至所述第一生成器基础模型中,经所述第一生成器基础模型进行风格转换,生成所述第一训练图片对应的第一转换图片,调用所述第一判别器基础模型,判别所述第一转换图片属于所述第二图片风格的概率;并将所述第一转换图片输入至所述第二生成器基础模型中,经所述第二生成器基础模型进行风格转换,生成所述第一转换图片对应的第一还原图片,调用所述第二判别器基础模型,判别所述第一还原图片属于所述第一图片风格的概率;

所述第二训练体系包括:将所述第二训练样本集中的第二训练图片,输入至所述第二生成器基础模型中,经所述第二生成器基础模型进行风格转换,生成所述第二训练图片对应的第二转换图片,调用所述第二判别器基础模型,判别所述第二转换图片属于所述第一图片风格的概率;并将所述第二转换图片输入至所述第一生成器基础模型中,经所述第一生成器基础模型进行风格转换,生成所述第二转换图片对应的第二还原图片,调用所述第一判别器基础模型,判别所述第二还原图片属于所述第二图片风格的概率;

将所述第一训练体系与所述第二训练体系组成对抗生成网络,在所述第一训练体系与所述第二训练体系的训练过程中,实时判断所述对抗生成网络对应的损失函数的输出值是否满足预设的函数收敛条件,并当所述对抗生成网络对应的损失函数的输出值满足预设的函数收敛条件时,输出已训练完成的所述第一生成器及所述第二生成器。

上述的方法,可选的,所述从所述第一训练样本集中选取第一训练图片执行第一训练体系,同时,从所述第二训练样本集中选取第二训练图片执行第二训练体系,包括:

在所述第一训练样本集中随机选取一张第一训练图片执行所述第一训练体系,同时,从所述第二训练样本集中随机选取一张第二训练图片执行所述第二训练体系,直至所述对抗生成网络对应的损失函数的输出值满足预设的函数收敛条件时,停止选取。

上述的方法,可选的,所述调用所述第一判别器基础模型,判别所述第一转换图片属于所述第二图片风格的概率,及调用所述第二判别器基础模型,判别所述第二转换图片属于所述第一图片风格的概率,包括:

获取所述第一判别器基础模型中预先设置的第二风格参数,与所述第一转换图片对应的第一转换参数;

将所述第二风格参数与所述第一转换参数进行比对,得到所述第一转换图片属于所述第二图片风格的概率;

获取所述第二判别器基础模型中预先设置的第一风格参数,与所述第二转换图片对应的第二转换参数;

将所述第一风格参数与所述第二转换参数进行比对,得到所述第二转换图片属于所述第一图片风格的概率;

所述第二风格参数为所述第二图片风格对应的参数,所述第一风格参数为所述第一图片风格对应的参数。

上述的方法,可选的,所述对抗生成网络对应的损失函数的生成过程,包括:

获取第一损失函数和第二损失函数,所述第一损失函数为所述第一生成器基础模型及所述第一判别器基础模型对应的损失函数;所述第二损失函数为所述第二生成器基础模型及所述第二判别器基础模型对应的损失函数;

获取循环保持损失函数;

依据所述第一损失函数、第二损失函数及所述循环保持损失函数生成所述对抗生成网络对应的损失函数。

上述的方法,可选的,还包括:

在所述对抗生成网络对应的损失函数的输出值满足预设的函数收敛条件时,输出所述第一生成器对应的第一判别器及所述第二生成器对应的第二判别器。

与现有技术相比,本发明具有以下优点:

本发明实施例提供的方法,包括:确定目标图片集,所述目标图片集中包含多张第一类图片及多张第二类图片,所述第一类图片属于第一图片风格,所述第二类图片属于第二图片风格;将所述目标图片集中的第一类图片输入至预先建立的第一生成器中进行风格转换,生成与所述目标图片集中第一类图片对应的属于第二图片风格的图片;并将所述目标图片集中的第二类图片输入至预先建立的第二生成器中进行风格转换,生成与所述目标图片集中第二类图片对应的属于第一图片风格的图片。通过应用本发明实施例提供的方法,将确定好的图片输入生成器中,生成与所述生成器对应风格的图片,从而使图片的数量增加,由此增加了训练数据集中图片的数量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种图片生成方法的方法流程示意图;

图2为本发明实施例提供的一种图片生成方法的另一方法流程示意图;

图3为本发明实施例提供的一种图片生成方法的另一方法流程示意图;

图4为本发明实施例提供的一种图片生成装置的结构示意图;

图5为本发明实施例提供的一种图片生成电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明可以应用于视觉训练模型中训练图片数据集的生成体系,本发明实施例提供的方法可通过对任意图片进行风格转换,生成与所述图片风格不同的其他风格图片,从而增加训练数据集中图片的数量。

本发明实施例提供了一种图片生成方法,该方法可以应用于多种生成图片系统或是服务器中,还可应用于视觉训练模型的服务器中;其执行主体可以为系统中的服务器,或是用于生成图片的装置或是设备,所述方法的方法流程图如图1所示,具体包括:

s101:确定目标图片集,所述目标图片集中包含多张第一类图片及多张第二类图片,所述第一类图片属于第一图片风格,所述第二类图片属于第二图片风格;

本发明实施例提供的方法中,服务器确定目标图片集,所述目标图片集中的图片是经过筛选得到的多种风格图片,所述目标图片集作为生成其他图片的基础图片集,所述目标图片集中包含多种类别图片,每一类别图片属于一种风格,所述风格可以是图片的属性,所述属性比如是图片的背景亮度、图片像素、图片的清晰度等等;所述风格也可以是图片中人脸的其他属性,比如人脸的笑容、眼睛大小、鼻子形状等等;所述风格也可以是不同的动物,比如猫、狗等;图片的风格可以根据图片的种类、或是特征等不同的因素进行分类。

s102:将所述目标图片集中的第一类图片输入至预先建立的第一生成器中进行风格转换,生成与所述目标图片集中第一类图片对应的属于第二图片风格的图片;并将所述目标图片集中的第二类图片输入至预先建立的第二生成器中进行风格转换,生成与所述目标图片集中第二类图片对应的属于第一图片风格的图片;

本发明实施例提供的方法中,将目标图片集中选定的图片进行风格转换,所述风格转换是生成与选定的图片不同风格的,属于其他风格的图片;具体的内容为:将第一类图片输入预先建立的第一生成器中进行风格转换,生成与所述第一类图片对应的属于第二图片风格的图片;并将所述第二类图片输入预先建立的第二生成器进行风格转换,生成与所述第二类图片对应的属于第一图片风格的图片;

需要说明的是,所述生成器对应一种风格,其中,所述第一生成器对应生成第二图片风格的图片,所述第二生成器对应生成第一图片风格的图片。每个生成器对应的风格都是不同的,将一种风格的图片输入生成器,生成器就会生成对应的其他风格的图片;假如生成器a对应的风格是生成猫风格的图片,则将狗或是其他动物类型的图片输入生成器a中,则生成关于猫风格的图片;本发明实施例提供的方法中,可以扩展为将风格a的图片输入可生成风格b图片的生成器,用以生成风格b图片;也可将风格a的图片输入可生成风格c图片的生成器,用以生成风格c图片,以此类推,将风格a的图片输入生成不同风格图片的生成器,可以得到与风格a不同风格的图片,由此便得到了多张图片;需要说明的是,在本发明中,对生成器输入多少张图片,就生成多少张图片,比如给风格c的生成器输入10张风格a的图片,则生成10张风格c的图片,在将图片输入的过程中可以是逐张输入,也可以是全部输入;此过程为本方案的延伸部分,也应属于本发明的保护范围。

进一步的,当利用风格a的图片通过可生成风格b图片的生成器生成为风格b的图片后,将风格b的图片保存,同时也将原先进行转换的风格a的图片进行保存。

通过应用本发明实施例提供的方法,将所述目标图片集中的图片输入生成器中进行风格转换,得到进行风格转换后的图片,通过将生成图片及原先进行转换的图片添加至视觉训练模型中的训练数据集,增加了所述训练数据集中图片的数量。

本发明实施例提供的方法中,在确定目标图片集时,根据预先设定的选择条件进行确定,由此可以将不满足条件的图片去掉,保证目标图片集中图片的符合要求。确定所述目标图片集的具体过程如下所示:

调用预先设定的网络爬虫获取多张初选图片;

本发明实施例提供的方法中,在获取图片时是使用爬虫爬取网络中的图片,获取的图片为初选图片,所述初选图片的质量参差不齐,所述初选图片可作为初始样本图片。

依据预先设定的第一图片风格判定条件及第二图片风格判定条件,分别对所述多张初选图片进行筛选,将所述多张初选图片中,属于第一图片风格的图片及属于第二图片风格的图片,添加至所述目标图片集中;

本发明实施例提供的方法中,根据预先设定各个风格的条件,以及图片的质量参数,将所述初始样本图片进行分类和筛选,将所述图片分至不同的风格组之后,将所述不同风格的图片添加至所述目标图片集中,需要说明的是,所述不同风格图片的数量是一致的。例如,风格a图片的数量为100张,风格b图片的数量也为100张,风格c图片的数量也为100张;不同风格图片的数量是一致的,但是在进行风格转换时,不是一一对应的。

本发明实施例提供的方法中,所述目标图片集可作为训练生成器与判别器的训练样本集,也可作为视觉训练模型中的训练数据集;通过将爬虫爬取获得的图片进行筛选、分类,除去了不符合要求的图片,将图片输入生成器中,得到生成的图片,增加了训练数据集中图片的数量,以保证视觉训练模型的性能。

本发明实施例提供的方法中,本发明方法生成图片所使用的生成器与判别器需要进行训练,以使生成器与判别器的性能达到最优,对于生成器与判别器应用到的训练的具体过程如下所述:

选取第一训练样本集与第二训练样本集,所述第一训练样本集中包含多张第一训练图片,所述第一训练图片属于第一图片风格;所述第二训练样本集中包含多张第二训练图片,所述第二训练图片属于第二图片风格;

选取第一生成器基础模型及第二生成器基础模型,并为所述第一生成器基础模型配置第一判别器基础模型,为所述第二生成器基础模型配置第二判别器基础模型;

从所述第一训练样本集中选取第一训练图片执行第一训练体系,同时,从所述第二训练样本集中选取第二训练图片执行第二训练体系;所述第一训练体系包括:将所述第一训练样本集中的第一训练图片,输入至所述第一生成器基础模型中,经所述第一生成器基础模型进行风格转换,生成所述第一训练图片对应的第一转换图片,调用所述第一判别器基础模型,判别所述第一转换图片属于所述第二图片风格的概率;并将所述第一转换图片输入至所述第二生成器基础模型中,经所述第二生成器基础模型进行风格转换,生成所述第一转换图片对应的第一还原图片,调用所述第二判别器基础模型,判别所述第一还原图片属于所述第一图片风格的概率;

所述第二训练体系包括:将所述第二训练样本集中的第二训练图片,输入至所述第二生成器基础模型中,经所述第二生成器基础模型进行风格转换,生成所述第二训练图片对应的第二转换图片,调用所述第二判别器基础模型,判别所述第二转换图片属于所述第一图片风格的概率;并将所述第二转换图片输入至所述第一生成器基础模型中,经所述第一生成器基础模型进行风格转换,生成所述第二转换图片对应的第二还原图片,调用所述第一判别器基础模型,判别所述第二还原图片属于所述第二图片风格的概率;

将所述第一训练体系与所述第二训练体系组成对抗生成网络,在所述第一训练体系与所述第二训练体系的训练过程中,实时判断所述对抗生成网络对应的损失函数的输出值是否满足预设的函数收敛条件,并当所述对抗生成网络对应的损失函数的输出值满足预设的函数收敛条件时,输出已训练完成的所述第一生成器及所述第二生成器。

本发明实施例提供的方法中,所述生成器与判别器由卷积网络构成,所述卷积网络的结构有多种,比如vgg、resnet等,也包括标准网络结构的变形,网络结构是根据具体数据与需求进行设计的,所述对抗生成网络包括第一训练体系和第二训练体系,所述第一训练体系的训练过程如图2所示;所述第二训练体系的训练过程,如图3所示,第一训练体系与第二训练体系的具体训练过程如下所述:

在第一训练体系与第二训练体系中,g是第一生成器,f是第二生成器,da是第二判别器,db是第一判别器,图片x是第一训练图片,风格a是第一图片风格,图片y是第二训练图片,风格b是第二图片风格,图片x’是第一转换图片,图片x”是第一还原图片,图片y’是第二转换图片,图片y”是第二还原图片;

f是风格b图片的生成器,g是风格a图片的生成器,da是风格a图片的判别器,db是风格b图片的判别器;图片x是第一图片风格的图片,图片y是第二图片风格的图片;

在第一训练体系中,将风格a的图片x输入生成器g中,通过风格转换生成风格b的图片x’,使用判别器db对所述图片x’进行属于风格b图片的概率判断,当所述概率不小于预先设置的阈值时,则所述图片x’是属于风格b图片,并将所述图片输入视觉训练模型训练集中对应风格的图片中,将图片x’输入生成器f中,通过风格还原生成风格a的图片x”,使用判别器da对所述图片x”进行属于风格a图片的概率判断,当所述概率不小于预先设置的阈值时,则所述图片x”属于风格a图片;

在第二训练体系中,将风格b的图片y输入生成器f中,通过风格转换生成风格a的图片y’,使用判别器da对所述图片y’进行属于风格a图片的概率判断,当所述概率不小于预先设置的阈值时,则所述图片y’是属于所述风格a图片,并将所述图片输入视觉训练模型训练集中对应风格的图片中,将图片y’输入生成器g中,通过风格还原生成风格b的图片y”,使用判别器db对所述图片y”进行属于风格b图片的概率判断,当所述概率不小于预先设置的阈值时,则所述图片y”是真实图片;

需要说明的是,在本发明实施例提供的方法中,还可以通过判别器判别生成器生成图片的真实性,所述真实性是指图片是否真实,即判断图片是否由生成器生成,由生成器生成的图片应该判断为假;当判别器对所述图片判别输出的值小于预设的值时,则所述图片是由生成器生成的,则所述图片为假。

在第一训练体系中,当生成器g将风格a的图片x转换成风格b的图片x’,使用判别器db对所述图片x’进行属于风格b的真实概率的判断时,所述生成器g与判别器db应用第一损失函数,所述第一损失函数如下所示:

在所述第一损失函数中,其原理为,使风格a的所有图片服从分布a,风格b的图片服从分布b,对于判别器db来说,它要尽可能让真实图片的真实概率高,而生成图片的真实概率低,因为y是服从分布b的真实图片,所以logdb(y)要最大化,而由于g(x)是由生成器g生成的非真实图片,所以logdb(g(x))要最小化;对于生成器g来说,它的目标是迷惑判别器db使其把生成图片判断为真实图片,也就是让logdb(g(x))最大化;

在第一训练体系中,当将图片x’输入生成器f中,通过风格还原生成风格a的图片x”,使用判别器da对所述图片x”进行属于风格a的真实概率的判断时,所述生成器f与判别器da应用第二损失函数,所述第二损失函数如下所示:

在第一训练体系中,当将图片x’输入生成器f中,通过风格还原生成风格a的图片x”,使用判别器da对所述图片x”进行属于风格a的真实概率的判断时,因为训练图片并非是一对一对应关系,所以还需要增加一个循回保持损失函数(cycleconsistencyloss)来控制风格迁移学习过程中学习空间过大的问题,该损失函数的目的是让风格a的图片经过风格b的转换再回到风格a的图片时,保持原图片的风格不变,所述循环保持损失函数如下所述:

综上所述,第一训练体系中的总体损失函数如下所示:

l(g,f,da,db)=lgan(g,db,a,b)+lgan(f,da,a,b)+λlcyc(g,f)(4)

其中,在公式(4)中,λ用来调整各生成器损失之间所占的权重;

在第二训练体系中,所述生成器f与判别器da应用第二损失函数,即公式(2);生成器g与判别器db应用第一损失函数,即公式(1);在进行图片转换以及还原时,应用到了循环保持损失函数,即公式(3),其总体损失函数与第一体系中的公式(4)相同,其原理与第一训练体系相同,详细的过程可参照第一训练体系,此处不再进行赘述。

本发明实施例提供的方法中,对抗生成网络中的生成器进行训练时,需要不断的从训练样本集中随机抽取图片进行训练,在训练的过程中需要获取上述的损失函数,以便进行训练,具体的过程如下所述:

在所述第一训练样本集中随机选取一张第一训练图片执行所述第一训练体系,同时,从所述第二训练样本集中随机选取一张第二训练图片执行所述第二训练体系,直至所述对抗生成网络对应的损失函数的输出值满足预设的函数收敛条件时,停止选取;

在不断的随机选取图片的过程中,对图片进行转化与还原时,需要获取循环保持损失函数;依据所述第一损失函数、第二损失函数及所述循环保持损失函数生成所述对抗生成网络对应的损失函数;

通过应用本发明的方法,应用预先设置的损失函数,对所述第一、第二生成器与第一、第二判别器进行训练;

当所述对抗生成网络对应的损失函数的输出值在预设的范围内保持不变,或在预设的范围内浮动时,则满足函数收敛条件,则停止对判别器与生成器的训练,并输出在所述第一训练体系和第二体系中训练完成的第一生成器和第二生成器,与第一训练体系和第二体系中训练完成的第一判别器和第二判别器,此时所述第一、第二判别器与第一、第二生成器的性能最优。

本发明实施例提供的图片生成方法中,从所述第一训练样本集中随机选取一张第一训练图片,所述第一训练图片属于第一图片风格,执行所述第一训练体系,并调用第一损失函数、第二损失函数及循环保持损失函数对所述第一训练体系进行训练,同时从所述第二训练样本集中随机选取一张第二训练图片,所述第二训练图片属于第二图片风格,执行所述第二训练体系,所述第二训练体系也调用与所述第一训练体系一致的第一损失函数、第二损失函数及循环保持损失函数对所诉第二训练体系进行训练。其中所述第一训练体系预先调用所述第一损失函数,再调用所述第二损失函数,最后再调用所述循环保持损失函数;所述第二训练体系预先调用所述第二损失函数,再调用所述第一损失函数,最后再调用所述循环保持损失函数。由所述第一损失函数、第二损失函数及循环保持损失函数生成所述对抗生成网络对应的损失函数。当所述对抗生成网络对应的损失函数的输出值在预设的范围内保持不变,或在预设的范围内浮动时,所述对抗生成网络对应的损失函数,满足函数收敛条件,所述服务器停止选取第一训练图片和第二训练图片,结束第一训练体系和第二训练体系的训练,并输出在所述第一训练体系和第二体系中训练完成的第一生成器和第二生成器。

基于上述实施例提供的方法,在停止选取第一训练图片和第二训练图片后,输出训练完成的第一生成器和第二生成器,同时还输出与所述第一生成器对应的第一判别器,输出与所述第二生成器对应的第二判别器。

本发明实施例提供的方法中,调用所述第一判别器基础模型,判别所述第一转换图片属于所述第二图片风格的概率,及调用所述第二判别器基础模型,判别所述第二转换图片属于所述第一图片风格的概率,具体包括:

获取所述第一判别器基础模型中预先设置的第二风格参数,与所述第一转换图片对应的第一转换参数;

将所述第二风格参数与所述第一转换参数进行比对,得到所述第一转换图片属于所述第二图片风格的概率;

获取所述第二判别器基础模型中预先设置的第一风格参数,与所述第二转换图片对应的第二转换参数;

将所述第一风格参数与所述第二转换参数进行比对,得到所述第二转换图片属于所述第一图片风格的概率;

所述第二风格参数为所述第二图片风格对应的参数,所述第一风格参数为所述第一图片风格对应的参数。

本发明实施例提供的图片生成方法中,服务器利用所述第一判别器基础模型和第二判别器基础模型,分别对所述第一转换图片和第二转换图片进行判别。其中,所述第一判别器基础模型预先设置了与所述第二图片风格对应的第二风格参数,所述第二判别器基础模型中预先设置了与所述第一图片风格对应的第一风格参数。当所述服务器调用所述第一判别器基础模型对所述第一转换图片进行判别时,将所述第二风格参数与所述第一转换参数进行比对,判别所述第一转换图片属于所述第二图片风格,并由所述第一判别器基础模型输出第一判别结果,所述第一判别结果为所述第一转换图片属于所述第二图片风格的概率。当所述服务器调用所述第二判别器基础模型对所述第一转换图片进行判别时,将所述第一风格参数与所述第二转换参数进行比对,判别所述第二转换图片是否属于所述第二图片风格,并由所述第二判别器基础模型输出第二判别结果,所述第二判别结果为所述第二转换图片属于所述第一图片风格的概率。

需说明的是,所述第一判别器基础模型与所述第二判别器基础模型进行判别后,输出的真实概率用于确定所述第一转换图片与第二转换图片所对应的第一转换图片风格和第二转换图片风格,分别是否满足第二图片风格和第一图片风格。当所述概率不小于预先设定的概率值时,所述第一转换图片风格属于第二图片风格,所述第二转换图片风格属于第一图片风格。

应用本发明实施例提供的方法,根据预先设置的第一风格参数对所述第二转换图片、预先设置第二风格参数对所述第一转换图片进行判别,实现对所述第一判别器基础模型的训练和第二判别器基础模型的训练。

本发明实施例提供的方法中,通过应用本发明,由不同风格的生成器生成了不同风格的图片,使视觉训练模型中训练数据集中图片的数量增加,以保证视觉训练模型在训练时得到最好的性能。

与图1所述的方法相对应,本发明实施例还提供了一种图片生成装置,用于对图1中方法的具体实现,本发明实施例提供的图片生成装置可以应用计算机或各种终端设备中,其结构示意图如图4所示,具体包括:

确定单元401,用于确定目标图片集,所述目标图片集中包含多张第一类图片及多张第二类图片,所述第一类图片属于第一图片风格,所述第二类图片属于第二图片风格;

生成单元402,用于将所述目标图片集中的第一类图片输入至预先建立的第一生成器中进行风格转换,生成与所述目标图片集中第一类图片对应的属于第二图片风格的图片;并将所述目标图片集中的第二类图片输入至预先建立的第二生成器中进行风格转换,生成与所述目标图片集中第二类图片对应的属于第一图片风格的图片。

本发明实施例提供的装置中,服务器在需要进行图片生成时,先由确定单元确定需要进行图片生成的目标图片集。其中,所述目标图片集包含多张属于第一图片风格的第一类图片和多张属于第二图片风格的第二类图片,并将所述第一类图片与第二类图片分别输入预先建立好的第一生成器和第二生成器,并通过生成单元,有所述第一生成器和第二生成器分别对所述第一类图片和第二类图片进行转换,分别生成与第一类图片对应的属于第二风格的图片,和与第二类图片对应的属于第一类风格的图片。其中,由所述生成单元生成的属于第二风格的图片和属于第一风格的图片,都将保存至所述目标图片集当中。

应用本发明实施例提供的装置,所述服务器依据所述生成单元,生成所述属于第一风格的图片和第二风格的图片,增加了视觉训练模型中目标图片集当中图片的数量,保证了视觉训练模型的性能。

本发明实施例还提供了一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行下述图片生成方法,包括:

确定目标图片集,所述目标图片集中包含多张第一类图片及多张第二类图片,所述第一类图片属于第一图片风格,所述第二类图片属于第二图片风格;

将所述目标图片集中的第一类图片输入至预先建立的第一生成器中进行风格转换,生成与所述目标图片集中第一类图片对应的属于第二图片风格的图片;并将所述目标图片集中的第二类图片输入至预先建立的第二生成器中进行风格转换,生成与所述目标图片集中第二类图片对应的属于第一图片风格的图片。

上述的方法,可选的,所述确定目标图片集,包括:

调用预先设定的网络爬虫获取多张初选图片;

依据预先设定的第一图片风格判定条件及第二图片风格判定条件,分别对所述多张初选图片进行筛选,将所述多张初选图片中,属于第一图片风格的图片及属于第二图片风格的图片,添加至所述目标图片集中。

上述的方法,可选的,所述第一生成器及所述第二生成器的预先建立过程,包括:

选取第一训练样本集与第二训练样本集,所述第一训练样本集中包含多张第一训练图片,所述第一训练图片属于第一图片风格;所述第二训练样本集中包含多张第二训练图片,所述第二训练图片属于第二图片风格;

选取第一生成器基础模型及第二生成器基础模型,并为所述第一生成器基础模型配置第一判别器基础模型,为所述第二生成器基础模型配置第二判别器基础模型;

从所述第一训练样本集中选取第一训练图片执行第一训练体系,同时,从所述第二训练样本集中选取第二训练图片执行第二训练体系;所述第一训练体系包括:将所述第一训练样本集中的第一训练图片,输入至所述第一生成器基础模型中,经所述第一生成器基础模型进行风格转换,生成所述第一训练图片对应的第一转换图片,调用所述第一判别器基础模型,判别所述第一转换图片属于所述第二图片风格的概率;并将所述第一转换图片输入至所述第二生成器基础模型中,经所述第二生成器基础模型进行风格转换,生成所述第一转换图片对应的第一还原图片,调用所述第二判别器基础模型,判别所述第一还原图片属于所述第一图片风格的概率;

所述第二训练体系包括:将所述第二训练样本集中的第二训练图片,输入至所述第二生成器基础模型中,经所述第二生成器基础模型进行风格转换,生成所述第二训练图片对应的第二转换图片,调用所述第二判别器基础模型,判别所述第二转换图片属于所述第一图片风格的概率;并将所述第二转换图片输入至所述第一生成器基础模型中,经所述第一生成器基础模型进行风格转换,生成所述第二转换图片对应的第二还原图片,调用所述第一判别器基础模型,判别所述第二还原图片属于所述第二图片风格的概率;

将所述第一训练体系与所述第二训练体系组成对抗生成网络,在所述第一训练体系与所述第二训练体系的训练过程中,实时判断所述对抗生成网络对应的损失函数的输出值是否满足预设的函数收敛条件,并当所述对抗生成网络对应的损失函数的输出值满足预设的函数收敛条件时,输出已训练完成的所述第一生成器及所述第二生成器。

上述的方法,可选的,所述从所述第一训练样本集中选取第一训练图片执行第一训练体系,同时,从所述第二训练样本集中选取第二训练图片执行第二训练体系,包括:

在所述第一训练样本集中随机选取一张第一训练图片执行所述第一训练体系,同时,从所述第二训练样本集中随机选取一张第二训练图片执行所述第二训练体系,直至所述对抗生成网络对应的损失函数的输出值满足预设的函数收敛条件时,停止选取。

上述的方法,可选的,所述调用所述第一判别器基础模型,判别所述第一转换图片属于所述第二图片风格的概率,及调用所述第二判别器基础模型,判别所述第二转换图片属于所述第一图片风格的概率,包括:

获取所述第一判别器基础模型中预先设置的第二风格参数,与所述第一转换图片对应的第一转换参数;

将所述第二风格参数与所述第一转换参数进行比对,得到所述第一转换图片属于所述第二图片风格的概率;

获取所述第二判别器基础模型中预先设置的第一风格参数,与所述第二转换图片对应的第二转换参数;

将所述第一风格参数与所述第二转换参数进行比对,得到所述第二转换图片属于所述第一图片风格的概率;

所述第二风格参数为所述第二图片风格对应的参数,所述第一风格参数为所述第一图片风格对应的参数。

上述的方法,可选的,所述对抗生成网络对应的损失函数的生成过程,包括:

获取第一损失函数和第二损失函数,所述第一损失函数为所述第一生成器基础模型及所述第一判别器基础模型对应的损失函数;所述第二损失函数为所述第二生成器基础模型及所述第二判别器基础模型对应的损失函数;

获取循环保持损失函数;

依据所述第一损失函数、第二损失函数及所述循环保持损失函数生成所述对抗生成网络对应的损失函数。

上述的方法,可选的,还包括:

在所述对抗生成网络对应的损失函数的输出值满足预设的函数收敛条件时,输出所述第一生成器对应的第一判别器及所述第二生成器对应的第二判别器。

本发明实施例还提供了一种电子设备,其结构示意图如图5所示,具体包括存储器501,以及一个或者一个以上的指令502,其中一个或者一个以上指令502存储于存储器501中,且经配置以由一个或者一个以上处理器503执行所述一个或者一个以上指令502进行以下操作:

确定目标图片集,所述目标图片集中包含多张第一类图片及多张第二类图片,所述第一类图片属于第一图片风格,所述第二类图片属于第二图片风格;

将所述目标图片集中的第一类图片输入至预先建立的第一生成器中进行风格转换,生成与所述目标图片集中第一类图片对应的属于第二图片风格的图片;并将所述目标图片集中的第二类图片输入至预先建立的第二生成器中进行风格转换,生成与所述目标图片集中第二类图片对应的属于第一图片风格的图片。

本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。

专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1