一种基于变分自动编码器和生成对抗网络的图像转化方法与流程

本发明涉及图像转化领域，尤其是涉及了一种基于变分自动编码器和生成对抗网络的图像转化方法。

背景技术：

伴随着摄影技术的出现、电视和电影的普及、广告、报纸书刊、互联网等众多以图像为主的社会媒介飞速发展，与图像相关的技术日趋显出其重要性。将图像从一个域映射到另一个域(图像到图像转换)具有广泛的应用。例如，海上环境可见度差，常常有雾霾等，通过图像转化提前预知环境的相关情况，将对海上交通管理、捕鱼等海上作业提供便利；实现图像从白天到夜晚的转化、从晴天到雨天的转化等，使人们提前预知环境，方便出行或实施其他工作；将图像转化成相应的彩色图像，以便更好地显示和观察。然而，现有的大多数图像到图像转化方法都是基于监督学习，需要由两个对应的图像对组成的训练数据集，但是对于许多应用来说难以获得所需的图像对，因此给转化造成不便。

本发明提出了一种基于变分自动编码器和生成对抗网络的图像转化方法，使用无监督图像到图像转化(unit)网络框架学习两个图像域之间的双向转化功能，其包括vae和vae，用它们对每个图像域进行建模，对抗训练目标与权重共享约束相互作用，在两个域中产生相应的图像，将转化图像与各个域中的输入图像相关联，训练网络联合解决图像重构流和图像转化流的问题。本发明提出无监督图像到图像转化框架，使两个域中没有任何联系的图像完成转化；不需要对应图像组成的训练数据集即可完成，提高了效率和实用性，该方法还可拓展到无监督的语言转化。

技术实现要素：

针对图像转化不便的问题，本发明的目的在于提供一种基于变分自动编码器和生成对抗网络的图像转化方法，使用无监督图像到图像转化(unit)网络框架学习两个图像域之间的双向转化功能，其包括vae和vae，用它们对每个图像域进行建模，对抗训练目标与权重共享约束相互作用，在两个域中产生相应的图像，将转化图像与各个域中的输入图像相关联，训练网络联合解决图像重构流和图像转化流的问题。

为解决上述问题，本发明提供一种基于变分自动编码器和生成对抗网络的图像转化方法，其主要内容包括：

(一)变分自动编码器(vae)；

(二)权重共享；

(三)生成对抗网络(gan)；

(四)学习。

其中，所述的无监督图像到图像翻译(unit)网络，该框架包括变分自动编码器(vae)和生成对抗网络(gan)；它由6个子网络组成：包括两个域图像编码器e1和e2，两个域图像生成器g1和g2，以及两个域对抗鉴别器d1和d2；令x1和x2为两个不同的图像域；在受监督的图像到图像转化问题中，从联合分布绘制训练样本(x1，x2)；在无监督设置中，仅从边际分布和给出训练样本。

其中，所述的变分自动编码器(vae)，编码器-发生器对{e1，g1}构成了vae1的x1域的vae；对于输入图像x1∈x1，vae1首先通过编码器e1映射到潜在空间中的代码，然后解码，经生成器g1重建输入图像；编码器输出平均矢量e1，μ(x1)和方差矢量其中潜码z1的分布由给出；矩阵对角元素提取操作符将向量转换为对角矩阵，其中对角元素是向量的分量；重建图像为这里将q1(z1|x1)的分布作为的随机向量的符号，并从中采样；

类似地，{e2，g2}构成x2域的vae：vae2；编码器e2输出平均矢量e2，μ(x1)和方差矢量潜码z2的分布由给出；重建图像表示为

进一步地，所述的采样，采样操作z1～q1(z1|x1)可以通过实现，其中，。是hadamard乘法；同样，z2～q2(z2|x2)采样操作后为

其中，所述的权重共享，为了使两个vae中的表示相关联，强制执行权重共享约束；基于两个域中一对相应图像的高级表示，共享提取两个域中的输入图像的高级表示e1和e2最后几层的权重；类似地，共享解码高级表示，重建输入图像g1和g2前几层的权重。

进一步地，所述的潜在代码，相同的潜码可以被解码，在两个域中输出两个不相关的图像；通过对抗训练，分别将两个域中的一对相应图像分别映射到e1和e2的公共潜在代码，并将潜在的代码映射到两个对应的图像中，分别为g1和g2。

进一步地，所述的共享潜在空间，x1和x2的共享潜在空间能完成图像到图像的转化；通过应用g2(z1～q1(z1|x1))将x1中的图像x1转换为x2中的图像；将这样的信息处理流称为图像转化流；两个图像转化流存在于unit框架中：x1→x2和x2→x1；两个流与图像重建流联合训练；一旦确保一对相应的图像被映射到相同的潜伏码，并且相同的潜码解码成一对对应的图像，则(x1，g2(z1～q1(z1|x1)))将形成一对相应的图像。

其中，所述的生成对抗网络(gan)，一个unit网络使用两个对抗性的鉴别器：d1和d2；对于从第一个域数据集采样的图像，d1应输出为“正确”，而对于由g1生成的图像，则应输出为“错误”；由g1生成的图像可以是相同的域重建图像或域转换图像类似地，d2被训练为对从第二域数据集采样的图像输出“正确”，对于从g2生成的图像是d2。

其中，所述的学习，训练unit网络可以通过联合解决vae1，vae2，gan1和gan2的图像重构流和图像转化流的学习问题：

训练vae通常通过最小化负对数似然函数的变化上界来完成；

vae对象函数由上式给出。

进一步地，所述的重建图像，超参数λ1和λ2控制目标函数的权重，kl代表kullback-leibler(kl)发散函数；使用由给出的高斯分布对条件分布pg1进行建模；因此，最小化负对数似然项相当于最小化图像和重建图像之间的欧氏距离；相同的建模应用于pg2；先验分布为

(4)和(5)中的目标函数与标准gan目标函数不同，因为生成的图像来自两个不同的分布；对于(4)，两个分布是q1(z1|x1)(x1中的输入图像的重建图像的分布)和q2(z2|x2)(x2中的输入图像的转换图像的分布)；优化(4)鼓励g1输出从类似于x1图像的分布中抽取的图像；类似地，优化(5)鼓励g2从x2输出类似图像的q1(z1|x1)和q2(z2|x2)采样的图像。

附图说明

图1是本发明一种基于变分自动编码器和生成对抗网络的图像转化方法的系统框架图。

图2是本发明一种基于变分自动编码器和生成对抗网络的图像转化方法的无监督图像到图像翻译(unit)网络框架。

图3是本发明一种基于变分自动编码器和生成对抗网络的图像转化方法的转化实例。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于变分自动编码器和生成对抗网络的图像转化方法的系统框架图。主要包括变分自动编码器(vae)，权重共享，生成对抗网络(gan)，学习。

变分自动编码器(vae)，编码器-发生器对{e1，g1}构成了vae1的x1域的vae；对于输入图像x1∈x1，vae1首先通过编码器e1映射到潜在空间中的代码，然后解码，经生成器g1重建输入图像；编码器输出平均矢量和方差矢量其中潜码z1的分布由给出；矩阵对角元素提取操作符将向量转换为对角矩阵，其中对角元素是向量的分量；重建图像为这里将q1(z1|x1)的分布作为的随机向量的符号，并从中采样；

类似地，{e2，g2}构成x2域的vae：vae2；编码器e2输出平均矢量e2，μ(x1)和方差矢量潜码z2的分布由给出；重建图像表示为

采样操作z1～q1(z1|x1)可以通过实现，其中，ο是hadamard乘法；同样，z2～q2(z2|x2)采样操作后为

权重共享，为了使两个vae中的表示相关联，强制执行权重共享约束；基于两个域中一对相应图像的高级表示，共享提取两个域中的输入图像的高级表示e1和e2最后几层的权重；类似地，共享解码高级表示，重建输入图像g1和g2前几层的权重。

相同的潜码可以被解码，在两个域中输出两个不相关的图像；通过对抗训练，分别将两个域中的一对相应图像分别映射到e1和e2的公共潜在代码，并将潜在的代码映射到两个对应的图像中，分别为g1和g2。

x1和x2的共享潜在空间能完成图像到图像的转化；通过应用g2(z1～q1(z1|x1))将x1中的图像x1转换为x2中的图像；将这样的信息处理流称为图像转化流；两个图像转化流存在于unit框架中：x1→x2和x2→x1；两个流与图像重建流联合训练；一旦确保一对相应的图像被映射到相同的潜伏码，并且相同的潜码解码成一对对应的图像，则(x1，g2(z1～q1(z1|x1)))将形成一对相应的图像。

生成对抗网络(gan)，一个unit网络使用两个对抗性的鉴别器：d1和d2；对于从第一个域数据集采样的图像，d1应输出为“正确”，而对于由g1生成的图像，则应输出为“错误”；由g1生成的图像可以是相同的域重建图像或域转换图像类似地，d2被训练为对从第二域数据集采样的图像输出“正确”，对于从g2生成的图像是d2。

学习，训练unit网络可以通过联合解决vae1，vae2，gan1和gan2的图像重构流和图像转化流的学习问题：

训练vae通常通过最小化负对数似然函数的变化上界来完成；

vae对象函数由上式给出。

重建图像，超参数λ1和λ2控制目标函数的权重，kl代表kullback-leibler(kl)发散函数；使用由给出的高斯分布对条件分布pg1进行建模；因此，最小化负对数似然项相当于最小化图像和重建图像之间的欧氏距离；相同的建模应用于pg2；先验分布为

(4)和(5)中的目标函数与标准gan目标函数不同，因为生成的图像来自两个不同的分布；对于(4)，两个分布是q1(z1|x1)(x1中的输入图像的重建图像的分布)和q2(z2|x2)(x2中的输入图像的转换图像的分布)；优化(4)鼓励g1输出从类似于x1图像的分布中抽取的图像；类似地，优化(5)鼓励g2从x2输出类似图像的q1(z1|x1)和q2(z2|x2)采样的图像。

图2是本发明一种基于变分自动编码器和生成对抗网络的图像转化方法的无监督图像到图像翻译(unit)网络框架。该框架包括变分自动编码器(vae)和生成对抗网络(gan)；它由6个子网络组成：包括两个域图像编码器e1和e2，两个域图像生成器g1和g2，以及两个域对抗鉴别器d1和d2；令x1和x2为两个不同的图像域；在受监督的图像到图像转化问题中，从联合分布绘制训练样本(x1，x2)；在无监督设置中，仅从边际分布和合出训练样本。

图3是本发明一种基于变分自动编码器和生成对抗网络的图像转化方法的转化实例。其实现了无监督日间图像到夜间图像的转化，夜间图像到日间图像的转化，热像到rgb图像的转化，rgb图像到热像的转化，晴天图像到雨天图像的转化，以及雨天图像到晴天图像的转化。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。