一种基于GAN的插图风格转换方法

一种基于gan的插图风格转换方法
技术领域
1.本发明属于图像处理的技术领域，尤其涉及一种基于gan的插图风格转换方法。


背景技术：

2.近年来，发展了几种图像到图像风格转换的方法。其中一部分集中于学习基于输入的风格转换，即学习特定输入图像的风格。gatys等人开发了图像到图像风格转换的神经框架，其中使用深度特征来表示内容，使用gram矩阵来表示风格。johnson等人引入了感知损失，它计算了预训练vgg网络的特征空间中输出和参考图像之间的距离。这种损失被证明对于图像到图像样式转换任务是有效的。另一种策略侧重于学习给定一组内容和风格图像的任意艺术风格。然而，这些作品生成的输出完全依赖于输入，即它们不支持为给定输入生成多种不同风格。huang等人提出了一种使用adain层来控制内容图像风格的网络，提出了将二阶特征统计与目标样式匹配的comatch层。xu等人介绍了一种具有编码器-解码器架构的前馈网络，作为任意样式传输的生成器。在深度特征空间中提出了白化和着色变换，以将内容特征统计与样式参考图像的内容特征统计直接匹配。sanakoyeu等人提出了实时高清风格传输的风格感知内容丢失，通过捕捉风格如何影响内容，显著改善了风格化。另一种方法试图通过学习从源域到目标域的多模态映射来解决风格多样性。zhu等人探讨了几种不同的培训目标和网络架构，以实现图像到图像转换任务中的多种可能输出，提出了一种基于解纠缠表示的方法，用于产生不同的输出。huang等人开发了一种称为munit的架构，该架构假设部分共享潜在空间，其架构包含一个自动编码器，它由内容编码器、样式编码器和解码器组成，使用多层感知器(mlp)从样式编码器的输出生成一组adain参数。
3.choi等人引入了stargan v2框架，其主要目标之一是生成具有特定域不同风格的图像，因此学习代表目标域的多模态分布。他们的网络取得了前所未有的成果，现在被认为是在不同领域生成不同图像的最先进架构。它由四个主要组件组成：鉴别器、生成器和创建样式代码的另外两个组件：从随机潜在代码生成样式代码的映射网络，以及从参考图像提取样式代码的样式编码器。
4.但其需要训练几个生成器(如插图画家的数量)来处理不同的插图画家的风格，限制了实际使用，或者需要训练图像特定网络，这忽略了插图画家的其他图像中提供的风格信息。


技术实现要素：

5.针对现有技术中的不足，本发明所要解决的技术问题在于提供一种基于gan的插图风格转换方法，可以特定于输入图像，并且仅使用一个训练模型使用其他图像的信息，允许学习多风格转换并执行无监督图像到插图的翻译，可以实现更具吸引力以及对内容保护的改进和更多样化的插图。
6.为了解决上述技术问题，本发明通过以下技术方案来实现：
7.本发明提供一种基于gan的插图风格转换方法，包括以下步骤：
v2框架中添加特征内容目标函数。
22.stargan v2框架由四个模块组成：生成器、映射网络、样式编码器和鉴别器。生成器从接收参考图像的样式编码器或从接收潜在代码的映射网络接收adain信息。将此生成器替换为ganilla生成器的修改版本。图1中给出了所得到的gan架构，图2中详细描述了剩余块。生成器的编码器类似于ganilla生成器，它从7x7卷积层开始，然后是实例规范化层、relu和最大池层。然后，生成器设为四层，其中每层由两个剩余块组成。与之前提出的架构相反，解码器包含三个残差块(图2)。
23.每个剩余块从卷积层开始，然后是adain层和relu激活。然后是简单的上采样层、卷积层、adain层和relu激活。在这个模型中使用adain使其依赖于输入，这是风格转换中非常理想的属性。
24.设x和y是两个不同的域，其中x∈x是来自第一域的图像，y∈y是来自第二域的图像。使用这些符号，转而描述测试的目标函数。作为基线，使用stargan v2框架中的相同损耗函数，第一个目标是对抗性目标(ladv)，其通过使用分别对应于输入图像和生成图像上的输入域和目标域的两个鉴别器预测来计算。通过使用映射网络中生成的样式代码创建对抗目标中生成的图像。对抗性目标确保映射网络学习提供可能从目标域获取的样式代码。此外，它保证生成器将学习使用这种样式代码，并生成与目标域的其他图像无法区分的图像。第二个目标是样式重建目标(lsty)，它强制生成器在接收生成的潜在代码时使用在映射网络组件中创建的样式代码。该目标是使用生成图像上的样式编码器输出计算的。第三个目标是风格多样化目标(lds)，它是由两个不同的生成图像计算的，这两个图像是由两种不同的风格代码创建的。通过生成两个潜在代码并将其转发给映射网络组件，获得用于样式多样化目标的样式代码。该目标进一步使生成器能够产生不同的图像。第四个目标是保持输入图像的源特性(lcyc，其本质上是周期一致性损失)。
25.使用stargan v2作者提供的实现对所提出的架构进行培训。即使用设定好的目标训练一次，一次使用潜在向量，一次使用参考图像。在后者中，使用接收参考图像的样式编码器组件生成样式代码。
26.以上所述是本发明的优选实施方式而已，当然不能以此来限定本发明之权利范围，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变动，这些改进和变动也视为本发明的保护范围。


技术特征：
1.一种基于gan的插图风格转换方法，其特征在于，包括以下步骤：步骤1：生成器从接收参考图像的样式编码器或从接收潜在代码的映射网络接收adain信息；步骤2：将此生成器替换为ganilla生成器的修改版本；步骤3：生成器设为四层，其中每层由两个剩余块组成；步骤4：每个剩余块从卷积层开始，然后adain层和relu激活，然后简单的上采样层、卷积层、adain层和relu激活。2.如权利要求1所述的基于gan的插图风格转换方法，其特征在于，所述生成器与stargan v2框架相结合，使用stargan v2框架中的相同损耗函数，第一个目标是对抗性目标，其通过使用分别对应于输入图像和生成图像上的输入域和目标域的两个鉴别器预测来计算，通过使用映射网络中生成的样式代码创建对抗目标中生成的图像，对抗性目标确保映射网络学习提供可能从目标域获取的样式代码，保证生成器将学习使用这种样式代码，并生成与目标域的其他图像无法区分的图像。3.如权利要求2所述的基于gan的插图风格转换方法，其特征在于，第二个目标是样式重建目标，强制生成器在接收生成的潜在代码时使用在映射网络组件中创建的样式代码。4.如权利要求2所述的基于gan的插图风格转换方法，其特征在于，第三个目标是风格多样化目标，由两个不同的生成图像计算的，这两个图像是由两种不同的风格代码创建的，通过生成两个潜在代码并将其转发给映射网络组件，获得用于样式多样化目标的样式代码。

技术总结
本发明公开了一种基于GAN的插图风格转换方法，步骤为：生成器从接收参考图像的样式编码器或从接收潜在代码的映射网络接收AdaIN信息；将此生成器替换为GANILLA生成器的修改版本；生成器设为四层，其中每层由两个剩余块组成；每个剩余块从卷积层开始，然后AdaIN层和ReLU激活，然后简单的上采样层、卷积层、AdaIN层和ReLU激活。本发明的基于GAN的插图风格转换方法用于无监督图像到插图翻译的多风格框架，可以生成风格化但内容保持的图像。本发明是特定于输入图像，并且仅使用一个训练模型使用其他图像的信息，该框架允许学习多风格转换并执行无监督图像到插图的翻译，可以实现更具吸引力以及对内容保护的改进和更多样化的插图。图。图。


技术研发人员：古楚楚
受保护的技术使用者：辽宁工程技术大学
技术研发日：2022.09.14
技术公布日：2022/12/9