1.本发明涉及图片生成技术，特别是多风格迁移方法问题
背景技术：2.随着人工智能技术的迅猛发展，一些学者的思维已经跳出仅仅使用人工智能对于图片做简单的处理，希望能够使用人工智能的方法去生成我们需要的图片。goodfellow等人在21实际初提出的生成对抗网络，开创了图像生成领域的先河。gan是一种无监督学习方法，借鉴零和博弈的思想，训练生成器与鉴别器进行对抗。其中，生成器以噪声数据作为输入，通过辨别器的反馈调整内部参数以生成目标图片，以学习目标域的图片生成分布；辨别器的作用是一个分类器，对生成器生成的图片与真实图片进行对比，对二者进行区分。以此技术为基础，发展出了多种不同种类的gan模型，在gan的基础上添加不同的功能。stargan能够完成多种不同风格图片间的多风格转换，stargan将不同风格的图片与目标域编码作为输入，进行源域到目标域风格的转换。然而stangan在训练过程中没有考虑图片风格与内容的纠缠关系，使网络在训练过程中不能对图片内容与细节进行有效区分，边缘细节模糊不清。
3.上述风格迁移过程中，没有考虑图片所包含的不同信息，导致经风格迁移后并不能很好得保留图片的内容细节，导致所生成图片内容细节丢失，质量较差。为此，我们提出一种基于解纠缠表示的多风格迁移方法。其主要思想是将图片进行内容与风格解纠缠表示，在风格迁移过程中保留内容信息，交换域风格信息，以此生成图片。实验表明，我们的多风格迁移方式可以有效解决图片风格迁移后内容细节丢失的问题，解决再风格迁移过程中图片内容信息过多丢失问题。
技术实现要素：4.本发明的目的是为了结局图像生成技术中的多风格迁移方法问题，而提出的一种基于解纠缠表示的多风格迁移方法。
5.上述发明目的主要是通过以下技术方案实现的：
6.s1、从不同域∑k中抽样得到图片ik；
7.s2、通过内容编码器与风格编码器对各原始图片进行内容空间和风格空间解纠缠编码,具体步骤为：
8.(1)对于不同域∑k中的图片，分别训练由卷积神经网络组成的内容编码器与风格编码器得到图片原始内容编码与原始风格编码：
[0009][0010][0011]
式1中，n表示域∑的个数，表示内容编码器输出的原始内容编码，表示风
格编码器输出的原始风格编码；式2中，c表示不同图片共有的内容空间，ak表示域∑k的风格空间；
[0012]
(2)对于不同域∑k的内容编码器训练内容辨别器dc，通过计算并优化内容对抗损失对内容编码器进行约束，使不同域内容编码器提取出的原始内容编码服从同一分布，内容对抗损失表达式为：
[0013][0014]
s3、原始图片的内容编码与风格编码对应关系：首先对不同图片ik的原始内容编码与原始风格编码进行标记，得到内容标签与风格标签再将内容标签与风格标签记录到映射空间mo：
[0015][0016]
s4、将各原始图片交换原始内容编码与内容标签：不同原始图片间随机交换原始内容编码，且经交换后各图片风格编码应各不相同，经交换后得到生成图片内容编码与生成图片风格编码：
[0017][0018]
式5中，表示图片ik交换后的原始内容编码，表示图片ik交换后的原始风格编码，其中m表示除∑k以外的其他域，在交换过程中，内容标签与原始内容编码按照同样的交换法则同时进行交换；
[0019]
s5、生成内容编码与生成风格编码与其对应的标签向量进行融合：分别将图片生成内容编码与其标签生成风格编码与其标签进行拼接，得到生成图片编码
[0020]
s6、通过生成器输出对应原始内容编码与原始风格编码的生成图片：生成器由卷积神经网络构成，通过反卷积操作通过生成图片编码输出生成图片：
[0021][0022]
式中ck为生成图片；
[0023]
s7、通过编码器对生成图片分别进行内容空间和风格空间解纠缠编码：使用步骤s2中所述的内容编码器与风格编码器对生成图片ck进行解纠缠，得到生成图片内容编码与生成图片风格编码
[0024]
s8、将各生成图片的生成内容空间编码进行复原交换：根据映射空间mo，使生成图片解纠缠表示得到的生成图片编码恢复到原始内容编码与原始风格编码的对应关系，得到伪原始内容编码与伪原始风格编码
[0025]
s9、如步骤s5交换后的伪原始内容编码、伪原始风格编码与对应的标签向量进行
融合，得到伪原始图片编码
[0026]
s10、如步骤s6通过生成器输出对应内容编码与风格编码的伪原始图片；
[0027]
发明效果
[0028]
本发明提出了一种基于解纠缠表示的多风格迁移方法。在训练生成模型时首先将图片进行内容与风格解纠缠表示，再将源域图片内容与目标域风格进行拼接作为输入，进行风格迁移，使风格迁移后的图片包含源域内容与目标域风格，保留了源域内容细节信息。
附图说明
[0029]
图1本文多风格迁移方法结构图；
[0030]
具体实施方法
[0031]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0032]
实施例1：
[0033]
本发明提供的一种基于解纠缠表示的多风格迁移方法，包含如下步骤：
[0034]
s1、从不同域中抽样得到图片；
[0035]
s2、对各原始图片进行内容空间和风格空间解纠缠编码；
[0036]
s3、原始图片的内容编码与风格编码对应关系；
[0037]
s4、将各原始图片交换原始内容编码与内容标签；
[0038]
s5、生成内容编码与生成风格编码与其对应的标签向量进行融合；
[0039]
s6、输出对应原始内容编码与原始风格编码的生成图片；
[0040]
s7、对生成图片分别进行内容空间和风格空间解纠缠编码；
[0041]
s8、将各生成图片的生成内容空间编码进行复原交换；
[0042]
s9、交换后的伪原始内容编码、伪原始风格编码与对应的标签向量进行融合；
[0043]
s10、如步骤s6通过生成器输出对应内容编码与风格编码的伪原始图片；
[0044]
本发明实例首先在不同风格领域中抽样出部分图片作为原始图片，通过内容编码器与风格编码器对各原始图片进行内容空间和风格空间解纠缠编码，并记录此次编码的内容编码与风格编码对应关系。再将各原始图片交换原始内容编码与内容标签，将交换后得到的原始内容编码称为生成内容编码，原始风格编码称为生成风格编码，生成内容编码与生成风格编码与其对应的标签向量进行融合，通过生成器输出对应原始内容编码与原始风格编码的生成图片。再通过编码器对生成图片分别进行内容空间和风格空间解纠缠编码，并将各生成图片的生成内容空间编码进行复原交换，最后将得到的内容空间编码和风格空间编码码与对应的标签向量进行融合，得到伪原始图片编码，通过生成器输出对应内容编码与风格编码的伪原始图片。
[0045]
下面对本发明实施例进行详细的说明：
[0046]
本发明实施例具体实现如下。
[0047]
s1、从不同域∑k中抽样得到图片ik；
[0048]
s2、通过内容编码器与风格编码器对各原始图片进行内容空间和风格空间解纠缠编码,具体步骤为：
[0049]
(1)对于不同域∑k中的图片，分别训练由卷积神经网络组成的内容编码器与风格编码器得到图片原始内容编码与原始风格编码：
[0050][0051][0052]
式1中，n表示域∑的个数，表示内容编码器输出的原始内容编码，表示风格编码器输出的原始风格编码；式2中，c表示不同图片共有的内容空间，ak表示域∑k的风格空间；
[0053]
(2)对于不同域∑k的内容编码器训练内容辨别器dc，通过计算并优化内容对抗损失对内容编码器进行约束，使不同域内容编码器提取出的原始内容编码服从同一分布，内容对抗损失表达式为：
[0054][0055]
s3、原始图片的内容编码与风格编码对应关系：首先对不同图片ik的原始内容编码与原始风格编码进行标记，得到内容标签与风格标签再将内容标签与风格标签记录到映射空间mo：
[0056][0057]
此步骤记录了不同内容编码于风格编码的初始对应关系，以保证之后二者进行随即交换后能够再次复原初始对应关系。
[0058]
s4、将各原始图片交换原始内容编码与内容标签：不同原始图片间随机交换原始内容编码，且经交换后各图片风格编码应各不相同，经交换后得到生成图片内容编码与生成图片风格编码：
[0059][0060]
式5中，表示图片ik交换后的原始内容编码，表示图片ik交换后的原始风格编码，其中m表示除∑k以外的其他域，在交换过程中，内容标签与原始内容编码按照同样的交换法则同时进行交换；
[0061]
s5、生成内容编码与生成风格编码与其对应的标签向量进行融合：分别将图片生成内容编码与其标签生成风格编码与其标签进行拼接，得到生成图片编码
[0062]
s6、通过生成器输出对应原始内容编码与原始风格编码的生成图片：生成器由卷积神经网络构成，通过反卷积操作通过生成图片编码输出生成图片：该步骤实现了不同域风格之间的迁移，生成的图片就是经过风格迁移后所需的图片。
[0063][0064]
式中ck为生成图片；
[0065]
s7、通过编码器对生成图片分别进行内容空间和风格空间解纠缠编码：使用步骤s2中所述的内容编码器与风格编码器对生成图片ck进行解纠缠，得到生成图片内容编码与生成图片风格编码
[0066]
s8、将各生成图片的生成内容空间编码进行复原交换：根据映射空间mo，使生成图片解纠缠表示得到的生成图片编码恢复到原始内容编码与原始风格编码的对应关系，得到伪原始内容编码与伪原始风格编码
[0067]
s9、如步骤s5交换后的伪原始内容编码、伪原始风格编码与对应的标签向量进行融合，得到伪原始图片编码
[0068]
s10、如步骤s6通过生成器输出对应内容编码与风格编码的伪原始图片；通过将伪原始图片和原始图片进行比较区分，从而对生成器的性能进行反馈与约束。
[0069]
本发明还可有其它多种实施例，再不背离本发明精神及其实质的情况下本领域技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明范围。