技术特征：
1.一种基于特征调整的神经风格迁移方法，其特征在于，包括以下步骤：利用训练数据集，训练神经风格迁移网络模型；该神经风格迁移网络模型包括内容编码器、风格编码器、装饰器和解码器；内容编码器和风格编码器均包括连续的若干个卷积层，每个卷积层后跟随一个线性整流函数，中间不相邻的部分卷积层和最后卷积层前使用最大池化进行下采样；装饰器包括一个单样本规范化层和在后的若干个风格装饰模块；解码器包括若干个相互交替的自适应单样本规范化层和残差块，以及位于末尾的一个卷积层；将目标内容图像或视频帧和参考风格图像输入到训练好的神经风格迁移网络模型中进行以下步骤的处理：将目标内容图像或视频帧输入到内容编码器中，处理得到内容编码；将参考风格图像输入到风格编码器中，首个卷积层和含有最大池化的卷积层分别输出风格编码；将内容编码输入到装饰器中，同时在各个风格装饰模块中输入风格编码；将装饰器输出的内容输入到解码器中，在各个自适应单样本规范化层中还依次输入风格编码器不同层的风格编码的均值和方差，处理得到最终的风格迁移结果图像或视频帧。2.如权利要求1所述的方法，其特征在于，训练数据集包括由摄影图像组成的内容数据集和由绘画图像组成的风格数据集；训练时，将内容数据集输入到内容编码器中，将风格数据集输入到风格编码器中。3.如权利要求1所述的方法，其特征在于，内容编码器和风格编码器的卷积层均为9个，其中第3、5、9个卷积层前使用最大池化进行下采样；装饰器的风格装饰模块为3个；解码器的自适应单样本规范化层为4个，残差块为3个，卷积层为1个。4.如权利要求1所述的方法，其特征在于，风格装饰模块包括若干个卷积核预测单元、若干个卷积层和一个线性整流函数，卷积核预测单元包括卷积层、全局池化层、合并层和全连接层。5.如权利要求1所述的方法，其特征在于，残差块包括1个上采样层、3个卷积层、2个带泄露整流函数和2个单样本规范化层。6.如权利要求5所述的方法，其特征在于，残差块的上采样层将输入的数据采样后，分别输出给1个卷积层和由另外2个卷积层与2个带泄露整流函数和2个单样本规范化层交替组成的多层结构，两支数据相加后作为输出。7.如权利要求1所述的方法，其特征在于，在各个风格装饰模块中输入风格编码器的最后一层卷积的风格编码。8.如权利要求1所述的方法，其特征在于，在解码器的第一个自适应单样本规范化层中输入风格编码器的最后一层卷积的风格编码的均值和方差，再在第二个自适应单样本规范化层中输入风格编码器的倒数第二个含有最大池化的层卷积的风格编码的均值和方差，如此类推。9.如权利要求1所述的方法，其特征在于，训练神经风格迁移网络模型时，总损失函数项为：l＝λ
style
l
style
+λ
content
l
content
+λ
recon
l
recon
+λ
tv
l
tv
+λ
temp
l
temp
，式中，λ
style
、λ
content
、λ
recon
、λ
tv
和λ
temp
是权重项，l
style
为风格损失函数项，l
content
为内容
损失函数项，l
recon
为重建损失函数项，l
tv
为全变分损失函数项，l
temp
为时域连续性损失函数项；其中，l
style
＝∑
l
(||mean(φ
l
(s))-mean(φ
l
(m(s,c)))||2+||var(φ
l
(s))-var(φ
l
(m(s,c)))||2)，式中，mean(
·
)为预训练的图像分类模型vgg19的特征的均值，var(
·
)为特征的方差，l取relu1_1，relu2_1，relu3_1，relu4_1层，s为参考风格图像，c为目标内容图像或视频帧，m(s,c)为风格迁移模型m输入s与c的风格迁移结果；l
content
＝∑
l
(||φ
l
(c)-φ
l
(m(s,c))||2)，式中，l取预训练的图像分类模型vgg19的relu4_1层；l
recon
＝||m(i,i
gray
)-i||，式中，m(i,i
gray
)为使用i
gray
作为目标内容图像或视频帧得到的风格迁移结果，i为一内容图像或视频帧或风格图像，i
gray
为对i进行灰度化得到；l
tv
＝||δ
x
(m(s,c))+δ
y
(m(s,c))||，式中，δ
x
为水平方向的残差，记δ
y
为垂直方向的残差；l
temp
＝||m(s,f(c)+δ)-f(m(s,c))||，式中，f为随机光流，首先生成一个与目标内容图像或视频帧c长宽尺寸相同的二通道随机噪声图，然后对其进行高斯模糊；f(c)为使用随机光流f对c进行扭曲，对于每一个c的坐标为(w,h)的像素，水平光流为f
x
，垂直方向光流为f
y
，则其新坐标为(w+f
x
,h+f
y
)，使用最近邻插值完成该扭曲操作。10.一种基于特征调整的神经风格迁移系统，包括一神经风格迁移网络模型，其经训练后，通过输入目标内容图像或视频帧和参考风格图像，处理得到风格迁移结果图像或视频帧；其特征在于，该神经风格迁移网络模型包括：内容编码器，包括连续的若干个卷积层，每个卷积层后跟随一个线性整流函数，中间不相邻的部分卷积层和最后卷积层前使用最大池化进行下采样；用于处理目标内容图像或视频帧，得到内容编码；风格编码器，包括连续的若干个卷积层，每个卷积层后跟随一个线性整流函数，中间不相邻的部分卷积层和最后卷积层前使用最大池化进行下采样；用于处理参考风格图像，首个卷积层和含有最大池化的卷积层分别输出风格编码；装饰器，包括一个单样本规范化层和在后的若干个风格装饰模块；其中单样本规范化层用于接收内容编码并处理输出给风格装饰模块，风格装饰模块用于接收上层输入的数据同时接收风格编码进行综合处理并输出给下一层；解码器，包括若干个相互交替的自适应单样本规范化层和残差块，以及位于末尾的一个卷积层；用于处理装饰器输出的内容，其中各个自适应单样本规范化层还依次输入风格编码器不同层的风格编码的均值和方差进行处理，处理得到最终的风格迁移结果图像或视频帧。
技术总结
本发明公开一种基于特征调整的神经风格迁移方法及系统，属于图像与视频风格化领域，训练主要由内容编码器、风格编码器、装饰器和解码器组成的神经风格迁移网络模型，输入目标内容图像或视频帧和参考风格图像，得到风格迁移结果图像或视频帧，通过调整神经网络的特征空间与通道两个维度的分布，只需要一次参数前传就可以实现效果良好的风格迁移。传就可以实现效果良好的风格迁移。传就可以实现效果良好的风格迁移。
技术研发人员：刘家瑛 汪文靖 许继征 张莉 王悦 郭宗明
受保护的技术使用者：北京字节跳动科技有限公司
技术研发日：2020.04.03
技术公布日：2021/10/11