基于均值标准差的图像迁移方法

1.本发明属于数字图像处理、人工智能和神经网络交叉领域，主题内容是一种基于均值标准差算法的图像风格迁移方法，是风格转移的扭曲效果小，迁移运行效率高的方法。


背景技术：

2.图像风格迁移是提取风格图像独有的风格特征，将此特征迁移到内容图像中，使得二者的特征图结合起来。在风格迁移的过程中，生成的特征图要忠实表现原风格图像的艺术特征，也要渲染出内容图像和风格图像的结合生成的纹理特征。风格迁移的目标是经过多次的参数调整，使得中间图像在内容上与内容图像一致，在风格上与风格图像一致。
3.图像风格迁移与图像的纹理特征联系紧密，两者相辅相成。在深度学习未兴起之前，图像的纹理特征都是通过分析某一风格的图像，用局部特征建立的统计模型，通过改变需要迁移图像使其更好地符合所建立的模型。kolliopoulos运用局部的形态来描述笔画的所在位置，在图像不同语义的区域产生不同的特征。基于局部特征建立的模型提取艺术的特征的可适用性差，具有一定的局限性，整体的特征捕获能力差。在深度学习成为研究热点时，gatysla等人提取出基于卷积神经网络的特征空间，引出了新的自然纹理生成模型，使得模型样本信息表达准确，感知质量高，证明了卷积神经网络对特征表述的有效性。随后，gatysla研究发现提取网络的不同层次的信息生成的表达效果不同，采用多层特征融合的方法可以使得风格表达更加丰富。在计算损失应该同时考虑内容和风格损失，要有参数系数来控制权重，在度量图像的纹理特征时，引入了gram矩阵使得特征图内积和所在位置没有依附关系。li等人对gram矩阵度量风格迁移提出了质疑，通过理论证明了gram矩阵的匹配等于最大平均偏差最小化(mmd)具有二阶多项式核。


技术实现要素：

4.本文基于卷积神经网络对风格转移技术进行研究，通过对风格图像和内容图像在图像特征空间中实现了特征提取，改进了基于grammatrix的图像风格转移算法，替换cnn中多层特征信息的相关性作为风格特征，在高层网络中进行求取均值和标准差实现归一化，提高风格特征的运算效率，同时对生成的特征图与内容图像进行psnr和ssim进行图像质量对比，同时对比改进算法的损失函数值趋势来减少图像特征的扭曲和伪影。
5.主要技术方案包括：风格提取网络，设计一个特征空间，该空间可以构建在各个网络层的卷积核上，来存储不同卷积核上的特征信息。不同网络层的卷积核的特征组合起来，可以获得丰富和稳定的特征；风格迁移训练，进行训练vgg
‑
19网络的损失函数与权值，神经风格迁移中的损失函数与权值含义不同。
6.在vgg
‑
19网络训练过程中，通过反向传播对权值进行更新，该权重是变化的，损失函数值与权值相关，输入图像的像素并没有改变。在神经风格迁移领域中，通过使用经过对象识别训练的深度神经网络，我们可以在特征空间中进行操作，以明确表示图像的高级内容。计算目标损失通过优化损失函数调整噪声图像x使得生成的内容特征集与原特征集合
接近，生成的风格特征集与原图像风格特征集合接近；总的损失函数定义为内容损失函数和风格损失函数的加权和，通过优化最佳损失来获得生成风格图像。
7.实验仿真表明,该方法能够很好地提高风格特征的运算效率，减少图像特征的扭曲和伪影。
附图说明
8.下面是该方法主要的附图。
9.图1是本发明方法的流程图。
10.图2是原始内容图像。
11.图3是原始内容分别对应的原始风格图。
12.图4是g
‑
nst算法生成的迁移图。
13.图5是基于均值标准差算法生成的迁移图。
14.图6是g
‑
nst算法随着迭代次数的损失图。
15.图7是均值标准差算法随着迭代次数的损失图。
具体实施方式
16.下面结合附图和具体实施方式对本发明做进一步说明。
17.本发明的流程图如图1所示，基于均值标准差算法的图像风格迁移方法，该方法具体包括以下流程：
18.步骤一：风格提取网络
19.设计一个特征空间，该空间可以构建在各个网络层的卷积核上，来存储不同卷积核上的特征信息。
20.不同网络层的卷积核的特征组合起来，可以获得丰富和稳定的特征。在神经风格迁移领域中，通过使用经过对象识别训练的深度神经网络，我们可以在特征空间中进行操作，以明确表示图像的高级内容。
21.其中，l表示第l个网络层，表示内容图片p在第l个网络层中第i个特征图上位置j处的特征值，表示生成图片x在第1个网络层中第i个特征图上位置j处的特征值。
[0022][0023]
在计算图像的风格特征时，用第l层中第i个和第j个特征图的内积来表示。生成的图像特征为
[0024][0025]
同理，可以计算得到风格图像的风格特征a。计算第l层的风格损失为
[0026][0027]
grammatrix并没有包括位置信息且计算每一种特征之间的相关性，而且计算复杂
度高；而均值和方差包含不同领域的特征
[0028][0029]
和表示图像a和x在第l层的特征图，和分别为图像a和x在第l层的第i个特征通道的均值(公式2.5)和标准差
[0030][0031][0032]
总的损失函数定义为内容损失函数和风格损失函数的加权和
[0033]
l
total
＝αl
c
(c，e)+βl
s
(s，e)
[0034]
总损失依赖于内容损失和风格损失，参数α和β会影响损失函数的计算，当α比重较大时，其内容风格特征呈现的较为明显，反之其风格特征更加突出，进而影响训练过程
[0035]
步骤二：风格迁移训练
[0036]
1)进行训练vgg
‑
19网络的损失函数与权值，神经风格迁移中的损失函数与权值含义不同。
[0037]
2)在vgg
‑
19网络训练过程中，通过反向传播对权值进行更新，该权重是变化的，损失函数值与权值相关，输入图像的像素并没有改变。
[0038]
3)在神经风格迁移领域中，通过使用经过对象识别训练的深度神经网络，我们可以在特征空间中进行操作，以明确表示图像的高级内容。
[0039]
4)计算目标损失通过优化损失函数调整噪声图像x使得生成的内容特征集与原特征集合接近，生成的风格特征集与原图像风格特征集合接近。
[0040]
步骤三：通过优化最佳损失来获得生成风格图像
[0041]
1)为了寻找最大激活响应对应特征图，需要不断进行迭代梯度，使得高层网络特征进行匹配能够将图片内容和艺术纹理更好地融合，而不会过于保留具体的像素信息。
[0042]
2)总损失依赖于内容损失和风格损失，参数α和β会影响损失函数的计算，当α比重较大时，其内容风格特征呈现的较为明显，反之，其风格特征更加突出，进而影响训练过程。
[0043]
方法测试
[0044]
仿真实验选用三张原内容图像和与之相对应的风格图像进行一系列的实验。
[0045]
本实验从psnr和ssim两方面来进行评估算法的性能，psnr可以用来评价图像重建后的图像和原图像相比质量的好坏，计算psnr值越高，说明图像的稳健性越好，失真越小，越能够反映图像的可视效果，计算公式为
[0046][0047]
[0048]
i
i，j
与i
′
i，j
为待计算两个图像的像素值，n1×
n2为图像大小。
[0049]
sim基于亮度、对比度和结构三者之间的结构相似性，计算公式为：
[0050][0051]
其中，μ
x
为x的均值，μ
y
为y的均值，为x的方差，为y的方差，σ
xy
为x和y的协方差，c1和c2为两个常数，避免为0。
[0052]
表1为重复实验中效果图与内容图像的psnr值
[0053][0054]
表2为重复实验中效果图与内容图像的ssim值
[0055]