基于显著性检测和深度卷积神经网络的图像风络迁移方法与流程

本发明涉及深度学习技术领域，具体为基于显著性检测和深度卷积神经网络的图像风络迁移方法。

背景技术：

随着科技技术迅速发展，在深度神经网格在众多领域得到了广泛的应用。基于深度神经网格的风格迁移是近来人工智能领域内的一个新的热门研究主题，它的基本原理是利用神经网络模型对于两幅输已知的图像(分别叫做风格图像和内容图像)，是将风格(style)从“风格图像”迁移到“内容图像”的过程。目的是能够根据不同的风格图像生成同一内容的不同风格的新图像。

gatys等人率先在在2016年cvpr(国际计算机视觉与模式识别大会上)的发表了文章“imagestyletransferusingconvolutionalneuralnetworks”证实了卷积神经网络(cnn)的在图像风格迁移中表现出惊人的能力：通过分离和重新组合图片内容与风格，cnn可以创作出具有艺术魅力的作品。从那以后，在学术研究和产业应用对神经风格迁移产生极大的兴趣，短短几年间，基于深度神经网格的图像风格迁移它已成为学术界和工业界中的热点研究问题之一。包括清华大学，北京大学，stanford大学和ucberkeley大学等国内外世界知名大学、研究院(所)和实验室在内的团队，对风格迁移进行了广泛且深入的研究。

现有的风格迁移方法存在的问题主要有：图像的风格迁移具有很大的随意性，导致很多情况下，效果很不理想，有时候还会产生一些错误，比如说把风格图像中眼睛部分特征迁移到嘴巴上去了，或者图像背景特征迁移到前景物体上，迁移效果非常不理想。

技术实现要素：

本发明的目的在于提供基于显著性检测和深度卷积神经网络的图像风络迁移方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于显著性检测和深度卷积神经网络的图像风络迁移方法,包括以下步骤：

步骤1，选取一张需要进行风格迁移的内容图像和一张作为风格来源的风格图像，利用multi-taskfcnn网络模型，并对内容图像和风格图像分别进行显著性检测，得到内容图像和风格图像显著性特征图；

步骤2，采用深度卷积神经网络vgg-19作为图像高级特征提取原始模型，并以relu5_1和为内容约束特征提取层，以relu2_1、relu3_1和relu4_1为风格约束特征提取层，并把它们提取出来，生成新的神经网络风格迁移模型；

步骤3，将风格图像和内容图像输入到神经网络风格迁移模型中，分别在内容约束特征提取层和风格约束特征提取层，提取内容图像特征图，生成内容图像特征图集，提取风格图像特征图，生成风格图像特征图集；

步骤4，风格图像和内容图像输入到multi-taskfcnn网络模型中，生成内容图像显著性特征图和风格图像显著性特征图，根据内容图像特征图和风格图像特征图的大小，分别把内容图像显著性特征图和风格图像显著性特征图分别加入到内容图像特征图集和风格图像特征图集中；

步骤5，随机生成高斯噪声图像为初始化新图像；

步骤6，根据内容图像的尺寸大小来调整初始化新图像的尺寸；

步骤7，将初始化新图像输入到神经网络风格迁移模型中，在马尔可夫随机场下，分别计算图像在内容约束层relu5_1和风格约束层relu2_1,relu3_1和relu4_1上的内容约束层损失函数和风格约束层损失函数；

步骤8，将初始化新图像输入到卷积神经网络multi-taskfcnn中，生成图像显著性特征检测结果；计算图像显著性特征损失函数；

步骤9，综合步骤7和8的结果，得到总的损失函数，并对于不同层，分别采用基于梯度下降法的优化算法生成风格迁移结果，即采用梯度下降法，通过迭代计算生成风格迁移的梯度，并利用总的损失函数，沿负梯度方向逼近原内容和风格，以让每次迭代生成的风格迁移尽可能地分别与原内容和风格相似；

步骤10，重复步骤7-9进行100次迭代，再重复步骤6-9进行3次迭代，输出最终的风格迁移图像。

优选的，所述步骤1中，采用multi-taskfcnn网络模型，并对内容图像和风格图像分别进行显著性检测，得到内容图像和风格图像显著性特征图。

优选的，所述步骤3中，利用步骤2生成的神经网络风格迁移模型，提取内容约束特征的特征图集其中l表示所对应的vgg-19中所在的内容约束特征提取层，即relu5_1，把内容图像显著性特征图加入到特征图集中，生成新的内容特征图集β为显著性特征权重调节参数，其取值范围[0,200]；利用步骤2生成的神经网络风格迁移模型，提取风格约束特征的特征图集其中l表示所对应的vgg-19中所在的内容约束特征提取层，即relu2_1，relu3_1和relu4_1，把风格图像显著性特征图加入到风格特征图集中，生成新的风格特征图集

优选的，所述的步骤5中，将初始化新图像的大小设置为其中hc分别为内容图像的长和宽，l为调整图像大小的参数，每次迭代l分别取3、2、1。

优选的，所述步骤7中，风格约束层损失函数为：

其中，ψ^*(φ(x))＝(ψ(φ(x)),βψ(mcontent))，ψ^*(φ(xstyle))＝(ψ(φ(xstyle)),βψ(mstyle))，φ(x)为特征图，将φ(x)和mcontent按r*r大小的局部块即localpatch进行分割，每个localpatch即ψ(φ(x))，ψ(φ(x))将φ(x)分割生成p1个localpatch，ψ(mcontent)将mcontent分割生成p2个localpatch，r表示实数集，wc，hc分别为内容图像的长和宽，表示风格图像，ws，hs分别为内容图像的长和宽，mcontent表示内容图像显著性检测结果，mstyle表示风格图像显著性检测结果；

表示ψ^*(φ(x))中的第i个localpatch，ψi(mstyle)表示ψ(mstyle)中的第i个localpatch，而和ψnn(i)(mstyle)分别表示ψ^*(φ(xstyle))中与最匹配的一个localpatch；

其中，localpatch选取规则定义为

优选的，所述步骤7中，内容约束损失函数为

econtent(φ(x),φ(xcontent))＝||φ(x)-φ(xcontent)||²。

优选的，所述步骤7中，显著性特征约束损失函数为

esaliency(υ(x),mcontent))＝||υ(x)-mcontent||²，其中，υ(x)为生成新的风格迁移图像的显著性检测结果。

优选的，所述步骤8中，总的损失函数为

e(x)＝α1estyle(φ(x),φ(xstyle),mcontent,mstyle)+α2econtent(φ(x),φ(xcontent))+α3esaliency(υ(x),mcontent))，

其中α1，α2，α3分别为用于调节生成图像中包含的原内容图像和风格图像的强度的调节参数，取值范围为α1∈[0,1]，α2∈[0,200]，α3∈[0,5]。

优选的，所述步骤8中，所述的基于梯度下降法的优化算法包括以下步骤：

(1)初始化，迭代参数i＝0，j＝m，定义矩阵h并初始化为元素都为1的对角矩阵，允许误差ε＝10^-5，利用vgg-19模型，计算初始梯度利用multi-taskfcnn网络模型，把x0做为输入，调用网络模型反向函数，得到显著性变化梯度x0为步骤4中随机生成的高斯噪声图像；

(2)如果i<＝itr或者如果则输出第i次迭代结果xi+1，并结束优化算法；否则转步骤(3)；其中itr为最高迭代次数；

(3)定义pi为第i次迭代的负梯度方向pi＝-gi；

(4)更新第i次迭代的结果，xi+1＝xi+pi；

(5)定义si为上一步的结果xi和本次迭代的结果误差，即si＝xi+1-xi，定义yi为上一步的结果梯度的和本次迭代结果的梯度误差，即定义其中t表示矩阵转制；

(6)更新

(7)定义变量q为xi的梯度

(8)j＝1迭代计算

取更新q,q＝q-aiyi-j，直到j＝m，m为预设的迭代次数；

(9)更新gi,gi＝hiq；

(10)j＝1迭代计算

取，更新gi，gi＝gi+si-j(aj-b)，直到j＝m

(11)更新迭代步骤，i＝i+1,跳转到步骤(2)。

优选的，基于梯度下降法的优化算法中，在执行步骤(5)后，还包括保留最近m次的结果的步骤，如果i>m，则删除si-m、si-m-1...s1和yi-m、yi-m-1...y1。

与现有技术相比，本发明的有益效果是：

(1)本发明通过对风格图像和内容图像进行显著性检测，得到显著性特征图，并把显著性特征图增加到vgg-19网络模型中选定的层，为图像风格迁移方法提供更多的特征供选取，从而使得生成的具有更好的细节特征。

(2)本发明定义一个新损失函数,与传统的风格迁移损失函数相比，增加了显著性特征对输出结果的约束。避免了风格迁移中一些错误的产生,能更好的保存原内容图像的结构特征，提高了风格迁移的效果。

附图说明

图1是本发明的系统流程图；

图2是本发明的模型架构图；

图3是本发明实施例采用的一个内容图像；

图4是本发明实施例采用的一个风格图像；

图5是本发明图像风格迁移方法的风格迁移结果示。

图6是采用传统方法风格迁移方法的风格迁移结果示。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-6，本发明提供一种技术方案：基于显著性检测和深度卷积神经网络的图像风络迁移方法,包括以下步骤：

步骤1，选取一张需要进行风格迁移的内容图像和一张作为风格来源的风格图像，利用文献1提出的multi-taskfcnn网络模型，并对内容图像和风格图像分别进行显著性检测，得到内容图像和风格图像显著性特征图；

步骤2，采用深度卷积神经网络vgg-19作为图像高级特征提取原始模型，并以relu5_1和为内容约束特征提取层，以relu2_1、relu3_1和relu4_1为风格约束特征提取层，并把它们提取出来，生成新的神经网络风格迁移模型；

步骤3，将风格图像和内容图像输入到神经网络风格迁移模型中，分别在内容约束特征提取层和风格约束特征提取层，提取内容图像特征图，生成内容图像特征图集，提取风格图像特征图，生成风格图像特征图集；

步骤4，风格图像和内容图像输入到multi-taskfcnn网络模型中，生成内容图像显著性特征图和风格图像显著性特征图，根据内容图像特征图和风格图像特征图的大小，分别把内容图像显著性特征图和风格图像显著性特征图分加入到内容图像特征图集和风格图像特征图集中；

步骤5，随机生成高斯噪声图像为初始化新图像；

步骤6，根据内容图像的尺寸大小来调整初始化新图像的尺寸；

步骤7，将初始化新图像输入到神经网络风格迁移模型中，在马尔可夫随机场下，分别计算图像在内容约束层relu5_1和风格约束层relu2_1,relu3_1和relu4_1上的内容约束层损失函数和风格约束层损失函数；

步骤8，将初始化新图像输入到卷积神经网络multi-taskfcnn中，生成图像显著性特征检测结果；计算图像显著性特征损失函数；

步骤9，综合步骤7和8的结果，得到总的损失函数，并对于不同层，分别采用基于梯度下降法的优化算法生成风格迁移结果，即采用梯度下降法，通过迭代计算生成风格迁移的梯度，并利用总的损失函数，沿负梯度方向逼近原内容和风格，以让每次迭代生成的风格迁移尽可能地分别与原内容和风格相似；

步骤10，重复步骤7-9进行100次迭代，再重复步骤6-9进行3次迭代，输出最终的风格迁移图像。

本发明中，步骤1中，采用multi-taskfcnn网络模型，并对内容图像和风格图像分别进行显著性检测，得到内容图像和风格图像显著性特征图。

本发明中，步骤3中，利用步骤2生成的神经网络风格迁移模型，提取内容约束特征的特征图集其中l表示所对应的vgg-19中所在的内容约束特征提取层，即relu5_1，把内容图像显著性特征图加入到特征图集中，生成新的内容特征图集β为显著性特征权重调节参数，其取值范围[0,200]；利用步骤2生成的神经网络风格迁移模型，提取风格约束特征的特征图集其中l表示所对应的vgg-19中所在的内容约束特征提取层，即relu2_1，relu3_1和relu4_1，把风格图像显著性特征图加入到风格特征图集中，生成新的风格特征图集

本发明中，所述的步骤5中，将初始化新图像的大小设置为其中hc分别为内容图像的长和宽，l为调整图像大小的参数，每次迭代l分别取3、2、1。

本发明中，步骤7中，风格约束层损失函数为：

其中，ψ^*(φ(x))＝(ψ(φ(x)),βψ(mcontent))，ψ^*(φ(xstyle))＝(ψ(φ(xstyle)),βψ(mstyle))，φ(x)为特征图，将φ(x)和mcontent按r*r大小的局部块即localpatch进行分割，每个localpatch即ψ(φ(x))，ψ(φ(x))将φ(x)分割生成p1个localpatch，ψ(mcontent)将mcontent分割生成p2个localpatch，r表示实数集，wc，hc分别为内容图像的长和宽，表示风格图像，ws，hs分别为内容图像的长和宽，mcontent表示内容图像显著性检测结果，mstyle表示风格图像显著性检测结果；

表示ψ^*(φ(x))中的第i个localpatch，ψi(mstyle)表示ψ(mstyle)中的第i个localpatch，而和ψnn(i)(mstyle)分别表示ψ^*(φ(xstyle))中与最匹配的一个localpatch；

其中，localpatch选取规则定义为

本发明中，步骤7中，内容约束损失函数为

econtent(φ(x),φ(xcontent))＝||φ(x)-φ(xcontent)||²。

本发明中，步骤7中，显著性特征约束损失函数为

esaliency(υ(x),mcontent))＝||υ(x)-mcontent||²，其中，υ(x)为生成新的风格迁移图像的显著性检测结果。

本发明中，步骤8中，总的损失函数为

e(x)＝α1estyle(φ(x),φ(xstyle),mcontent,mstyle)+α2econtent(φ(x),φ(xcontent))+α3esaliency(υ(x),mcontent))，

其中α1，α2，α3分别为用于调节生成图像中包含的原内容图像和风格图像的强度的调节参数，取值范围为α1∈[0,1]，α2∈[0,200]，α3∈[0,5]。

本发明中，步骤8中，所述的基于梯度下降法的优化算法包括以下步骤：

(1)初始化，迭代参数i＝0，j＝m，定义矩阵h并初始化为元素都为1的对角矩阵，允许误差ε＝10^-5，利用vgg-19模型，计算初始梯度利用multi-taskfcnn网络模型，把x0做为输入，调用网络模型反向函数，得到显著性变化梯度x0为步骤4中随机生成的高斯噪声图像；

(2)如果i<＝itr或者如果则输出第i次迭代结果xi+1，并结束优化算法；否则转步骤(3)；其中itr为最高迭代次数；

(3)定义pi为第i次迭代的负梯度方向pi＝-gi；

(4)更新第i次迭代的结果，xi+1＝xi+pi；

(5)定义si为上一步的结果xi和本次迭代的结果误差，即si＝xi+1-xi，定义yi为上一步的结果梯度的和本次迭代结果的梯度误差，即定义其中t表示矩阵转制；

(6)更新

(7)定义变量q为xi的梯度

(8)j＝1迭代计算

取更新q,q＝q-aiyi-j，直到j＝m，m为预设的迭代次数；

(9)更新gi,gi＝hiq；

(10)j＝1迭代计算

取，更新gi，gi＝gi+si-j(aj-b)，直到j＝m

(11)更新迭代步骤，i＝i+1,跳转到步骤(2)。

本发明中，基于梯度下降法的优化算法中，在执行步骤(5)后，还包括保留最近m次的结果的步骤，如果i>m，则删除si-m、si-m-1...s1和yi-m、yi-m-1...y1。

本发明基于卷积神经网络中的高级语义表示建立图像内容模型和图像风格模型，然后优化一张初始图像(例如随机噪声图像)使其在同一个卷积神经网络中具有与内容图像相似的内容表示、与风格图像相似的风格表示，从而生成融合内容图像的内容和风格图像的风格的图像，实现风格转移功能。

综上所述，本发明通过对风格图像和内容图像进行显著性检测，得到显著性特征图，并把显著性特征图增加到vgg-19网络模型中选定的层，为图像风格迁移方法提供更多的特征供选取，从而使得生成的具有更好的细节特征；本发明定义一个新损失函数,与传统的风格迁移损失函数相比，增加了显著性特征对输出结果的约束。避免了风格迁移中一些错误的产生,能更好的保存原内容图像的结构特征，提高了风格迁移的效果。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。