基于生成对抗网络的人脸光照迁移方法与流程

文档序号:19741442发布日期:2020-01-18 05:16阅读:236来源:国知局
基于生成对抗网络的人脸光照迁移方法与流程
本发明涉及人脸光照迁移与生成网络领域,特别涉及一种基于生成对抗网络的人脸光照迁移方法。
背景技术
:人脸图像的光照效果广泛应用于电影制作、虚拟现实、游戏娱乐等,但掌握图像的光照处理技术需要多年的实操经验。虽然图像的编辑技术也可以用于实现人脸的光照处理,但专业的图像编辑工具会不可避免地涉及到许多复杂的操作。因此,有必要开发一种更加智能的人脸光照处理方法。在人脸光照处理方法中有一种处理方式是人脸光照迁移,即将参考图像上的光照效果迁移到目标图像上。针对人脸光照迁移问题,许多学者提出了多种方法。li等人使用对数总变差模型对人脸光照迁移进行了研究。该方法先将目标人脸图像和参考图像进行对齐,然后将图像分解为光照相关部分和光照不变部分,通过将目标图像的光照相关部分与参考图像的光照相关部分进行交换,实现光照迁移。chen等人进一步拓展了li的工作,他们在分解前使用加权最小二乘滤波器来保持最终重光照图像的颜色。此外,还有几种利用附加信息来进行人脸光照迁移的方法。wen等人将球面谐波和形态模型结合起来表示任意光照下的人脸。与他们不同的是,shu等人利用标准颜色直方图匹配而不是球面谐波来表示光照,他们使用一个通用的三维可变形人脸模型来表示光照可知的人脸几何特征。现有的人脸光照迁移方法还存在以下不足:需要进行人脸对齐或者需要利用人脸的3d信息来解决问题,这大大增加了问题的复杂性。而且,对于人脸对齐和人脸的3d结构,需要对人脸的关键点进行检测,在一些极端光照条件下算法可能会失效,这也是需要考虑的一点。技术实现要素:为了克服现有的人脸光照迁移方法的不足,本发明提出了一种基于生成对抗网络的人脸光照迁移方法,该方法通过端到端的训练使得光照效果自适应地从参考图像迁移到目标图像上,减少了额外的依赖信息。本发明的目的通过以下的技术方案实现:基于生成对抗网络的人脸光照迁移方法,包括步骤:(1)获取正面人脸图像的样本数据;(2)生成对抗网络的对抗训练:从样本数据中选择两张图像分别作为目标人脸图像和参考光照图像,将上述两张图像作为生成器的输入,生成器输出重光照图像;判别器将真实图像和当前生成的重光照图像的误差反馈给生成器,分类器将目标人脸图像和当前生成的重光照图像的身份信息的误差反馈给生成器;将当前生成的重光照图像作为新的当前目标人脸图像,将与原目标人脸具有相同光照效果的图像作为新的参考光照图像,重新输入到生成器中,生成器输出重构图像,将原目标人脸图像和重构图像的误差反馈给生成器,这个误差称之为循环一致性损失;生成器、判别器和分类器进行反复对抗训练,得到最优人脸光照迁移模型;(3)人脸光照迁移:利用训练好的最优人脸光照迁移模型进行人脸光照迁移,输入目标人脸图像和参考光照图像,即可输出光照迁移后带有参考光照的目标人脸图像。本发明采用生成对抗网络架构及损失函数,利用注意力机制使得最优人脸光照迁移模型能够有效地处理对局部光照细节,网络训练中不需要使用人脸的3d信息,也不需要对齐人脸,可进行端到端训练,具有很好的重光照结果。优选的,所述步骤(1)中,样本数据的图像采用cmumulti-pie中正面、中性表情图像,样本数据的图像进行归一化处理。优选的,所述步骤(2)中,生成对抗网络的框架包括一个生成器,一个判别器和一个分类器,生成器由下采样层、残差层和上采样层组成,判别器采用patchgans的网络架构,在判别器的最后一层加上一个卷积层,作为辅助的分类器。优选的,所述步骤(2)中,真实图像和当前生成的重光照图像的误差的计算方法为:(2-1-1)计算生成器的损失函数:其中,i为目标人脸图像,r为参考光照图像,dsrc为判别器,输入为一张图像,得到多尺度特征输出来判断图像的真假,表示取一个训练批次中所有训练样本计算值的期望值;g(i,r)表示重光照图像;(2-1-2)为了训练的稳定性,定义判别器的损失函数为:其中,是由目标人脸图像i和重光照图像g(i,r)的连接线上随机进行插值采样取得,λgp是惩罚项系数,表示求关于的梯度。优选的,所述步骤(2)中,目标人脸图像和当前生成的重光照图像的身份信息的误差的计算方法为:(2-2-1)关于目标人脸图像身份信息的损失函数:(2-2-2)关于生成重光照图像身份信息的损失函数:其中,表示目标人脸图像和重光照图像的身份信息。dcls为分类器,输入一张图片,输出其预测的身份类别,计算与本身真实的身份类别的交叉熵作为损失函数。优选的,所述步骤(2)中,循环一致性损失的计算方式为:(2-3-1)psnr损失:其中,x,y为给定的两张图像,psnr(x,y)表示x和y之间的相似度,max表示x,y中最大的像素值;(2-3-2)ssim损失:其中,x,y分别表示两张图像,μx,μy分别表示图像x,y的均值,σx,σy分别表示图像x,y的方差,σxy表示图像x,y之间的协方差。c1,c2为两个常数,以避免除零的情况出现。每次计算的时候都从图像上取一个子窗口,然后不断滑动子窗口,最后取子窗口的平均值作为全局的ssim。(2-3-3)attention-ssim损失:由于原始ssim是取所有子窗口的平均值作为最终的值,没有着重注意光照所造成的局部影响,因此这里引入注意力机制对局部光照效果进行评估。其中,m是子窗口的总数,ssimi是第i个子窗口ssim值,atti表示第i个子窗口的权值,权值越高表示越重要。更进一步的,计算attention-ssim损失时,attention-ssim中使用一个显著性网络来提取所有子窗口的权值,这个显著性网络采用与判别器同样的网络架构,也是使用patchgans,并且提前训练好,在生成对抗网络训练时保持参数不变,显著性网络训练时使用的损失函数为:其中s表示输入图像。vcls表示显著性网络,输入一张图片,输出其预测的身份类别,计算与本身真实的身份类别c的交叉熵作为损失函数。优选的,所述步骤(2)中,原目标人脸图像和重构图像的误差的计算方法为:(2-4-1)重构损失:(2-4-2)psnr损失:(2-4-3)ssim损失:(2-4-4)attention-ssim损失:其中,g(g(i,r),′)表示重构图像,i′表示与i具有相同光照效果的图像。这四个损失统称为循环一致性损失。本发明与现有技术相比,具有如下优点和有益效果:1)本发明通过端到端训练生成对抗网络得到最优生成器g,直接根据参考光照图像对目标人脸图像进行光照迁移,免除了人脸对齐的预处理操作,避免了人工设计先验模型,解决了传统人脸光照迁移中对人脸3d信息的依赖,提高人脸光照的实际应用价值,改善了人脸光照迁移的时间效率。2)本发明提出了一个显著性网络来对局部光照效果进行关注,使得生成器g不仅考虑全局范围的光照,而且还会处理局部光照细节,使得生成的图像更加真实自然。附图说明图1是本发明总的网络框架图;图1a是本实施例采用显著性网络计算attention-ssim损失时的示意图。图2是不同算法结果的可视化对比,前两列分别为目标人脸图像和参考光照图像,第三到六列分别是li、chen、wen、shu的方法的结果,第七列是本发明的结果,最后一列是真实目标结果;图3是验证本发明提出的attention-ssimloss的可视化效果,前两列分别为目标图像和参考图像,第三列是不带attention-ssim损失函数训练的模型的结果,第四列是带有attention-ssim损失函数训练的模型的结果。具体实施方式下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。实施例1本发明实施例提供一种基于生成对抗网络的人脸光照迁移方法,其实施过程的网络框架如图1所示,实施步骤如下:s1:获取训练的样本数据。本实施例中采用cmumulti-pie中正面、中性表情图像作为训练数据集。在训练前进行归一化,将图像大小统一调整设置为128*128像素。s2:生成对抗网络的对抗训练,得到最优人脸光照迁移模型。参见图1,生成对抗网络框架包括一个生成器(图中为了便于显示处理流程,根据流程走向画成两个生成器),一个判别器和一个分类器。生成器由下采样层、残差层和上采样层组成,判别器采用patchgans的网络架构,在判别器的最后一层加上一个卷积层,作为辅助的分类器。生成对抗网络的对抗训练的步骤是:s2-1:在从样本数据中选择两张图像分别作为目标人脸图像和参考光照图像,将其作为生成器的输入,分别记为i和r,生成器g输出重光照图像g(i,r)。s2-2:判别器d将真实图像和重光照图像的误差反馈给生成器,真实图像和生成图像的误差的计算方法具体为:(a)计算生成器的损失函数:其中,i为目标人脸图像,r为参考光照图像,dsrc为判别器,输入为一张图像,得到多尺度特征输出来判断图像的真假。表示取一个训练批次中所有训练样本计算值的期望值。(b)为了训练的稳定性,定义判别器的损失函数为:其中,是从目标图像i和生成图像g(i,r)的连接线上随机进行插值采样得到的,λgp是惩罚项系数。表示求关于的梯度。s2-3:分类器将目标人脸图像和当前生成的重光照图像的身份信息的误差反馈给生成器。关于目标人脸图像和生成图像的身份信息的误差的计算方法具体为:(a)关于目标人脸图像身份信息的损失函数:(b)关于生成图像身份信息的损失函数:其中,表示目标人脸图像和生成图像的身份信息。dcls为分类器,输入一张图片,输出其预测的身份类别,计算与本身真实的身份类别的交叉熵作为损失函数。s2-4:再将g(i,r)作为目标人脸图像,i作为参考光照图像,输入到生成器中,生成器输出重构图像g(g(i,r),i′),将原目标人脸图像i和重构图像g(g(i,r),i′)的误差反馈给生成器,这个误差称之为循环一致性损失。这里所述的循环一致性损失,具体计算方式为:(a)psnr损失:psnr是常用来做图像质量评估的指标之一。其中,x,y分别表示两张图像,max表示x,y中最大的像素值。(b)ssim损失:ssim也是图像质量评估的常用指标。其中,x,y分别表示两张图像,μx,μy分别表示图像x,y的均值,σx,σy分别表示图像x,y的方差,σxy表示图像x,y之间的协方差。c1,c2为两个常数,以避免除零的情况出现。值得一提的是,每次计算的时候都从图片上取一个子窗口,然后不断滑动窗口进行计算,最后取平均值作为全局的ssim。(c)attention-ssim损失:由于原始ssim是取所有子窗口的平均值作为最终的值,没有着重注意光照所造成的局部影响,因此这里引入注意力机制对局部光照效果进行评估。其中,m是子窗口的总数,ssimi是第i个子窗口ssim值,atti表示第i个子窗口的权值,权值越高表示越重要。参见图1a,attention-ssim中使用一个显著性网络来提取所有子窗口的权值,这个显著性网络采用与判别器同样的网络架构,也是使用patchgans,并且提前训练好,在生成对抗网络训练时保持参数不变,显著性网络训练时使用的损失函数为:其中s表示输入图像。vcls表示显著性网络,输入一张图片,输出其预测的身份类别,计算与本身真实的身份类别c的交叉熵作为损失函数。其中,关于原目标人脸图像和重构图像的误差的计算方法具体为:(a)重构损失:(b)psnr损失:(c)ssim损失:(d)attention-ssim损失:其中,g(g(i,r),i′)表示重构图像,i′表示与i具有相同光照效果的图像。这四个损失统称为循环一致性损失,这里所述的一致性代表的是要重构图像与原目标人脸图像保持一致。s2-5:生成器、判别器和分类器进行反复对抗训练,得到最优人脸光照迁移模型。s3:人脸光照迁移:利用训练好的最优人脸光照迁移模型进行人脸光照迁移,输入目标人脸图像和参考图像,输出光照迁移后带有参考光照的目标人脸图像。本实施例将本发明与现有技术中的若干个方法进行比较,具体的,包括q.li等在文章《image-basedfaceilluminationtransferringusinglogarithmictotalvariationmodels.》中的方法,x.chen等在文章《faceilluminationtransferthroughedge-preservingfilters.》中的方法,z.wen等在文章《facerelightingwithradianceenvironmentmaps.》中的方法,z.shu等在文章《portraitlightingtransferusingamasstransportapproach》中的方法。为了全面且客观地比较算法的结果,本实验从可视化结果和量化结果两方面对不同算法来进行对比。本实验从cmumultipie中选择1000张图像对组成测试集。其中,每个图像对包括一张目标图像和参考图像,并且都是正面、中性表情的图像。实验各个模型的可视化结果比较如图2所示。从图2中可以看到,li的方法在目标图像和参考图像肤色相近的情况下表现良好,有些会出现伪影。一旦肤色不同,li的方法会表现得很糟糕。chen的方法也会出现类似的肤色问题,而且伪影的问题比li更加严重。值得一提的是,li和chen的方法都需要对图像进行对齐,对齐这个操作需要用到关键点检测,在一些光照条件不佳的情况下可能无法检测到关键点而造成算法失效。wen的方法严重依赖于3d人脸的重构,如果重构的过程发生一些误差,重建后的人脸会发生很大的变化。从图2中可以看出wen的结果在总体色度和目标图像发生了很大的变化。shu的方法它仍然不能解决面部肤色的问题,对头发和胡须的颜色呈现也有不良的影响。更糟的是,在某些情况下,它可能会导致图像过度曝光。从与各个算法的可视化结果比较上看,本发明生成的图像与真实目标图像更加逼近,生成效果更好。实验各个模型的量化结果比较如表1所示。本实验采用psnr和ssim来对生成图像进行评估。其中,评估值越大,表示图像的生成质量越好。从表1中可以看出,本发明取得了最好的重光照效果。表1不同算法结果的量化对比另外,本实施例还验证了本发明提出的attention-ssim的效果。为了客观公平地比较,本实验仅增删新提出的attention-ssim部分,网络结构和超参数保持模型的默认设置。同时,训练集和测试集,以及训练策略均保持一致。类似地,本实验也从可视化结果和量化结果两方面对不同算法来进行对比。本实验从cmumultipie中选择1000张图像对组成测试集。其中,每个图像对包括一张目标图像和参考图像,并且都是正面、中性表情的图像。可视化结果如图3所示。带有attention-ssim的损失函数训练的模型能够有效地处理局部光照细节,图像看起来更加真实自然。量化结果如表2所示,也可以看到,带有attention-ssim的损失函数训练的模型生成的图像质量较好表2验证本发明提出的attention-ssimloss的量化结果算法ssimpsnr带有attention-ssimloss训练0.724722.6659不带有attention-ssimloss训练0.795835.4536以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本
技术领域
的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。当前第1页1 2 3 
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1