图像转换方法、装置、计算机设备和存储介质与流程

文档序号:21732426发布日期:2020-08-05 01:27阅读:来源:国知局

技术特征:

1.一种图像转换方法,其特征在于,所述方法包括:

获取第一图像;所述第一图像包含待转换对象的面部信息;

将所述第一图像输入至已训练的图像转换模型;所述图像转换模型用于提取出所述第一图像中所述待转换对象的面部特征,并基于所述面部特征生成所述待转换对象的第二图像;所述第二图像与所述第一图像具有不同图像风格;

基于所述已训练的图像转换模型输出的第二图像,得到所述第一图像对应的目标图像;其中,所述图像转换模型包括生成对抗网络,所述生成对抗网络包括生成器和鉴别器;所述生成器用于提取出所述待转换对象的所述面部特征,并基于所述面部特征生成所述第二图像;所述鉴别器用于在所述图像转换模型的训练过程中,辅助所述生成器从生成粗糙的第二图像,渐进过渡到生成优质的第二图像。

2.根据权利要求1所述的方法,其特征在于,所述已训练的图像转换模型为循环一致性生成对抗网络,所述循环一致性生成对抗网络包括第一生成对抗网络和第二生成对抗网络;

所述第一生成对抗网络,用于提取出所述第一图像中所述待转换对象的面部特征,并基于所述面部特征生成所述待转换对象的第二图像;

所述第二生成对抗网络,用于检测针对所述第二图像进行还原后得到的图像,是否与所述第一图像一致。

3.根据权利要求2所述的方法,其特征在于,所述第一生成对抗网络包括第一生成器;所述第一生成器包括编码器和解码器;

所述第一生成器的编码器,用于提取出所述第一图像中所述待转换对象的面部特征;

所述第一生成器的解码器,用于基于所述待转换对象的面部特征,按照预设的渐进式图像生成方式,生成所述待转换对象的第二图像。

4.根据权利要求3所述的方法,其特征在于,所述第一生成器还包括第一辅助分类器和特征转换模块;

所述第一辅助分类器,用于获取所述编码器的面部特征,并通过注意力机制,增强所述面部特征中的第一目标区域特征,得到第一增强特征;

所述特征转换模块,用于获取所述第一增强特征,并通过自适应正则化,将所述第一增强特征全局映射至预存的目标语义特征中,得到转换后的面部特征;所述转换后的面部特征用于供所述解码器生成所述第二图像;所述目标语义特征为具有所述第二图像中图像风格的语义特征。

5.根据权利要求3所述的方法,其特征在于,所述第一生成对抗网络还包括第一鉴别器;所述第一鉴别器包括编码器;

所述第一鉴别器的编码器,用于在所述图像转换模型的训练过程中,提取出所述第二图像中所述待转换对象的面部特征,以基于所述面部特征,辅助所述第一生成器从生成粗糙的第二图像,渐进过渡到生成优质的第二图像。

6.根据权利要求5所述的方法,其特征在于,所述第一鉴别器还包括第二辅助分类器和分类模块;

所述辅助分类器,用于在所述图像转换模型的训练过程中,获取所述第一鉴别器中所述编码器的面部特征,并通过注意力机制,增强所述面部特征中的第二目标区域特征,得到第二增强特征;

所述分类模块,用于根据所述第二增强特征,对所述第一生成器的第二图像进行分类,得到分类结果;所述分类结果用于辅助所述第一生成器从生成粗糙的第二图像,渐进过渡到生成优质的第二图像。

7.根据权利要求3所述的方法,其特征在于,所述第一生成器生成所述第二图像的步骤,包括:

通过所述编码器中的下采样模块层和残差模块层,提取出所述第一图像中所述待转换对象的面部特征;

通过所述第一生成器中的第一辅助分类器,对所述待转换对象的面部特征进行全局池化处理以及全连接处理,得到第一增强特征;

通过所述第一生成器中的特征转换模块,对所述第一增强特征进行正则化处理以及调制融合处理,得到转换后的面部特征;

通过所述解码器,按照预设的渐进式图像生成方式,对所述转换后的面部特征进行分段解码,生成所述待转换对象的第二图像。

8.根据权利要求7所述的方法,其特征在于,所述通过所述第一生成器中的第一辅助分类器,对所述待转换对象的面部特征进行全局池化处理以及全连接处理,得到第一增强特征,包括:

通过所述第一生成器中的第一辅助分类器,对所述待转换对象的面部特征进行全局池化处理,得到面部特征矩阵;

通过所述第一辅助分类器中的全连接层,将所述面部特征矩阵与预设的全连接权重进行相乘,得到所述第一增强特征。

9.根据权利要求7所述的方法,其特征在于,所述通过所述第一生成器中的特征转换模块,对所述第一增强特征进行正则化处理以及调制融合处理,得到转换后的面部特征,包括:

通过所述第一生成器中的特征转换模块,对所述第一增强特征进行层级正则化处理,得到层级特征,以及对所述第一增强特征进行实例级正则化处理,得到实例级增强特征;

基于预设的模型学习参数,将所述层级特征与所述实例级增强特征进行特征融合,得到融合特征;

基于所述图像转换模型在训练过程学习到的缩放因子数和偏差因子数,对所述融合特征进行调制处理,得到特征调制参数;

获取所述特征调制参数与所述第一增强特征之和,得到所述转换后的面部特征。

10.根据权利要求7所述的方法,其特征在于,所述通过所述解码器,按照预设的渐进式图像生成方式,对所述转换后的面部特征进行分段解码,生成所述待转换对象的第二图像,包括:

通过所述解码器,按照预设的渐进式图像生成方式,对所述转换后的面部特征进行分段解码;

若对所述转换后的面部特征的解码阶段为第一阶段,则通过所述解码器中的第一阶段解码器,对所述转换后的面部特征进行解码,生成所述第二图像;

若对所述转换后的面部特征的解码阶段为第n阶段,则通过所述解码器中的第n阶段解码器,获取上采样图像和模型训练参数,并根据所述上采样图像和所述模型训练参数,对所述转换后的面部特征进行解码,生成所述第二图像;n≥2。

11.根据权利要求1所述的方法,其特征在于,所述获取第一图像,包括:

获取包含待转换对象的面部信息的输入图像;

对所述输入图像进行面部识别,得到面部特征点;

根据所述面部特征点,提取出所述输入图像中的面部图像,作为所述第一图像;所述面部图像为包含所述面部特征点的预设剪裁尺寸的图像。

12.根据权利要求1所述的方法,其特征在于,在所述获取第一图像之前,所述方法还包括:

获取训练图像;所述训练图像包括第一训练图像和第二训练图像;所述第一训练图像和所述第二训练图像具有不同图像风格;

将所述第一训练图像和所述第二训练图像,输入至预先建立的图像转换模型中进行模型训练;所述预先建立的图像转换模型中预设有目标函数;所述图像转换模型根据预先确定的模型框架建立;

获取所述预先建立的图像转换模型根据所述目标函数输出的训练结果;

若所述训练结果满足预设的条件,则结束所述图像转换模型训练,得到所述已训练的图像转换模型。

13.一种图像转换装置,其特征在于,所述装置包括:

图像获取模块,用于获取第一图像;所述第一图像包含待转换对象的面部信息;

图像输入模块,用于将所述第一图像输入至已训练的图像转换模型;所述图像转换模型用于提取出所述第一图像中所述待转换对象的面部特征,并基于所述面部特征生成所述待转换对象的第二图像;所述第二图像与所述第一图像具有不同图像风格;

图像输出模块,用于基于所述已训练的图像转换模型输出的第二图像,得到所述第一图像对应的目标图像;其中,所述图像转换模型包括生成对抗网络,所述生成对抗网络包括生成器和鉴别器;所述生成器用于提取出所述待转换对象的所述面部特征,并基于所述面部特征生成所述第二图像;所述鉴别器用于在所述图像转换模型的训练过程中,辅助所述生成器从生成粗糙的第二图像,渐进过渡到生成优质的第二图像。

14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。

15.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。


技术总结
本申请涉及一种图像转换方法、装置、计算机设备和存储介质。包括:获取包含待转换对象的面部信息的第一图像;将第一图像输入至已训练的图像转换模型;图像转换模型用于提取出第一图像中待转换对象的面部特征,并基于面部特征生成待转换对象的第二图像;第二图像与第一图像具有不同图像风格;基于图像转换模型输出的第二图像,得到第一图像对应的目标图像;其中,图像转换模型包括生成对抗网络,生成对抗网络包括生成器和鉴别器;生成器用于提取出待转换对象的面部特征,并基于面部特征生成第二图像;鉴别器用于在图像转换模型的训练过程中,辅助生成器从生成粗糙的第二图像,渐进过渡到生成优质的第二图像。采用本方法,可提高图像转换的准确率。

技术研发人员:萧文鹏;唐永毅
受保护的技术使用者:腾讯科技(深圳)有限公司
技术研发日:2020.04.10
技术公布日:2020.08.04
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1