图像处理方法及装置与流程

文档序号:12468936阅读:来源:国知局

技术特征:

1.一种图像处理方法,其特征在于,包括以下步骤:

获取需要转换风格的目标图像以及作为风格转换参照的参照图像;

获取与所述目标图像对应的掩膜图像,其中,所述目标图像内的目标区域以及其他区域,在所述掩膜图像内相应区域的灰度参数之和为单位1,且两个相应区域的灰度参数不同;

获取与所述掩膜图像对应的风格转换网络,其中,所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像,分别与所述掩膜图像进行点乘处理所得;

将所述目标图像和所述参照图像分别输入所述风格转换网络,获得风格转换后的目标图像。

2.根据权利要求1所述的方法,其特征在于,所述获取与所述目标图像对应的掩膜图像,包括:

识别所述目标图像的目标区域;

通过掩膜生成所述目标区域的第一掩膜,所述第一掩膜对应的灰度参数为α,α大于0且小于1;

通过掩膜生成所述其他区域的第二掩膜,所述第二掩膜对应的灰度参数为1-α;

对应两个区域在所述目标图像内的位置关系,对所述第一掩膜与所述第二掩膜进行图像合成,生成与所述目标图像对应的掩膜图像。

3.根据权利要求2所述的方法,其特征在于,所述对应两个区域在所述目标图像内的位置关系,对所述第一掩膜与所述第二掩膜进行图像合成,生成与所述目标图像对应的掩膜图像,包括:

对应两个区域在所述目标图像内的位置关系,对所述第一掩膜与所述第二掩膜进行图像合成;

对合成后的图像进行高斯模糊,生成与所述目标图像对应的掩膜图像。

4.根据权利要求1所述的方法,其特征在于,所述方法还包括所述训练后的风格转换模型的训练步骤:

从训练样本集中选取预设组数的训练图像,每组训练图像包括需要转换风格的第一图像、作为风格转换参照的第二图像、以及作为所述第一图像对应的掩膜图像的第三图像;

设置各组训练图像的训练次序,并选取出第一次序的一组训练图像;

对选取出的每组训练图像执行如下迭代过程:

将所述第一图像输入全卷积网络,获得所述第一图像的特征数据;

将所述第一图像、所述第二图像以及获取的特征数据分别输入卷积神经网络,获取所述卷积神经网络的各特征图像;

将获取的各特征图像分别与所述第三图像进行点乘,生成优化后的特征图像;

基于各优化后的特征图像,计算所述卷积神经网络的两个损失函数,生成对应该组训练图像的损失函数;

调整所述全卷积网络和所述卷积神经网络的网络参数;

根据设置的训练次序选取下一次序的一组训练图像,并返回执行上述迭代过程;

当次序相邻的两组训练图像的损失函数的差值满足预设的损失条件时,终止上述迭代过程,并确定所述迭代过程调整后的全卷积网络和卷积神经网络为训练后的风格转换模型。

5.根据权利要求4所述的方法,其特征在于,所述获取与所述掩膜图像对应的风格转换网络,包括:

将所述训练后的风格转换模型的各特征图像分别与所述掩膜图像进行点乘,生成优化后的特征图像;

基于优化后的特征图像,计算所述卷积神经网络的两个损失函数;

将计算所得的两个损失函数更新为所述训练后的风格转换模型的损失函数;

将更新损失函数后的风格转换模型确定为与所述掩膜图像对应的风格转换网络。

6.根据权利要求1至5中任一项所述的方法,其特征在于,所述目标图像为人物图像,所述目标区域为人脸区域,所述目标区域在所述掩膜图像内对应区域的灰度参数大于0.5且小于1。

7.一种图像处理装置,其特征在于,包括:

输入图像获取模块,用于获取需要转换风格的目标图像以及作为风格转换参照的参照图像;

掩膜图像获取模块,用于获取与所述目标图像对应的掩膜图像,其中,所述目标图像内的目标区域以及其他区域,在所述掩膜图像内相应区域的灰度参数之和为单位1,且两个相应区域的灰度参数不同;

转换网络获取模块,用于获取与所述掩膜图像对应的风格转换网络,其中,所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像,分别与所述掩膜图像进行点乘处理所得;

图像风格转换模块,用于将所述目标图像和所述参照图像分别输入所述风格转换网络,获得风格转换后的目标图像。

8.根据权利要求7所述的装置,其特征在于,所述掩膜图像获取模块包括:

目标区域识别模块,用于识别所述目标图像的目标区域;

第一掩膜模块,用于通过掩膜生成所述目标区域的第一掩膜,所述第一掩膜对应的灰度参数为α,α大于0且小于1;

第二掩膜模块,用于通过掩膜生成所述其他区域的第二掩膜,所述第二掩膜对应的灰度参数为1-α;

掩膜图像生成模块,用于对应两个区域在所述目标图像内的位置关系,对所述第一掩膜与所述第二掩膜进行图像合成,生成与所述目标图像对应的掩膜图像。

9.根据权利要求8所述的装置,其特征在于,所述掩膜图像生成模块包括:

图像合成模块,用于对应两个区域在所述目标图像内的位置关系,对所述第一掩膜与所述第二掩膜进行图像合成;

高斯模糊模块,用于对合成后的图像进行高斯模糊,生成与所述目标图像对应的掩膜图像。

10.根据权利要求7所述的装置,其特征在于,所述装置还包括模型训练模块,所述模型训练模块包括:

训练样本选取模块,用于从训练样本集中选取预设组数的训练图像,每组训练图像包括需要转换风格的第一图像、作为风格转换参照的第二图像、以及作为所述第一图像对应的掩膜图像的第三图像;

训练次序设置模块,用于设置各组训练图像的训练次序,并选取出第一次序的一组训练图像;

迭代模块,用于对选取出的每组训练图像执行迭代过程;

所述迭代模块还包括:

特征数据获取模块,用于将所述第一图像输入全卷积网络,获得所述第一图像的特征数据;

特征图像获取模块,用于将所述第一图像、所述第二图像以及获取的特征数据分别输入卷积神经网络,获取所述卷积神经网络的各特征图像;

点乘处理模块,用于获取的各特征图像分别与所述第三图像进行点乘,生成优化后的特征图像;

损失函数生成模块,用于基于各优化后的特征图像,计算所述卷积神经网络的两个损失函数,生成对应该组训练图像的损失函数;

网络参数调整模块,用于调整所述全卷积网络和所述卷积神经网络的网络参数;

迭代返回模块,用于根据设置的训练次序选取下一次序的一组训练图像,并返回执行上述迭代过程;

风格转换模型确定模块,用于在次序相邻的两组训练图像的损失函数的差值满足预设的损失条件时,终止上述迭代过程,并确定所述迭代过程调整后的全卷积网络和卷积神经网络为训练后的风格转换模型。

11.根据权利要求10所述的装置,其特征在于,所述转换网络获取模块包括:

优化特征生成模块,用于将所述训练后的风格转换模型的各特征图像分别与所述掩膜图像进行点乘,生成优化后的特征图像;

损失函数计算模块,用于基于优化后的特征图像,计算所述卷积神经网络的两个损失函数;

损失函数更新模块,用于将计算所得的两个损失函数更新为所述训练后的风格转换模型的损失函数;

转换网络确定模块,用于将更新损失函数后的风格转换模型确定为与所述掩膜图像对应的风格转换网络。

12.根据权利要求7至11中任一项所述的装置,其特征在于,所述目标图像为人物图像,所述目标区域为人脸区域,所述目标区域在所述掩膜图像内对应区域的灰度参数大于0.5且小于1。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1