训练肤色迁移模型的方法、生成美肤图像的方法及相关装置与流程

本技术涉及图像处理，特别涉及一种训练肤色迁移模型的方法、生成美图图像的方法及相关装置。

背景技术：

1、在图像处理领域，肤色迁移是一个重要的研究课题。肤色迁移目的是将一张图像中的肤色(通常是人脸或身体皮肤)改变为另一张图像中的肤色。换句话说，肤色迁移是将源图像中的肤色风格应用到目标图像中，使目标图像呈现与源图像相似的肤色特征，以实现人物肖像的美化、修饰等。这种技术广泛应用于美颜、人脸编辑和虚拟化妆等领域。

2、现有方法通常利用直方图匹配方法来进行肤色迁移，然而，直方图匹配在肤色迁移方面存在一些缺点，例如对极端光照条件较为敏感，当图像是在光照不足或光照不均的情况下拍摄，图像肤色区域可能偏暗或亮度分布不均，直方图匹配无法很好的处理亮度偏暗或不均的区域，导致肤色迁移效果不理想，缺乏稳定性。

技术实现思路

1、本技术实施例提供一种训练肤色迁移模型的方法、生成美肤图像的方法和相关装置，能改善肤色迁移效果，提高稳定性。

2、第一方面，本技术实施例提供一种训练肤色迁移模型的训练方法，该肤色迁移模型包括编码网络、融合网络和解码网络，该方法包括：

3、获取训练集，所述训练集包括多个训练数据，所述训练数据包括源图像和参照图像，所述源图像为拍照设备在不同光照环境下拍摄得到的原始人体图像，所述源图像为拍照设备在不同光照环境下拍摄得到的原始人体图像，所述参照图像为经美化处理后的人体图像；

4、通过所述编码网络对所述源图像的皮肤区域进行编码，以获得多个尺寸的第一特征图，以及，通过所述编码网络对所述参照图像的皮肤区域进行编码，以获得第二特征图，其中，所述第二特征图的尺寸与所述多个第一特征图中尺寸最小的特征图的尺寸相同；

5、通过所述融合网络融合所述多个第一特征图中尺寸最小的特征图和所述第二特征图，得到第三特征图；

6、将所述第三特征图输入所述解码网络的第一级解码层进行上采样操作，得到输出特征图，将所述输出特征图与目标特征图进行融合操作，得到第一级肤色迁移特征图，将所述第一级肤色迁移特征图输入至下一级解码层，进行逐层的所述上采样操作及所述融合操作，直到得到尺寸与所述源图像尺寸相同的输出图像，其中，所述目标特征图为所述多个第一特征图中尺寸与所述输出特征图尺寸相同的特征图，所述输出图像为肤色迁移图像；

7、采用损失函数计算所述肤色迁移图像的损失，并根据所述损失对所述肤色迁移模型进行迭代训练，直到所述肤色迁移模型收敛，得到所述肤色迁移模型。

8、在一些实施例中，所述通过所述融合网络融合所述多个第一特征图中尺寸最小的特征图和所述第二特征图，得到第三特征图，包括：

9、对第四特征图进行卷积运算，提取所述第四特征图的均值特征和方差特征，以及，对所述第二特征图进行卷积运算，提取所述第二特征图的均值特征和方差特征；其中，所述第四特征图为所述第四特征图为所述多个第一特征图中尺寸最小的特征图；

10、融合所述第四特征图的所述均值特征、所述第四特征图的所述方差特征、所述第二特征图的所述均值特征和所述第二特征图的所述方差特征，得到第五特征图；

11、对所述第五特征图进行卷积运算，获得所述第三特征图。

12、在一些实施例中，融合所述第四特征图的所述均值特征、所述第四特征图的所述方差特征、所述第二特征图的所述均值特征和所述第二特征图的所述方差特征的融合公式为：

13、

14、其中，sv为所述第四特征图，tv为所述第二特征图，μ(sv)为所述第四特征图的均值特征，σ(sv)为所述第四特征图的方差特征，μ(tv)为所述第二特征图的均值特征，σ(tv)为所述第二特征图的方差特征，in(sv，tv)为所述第五特征图。

15、在一些实施例中，所述方法还包括：

16、对所述源图像和所述参照图像分别进行人体解析，获得所述源图像的人体解析图和所述参照图像的人体解析图；

17、分别提取所述源图像的人体解析图和所述参照图像的人体解析图中的皮肤区域，获得所述源图像的皮肤区域，以及，所述参照图像的皮肤区域。

18、在一些实施例中，所述损失函数为：

19、l＝λ1lpercept+λ2lskin

20、其中，所述λ1和λ2为超参数，所述lpercept为肤色感知损失，所述肤色感知损失反映所述源图像和所述肤色迁移图像之间肤色相似程度的差异，所述lskin为肤色直方图损失，所述肤色直方图损失反映所述源图像、所述参照图像和所述肤色迁移图像之间肤色分布的差异。

21、在一些实施例中，所述肤色感知损失lpercept为：

22、

23、ri＝ciwihi

24、其中，所述v为卷积神经网络的层数，所述ri为卷积神经网络第i层中的元素数，所述ci、wi、hi分别为卷积神经网络第i层特征图的数量、宽度和长度，所述fj为尺寸大小为j的特征图，所述s为源图像，所述y为肤色迁移图像，所述fj(s)为尺寸大小为j的源图像的特征图，所述fj(y)为尺寸大小为j的肤色迁移图像的特征图。

25、在一些实施例中，所述肤色直方图损失lskin为：

26、

27、其中，所述t为参照图像，所述pt为所述参照图像的皮肤区域，所述y为肤色迁移图像，所述ps为所述源图像的皮肤区域，p-(t*pt)为所述参照图像的肤色的概率分布，p+(y*ps)为所述肤色迁移图像的肤色的概率分布。

28、第二方面，本技术提供一种生成美肤图像的方法，该方法包括：

29、获取用户图像和美肤参照图像，所述用户图像为拍照设备在不同光照环境下拍摄得到的原始人体图像，所述美肤参照图像为经美化处理后的人体图像；

30、将用户图像的皮肤区域和美肤参照图像的皮肤区域输入肤色迁移模型，通过所述编码网络对所述用户图像的皮肤区域进行编码，以获得多个尺寸的用户图像特征图，以及，通过所述编码网络对所述美肤参照图像的皮肤区域进行编码，以获得美肤参照图像特征图，其中，所述美肤参照图像特征图的尺寸与所述多个用户图像特征图中尺寸最小的特征图的尺寸相同；

31、通过所述融合网络融合所述多个用户图像特征图中尺寸最小的特征图和所述美肤参照图像特征图，得到融合特征图；

32、将所述融合特征图输入所述解码网络的第一级解码层进行上采样操作，得到中间特征图，将所述中间特征图与目标图像特征图进行融合操作，得到第一级美肤特征图，将所述第一级美肤特征输入至下一级解码层，进行逐层的所述上采样操作及所述融合操作，直到得到尺寸与所述用户图像尺寸相同的美肤图像，其中，所述目标图像特征图为所述多个用户图像特征图中尺寸最小的特征图；

33、其中，所述肤色迁移模型采用如上第一方面中任意一项所述的训练肤色迁移模型的方法训练得到。

34、第三方面，本技术还提供了一种计算机设备，包括：

35、至少一个处理器，以及

36、与至少一个处理器通信连接的存储器，其中，

37、存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上第一方面中的方法。

38、第四方面，本技术实施例中提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机设备执行如上第一方面的方法。

39、本发明实施例的有益效果：本发明提供了一种训练肤色迁移模型的方法，通过使用编码网络、融合网络和解码网络的结构，能够实现高质量的肤色迁移效果。在该方法中，通过编码网络对源图像和参照图像的皮肤区域进行编码，分别得到多个尺寸的第一特征图和第二特征图。通过融合网络将多个第一特征图中尺寸最小的特征图和第二特征图进行融合，得到第三特征图。将第三特征图输入解码网络的第一级解码层，进行上采样操作，得到输出特征图。将输出特征图与目标特征图进行融合操作，得到第一级肤色迁移特征图。将第一级肤色迁移特征图输入至下一级解码层，进行逐层的上采样操作和融合操作，直到得到与源图像尺寸相同的输出图像，该输出图像为肤色迁移图像。采用损失函数计算肤色迁移图像的损失，并根据该损失对肤色迁移模型进行迭代训练，直到模型收敛，得到具有高质量的肤色迁移效果的肤色迁移模型。

40、本发明能够更准确地捕捉和迁移源图像和参照图像之间的肤色信息，具有更强的光照适应性，在处理光照不均或光照不足的情况时，有更高的稳定性和可靠性，实现高质量的肤色迁移效果。