图像转换模型的训练方法、图像转换方法、装置和设备与流程

本说明书中实施方式涉及图像处理，具体涉及一种图像转换模型的训练方法、图像转换方法、装置和设备。

背景技术：

1、图像转换技术是把参考图像中目标对象的表观特征融合至目标图像中，从而在图像或者视频中生成新内容与风格，在影视制作、数字娱乐、社交媒体、增强现实与个人图像编辑等方面有广泛的应用。现有的图像转换方法主要是通过提取参考图像的身份特征和目标图像的属性特征，然后将身份特征和属性特征进行融合处理，得到新的置换图像。

2、然而，在目标图像中的目标对象和原始图像中的原始对象的差异性较大时，生成的新的置换图像不够逼真。

技术实现思路

1、本说明书中多个实施方式提供一种图像转换模型的训练方法、图像转换方法、装置和设备，从而使得生成的置换图像具有较好的视觉效果。

2、第一方面，本说明书的一个实施方式提供一种图像转换模型的训练方法，包括：将具有原始对象的原始图像和具有目标对象的目标图像输入图像转换模型进行图像处理，得到置换图像；其中，所述置换图像是将所述目标对象替换所述原始图像中的所述原始对象后得到的图像；从所述置换图像中提取表示所述目标对象的目标对象掩膜，以及从所述原始图像中提取表示所述原始对象的原始对象掩膜；计算所述目标对象掩膜与所述原始对象掩膜的相似度；基于所述相似度更新所述图像转换模型。

3、第二方面，本说明书的一个实施方式提供一种图像转换的方法，所述方法包括：将具有原始对象的原始图像和具有目标对象的目标图像输入图像转换模型，得到置换图像；其中，所述图像转换模型是根据第一方面所述的图像转换模型的训练方法训练得到的。

4、第三方面，本说明书的一个实施方式提供一种图像转换模型的训练装置，包括：置换图像生成单元，用于将具有原始对象的原始图像和具有目标对象的目标图像输入图像转换模型进行图像处理，得到置换图像；其中，所述置换图像是将所述目标对象替换所述原始图像中的所述原始对象后得到的图像；掩膜提取单元，用于从所述置换图像中提取表示所述目标对象的目标对象掩膜，以及从所述原始图像中提取表示所述原始对象的原始对象掩膜；相似度计算单元，用于计算所述目标对象掩膜与所述原始对象掩膜的相似度；图像转换模型生成单元，用于基于所述相似度更新所述图像转换模型。

5、第四方面，本说明书的一个实施方式提供一种图像转换装置，包括：图像转换单元，用于将具有原始对象的原始图像和具有目标对象的目标图像输入图像转换模型，得到置换图像；其中，所述图像转换模型是根据上述实施方式中所述的图像转换模型的训练方法训练得到的。

6、第五方面，本说明书的一个实施方式提供一种电子设备，所述电子设备包括：存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现如上述实施方式中所述的方法。

7、第六方面，本说明书的一个实施方式提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述实施方式中所述的方法。

8、本说明书提供的多个实施方式，通过计算置换图像中表示目标对象的掩膜和原始图像中表示原始对象掩膜之间的相似度，并基于相似度更新图像转换模型，在更新的过程中通过该相似度来控制模型的训练方向；随着模型的更新使得生成的置换图像中的目标对象越来越接近目标图像中的目标对象，也相应的，生成的置换图像也越来越逼真。因此，本方法通过相似度来对图像转换模型进行训练，从而在一定程度上提升了置换图像的视觉效果。

技术特征：

1.一种图像转换模型的训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.一种图像转换的方法，其特征在于，所述方法包括：

8.一种图像转换模型的训练装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1至7中任一项所述的方法。

技术总结
本说明书实施方式提供了一种图像转换模型的训练方法、图像转换方法、装置和设备。所述方法包括：将具有原始对象的原始图像和具有目标对象的目标图像输入图像转换模型，得到置换图像；其中，所述置换图像是将所述目标对象替换所述原始图像中的所述原始对象后得到的图像；从所述置换图像中提取表示所述目标对象的目标对象掩膜，以及从所述原始图像中提取表示所述原始对象的原始对象掩膜；计算所述目标对象掩膜与所述原始对象掩膜的相似度；基于所述相似度更新所述图像转换模型。通过计算置换图像中表示目标对象的掩膜和原始图像中表示原始对象掩膜之间的相似度，并基于相似度更新图像转换模型，在一定程度上提升了置换图像的逼真程度。

技术研发人员：陈圣,曾定衡,蒋宁,周迅溢,吴海英
受保护的技术使用者：马上消费金融股份有限公司
技术研发日：
技术公布日：2024/1/12