交互信息处理方法、设备和存储介质与流程

本技术涉及信息处理，尤其涉及一种交互信息处理方法、设备和存储介质。

背景技术：

1、随着互联网的发展，用户越来越青睐通过电商平台在线购买商品。然而，尽管线上购物为用户带来了诸多便利，但在服装领域仍存在用户无法真实体验商品。

2、例如用户通过电商平台网购服饰类商品时，在购买前很难看到自己试穿的效果。尽管有些电商平台提供了模特试穿的功能，但由于每个人的五官特征发型各异，这些试模特穿效果并不能完全反映用户个体的情况，导致电商部平台交互体验差。

技术实现思路

1、本技术实施例的主要目的在于提供一种交互信息处理方法、设备和存储介质，实现了将模特图像中的头部区域替换成用户头像，生成包含用户头像的模特穿戴目标物品的形象图像，更加能够体现出用户穿戴目标物品的真实效果，提高在线试穿效果的真实性，提高用户体验。

2、第一方面，本技术实施例提供一种交互信息处理方法，包括：响应于用户对目标物品的穿戴指令，获取所述用户的头部特征和预设模特穿戴所述目标物品的模特图像，其中所述头部特征是基于所述用户的至少一个样本图像获得的；对所述模特图像进行头部分割，确定所述模特图像的头部区域；根据所述用户的所述头部特征对所述模特图像中所述头部区域进行补图处理，生成目标图像，所述目标图像包括所述用户的头部特征。

3、于一实施例中，所述响应于用户对目标物品的穿戴指令，获取所述用户的头部特征，包括：响应于用户对目标物品的穿戴指令，获取所述用户的至少一个样本图像，获取所述用户对应的预设头部模型，通过所述预设头部模型确定所述用户的头部特征。

4、于一实施例中，在所述获取所述用户对应的预设头部模型之前，还包括所述预设头部模型的训练步骤：获取所述用户的至少一个样本图像，所述样本图像包括所述用户的头部信息，所述头部信息包括所述用户的脸部信息和/或发型信息；所述样本图像的数量大于或等于10；对所述样本图像进行标注处理，生成所述样本图像的标注文本；采用所述样本图像和所述标注文本训练预设图生图模型，以使所述预设图生图模型学习到所述用户的头部特征，得到所述预设头部模型。

5、于一实施例中，所述获取所述用户的至少一个样本图像，包括：接收所述用户通过交互界面上传的包含所述用户头部不同角度的多个样本图像；和/或，接收所述用户通过交互界面上传的视频影像，从所述视频影像中截取包含所述用户头部不同角度的多个样本图像。

6、于一实施例中，所述对所述模特图像进行头部分割，确定所述模特图像的头部区域，包括：将所述模特图像输入预设人脸分割模型，输出所述模特图像的脸部区域；将所述模特图像输入预设头发分割模型，输出所述模特图像的头发区域；将所述脸部区域和所述头发区域的并集确定为所述模特图像的所述头部区域。

7、于一实施例中，在所述将所述模特图像输入预设人脸分割模型，输出所述模特图像的脸部区域之前，还包括：采用人脸图像集训练第一语义分割模型，得到人脸教师模型，所述人脸图像中标注了人物的面部器官；对所述人脸教师模型进行蒸馏训练，生成所述人脸分割模型。

8、于一实施例中，在所述将所述模特图像输入预设头发分割模型，输出所述模特图像的头发区域之前，还包括：采用预设头发图像集训练第二语义分割模型，得到头发教师模型，所述头发图像中标注了人物的头发；对所述头发教师模型进行蒸馏训练，生成所述头发分割模型。

9、于一实施例中，所述根据所述用户的所述头部特征对所述模特图像中所述头部区域进行补图处理，生成目标图像，包括：根据所述用户的所述头部特征对所述模特图像中所述头部区域进行初次补图处理，生成初步图像；根据所述用户的所述头部特征对所述初步图像中所述头部区域包含的脸部区域进行再次补图处理，生成所述目标图像。

10、于一实施例中，所述根据所述用户的所述头部特征对所述模特图像中所述头部区域进行初次补图处理，生成初步图像，包括：将所述头部区域作为第一掩膜图像，将所述用户的所述头部特征和所述用户对应的提示词输入预设图生图模型，以使所述图生图模型对所述第一掩膜图像进行补图处理，生成所述初步图像。

11、于一实施例中，所述根据所述用户的所述头部特征对所述初步图像中所述头部区域包含的脸部区域进行再次补图处理，生成所述目标图像，包括：将所述脸部区域作为第二掩膜图像，将所述用户的所述头部特征和所述用户对应的提示词输入预设图生图模型，以使所述图生图模型对所述第二掩膜图像进行补图处理，生成所述目标图像。

12、第二方面，本技术实施例提供一种交互信息处理方法，所述方法包括：响应于用户对目标服饰的穿戴指令，获取所述用户的头部特征和预设模特穿戴所述目标服饰的模特图像；对所述模特图像进行头部分割，确定所述模特图像的头部区域；根据所述用户的所述头部特征对所述模特图像中所述头部区域进行补图处理，生成目标图像，所述目标图像包括所述用户的头部特征；在交互界面展示所述目标图像。

13、第三方面，本技术实施例提供一种交互信息处理装置，包括：

14、获取模块，用于响应于用户对目标物品的穿戴指令，获取所述用户的头部特征和预设模特穿戴所述目标物品的模特图像，其中所述头部特征是基于所述用户的至少一个样本图像获得的；

15、分割模块，用于对所述模特图像进行头部分割，确定所述模特图像的头部区域；

16、补图模块，用于根据所述用户的所述头部特征对所述模特图像中所述头部区域进行补图处理，生成目标图像，所述目标图像包括所述用户的头部特征。

17、于一实施例中，所述获取模块，用于响应于用户对目标物品的穿戴指令，获取所述用户对应的预设头部模型，通过所述预设头部模型确定所述用户的头部特征。

18、于一实施例中，还包括训练模块，用于在所述获取所述用户对应的预设头部模型之前，获取所述用户的至少一个样本图像，所述样本图像包括所述用户的头部信息，所述头部信息包括所述用户的脸部信息和/或发型信息；所述样本图像的数量大于或等于10；对所述样本图像进行标注处理，生成所述样本图像的标注文本；采用所述样本图像和所述标注文本训练预设图生图模型，以使所述预设图生图模型学习到所述用户的头部特征，得到所述预设头部模型。

19、于一实施例中，所述获取模块，还用于接收所述用户通过交互界面上传的包含所述用户头部不同角度的多个样本图像；和/或，所述获取模块，还用于接收所述用户通过交互界面上传的视频影像，从所述视频影像中截取包含所述用户头部不同角度的多个样本图像。

20、于一实施例中，分割模块，用于将所述模特图像输入预设人脸分割模型，输出所述模特图像的脸部区域；将所述模特图像输入预设头发分割模型，输出所述模特图像的头发区域；将所述脸部区域和所述头发区域的并集确定为所述模特图像的所述头部区域。

21、于一实施例中，还包括：第一训练模块，用于在所述将所述模特图像输入预设人脸分割模型，输出所述模特图像的脸部区域之前，采用人脸图像集训练第一语义分割模型，得到人脸教师模型，所述人脸图像中标注了人物的面部器官；对所述人脸教师模型进行蒸馏训练，生成所述人脸分割模型。

22、于一实施例中，还包括：第二训练模块，用于在所述将所述模特图像输入预设头发分割模型，输出所述模特图像的头发区域之前，采用预设头发图像集训练第二语义分割模型，得到头发教师模型，所述头发图像中标注了人物的头发；对所述头发教师模型进行蒸馏训练，生成所述头发分割模型。

23、于一实施例中，所述补图模块，用于根据所述用户的所述头部特征对所述模特图像中所述头部区域进行初次补图处理，生成初步图像；根据所述用户的所述头部特征对所述初步图像中所述头部区域包含的脸部区域进行再次补图处理，生成所述目标图像。

24、于一实施例中，所述补图模块，具体用于将所述头部区域作为第一掩膜图像，将所述用户的所述头部特征和所述用户对应的提示词输入预设图生图模型，以使所述图生图模型对所述第一掩膜图像进行补图处理，生成所述初步图像。

25、于一实施例中，所述补图模块，具体用于将所述脸部区域作为第二掩膜图像，将所述用户的所述头部特征和所述用户对应的提示词输入预设图生图模型，以使所述图生图模型对所述第二掩膜图像进行补图处理，生成所述目标图像。

26、第四方面，本技术实施例提供一种电子设备，包括：

27、至少一个处理器；以及

28、与所述至少一个处理器通信连接的存储器；

29、其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备执行上述任一方面所述的方法。

30、第五方面，本技术实施例提供一种云设备，包括：

31、至少一个处理器；以及

32、与所述至少一个处理器通信连接的存储器；

33、其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述云设备执行上述任一方面所述的方法。

34、第六方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述任一方面所述的方法。

35、第七方面，本技术实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一方面所述的方法。

36、本技术实施例提供的交互信息处理方法、设备和存储介质，当用户对目标物品触发穿戴指令时，首先获取用户的头部特征和该目标衣服对应的模特图像，对于模特图像自动化分割出感兴趣区域，即分割出模特图像中的头部区域。最后采用了补图技术，结合用户的头部特征对模特图像的头部区域进行补图，输出补图后的目标图像，实现了将模特图像中的头部区域替换成用户头像，生成包含用户头像的模特穿戴目标物品的形象图像，更加能够体现出用户穿戴目标物品的真实效果，提高在线试穿效果的真实性，提高用户体验。