用于虚拟视频生成的图像融合方法、装置、设备及介质与流程

本发明涉及人工智能，尤其涉及一种用于虚拟视频生成的图像融合方法、装置、设备及介质。

背景技术：

1、随着人工智能技术的快速发展，图像融合技术已逐步应用到虚拟人物生成、增强现实、智能衣物搭配等多种应用场景下，以智能衣物搭配场景为例，将客户的头部区域图像和由模特穿着衣物的身体区域图像进行融合，从而可以实现非实地换装，从而提高线上销售时客户的体验。

2、但是现有图像融合方法通常仅对头部区域图像进行了调整，再将头部拼接到身体区域图像中，然而在驱动头部区域图像调整时，头部区域图像会产生运动，在此情况下拼接回身体后会产生拼接错位问题，导致融合结果效果较差，也即融合结果的仿真性较差。因此，如何提高图像融合的仿真性成为亟待解决的问题。

技术实现思路

1、有鉴于此，本发明实施例提供了一种用于虚拟视频生成的图像融合方法、装置、设备及介质，以解决图像融合的仿真性较差的问题。

2、第一方面，本发明实施例提供一种用于虚拟视频生成的图像融合方法，所述图像融合方法包括：

3、获取当前帧的身体图像和待拼接的头部图像，对所述身体图像进行特征提取，得到身体特征，对所述头部图像进行特征提取，得到头部特征；

4、将所述身体特征和所述头部特征进行特征融合，得到融合结果，使用训练好的第一生成器对所述人体特征进行特征上采样重构，得到第一重构图像；

5、使用训练好的编码器分别对所述融合结果和所述第一重构图像进行特征提取，得到对应所述融合结果的融合特征和对应所述第一重构图像的重构特征；

6、将所述融合特征和所述重构特征拼接，得到拼接特征，使用训练好的第二生成器对所述拼接特征进行特征上采样重构，得到对应所述当前帧的第二重构图像，由各个当前帧对应的第二重构图像形成所述虚拟视频。

7、第二方面，本发明实施例提供一种用于虚拟视频生成的图像融合装置，所述图像融合装置包括：

8、特征提取模块，用于获取当前帧的身体图像和待拼接的头部图像，对所述身体图像进行特征提取，得到身体特征，对所述头部图像进行特征提取，得到头部特征；

9、图像重构模块，用于将所述身体特征和所述头部特征进行特征融合，得到融合结果，使用训练好的第一生成器对所述人体特征进行特征上采样重构，得到第一重构图像；

10、特征编码模块，用于使用训练好的编码器分别对所述融合结果和所述第一重构图像进行特征提取，得到对应所述融合结果的融合特征和对应所述第一重构图像的重构特征；

11、视频生成模块，用于将所述融合特征和所述重构特征拼接，得到拼接特征，使用训练好的第二生成器对所述拼接特征进行特征上采样重构，得到对应所述当前帧的第二重构图像，由各个当前帧对应的第二重构图像形成所述虚拟视频。

12、第三方面，本发明实施例提供一种计算机设备，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的图像融合方法。

13、第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的图像融合方法。

14、本发明实施例与现有技术相比存在的有益效果是：

15、获取当前帧的身体图像和待拼接的头部图像，对身体图像进行特征提取，得到身体特征，对头部图像进行特征提取，得到头部特征，将身体特征和头部特征进行特征融合，得到融合结果，使用训练好的第一生成器对人体特征进行特征上采样重构，得到第一重构图像，使用训练好的编码器分别对融合结果和第一重构图像进行特征提取，得到对应融合结果的融合特征和对应第一重构图像的重构特征，将融合特征和重构特征拼接，得到拼接特征，使用训练好的第二生成器对拼接特征进行特征上采样重构，得到对应当前帧的第二重构图像，由各个当前帧对应的第二重构图像形成虚拟视频，通过第一重构图像监督身体特征提取的可靠性，同时为第二特征上采样结果的生成提供参考信息，使得头部图形在拼接至身体图像时，能够尽可能确保无缝拼接，进而提高了图像融合结果的仿真性。

技术特征：

1.一种用于虚拟视频生成的图像融合方法，其特征在于，所述图像融合方法包括：

2.根据权利要求1所述的图像融合方法，其特征在于，所述对所述身体图像进行特征提取，得到身体特征，包括：

3.根据权利要求2所述的图像融合方法，其特征在于，所述身体图像编码器的预训练过程包括：

4.根据权利要求3所述的图像融合方法，其特征在于，所述使用预设的身体图像解码器对所述样本特征进行特征重构，得到样本重构结果，包括：

5.根据权利要求1至4任一项所述的图像融合方法，其特征在于，所述第二生成器的训练过程包括：

6.根据权利要求5所述的图像融合方法，其特征在于，在所述得到样本区域图像之后，还包括：

7.根据权利要求5所述的图像融合方法，其特征在于，在所述得到样本区域图像之后，还包括：

8.一种用于虚拟视频生成的图像融合装置，其特征在于，所述图像融合装置包括：

9.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的图像融合方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的图像融合方法。

技术总结
本发明涉及人工智能技术领域，尤其涉及一种用于虚拟视频生成的图像融合方法、装置、设备及介质。该方法分别对获取的身体图像和头部图像，进行特征提取，由得到的身体特征和头部特征融合为融合结果，使用第一生成器对人体特征进行特征重构，得到第一重构图像，使用编码器分别对融合结果和第一重构图像进行特征提取，将得到的融合特征和重构特征拼接为拼接特征，使用第二生成器对拼接特征进行特征重构，得到第二重构图像，由第二重构图像形成虚拟视频，通过第一重构图像监督身体特征提取的可靠性，同时为第二特征上采样结果的生成提供参考信息，使得头部图形在拼接至身体图像时，能够尽可能确保无缝拼接，进而提高了图像融合结果的仿真性。

技术研发人员：胡向杰
受保护的技术使用者：中国平安人寿保险股份有限公司
技术研发日：
技术公布日：2024/1/16