用于处理视频的方法、设备和计算机程序产品与流程

本公开的实施例涉及计算机技术，并且更具体地，涉及用于处理视频的方法、设备和计算机程序产品。

背景技术：

1、随着元宇宙和虚拟现实的快速发展，在诸如虚拟会议、视频游戏等多个领域中，使用虚拟化身(avatar)来代替视频中用户的真实形象变得越来越常见。使用虚拟化身可以带来多种益处，例如增强应用的趣味性、保护用户的隐私等等。随着虚拟化身的流行，对生成定制化的高质量化身视频的需求也日益增长。

技术实现思路

1、本公开的实施例提供了用于处理视频的方案。

2、在本公开的第一方面，提供了一种处理视频的方法，包括：基于参考图像和包括对象的视频的第一帧，生成对象的二维化身图像；通过对二维化身图像和第一帧中的对象执行三维变换，生成对象的基础三维化身；以及基于基础三维化身和视频的特征，生成与视频对应的三维化身视频，该特征包括视频的相邻帧之间的对象的图像差异。

3、在本公开的第二方面，提供了一种电子设备，包括处理器以及与处理器耦合的存储器，该存储器具有存储于其中的指令，该指令在被处理器执行时使设备执行动作，该动作包括：基于参考图像和包括对象的视频的第一帧，生成对象的二维化身图像；通过对二维化身图像和第一帧中的对象执行三维变换，生成对象的基础三维化身；以及基于基础三维化身和视频的特征，生成与视频对应的三维化身视频，该特征包括视频的相邻帧之间的对象的图像差异。

4、在本公开的第三方面中，提供了一种计算机程序产品，该计算机程序产品被有形地存储在计算机可读介质上并且包括机器可执行指令，该机器可执行指令在被执行时使机器执行根据本公开的第一方面所述的方法。

5、请注意，提供本
技术实现要素：
是为了以简化的形式来介绍对概念的选择，这些概念在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开内容的关键特征或主要特征，也无意限制本公开内容的范围。

技术特征：

1.一种处理视频的方法，包括：

2.根据权利要求1所述的方法，其中生成所述基础三维化身包括：

3.根据权利要求2所述的方法，其中生成所述对象的三维投影表示包括：

4.根据权利要求3所述的方法，其中生成所述基础三维化身还包括：

5.根据权利要求1所述的方法，其中所述视频的特征还包括语音特征和文本特征，并且生成所述三维化身视频包括：

6.根据权利要求1所述的方法，其中使用三维化身视频的生成模型来实现所述方法，并且所述方法还包括：

7.根据权利要求6所述的方法，其中确定所述损失函数包括：

8.根据权利要求7所述的方法，其中确定所述损失函数还包括：

9.根据权利要求6所述的方法，还包括利用所述损失函数来训练所述生成模型。

10.根据权利要求6所述的方法，还包括利用以下一项或多项来训练所述生成模型：

11.一种电子设备，包括：

12.根据权利要求11所述的设备，其中生成所述基础三维化身包括：

13.根据权利要求12所述的设备，其中生成所述对象的三维投影表示包括：

14.根据权利要求13所述的设备，其中生成所述基础三维化身还包括：

15.根据权利要求11所述的设备，其中所述视频的特征还包括语音特征和文本特征，并且生成所述三维化身视频包括：

16.根据权利要求11所述的设备，其中使用三维化身视频的生成模型来实现所述动作，并且所述动作还包括：

17.根据权利要求16所述的设备，其中确定所述损失函数包括：

18.根据权利要求17所述的设备，其中确定所述损失函数还包括：

19.根据权利要求16所述的设备，所述动作还包括利用所述损失函数来训练所述生成模型。

20.一种计算机程序产品，所述计算机程序产品被有形地存储在计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行根据权利要求1至10中任一项所述的方法。

技术总结
本公开的实施例涉及一种用于处理视频的方法、设备和计算机程序产品。该方法包括基于参考图像和包括对象的视频的第一帧，生成对象的二维化身图像，以及通过对二维化身图像和第一帧中的对象执行三维变换，生成对象的基础三维化身。该方法还包括基于基础三维化身和视频的特征，生成与视频对应的三维化身视频，该特征包括所述视频的相邻帧之间的所述对象的差异。该方案能够为视频中的对象生成定制风格的三维化身视频，其中的化身可以与对象同步运动并且保留对象的独特特征，并且可以提供比二维化身更精细和生动的表达。

技术研发人员：刘志松,王子嘉,贾真
受保护的技术使用者：戴尔产品有限公司
技术研发日：
技术公布日：2024/5/6