一种数据处理方法及相关设备与流程

本技术涉及计算机，尤其涉及一种数据处理方法及相关设备。

背景技术：

1、随着元宇宙概念的提出，“虚拟数字人”被视为未来人类进入元宇宙的介质，随之站上舆论风口。随着驱动技术的成熟，虚拟数字人必将在虚拟客服、虚拟导购、虚拟讲解员等更多实际能够变现的场景中得到更广泛的应用。

2、目前，在如何驱动虚拟数字人模仿人类行为上，主要有几种主流方法：纯人工建模、动捕建模。其中，纯人工建模方式在超写实的虚拟人或者明星的虚拟人上应用较多，但人工制作周期较长，且成本非常高。动捕建模方式通过借助于外部扫描设备采集模型数据来完成驱动，相比于纯人工建模的方式，时间与成本会低很多，常用于影视、直播等泛娱乐化行业，但需要真人演员参与，无法提升生产效率。

3、因此，如何实现不同风格在动画动作之间进行迁移是亟待解决的技术问题。

技术实现思路

1、本技术实施例提供了一种数据处理方法及相关设备。用于实现在不改变原图像序列其他特征的情况下进行风格化的动画编辑，提升动画的风格迁移效果。

2、本技术实施例第一方面提供了一种数据处理方法，可以应用于动画的风格迁移等场景。该方法可以由数据处理设备执行，也可以由数据处理设备的部件(例如处理器、芯片、或芯片系统等)执行。该方法包括：获取第一风格信息；获取第一图像序列的动作信息；基于第一风格信息与动作信息生成第二图像序列，第二图像序列与第一图像序列的动作类型相同，第二图像序列具有第一风格信息。其中，上述的风格信息可以理解为是对图像序列的风格描述，该风格包括以下一项或多项：肢体/面部轮廓、肢体/面部比例、肢体动作幅度、情绪、性格等。动作类型，用于描述图像序列的动作，例如，跑、跳、走等。动作信息可以理解为是低层用于表示动作类型的向量。可以理解的是，相同动作类型的图像序列对应的动作向量可能有所不同。

3、本技术实施例中，通过风格信息与动作信息的分离获取，并基于该第一风格信息与动作信息生成第二图像序列。以实现在不改变原图像序列其他特征的情况下进行风格化的动画编辑，提升动画的风格迁移效果。

4、可选地，在第一方面的一种可能的实现方式中，上述步骤获取第一风格信息之前，方法还包括：获取第三图像序列；获取第一风格信息，包括：基于第三图像序列获取第一风格信息。

5、该种可能的实现方式中，通过其他第三图像序列获取第一风格信息，可以弥补用户对某一类风格信息难以描述的缺陷。

6、可选地，在第一方面的一种可能的实现方式中，上述步骤：基于第三图像序列获取第一风格信息，包括：提取第三图像序列的第二风格信息；基于第二风格信息确定第一风格信息。

7、该种可能的实现方式中，直接将第三图像序列的风格信息作为后续要迁移至第一图像序列上的风格信息，进而使得生成的第二图像序列的风格与第三图像序列的风格类似或相同，从而满足风格的精准迁移。

8、可选地，在第一方面的一种可能的实现方式中，上述步骤：基于第二风格信息确定第一风格信息，包括：将第二风格信息作为第一风格信息。

9、该种可能的实现方式中，直接将第三图像序列的风格信息作为后续要迁移至第一图像序列上的风格信息，进而使得生成的第二图像序列的风格与第三图像序列的风格类似或相同，弥补用户对某一类风格信息难以描述的缺陷，从而满足风格的精准迁移。

10、可选地，在第一方面的一种可能的实现方式中，上述步骤：基于第二风格信息确定第一风格信息，包括：向用户显示第二语义标签，第二语义标签用于描述第二风格信息；基于用户的第一操作将第二语义标签修改为第一语义标签，第一语义标签用于描述第一风格信息；基于第一语义标签确定第一风格信息。

11、该种可能的实现方式中，用户在第三图像序列的基础上，通过操作修改语义标签，以实现风格信息的描述与保证用户需求，实现后续生成的第二图像序列可以满足用户对图像序列的风格需求。或者理解为，使用标签显式化风格信息，可让用户对风格信息有个定量及定性的分析，进而清楚地知道如何量化描述自己的需求。此外，通过对用户需求的解析，配合视频能覆盖任意风格的优势，使得本技术实施例能生成任意定制化的风格化数字人动画。

12、可选地，在第一方面的一种可能的实现方式中，上述第三图像序列为二维动画的图像序列，第二风格信息为二维风格信息，第一风格信息为三维风格信息，第一图像序列与第二图像序列为三维动画的图像序列。

13、该种可能的实现方式中，2d视频的存量够大，可以实现将2d视频的任意风格信息迁移至3d原始视频以得到3d目标视频。

14、可选地，在第一方面的一种可能的实现方式中，上述步骤还包括：向用户显示第一界面，第一界面包括多个语义标签，多个语义标签用于描述不同图像序列的不同风格信息，多个语义标签与风格信息一一对应；获取第一风格信息，包括：基于用户的第二操作从多个语义标签中确定第一语义标签；基于第一语义标签确定第一风格信息。

15、该种可能的实现方式中，该种可能的实现方式中，可以理解为离线完成从视频中提取任意风格，并生成特征库。用户只需上传要求的个性化风格的语义标签，进而实现自动从特征库中识别标签对应的风格信息。

16、可选地，在第一方面的一种可能的实现方式中，上述步骤：基于第一风格信息与动作信息生成第二图像序列，包括：融合第一风格信息与动作信息以得到第一运动特征；基于第一运动特征获取第二图像序列。

17、该种可能的实现方式中，将第一语义标签表示的第一风格信息与原图像序列的动作信息进行融合以得到第一运动特征。因此，基于该第一运动特征获取的第二图像序列，在不改变原图像序列其他特征的情况下实现风格迁移。

18、可选地，在第一方面的一种可能的实现方式中，上述动作信息包括以下一项或多项：面部表情序列、肢体图像序列。

19、该种可能的实现方式中，该种可能的实现方式中，该方法不仅可以应用于肢体动作的风格迁移，还可以应用于面部表情的风格迁移等，适用场景广泛。

20、可选地，在第一方面的一种可能的实现方式中，上述步骤还包括：将第二图像序列渲染至虚拟物体以得到动画。

21、该种可能的实现方式中，该种可能的实现方式中，可以适用于2d动画至2d动画、2d动画至3d动画或3d动画至3d动画的风格迁移场景。

22、可选地，在第一方面的一种可能的实现方式中，上述图像序列的风格信息包括显式风格信息与隐式风格信息，第二语义标签具体用于关联第二风格信息中的显式风格信息。

23、该种可能的实现方式中，通过将风格信息进行显式与隐式的分解，进而可以实现用户对显式风格信息的编辑。并将编辑后的显式风格信息与隐式风格信息生成修改后的风格信息。

24、可选地，在第一方面的一种可能的实现方式中，上述步骤：提取第一图像序列的动作信息，包括：将第一图像序列输入内容编码器以得到动作信息；提取第三图像序列的第二风格信息，包括：将第三图像序列输入风格编码器以得到第二风格信息。

25、可选地，在第一方面的一种可能的实现方式中，上述步骤还包括：获取第一训练图像序列与第二训练图像序列，第一训练图像序列与第二训练图像序列的运动特征不同，运动特征包括动作信息和/或风格信息；将第一训练图像序列分别输入风格编码器与内容编码器以得到第一训练风格信息与第一训练动作信息；将第二训练图像序列分别输入风格编码器与内容编码器以得到第二训练风格信息与第二训练动作信息；融合第一训练风格信息与第二训练动作信息以得到第一训练运动特征；融合第二训练风格信息与第一训练动作信息以得到第二训练运动特征；将第一训练运动特征输入解码器以得到第一重建图像序列；将第二训练运动特征输入解码器以得到第二重建图像序列；以第一损失函数的值小于第一阈值为目标进行训练以得到训练好的风格编码器、内容编码器以及解码器，第一损失函数包括风格损失函数与内容损失函数，风格损失函数用于表示第一重建图像序列与第一训练图像序列之间的风格差异以及第二重建图像序列与第二训练图像序列之间的风格差异，内容损失函数用于表示第一重建图像序列与第二训练图像序列之间的内容差异以及第二重建图像序列与第一训练图像序列之间的内容差异。

26、该种可能的实现方式中，通过上述训练过程，可以实现风格迁移的准确性。

27、本技术实施例第二方面提供了一种数据处理设备。该数据处理设备包括：获取单元，用于获取第一风格信息；获取单元，还用于获取第一图像序列的动作信息；生成单元，用于基于第一风格信息与动作信息生成第二图像序列，第二图像序列与第一图像序列的动作类型相同，第二图像序列具有第一风格信息。

28、可选地，在第二方面的一种可能的实现方式中，上述的获取单元，还用于获取第三图像序列；获取单元，具体用于基于第三图像序列获取第一风格信息。

29、可选地，在第二方面的一种可能的实现方式中，上述的获取单元，具体用于提取第三图像序列的第二风格信息；获取单元，具体用于基于第二风格信息确定第一风格信息。

30、可选地，在第二方面的一种可能的实现方式中，上述的获取单元，具体用于将第二风格信息作为第一风格信息。

31、可选地，在第二方面的一种可能的实现方式中，上述的获取单元，具体用于向用户显示第二语义标签，第二语义标签用于描述第二风格信息；获取单元，具体用于基于用户的第一操作将第二语义标签修改为第一语义标签，第一语义标签用于描述第一风格信息；获取单元，具体用于基于第一语义标签确定第一风格信息。

32、可选地，在第二方面的一种可能的实现方式中，上述的第三图像序列为二维动画的图像序列，第二风格信息为二维风格信息，第一风格信息为三维风格信息，第一图像序列与第二图像序列为三维动画的图像序列。

33、可选地，在第二方面的一种可能的实现方式中，上述的数据处理设备还包括：显示单元，用于向用户显示第一界面，第一界面包括多个语义标签，多个语义标签用于描述不同图像序列的不同风格信息，多个语义标签与风格信息一一对应；获取单元，具体用于基于用户的第二操作从多个语义标签中确定第一语义标签；获取单元，具体用于基于第一语义标签确定第一风格信息。

34、可选地，在第二方面的一种可能的实现方式中，上述的生成单元，具体用于融合第一风格信息与动作信息以得到第一运动特征；生成单元，具体用于基于第一运动特征获取第二图像序列。

35、可选地，在第二方面的一种可能的实现方式中，上述的动作信息包括以下一项或多项：面部表情序列、肢体图像序列。

36、可选地，在第二方面的一种可能的实现方式中，上述的数据处理设备还包括：渲染单元，用于将第二图像序列渲染至虚拟物体以得到动画。

37、本技术第三方面提供了一种数据处理设备，包括：处理器，处理器与存储器耦合，存储器用于存储程序或指令，当程序或指令被处理器执行时，使得该数据处理设备实现上述第一方面或第一方面的任意可能的实现方式中的方法。

38、本技术第四方面提供了一种计算机可读介质，其上存储有计算机程序或指令，当计算机程序或指令在计算机上运行时，使得计算机执行前述第一方面或第一方面的任意可能的实现方式中的方法。

39、本技术第五方面提供了一种计算机程序产品，该计算机程序产品在计算机上执行时，使得计算机执行前述第一方面或第一方面的任意可能的实现方式中的方法。

40、本技术实施例第六方面提供了一种芯片系统，该芯片系统包括至少一个处理器，用于支持数据处理设备实现上述第一方面或第一方面任意一种可能的实现方式中所涉及的功能。

41、在一种可能的设计中，该芯片系统还可以包括存储器，存储器，用于保存该数据处理设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。可选的，所述芯片系统还包括接口电路，所述接口电路为所述至少一个处理器提供程序指令和/或数据。

42、其中，第二、第三、第四、第五、第六方面或者其中任一种可能实现方式所带来的技术效果可参见第一方面或第一方面不同可能实现方式所带来的技术效果，此处不再赘述。

43、从以上技术方案可以看出，本技术具有以下优点：通过风格信息与动作信息的分离获取，并基于该第一风格信息与动作信息生成第二图像序列。以实现在不改变原图像序列其他特征的情况下进行风格化的动画编辑，提升动画的风格迁移效果。