虚拟对象的视频生成方法及系统、装置、终端、服务器与流程

本技术涉及视频生成，尤其涉及一种虚拟对象的视频生成方法及系统、装置、终端、服务器。

背景技术：

1、随着人工智能技术和虚拟内容技术的发展，虚拟对象视频开始应用于各个场景中，例如：文化宣传、直播互动、休闲娱乐等。虚拟对象视频可以是指包含虚拟对象的视频。生成虚拟对象视频的方案中，需要获取真人的表情、姿态信息，然后根据真人的表情、姿态信息进行渲染，以生成虚拟对象的视频。然而在同一个视频中存在多个虚拟对象的情况下，容易出现画面延迟、卡顿的情况。

2、因此，亟需一种虚拟对象的视频生成方法，能够减小虚拟对象视频画面的延迟，提高虚拟对象视频的生成效果。

技术实现思路

1、本发明解决的技术问题是如何减小虚拟对象视频画面的延迟，提高虚拟对象视频的生成效果。

2、第一方面，本技术实施例提供一种虚拟对象的视频生成方法，所述方法包括：获取第一用户图像，所述第一用户图像包括第一用户的影像；从所述第一用户图像提取所述第一用户的关键点信息，所述第一用户的关键点信息用于描述所述第一用户的姿态和/或表情；向服务器发送所述第一用户的关键点信息，以及从所述服务器接收所述第一用户所属的用户组中除所述第一用户以外的其他用户的关键点信息；根据所述用户组中每个用户的关键点信息对该用户采用的虚拟对象模型进行渲染，以生成虚拟对象视频。

3、可选的，获取第一用户图像之前，所述方法还包括：获取所述用户组中每个用户采用的虚拟对象模型。

4、可选的，所述关键点信息具有时间戳，根据所述用户组中每个用户的关键点信息对该用户采用的虚拟对象模型进行渲染，以生成虚拟对象视频包括：当获取到所述用户组中全部用户在同一时刻的关键点信息时，根据每个用户的关键点信息对该用户采用的虚拟对象模型进行渲染，以得到该时刻的视频画面。

5、可选的，所述关键点信息具有时间戳，根据所述用户组中每个用户的关键点信息对该用户采用的虚拟对象模型进行渲染，以生成虚拟对象视频包括：获取掉线指示信息，所述掉线指示信息用于指示所述用户组中处于掉线状态的用户，记为掉线用户；当获取到所述用户组中除所述掉线用户以外的其他全部用户在同一时刻的关键点信息时，根据所述其他全部用户中每个用户的关键点信息对该用户采用的虚拟对象模型进行渲染，以得到该时刻的视频画面。

6、可选的，向服务器发送所述第一用户的关键点信息包括：计算当前时刻的关键点信息和上一时刻的关键点信息之间的差异信息；向所述服务器发送所述差异信息。

7、第二方面，本技术实施例提供另一种虚拟对象的视频生成方法，所述方法应用于服务器，包括：从多个终端接收每个终端计算得到的用户的关键点信息，其中，所述多个终端的用户属于同一个用户组，其中，所述关键点信息用于描述所述用户的姿态和/或表情；向第一终端发送所述用户组中除第一用户以外的其他用户的关键点信息，以使每个终端根据所述用户组中每个用户的关键点信息对该用户采用的虚拟对象模型渲染，以生成虚拟对象视频；其中，所述第一终端为所述多个终端中的任意一个终端，所述第一用户为所述第一终端的用户。

8、可选的，从多个终端接收每个终端计算得到的用户的关键点信息之前，所述方法还包括：向每个终端发送所述用户组中每个用户采用的虚拟对象模型。

9、可选的，所述方法还包括：如果在第一时间段内未接收到任意一个用户的关键点信息，则向所述用户组中其他用户发送掉线指示信息，所述掉线指示信息用于指示处于掉线状态的用户；其中，所述第一时间段的时长是预先设置的，所述第一时间段的起始时刻为获取到的最新关键点信息的时刻。

10、第三方面，本技术实施例提供一种虚拟对象的视频生成装置，所述装置包括：获取模块，用于获取第一用户图像，所述第一用户图像包括第一用户的影像；信息提取模块，用于从所述第一用户图像提取所述第一用户的关键点信息，所述第一用户的关键点信息用于描述所述第一用户的姿态和/或表情；信息同步模块，用于向服务器发送所述第一用户的关键点信息，以及从所述服务器接收所述第一用户所属的用户组中除所述第一用户以外的其他用户的关键点信息；渲染模块，用于根据所述用户组中每个用户的关键点信息对该用户采用的虚拟对象模型进行渲染，以生成虚拟对象视频。

11、第四方面，本技术实施例还提供另一种虚拟对象的视频生成装置，所述装置包括：接收模块，用于从多个终端接收每个终端计算得到的用户的关键点信息，其中，所述多个终端的用户属于同一个用户组，其中，所述关键点信息用于描述所述用户的姿态和/或表情；发送模块，用于向第一终端发送所述用户组中除第一用户以外的其他用户的关键点信息，以使每个终端根据所述用户组中每个用户的关键点信息对该用户采用的虚拟对象模型渲染，以生成虚拟对象视频；其中，所述第一终端为所述多个终端中的任意一个终端，所述第一用户为所述第一终端的用户。

12、第五方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述的虚拟对象的视频生成方法的步骤。

13、第六方面，本技术实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述的虚拟对象的视频生成方法的步骤。

14、第七方面，本技术实施例还提供一种服务器端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述的虚拟对象的视频生成方法的步骤。

15、第八方面，本技术实施例还提供一种虚拟对象的视频生成系统，所述系统包括：服务器，所述服务器为上述第七方面提供的服务器；多个终端，所述终端为上述第六方面提供的终端。

16、与现有技术相比，本技术实施例的技术方案具有以下有益效果：

17、在本技术实施例的方案中，获取第一用户图像，并从第一用户图像提取第一用户的关键点信息，然后向服务器发送第一用户的关键点信息，以及从服务器接收第一用户所属的用户组中除第一用户以外的其他用户的关键点信息，由此，可以同步地获取到用户组中所有用户的关键点信息，然后在终端本地对用户组中每个用户采用的虚拟对象模型进行渲染，以生成虚拟对象视频。采用上述方案时，通过终端和服务器进行协同的方式使得终端能够获取到所有用户的关键点信息，然后采用本地渲染的方式实现包含多个虚拟对象的视频生成。由于服务器仅需下发关键点信息，相较于服务器进行渲染后下发视频流数据的方案，可以减小数据的传输量，有利于避免出现卡顿、延迟的情况。

18、进一步，本技术实施例的方案中，当获取到用户组中全部用户在同一时刻的关键点信息时，根据每个用户的关键点信息对该用户采用的虚拟对象模型进行渲染，以得到该时刻的视频画面。采用这样的方案，有利于保证视频画面中多个虚拟对象的同步性。

19、进一步，本技术实施例的方案中，当用户组中存在掉线用户的情况下，当获取到用户组中除掉线用户以外的其他全部用户在同一时刻的关键点信息时，根据其他全部用户中每个用户的关键点信息对该用户采用的虚拟对象模型进行渲染，以得到该时刻的视频画面。采用这样的方案，有利于避免因掉线用户造成整体视频画面的延迟。