使用一个或更多个神经网络的基于物理学的图像生成的制作方法

至少一个实施例涉及用于执行和促进人工智能的处理资源。例如，至少一个实施例涉及用于训练神经网络的处理器或计算系统，以及至少一个实施例涉及根据本文描述的各种新型技术，用于使用神经网络执行推理的处理器或计算系统。

背景技术：

1、有许多应用程序，例如动画、游戏或虚拟现实(vr)，其中可能希望产生角色(character)执行动作的逼真图像或视频，例如行走、跳跃或拿起对象。运动控制器可用于为要执行的动作提供输入，而关于目标角色的信息可用于生成角色执行目标动作的图像或视频内容。不幸的是，各种基于物理学的运动控制器不能扩展到具有不同能力的角色，例如可能具有不同的力量或形态。因此，这些运动控制器无法为这些不同的角色生成看起来自然或真实的物理精确的运动。因此，往往需要为特定的角色生成特定的模型和动作，以考虑到这些独特的能力。

技术实现思路

技术特征：

1.一种处理器，包括：

2.根据权利要求1所述的处理器，其中所述一个或更多个电路进一步用于使用一个或更多个角色图表示所述一个或更多个角色，每个角色图包括连接节点集，所述连接节点集表示具有所述一个或更多个身体能力的对应参数值的相应角色的身体部件。

3.根据权利要求2所述的处理器，其中所述一个或更多个电路进一步用于至少部分地基于所述一个或更多个动作的当前状态和目标状态数据确定所述一个或更多个角色图的连接节点的运动。

4.根据权利要求3所述的处理器，其中所述一个或更多个电路进一步用于通过在通过一个或更多个图神经网络的一组前向传递中的每一个前向传递中在所述连接节点之间交换状态信息，来利用所述一个或更多个图神经网络更新所述连接节点的状态信息。

5.根据权利要求2所述的处理器，其中所述一个或更多个电路进一步用于为具有不同形态或身体结构的不同角色生成不同的角色图。

6.根据权利要求1所述的处理器，其中所述一个或更多个电路进一步用于顺序地生成所述一个或更多个图像，以便为所述一个或更多个角色产生基于物理学的动画。

7.一种系统，包括：

8.根据权利要求7所述的系统，其中所述一个或更多个处理器进一步用于使用一个或更多个角色图表示所述一个或更多个角色，每个角色图包括连接节点集，所述连接节点集表示具有所述一个或更多个身体能力的对应参数值的相应角色的身体部件。

9.根据权利要求8所述的系统，其中所述一个或更多个处理器进一步用于至少部分地基于所述一个或更多个动作的当前状态和目标状态数据确定所述一个或更多个角色图的连接节点的运动。

10.根据权利要求9所述的系统，其中所述一个或更多个处理器进一步用于通过在通过一个或更多个图神经网络的一组前向传递中的每一个前向传递中在所述连接节点之间交换状态信息，来利用所述一个或更多个图神经网络更新所述连接节点的状态信息。

11.根据权利要求8所述的系统，其中所述一个或更多个处理器进一步用于为具有不同形态或身体结构的不同角色生成不同的角色图。

12.根据权利要求7所述的系统，顺序地生成所述一个或更多个图像，以便为所述一个或更多个角色产生基于物理学的动画。

13.一种方法，包括：

14.根据权利要求13所述的方法，进一步包括：

15.根据权利要求14所述的方法，进一步包括：

16.根据权利要求15所述的方法，进一步包括：

17.根据权利要求14所述的方法，进一步包括：

18.根据权利要求13所述的方法，进一步包括：

19.一种机器可读介质，其上存储有一组指令，所述指令如果由一个或更多个处理器执行，则使所述一个或更多个处理器至少：

20.根据权利要求19所述的机器可读介质，其中，所述指令如果被执行，则进一步使所述一个或更多个处理器使用一个或更多个角色图表示所述一个或更多个角色，每个角色图包括连接节点集，所述连接节点集表示具有所述一个或更多个身体能力的对应参数值的相应角色的身体部件。

21.根据权利要求20所述的机器可读介质，其中，所述指令如果被执行，则进一步使所述一个或更多个处理器：

22.根据权利要求21所述的机器可读介质，其中，所述指令如果被执行，则进一步使所述一个或更多个处理器：

23.根据权利要求20所述的机器可读介质，其中，所述指令如果被执行，则进一步使所述一个或更多个处理器：

24.根据权利要求19所述的机器可读介质，其中，所述指令如果被执行，则进一步使所述一个或更多个处理器：

25.一种图像生成系统，包括：

26.根据权利要求25所述的图像生成系统，其中所述一个或更多个处理器进一步用于使用一个或更多个角色图表示所述一个或更多个角色，每个角色图包括连接节点集，所述连接节点集表示具有所述一个或更多个身体能力的对应参数值的相应角色的身体部件。

27.根据权利要求26所述的图像生成系统，其中所述一个或更多个处理器进一步用于至少部分地基于所述一个或更多个动作的当前状态和目标状态数据确定所述一个或更多个角色图的连接节点的运动。

28.根据权利要求27所述的图像生成系统，其中所述一个或更多个处理器进一步用于通过在通过一个或更多个图神经网络的一组前向传递中的每一个前向传递中在所述连接节点之间交换状态信息，来利用所述一个或更多个图神经网络更新所述连接节点的状态信息。

29.根据权利要求28所述的图像生成系统，其中所述一个或更多个处理器进一步用于为具有不同形态或身体结构的不同角色生成不同的角色图。

30.根据权利要求25所述的图像生成系统，其中所述一个或更多个处理器进一步用于顺序地生成所述一个或更多个图像，以便为所述一个或更多个角色产生基于物理学的动画。

技术总结
本发明公开了使用一个或更多个神经网络的基于物理学的图像生成，具体提出了用于生成表示现实运动或活动的图像的装置、系统和技术。在至少一个实施例中，一个或更多个神经网络被用来至少部分地基于一个或更多个角色的一个或更多个身体能力生成一个或更多个角色执行一个或更多个动作的一个或更多个图像。

技术研发人员：王亭午,郭云榕,C·谢,彭学彬,S·菲德勒
受保护的技术使用者：辉达公司
技术研发日：
技术公布日：2024/1/15