一种基于深度学习的人体运动序列补全方法及装置

本发明涉及计算机图形学和计算机动画，特别是涉及一种基于深度学习的人体运动序列补全方法及装置。

背景技术：

1、人体运动动画一直是动画学的研究重点之一。目前，人体运动动画的制作仍然主要由动画师手工制作为主，动画师们会根据动画制作的需求，手动调整大量关键帧，制作诸如人体行走、奔跑之类的动作。这需要动画师的大量人工劳动。

2、近年来，深度学习技术飞速发展，并在各领域得到了广泛使用。因此，可以利用相关的技术并使用在人体动画生成上，然而目前技术中仅仅利用关键帧，对关键帧之间的动作序列进行补全的技术还存在一定的缺陷。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本发明提出一种基于深度学习的人体运动序列补全方法，本发明设计类似于masked autoencoder的网络结构，该结构可以基于大量掩码的动作序列和隐变量，预测完整的动作序列，并且可以对大规模人体运动数据集(如amass数据集)进行分割和训练。

3、本发明的另一个目的在于提出一种基于深度学习的人体运动序列补全装置。

4、为达上述目的，本发明一方面提出一种基于深度学习的人体运动序列补全方法，包括：

5、获取人体运动序列数据集；

6、对所述人体运动序列数据集中的序列进行掩码处理得到掩码后的多个动作序列；

7、将所述掩码后的多个动作序列和预设隐变量输入至训练好的神经网络预测模型进行序列补全预测得到完整动作序列。

8、另外，根据本发明上述实施例的基于深度学习的人体运动序列补全方法还可以具有以下附加的技术特征：

9、进一步地，在本发明的一个实施例中，在对所述人体运动序列数据集中的序列进行掩码处理得到掩码后的多个动作序列之前，所述方法，还包括按照预设的序列长度对所述人体运动序列数据集进行分割得到所述多个运动序列。

10、进一步地，在本发明的一个实施例中，所述神经网络预测模型，包括vae生成模型和decoder解码器；所述将所述掩码后的多个动作序列和预设隐变量输入至训练好的神经网络预测模型进行序列补全预测得到完整动作序列，包括：

11、将所述掩码后的多个动作序列输入至所述vae生成模型得到基于高斯分布的随机变量；

12、将基于高斯分布的随机变量输入至所述decoder解码器进行解码预测输出得到完整动作序列。

13、进一步地，在本发明的一个实施例中，所述方法，还包括训练所述神经网络预测模型，包括：

14、获取人体运动序列样本集；

15、随机对所述人体运动序列样本集中的人体运动序列样本进行掩码处理；

16、将掩码处理后的人体运动序列样本输入至所述神经网络预测模型进行模型训练，以得到训练好的神经网络预测模型。

17、进一步地，在本发明的一个实施例中，所述将掩码处理后的人体运动序列样本输入至所述神经网络预测模型进行模型训练，以得到训练好的神经网络预测模型，包括：

18、将掩码处理后的人体运动序列样本输入至所述vae生成模型得到高斯分布的随机变量样本；

19、利用所述decoder解码器对所述随机变量样本进行解码输出得到完整动作序列样本；

20、基于所述完整动作序列样本的重建loss和kl-loss的损失计算结果得到所述训练好的神经网络预测模型。

21、为达上述目的，本发明另一方面提出一种基于深度学习的人体运动序列补全装置，包括：

22、数据获取模块，用于获取人体运动序列数据集；

23、掩码处理模块，用于对所述人体运动序列数据集中的序列进行掩码处理得到掩码后的多个动作序列；

24、补全预测模块，用于将所述掩码后的多个动作序列和预设隐变量输入至训练好的神经网络预测模型进行序列补全预测得到完整动作序列。

25、本发明实施例的基于深度学习的人体运动序列补全方法和装置，只需要输入少量关键帧，就可以生成完整的动作序列，无需任何人工干预；能够生成多样化的动作序列。

26、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.一种基于深度学习的人体运动序列补全方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，在对所述人体运动序列数据集中的序列进行掩码处理得到掩码后的多个动作序列之前，所述方法，还包括按照预设的序列长度对所述人体运动序列数据集进行分割得到所述多个运动序列。

3.根据权利要求1所述的方法，其特征在于，所述神经网络预测模型，包括vae生成模型和decoder解码器；所述将所述掩码后的多个动作序列和预设隐变量输入至训练好的神经网络预测模型进行序列补全预测得到完整动作序列，包括：

4.根据权利要求3所述的方法，其特征在于，所述方法，还包括训练所述神经网络预测模型，包括：

5.根据权利要求4所述的方法，其特征在于，所述将掩码处理后的人体运动序列样本输入至所述神经网络预测模型进行模型训练，以得到训练好的神经网络预测模型，包括：

6.一种基于深度学习的人体运动序列补全装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，在掩码处理模块之前，还包括序列分割模块，用于按照预设的序列长度对所述人体运动序列数据集进行分割得到所述多个运动序列。

8.根据权利要求6所述的装置，其特征在于，所述神经网络预测模型，包括vae生成模型和decoder解码器；所述补全预测模块，还用于：

9.根据权利要求8所述的装置，其特征在于，还包括神经网络预测模型训练模块，用于：

10.根据权利要求9所述的装置，其特征在于，所述神经网络预测模型训练模块，还用于：

技术总结
本发明公开了一种基于深度学习的人体运动序列补全方法及装置，该方法，包括：获取人体运动序列数据集；对人体运动序列数据集中的序列进行掩码处理得到掩码后的多个动作序列；将掩码后的多个动作序列和预设隐变量输入至训练好的神经网络预测模型进行序列补全预测得到完整动作序列。本发明利用开源的人体运动序列数据集(如AMASS)，使用深度学习技术，输入人体的关键帧，对关键帧之间的动作序列进行补全。

技术研发人员：徐枫,明鑫,雍俊海
受保护的技术使用者：清华大学
技术研发日：
技术公布日：2024/1/13