人体运动序列补全方法及装置、设备、存储介质

本技术涉及人工智能，尤其涉及一种人体运动序列补全方法及装置、设备、存储介质。

背景技术：

1、人体运动序列补全是指从一段被部分遮挡或被损坏的人体运动序列中恢复出完整的人体运动序列的过程。在现实场景中，由于物体遮挡、传感器不精确和数据处理系统鲁棒性较差等原因，视频采集系统通常只能采集到人体的部分运动，不利于后续的动作识别和动作预测等操作处理。因此人体运动补全任务的研究在自动驾驶、无人值守监控系统和人机交互等许多现实场景中有较大的应用价值。

2、目前，为了解决人体运动补全的问题，现有技术通常采用从高斯过程中采样得到潜向量并用图神经网络进行姿态合成，从而实现潜空间和骨架空间之间的双向变换的人体运动序列补全方法。或者，通过构建一个基于生成对抗网络的框架，并基于骨架的数据特征设计了对应的生成器和鉴别器，以使用修复框架进行动作序列的补全。然而，这些方法存在一些弊端，第一种方法只能对单一时间维度上的缺失部分进行补全，导致补全效果并不理想；第二种方法仅考虑骨架数据的欧几里得结构，忽略了人体骨架关节点之间的内在联系，导致补全效果并不理想。

技术实现思路

1、本技术实施例的主要目的在于提出了一种人体运动序列补全方法及装置、设备、存储介质，能够从不同维度考虑运动序列的缺失，并同时考虑人体骨架关节点之间的内在联系，从而能够生成效果较好的人体运动序列补全结果。

2、为实现上述目的，本技术实施例的第一方面提出了一种人体运动序列补全方法，所述方法包括：

3、获取目标对象不完整的初始运动序列；

4、将所述初始运动序列输入预先构建的运动序列补全模型，所述运动序列补全模型包括序列修复子模型和上下文优化子模型；

5、根据所述序列修复子模型对所述初始运动序列进行序列修复，得到修复后的运动序列；

6、根据所述上下文优化子模型对所述修复后的运动序列进行序列优化，得到所述目标对象补全完整的目标运动序列。

7、在一些实施例中，在所述将所述初始运动序列输入预先构建的运动序列补全模型之前，所述方法还包括：

8、构建所述运动序列补全模型，具体包括：

9、获取样本对象不完整的初始样本运动序列和所述样本对象补全完整的目标样本运动序列；

10、对所述初始样本运动序列进行序列归一化，得到初始样本运动图像；

11、根据预设掩膜图像对所述初始样本运动图像进行图像掩膜，得到掩膜样本运动图像；

12、将所述掩膜样本运动图像输入所述序列修复子模型进行序列修复，得到修复后的样本运动序列；

13、根据所述修复后的样本运动序列和所述初始样本运动图像确定修复损失数据，并根据所述修复损失数据对所述序列修复子模型进行参数调整；

14、将所述预设掩膜图像和所述修复后的样本运动序列输入所述上下文优化子模型进行序列优化，得到优化后的样本序列；

15、根据所述目标样本运动序列和所述优化后的样本序列确定三维优化损失数据，并根据所述三维优化损失数据对所述上下文优化子模型进行参数调整；

16、根据参数调整后的所述序列修复子模型和所述上下文优化子模型得到所述运动序列补全模型。

17、在一些实施例中，所述序列修复子模型包括修复编码器、修复解码器，所述将所述掩膜样本运动图像输入所述序列修复子模型进行序列修复，得到修复后的样本运动序列，包括：

18、根据所述修复编码器对所述掩膜样本运动图像进行编码处理，得到样本隐式编码数据；

19、根据所述修复解码器对所述样本隐式编码数据进行解码处理，得到修复后的样本运动图像；

20、对所述修复后的样本运动图像进行逆归一化，得到所述修复后的样本运动序列；

21、所述根据所述修复后的样本运动序列和所述初始样本运动图像确定修复损失数据，包括：

22、根据所述修复后的样本运动图像和所述初始样本运动图像确定修复损失数据。

23、在一些实施例中，所述根据所述修复后的样本运动图像和所述初始样本运动图像确定修复损失数据，包括：

24、根据所述修复后的样本运动图像和所述初始样本运动图像进行计算，得到重建损失数据；

25、分别将所述修复后的样本运动图像和所述初始样本运动图像输入预先训练的感知神经网络的目标激活层，得到所述修复后的样本运动图像对应的第一输出数据和所述初始样本运动图像对应的第二输出数据；

26、根据所述样本对象在所述目标激活层预设的损失权重参数、所述第一输出数据和所述第二输出数据进行计算，得到感知损失数据；

27、根据预设生成损失函数和所述修复后的样本运动图像进行计算，得到生成损失数据；

28、根据预设判别损失函数、所述修复后的样本运动图像和所述初始样本运动图像进行计算，得到判别损失数据；

29、根据所述重建损失数据、所述感知损失数据、所述生成损失数据和所述判别损失数据进行加权计算，得到所述修复损失数据。

30、在一些实施例中，所述根据所述目标样本运动序列和所述优化后的样本序列确定三维优化损失数据，包括：

31、获取所述目标样本运动序列中每个样本关节点的目标三维坐标数据，所述目标三维坐标数据包括目标第一维坐标值、目标第二维坐标值和目标第三维坐标值；

32、获取所述优化后的样本序列中每个所述样本关节点的优化三维坐标数据，所述优化三维坐标数据包括优化第一维坐标值、优化第二维坐标值和优化第三维坐标值；

33、对所述目标第一维坐标值和所述优化第一维坐标值进行坐标计算，得到第一维损失值；

34、对所述目标第二维坐标值和所述优化第二维坐标值进行坐标计算，得到第二维损失值；

35、对所述目标第三维坐标值和所述优化第三维坐标值进行坐标计算，得到第三维损失值；

36、对所述第一维损失值、所述第二维损失值和所述第三维损失值进行均值计算，得到所述三维优化损失数据。

37、在一些实施例中，所述上下文优化子模型包括依次串联的第一图卷积块、预设数目个残差连接的第二图卷积块、以及第一图卷积层，所述将所述预设掩膜图像和所述修复后的样本运动序列输入所述上下文优化子模型进行序列优化，得到优化后的样本序列，包括:

38、根据所述第一图卷积块对所述修复后的样本运动序列进行卷积处理，得到第一优化序列；

39、根据所述第二图卷积块对所述第一优化序列依次进行所述预设数目次卷积处理，将最后一个所述第二图卷积块的输出序列作为第二优化序列；

40、根据所述第一图卷积层对所述第二优化序列进行卷积处理，得到第三优化序列；

41、对所述预设掩膜图像进行图像分解，得到掩膜序列；

42、根据所述掩膜序列对所述第三优化序列进行序列更新；

43、对所述修复后的样本运动序列和更新后的所述第三优化序列进行相加，得到所述优化后的样本序列。

44、在一些实施例中，所述第一图卷积块和所述第二图卷积块的结构相同，且所述第一图卷积块包括第二图卷积层、激活层、以及随机失活层，所述根据所述第一图卷积块对所述修复后的样本运动序列进行卷积处理，得到第一优化序列，包括：

45、根据所述第二图卷积层对所述修复后的样本运动序列进行卷积处理，得到卷积序列；

46、根据所述激活层对所述卷积序列进行激活处理，得到激活序列；

47、根据所述随机失活层对所述激活序列进行正则化处理，得到所述第一优化序列。

48、为实现上述目的，本技术实施例的第二方面提出了一种人体运动序列补全装置，所述装置包括：

49、序列获取模块，用于获取目标对象不完整的初始运动序列；

50、输入模块，用于将所述初始运动序列输入预先构建的运动序列补全模型，所述运动序列补全模型包括序列修复子模型和上下文优化子模型；

51、序列修复模块，用于根据所述序列修复子模型对所述初始运动序列进行序列修复，得到修复后的运动序列；

52、序列优化模块，用于根据所述上下文优化子模型对所述修复后的运动序列进行序列优化，得到所述目标对象补全完整的目标运动序列。

53、为实现上述目的，本技术实施例的第三方面提出了一种计算机设备，包括：

54、至少一个存储器；

55、至少一个处理器；

56、至少一个计算机程序；

57、所述至少一个计算机程序被存储在所述至少一个存储器中，所述至少一个处理器执行所述至少一个计算机程序以实现上述第一方面所述的方法。

58、为实现上述目的，本技术实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使计算机执行上述第一方面所述的方法。

59、本技术实施例提出的人体运动序列补全方法及装置、设备、存储介质，首先，获取目标对象不完整的初始运动序列。将初始运动序列输入预先构建的运动序列补全模型，运动序列补全模型包括序列修复子模型和上下文优化子模型。根据序列修复子模型对初始运动序列进行序列修复，得到修复后的运动序列。为了能够从不同维度考虑运动序列的缺失，并同时考虑人体骨架关节点之间的内在联系，本技术实施例根据上下文优化子模型对修复后的运动序列进行序列优化，得到目标对象补全完整的目标运动序列。因此，本技术实施例的运动序列补全模型通过结合序列修复子模型和上下文优化子模型，能够从不同维度考虑运动序列的缺失，并同时考虑人体骨架关节点之间的内在联系，从而能够生成效果较好的人体运动序列补全结果。