对象运动序列的生成方法、装置、电子设备及存储介质与流程

本申请涉及数据处理，尤其是涉及对象运动序列的生成方法、装置、电子设备及存储介质。

背景技术：

1、动作捕捉(motion capture,mocap)是一种利用传感器或摄像机等特定外部设备对人体结构的运动进行数据记录和动作还原的技术。目前，该技术已被广泛地应用在游戏、电影、电视等的相关动作制作流程中，极大地提高了生产效率。

2、其中，基于计算机视觉技术的光学动捕已经成为动作捕捉的具体实施方案，光学动捕通过多个不同视角的高速相机同步拍摄目标对象动作，并使用多视角三维重建技术计算贴在演员身体不同部位上的一批标记点的三维位置坐标，最后再基于这些坐标解算出演员每个骨骼关节点的位置和旋转信息；然而，由于遮挡、传感器精度和算法自身误差等因素的干扰，光学动捕设备所记录的标记点的三维位置坐标仍会不可避免地存在一定的误差，因此需要对动捕数据进行额外的清洗、去噪。

3、相关技术中，基于深度人工神经网络的光学动捕数据自动清洗和解算方案，其旨在从动捕设备所采集到的带噪声的原始标记序列中预测对象的连续运动，实现了对动捕数据的自动去噪及解算，但是，在对整个输入序列进行解算过程中，特征提取的方式考虑目标对象的全部标记点之间的相关性，这种解算方式在对象复杂运动情况下，可能并不能完全对目标对象的运动特征进行提取，导致模型其输出的运动序列的细节精度和准确性较低。

技术实现思路

1、有鉴于此，本申请的目的在于提供对象运动序列的生成方法、装置、电子设备及存储介质，将获取到的初始标记坐标序列输入至预先训练好的运动预测模型中，以使运动预测模型将初始标记坐标序列进行分解，分别提取时空维度上的局部运动特征，再通过将局部运动特征聚合成全局运动特征，对目标对象的运动进行预测，输出预测对象运动序列。利用局部时空维度内标记点之间潜在的局部相关性，有效捕获目标对象运动的局部和全局信息，提高输出的预测对象运动序列的细节精度和准确性。

2、第一方面，本申请实施例提供了一种对象运动序列的生成方法，所述生成方法包括：

3、获取目标对象的初始标记坐标序列；所述初始标记坐标序列中包括多帧采集数据，每帧采集数据中包括所述目标对象携带的标记点的三维位置坐标；

4、将所述初始标记坐标序列输入至预先训练好的运动预测模型，以使所述运动预测模型将所述初始标记坐标序列按照预设帧数以及预设标记点数量分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并聚合多个局部运动特征确定全局运动特征后，输出所述目标对象的预测对象运动序列。

5、第二方面，本申请实施例还提供了一种对象运动序列的生成装置，所述生成装置包括：

6、坐标序列获取模块，用于获取目标对象的初始标记坐标序列；所述初始标记坐标序列中包括多帧采集数据，每帧采集数据中包括所述目标对象携带的标记点的三维位置坐标；

7、运动序列输出模块，用于将所述初始标记坐标序列输入至预先训练好的运动预测模型，以使所述运动预测模型将所述初始标记坐标序列按照预设帧数以及预设标记点数量分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并聚合多个局部运动特征确定全局运动特征后，输出所述目标对象的预测对象运动序列。

8、第三方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面任一项所述的对象运动序列的生成方法的步骤。

9、第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面任一项所述的对象运动序列的生成方法的步骤。

10、本申请实施例提供的对象运动序列的生成方法、装置、电子设备及存储介质，获取目标对象的初始标记坐标序列，将初始标记坐标序列输入至预先训练好的运动预测模型，以使运动预测模型将初始标记坐标序列按照预设帧数以及预设标记点数量分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并聚合多个局部运动特征确定全局运动特征后，输出目标对象的预测对象运动序列。这样，将获取到的初始标记坐标序列输入至预先训练好的运动预测模型中，以使运动预测模型将初始标记坐标序列进行分解，分别提取时空维度上的局部运动特征，再通过将局部运动特征聚合成全局运动特征，对目标对象的运动进行预测，输出预测对象运动序列。利用局部时空维度内标记点之间潜在的局部相关性，有效捕获目标对象运动的局部和全局信息，提高输出的预测对象运动序列的细节精度和准确性。

11、为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种对象运动序列的生成方法，其特征在于，所述生成方法包括：

2.根据权利要求1所述的生成方法，其特征在于，所述运动预测模型包括分治编码器以及序列解码器；所述将所述初始标记坐标序列输入至预先训练好的运动预测模型，以使所述运动预测模型将所述初始标记坐标序列按照预设帧数以及预设标记点数量分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并聚合多个局部运动特征确定全局运动特征后，输出所述目标对象的预测对象运动序列，包括：

3.根据权利要求2所述的生成方法，其特征在于，所述将所述初始标记坐标序列输入至所述分治编码器，以使所述分治编码器按照预设帧数以及预设标记点数量将所述初始标记坐标序列分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并输出聚合多个局部运动特征后的全局运动特征，包括：

4.根据权利要求3所述的生成方法，其特征在于，所述分治编码器为局部卷积编码器；所述局部卷积编码器包括第一卷积层、第二卷积层、第三卷积层以及第四卷积层；所述针对每一个局部特征标记子序列，利用预设的局部特征算子对该局部特征标记子序列进行特征提取，确定该局部特征标记子序列在时空维度上的局部运动特征，包括：

5.根据权利要求4所述的生成方法，其特征在于，所述将多个所述局部运动特征聚合，输出聚合多个局部运动特征后的全局运动特征，包括：

6.根据权利要求3所述的生成方法，其特征在于，所述分治编码器为自注意力编码器；所述自注意力编码器包括块划分模块；所述将所述初始标记坐标序列输入至所述分治编码器，以使所述分治编码器按照预设帧数以及预设标记点数量，将所述初始标记坐标序列分解为多个局部特征标记子序列，包括：

7.根据权利要求6所述的生成方法，其特征在于，所述自注意力编码器还包括基础模块；所述基础模块包括编码模块；所述编码模块包括多头自注意力层以及连续的两个全连接层；

8.根据权利要求7所述的生成方法，其特征在于，所述基础模块包括块合并模块；所述将多个所述局部运动特征聚合，输出聚合多个局部运动特征后的全局运动特征，包括：

9.根据权利要求2所述的生成方法，其特征在于，所述运动预测模型还包括残差模块；在所述将所述初始标记坐标序列输入至所述分治编码器，以使所述分治编码器按照预设帧数以及预设标记点数量将所述初始标记坐标序列分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并输出聚合多个局部运动特征后的全局运动特征之后，所述生成方法还包括：

10.根据权利要求9所述的生成方法，其特征在于，所述残差模块包括预设数量个残差块；每个残差块包括卷积层、归一化层以及激活函数层；针对于每一个残差块；所述将所述全局运动特征输入至所述残差模块，以使所述残差模块对所述全局运动特征进行特征增强，输出增强后的中间运动特征，包括：

11.根据权利要求2所述的生成方法，其特征在于，所述序列解码器包括旋转解码分支以及平移解码分支；所述将所述全局运动特征输入至所述序列解码器，以使所述序列解码器基于所述全局运动特征分别在旋转维度以及平移维度，确定旋转运动序列以及平移运动序列，并基于所述旋转运动序列以及所述平移运动序列，输出所述目标对象的预测对象运动序列；包括：

12.根据权利要求1所述的生成方法，其特征在于，通过以下步骤训练所述运动预测模型：

13.根据权利要求12所述的生成方法，其特征在于，通过以下步骤确定所述深度学习网络的损失值：

14.一种对象运动序列的生成装置，其特征在于，所述生成装置包括：

15.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至13任一项所述的对象运动序列的生成方法的步骤。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至13任一项所述的对象运动序列的生成方法的步骤。

技术总结
本申请提供了本申请实施例提供的对象运动序列的生成方法、装置、电子设备及存储介质，获取目标对象的初始标记坐标序列，将初始标记坐标序列输入至预先训练好的运动预测模型，以使运动预测模型将初始标记坐标序列按照预设帧数以及预设标记点数量分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并聚合多个局部运动特征确定全局运动特征后，输出目标对象的预测对象运动序列。这样，利用局部时空维度内标记点之间潜在的局部相关性，有效捕获目标对象运动的局部和全局信息，提高输出的预测对象运动序列的细节精度和准确性。

技术研发人员：唐吉霖,李林橙,吕唐杰,范长杰,胡志鹏
受保护的技术使用者：网易（杭州）网络有限公司
技术研发日：
技术公布日：2024/4/22