本技术涉及计算机，具体涉及一种虚拟对象舞蹈动作生成方法、设备、存储介质及程序产品。

背景技术：

1、随着虚拟主播、3d游戏及数字人技术的蓬勃发展，对高质量虚拟对象舞蹈动画的需求呈现爆发式增长。传统的舞蹈动画制作依赖专业编舞师编排、舞者进行动作捕捉（motion capture）以及动画师手工制作后，对舞蹈动作进行后期清理，以完成舞蹈动作的编排。但是，该制作方法存在制作周期长、资金成本昂贵等问题，难以满足互联网海量、实时的内容生成需求。

2、由此，通过深度学习模型进行舞蹈动作的编排应运而生。然而，现有的基于深度学习模型舞蹈动作编排算法，存在物理真实性与稳定性差、时序节拍无法准确对齐、计算资源开销大等问题，从而导致编排的舞蹈动作之间存在瞬移与断裂、无法精准卡点、动作失真等问题。

技术实现思路

1、本技术提供了一种虚拟对象舞蹈动作生成方法、设备、存储介质及程序产品，更好地实现了更低计算开销下更高保真度、更高卡点精度的舞蹈编排。

2、第一方面，本技术的实现方式提供了一种虚拟对象舞蹈动作生成方法，该方法包括：获取目标音频数据，以及获取目标动作库，目标动作库包括对应于虚拟对象的多个舞蹈动作片段；对目标音频数据进行特征提取处理，得到目标音频数据的节拍对齐声学特征矩阵；以及计算目标动作库中目标舞蹈动作片段之间的物理过渡距离，根据物理过渡距离构建物理过渡距离矩阵；将节拍对齐声学特征矩阵输入目标编舞模型，以使目标编舞模型根据节拍对齐声学特征矩阵得到对应的舞蹈动作编排表征信息；根据物理过渡距离矩阵以及舞蹈动作编排表征信息，进行舞蹈动作编排处理，得到虚拟对象的舞蹈动作生成结果。

3、如此，在舞蹈动作生成过程中，获取需要生成舞蹈动作的音频数据，对其进行特征提取处理，得到时间与节拍对齐的节拍对齐声学特征矩阵，从而使得后续根据节拍对齐声学特征矩阵生成的舞蹈动作，达到了与音频更为完美的“卡点”效果。并且，获取目标动作库，计算目标动作库中任意两个舞蹈动作片段的物理过渡距离，得到物理过渡距离矩阵，从而使后续根据物理过渡距离矩阵对生成的舞蹈动作进行筛选，基于物理规律更好地消除了不合物理规律的舞蹈动作的瞬移与断裂，进而更好地实现了更高保真度、更高卡点精度的舞蹈编排。并且，基于前述生成方式，有效降低了虚拟对象舞蹈动作生成的计算开销。

4、可选地，本技术的一实现方式中，对目标音频数据进行特征提取处理，得到目标音频数据的节拍对齐声学特征矩阵，包括：对目标音频数据进行特征提取处理，提取目标音频数据的全局曲速、节拍时间戳和声学特征流；以节拍时间戳为时间基准，构建等分的节拍细分网格，将声学特征流线性插值重采样至节拍细分网格上，得到与曲速无关的节拍对齐声学特征矩阵。

5、采用上述技术方案，在舞蹈动作生成过程中，通过提取音频数据的全局曲速、节拍时间戳和声学特征流，并且，以节拍时间戳为时间基准，构建等分的节拍细分网格，将声学特征流线性插值重采样至节拍细分网格上，从而得到与曲速无关的节拍对齐声学特征矩阵，从而使得生成的舞蹈动作达到了与音频完美的“卡点”效果，进而更好地实现了更高卡点精度的舞蹈编排。

6、可选地，本技术的一实现方式中，声学特征流包括梅尔倒谱系数、一阶差分梅尔倒谱及起始点强度包络；节拍细分网格是将每一个完整节拍等分为k个子帧，其中k取值为4，对应于十六分音符的时间分辨率。

7、采用上述技术方案，通过提取音频数据的声学特征流包括梅尔倒谱系数、一阶差分梅尔倒谱及起始点强度包络，将声学特征流线性插值重采样至节拍细分网格上，并且，节拍细分网格是将每一个完整节拍等分为k个子帧，其中k取值为4，对应于十六分音符的时间分辨率，从而得到时间与节拍的对齐更为准确的节拍对齐声学特征矩阵，进而使得生成的舞蹈动作达到了与音频完美的“卡点”效果，从而更好地实现了更高卡点精度的舞蹈编排。

8、可选地，本技术的一实现方式中，计算目标动作库中目标舞蹈动作片段之间的物理过渡距离，包括：提取目标动作库中的每个舞蹈动作片段的起始特征向量和终止特征向量，起始特征向量包括舞蹈动作片段起始帧的起始关节位姿向量和起始关节速度向量，终止特征向量包括舞蹈动作片段终止帧的终止关节位姿向量和终止关节速度向量；根据起始特征向量和终止特征向量，计算任意两个舞蹈动作片段之间的物理过渡距离。

9、采用上述技术方案，通过提取每个舞蹈动作片段的起始特征向量和终止特征向量，并且起始特征向量和终止特征向量包括起始帧和终止帧对应的关节位姿向量和关节速度向量，计算任意两个舞蹈动作片段之间的物理过渡距离，从而使后续根据物理过渡距离矩阵对生成的舞蹈动作进行筛选，基于物理规律消除了不合物理规律的舞蹈动作的瞬移与断裂，更好地实现了更高保真度的舞蹈编排。

10、可选地，本技术的一实现方式中，舞蹈动作片段的时序长度对应为舞蹈乐理中的节拍长度。

11、采用上述技术方案，将舞蹈动作片段的时序长度对应为舞蹈乐理中的节拍长度，使得舞蹈动作生成过程中时间与节拍的对齐更加准确，进而更好地实现了更高卡点精度的舞蹈编排。

12、可选地，本技术的一实现方式中，目标编舞模型包括音乐特征编码器和自回归动作解码器，目标编舞模型根据节拍对齐声学特征矩阵得到对应的舞蹈动作编排表征信息，包括：基于音乐特征编码器，将节拍对齐声学特征矩阵转换为基于上下文感知的三维音响表征向量；基于自回归动作解码器，通过交叉注意力机制查询三维音响表征向量，并基于历史已生成的编舞步骤，得到候选动作片段概率分布、预测动作持续时间及播放速度拉伸因子作为舞蹈动作编排表征信息。

13、采用上述技术方案，通过搭载音乐特征编码器与自回归动作解码器的目标编舞模型处理节拍对齐声学特征矩阵，先借助编码器输出具备上下文关联的三维音响表征向量，再由解码器依托交叉注意力机制关联音频表征并结合历史编舞序列进行自回归推演，能够同步输出候选动作片段概率、动作节拍时长与播放速度调节系数多维度编舞表征，可充分挖掘音乐全局节奏上下文信息，实现音频特征与动作序列精准对齐，从而更好地实现了更高卡点精度的舞蹈编排。

14、可选地，本技术的一实现方式中，基于自回归动作解码器，通过基于自注意力机制的解码层查询三维音响表征向量，并基于历史已生成的编舞步骤，得到候选动作片段概率分布、预测动作持续时间及播放速度拉伸因子作为舞蹈动作编排表征信息，包括：基于自回归动作解码器，在每一个自回归步骤中，将前一步骤预测输出的离散片段标识通过嵌入层转化为动作连续表征，并将前一步骤输出的预测动作持续时间与播放速度拉伸因子的级联向量通过多层感知机投影，将两者求和后通过位置编码器输入至基于自注意力机制的解码层中进行自注意力及交叉注意力计算，以得到候选动作片段概率分布、预测动作持续时间及播放速度拉伸因子作为舞蹈动作编排表征信息。

15、采用上述技术方案，在自回归解码流程中，将前一步骤离散动作标识嵌入得到连续动作表征，同时将前一步骤得到的预测动作持续时间、播放速度拉伸因子的级联向量通过多层感知机投影融合，并且将二者求和后输入至基于自注意力机制的解码层进行自注意力及交叉注意力运算，得到舞蹈动作编排表征信息，从而使得舞蹈动作编排表征信息充分融合了历史动作序列时序信息、动作时长与节奏缩放特征以及全局音乐上下文信息，并且，在逐帧分步推演动作时保障前后舞步时序连贯、节奏参数平滑过渡，避免出现动作衔接割裂、音乐卡点偏移、动作时长与播放速度突变失真的问题，从而更好地实现了更高保真度、更高卡点精度的舞蹈编排。

16、可选地，本技术的一实现方式中，根据物理过渡距离矩阵以及舞蹈动作编排表征信息，进行舞蹈动作编排处理，得到虚拟对象的舞蹈动作生成结果，包括：根据候选动作片段概率分布，查询物理过渡距离矩阵，得到多个目标候选动作片段以及多个目标候选动作片段对应的动作序列路径；基于动作序列路径，根据各目标候选动作片段的原始时长，以及预测动作持续时间和播放速度拉伸因子，进行舞蹈动作编排处理，得到虚拟对象的舞蹈动作生成结果。

17、采用上述技术方案，通过物理过渡距离矩阵对候选动作片段进行筛选，得到符合物理规律的动作片段及其对应动作序列路径，并且，结合各候选动作的原始时长、模型输出的预测动作持续时间与播放速度拉伸因子统一调整动作节奏与时长尺度，让动作切换既满足力学空间过渡合理性，又能精准贴合音乐节拍与节奏变速需求，有效改善长序列舞蹈动作衔接生硬、卡点错位、队形穿插重叠的缺陷，同时依据概率分布择优筛选动作路径可减少无效动作求解运算，降低编舞场景下整体计算资源开销，从而更好地实现了更低计算开销下更高保真度、更高卡点精度的舞蹈编排。

18、可选地，本技术的一实现方式中，根据候选动作片段概率分布，查询物理过渡距离矩阵，得到多个目标候选动作片段以及多个目标候选动作片段对应的动作序列路径，包括：进行基于物理约束硬掩码的束搜索解码处理，在每一个自回归解码步骤，当由当前动作片段转移到候选动作片段时，查询物理过渡距离矩阵中的元素；若大于预设的物理可行性硬阈值，则直接在束搜索中剪除候选动作片段的生成路径；对于未被剪除的候选动作，计算其综合累计得分，保留得分最高的前b个最优路径进入下一步解码，直至达到束搜索截止条件，停止束搜索，得到多个目标候选动作片段以及多个目标候选动作片段对应的动作序列路径，其中b为束宽。

19、采用上述技术方案，在自回归解码步骤切换动作片段时查询物理过渡距离矩阵对应转移参数，通过与预设物理可行性硬阈值比对，对于超过阈值的在束搜索阶段直接剔除不符合人体运动空间约束的候选动作路径，再对筛选出的合法候选动作计算综合累计得分并依据束宽筛选最优前b条路径参与后续解码，能够提前过滤存在肢体穿模、位移跨度异常、关节运动超限等违背物理规则的无效动作片段，并且，无需对大量不合理路径完整求解以削减冗余算力运算量，显著降低复杂舞蹈序列生成过程中的计算资源开销，同时仅保留兼顾动作转移合理性与匹配度的优质动作路径，从而更好地实现了更低计算开销下更高保真度、更高卡点精度的舞蹈编排。

20、可选地，本技术的一实现方式中，基于动作序列路径，根据各目标候选动作片段的原始时长，以及预测动作持续时间和播放速度拉伸因子，进行舞蹈动作编排处理，得到虚拟对象对应的舞蹈动作编排结果，包括：基于动作序列路径，根据各目标候选动作片段的原始时长和/或预测动作持续时间，以及播放速度拉伸因子，依次计算每个目标候选动作片段的实际绝对播放时长；基于实际绝对播放时长，将各目标候选动作片段按照时序累加到各目标候选动作片段在时间线上的绝对起止时间戳，输出为舞蹈时间轴调度文件，作为舞蹈动作生成结果。

21、采用上述技术方案，基于筛选得到的合规动作序列路径，结合动作片段原始时长和/或预测动作持续时间，以及播放速度拉伸因子计算出各动作片段的实际绝对播放时长，再按时序累加到各候选动作片段在时间线上的绝对起止时间戳，输出标准化舞蹈时间轴调度文件，能够统一量化各段舞步的变速尺度与时序边界，消除动作切换时长突变、节拍错位、时序衔接断层问题，实现舞蹈动作与音乐节拍高精度弹性对齐，标准化时间轴文件可直接供给渲染、多虚拟对象协同齐舞调度模块复用，无需重复进行时序重算，大幅降低长序列、多人编舞场景下重复时序运算带来的计算资源开销，同时保证全段舞蹈时序逻辑统一、动作过渡流畅自然，提升舞蹈生成结果的时序一致性、节奏匹配精度与系统整体编排效率。

22、可选地，本技术的一实现方式中，目标编舞模型基于模型训练得到，模型训练过程中的平滑正则化损失函数包括模型预测的概率分布关于当前历史舞蹈动作终止姿态的数学期望过渡距离。

23、采用上述技术方案，在目标编舞模型的训练阶段引入包含模型预测概率分布相对历史舞蹈动作终止姿态的数学期望过渡距离的平滑正则化损失函数，训练过程中能够持续约束模型输出动作片段之间的平均物理过渡距离维持在合理区间，引导模型学习连续舞步间平滑、符合人体运动规律的切换逻辑，从训练根源降低模型生成大幅位移、肢体畸变、动作跳转突兀的候选动作路径的概率，减少推理阶段束搜索时大量无效候选路径带来的冗余计算，有效降低舞蹈编排推理过程的计算资源开销，同时提升生成舞蹈序列整体过渡流畅度，改善动作切换生硬、节拍适配失衡的生成缺陷，强化编舞输出动作的物理合理性与时序连贯性。

24、第二方面，本技术的实现方式提供了一种计算机设备，包括：处理器，以及与处理器通信连接的存储器；存储器存储计算机程序，处理器执行存储器存储的计算机程序，以使计算机设备实现上述虚拟对象舞蹈动作生成方法。

25、第三方面，本技术的实现方式提供了一种计算机可读取存储介质，计算机可读取存储介质存储有计算机程序，计算机程序被计算机设备运行，以使计算机设备实现上述虚拟对象舞蹈动作生成方法。

26、第四方面，本技术的实现方式提供了一种计算机程序产品，包括计算机程序，该计算机程序被计算机设备执行，以使计算机设备实现上述虚拟对象舞蹈动作生成方法。

27、综上所述，本技术提供的虚拟对象舞蹈动作生成方案，首先，获取目标音频数据和目标动作库，目标动作库包括对应于虚拟对象的多个舞蹈动作片段，并且，对音频数据进行特征提取处理，提取目标音频数据的全局曲速、节拍时间戳和声学特征流，以节拍时间戳为时间基准，构建等分的节拍细分网格，将声学特征流线性插值重采样至节拍细分网格上，得到与曲速无关的节拍对齐声学特征矩阵。其次，提取目标动作库中的每个舞蹈动作片段的起始特征向量和终止特征向量，根据起始特征向量和终止特征向量，计算目标舞蹈动作片段之间的物理过渡距离，构建物理过渡距离矩阵。接着，将节拍对齐声学特征矩阵输入目标编舞模型，目标编舞模型包括音乐特征编码器和自回归动作解码器，以使目标编舞模型根据节拍对齐声学特征矩阵得到对应的舞蹈动作编排表征信息，具体地，先基于音乐特征编码器，将节拍对齐声学特征矩阵转换为基于上下文感知的三维音响表征向量；再基于自回归动作解码器，通过交叉注意力机制查询三维音响表征向量，并基于历史已生成的编舞步骤，得到候选动作片段概率分布、预测动作持续时间及播放速度拉伸因子作为舞蹈动作编排表征信息。最后，根据物理过渡距离矩阵以及舞蹈动作编排表征信息，对候选动作片段及对应的动作序列路径进行筛选，对于未被剪除的候选动作，计算其综合得分，保留前b个最优路径，对前b个最优路径的舞蹈动作片段，进行舞蹈动作编排处理，得到虚拟对象的舞蹈动作生成结果。

28、如此，在舞蹈动作生成过程中，获取需要生成舞蹈动作的音频数据，对其进行特征提取处理，得到时间与节拍的节拍对齐声学特征矩阵，从而使后续生成的舞蹈动作达到了与音频完美的“卡点”效果。并且，根据目标动作库中任意两个舞蹈动作片段的物理过渡距离，对生成的候选舞蹈动作片段进行筛选，基于物理规律消除了不合物理规律的舞蹈动作的瞬移与断裂，进而更好地实现了更高保真度、更高卡点精度的舞蹈编排。另外，通过自注意力计算实现编舞模型的训练，以及无需计算筛选掉的大量不合物理规律的动作片段对应的序列路径进行完整求解以削减冗余算力运算量，显著降低了复杂舞蹈序列生成过程中的计算资源开销。由此，更好地实现了更低计算开销下更高保真度、更高卡点精度的舞蹈编排。