舞蹈动画生成方法、模型练方法、装置、设备及存储介质与流程

文档序号:26013925发布日期:2021-07-23 21:35阅读:来源:国知局

技术特征:

1.一种舞蹈动画生成方法,其特征在于,所述方法包括:

对输入音乐进行分割,得到所述输入音乐的多个音乐片段;

对所述音乐片段进行特征分析,得到所述音乐片段的音乐特征;

确定样本数据集中与所述音乐片段的音乐特征的相似度达到预设阈值的样本音乐片段的样本音乐特征作为目标音乐特征;其中,所述样本数据集中包括多个样本音乐舞蹈数据,每个样本音乐舞蹈数据包括样本音乐片段以及所述样本音乐片段对应的样本舞蹈片段,并且所述样本音乐特征为通过对所述样本音乐片段进行特征分析得到;

确定所述目标音乐特征所在的样本音乐片段对应的样本舞蹈片段为各所述音乐片段对应的目标舞蹈片段;

根据所述目标舞蹈片段,生成目标舞蹈动画。

2.如权利要求1所述的方法,其特征在于,所述对输入音乐进行分割,得到所述输入音乐的多个音乐片段,包括:

对所述输入音乐进行乐理分析,得到多个所述音乐片段。

3.如权利要求1所述的方法,其特征在于,所述对所述音乐片段进行特征分析,得到所述音乐片段的音乐特征,包括:

采用预设的音乐分析模型,对所述音乐片段进行特征分析,得到所述音乐片段的音乐特征。

4.如权利要求3所述的方法,其特征在于,所述音乐分析模型包括:预设编码器、预设转换模型;所述对所述音乐片段进行特征分析,得到所述音乐片段的音乐特征,包括:

将各所述音乐片段转换为音乐频谱信号;

采用所述预设编码器对所述音乐频谱信号进行编码处理,得到各所述音乐片段的一维特征;

采用所述预设转换模型,对各所述音乐片段的一维特征进行转换,得到各所述音乐片段的音乐特征;各所述音乐片段的音乐特征包括:前后音乐片段的上下文信息。

5.如权利要求4所述的方法,其特征在于,所述音乐分析模型还包括:预设解码器,所述方法还包括:

采用所述预设解码器对各所述音乐片段的音乐特征进行解码处理,得到解码后的重建信号;其中,所述重建信号为还原后的音乐频谱信号;

根据各所述音乐片段的所述重建信号和所述音乐频谱信号,计算目标损失函数值;

根据所述目标损失函数值,对所述预设编码器的编码参数进行优化,直至满足预设停止条件,得到优化后的编码器。

6.如权利要求5所述的方法,其特征在于,所述还原后的音乐频谱信号包括:还原后的音乐片段的音乐特征,各所述音乐频谱信号包括:各所述音乐片段的音乐特征;

所述根据所述还原后的音乐频谱信号音乐频谱信号和各所述音乐频谱信号,计算目标损失函数值,包括:

根据所述还原后的音乐片段的音乐特征和各所述音乐片段的音乐特征,计算所述目标损失函数值。

7.如权利要求5所述的方法,其特征在于,所述还原后的音乐频谱信号包括:还原后的音乐片段的梅尔频谱特征,各所述音乐频谱信号包括:各所述音乐片段的梅尔频谱特征;

所述根据所述还原后的音乐频谱信号音乐频谱信号和各所述音乐频谱信号,计算目标损失函数值,包括:

根据所述还原后的音乐片段的梅尔频谱特征和各所述音乐片段的梅尔频谱特征,计算第一损失函数值;

根据所述第一损失函数值,计算所述目标损失函数值。

8.如权利要求7所述的方法,其特征在于,所述还原后的音乐频谱信号音乐频谱信号还包括:所述还原后的音乐片段的旋律特征,各所述音乐频谱信号包括:各所述音乐片段的旋律特征;

所述根据所述还原后的音乐频谱信号音乐频谱信号和各所述音乐频谱信号,计算目标损失函数值,还包括:

根据所述还原后的音乐片段的旋律特征和各所述音乐片段的旋律特征,计算第二损失函数值;

根据所述第一损失函数值和所述第二损失函数值,计算所述目标损失函数值。

9.如权利要求8所述的方法,其特征在于,所述还原后的音乐频谱信号音乐频谱信号还包括:所述还原后的音乐片段的节拍特征,各所述音乐频谱信号包括:各所述音乐片段的节拍特征;

所述根据所述还原后的音乐频谱信号音乐频谱信号和各所述音乐频谱信号,计算目标损失函数值,还包括:

根据所述还原后的音乐片段的节拍特征和各所述音乐片段的节拍特征,计算第三损失函数值;

根据所述第一损失函数值、所述第二损失函数值和所述第三损失函数值,计算所述目标损失函数值。

10.如权利要求1所述的方法,其特征在于,所述确定样本数据集中与所述音乐片段的音乐特征的相似度达到预设阈值的样本音乐片段的样本音乐特征作为目标音乐特征之前,所述方法还包括:

对所述样本音乐片段进行特征分析,得到所述样本音乐片段对应的样本音乐特征。

11.如权利要求1所述的方法,其特征在于,所述确定样本数据集中与所述音乐片段的音乐特征的相似度达到预设阈值的样本音乐片段的样本音乐特征作为目标音乐特征之前,所述方法还包括:

获取单个样本音乐舞蹈动画中的样本音乐和样本舞蹈;

对所述样本音乐进行拆分,得到多个样本音乐片段;

对所述样本舞蹈进行拆分,得到多个样本舞蹈片段;

根据各样本音乐片段的分割点和各样本舞蹈片段的节奏点,确定所述各样本音乐片段对应的样本舞蹈片段。

12.如权利要求11所述的方法,其特征在于,所述对所述样本舞蹈进行拆分,得到多个样本舞蹈片段,包括:

根据所述样本舞蹈中骨骼关键点的运动参数,从所述样本舞蹈中确定多个预选时刻;

根据所述运动参数,从所述多个预选时刻中确定运动参数变化超出预设的参数变化范围的预选时刻为目标节奏点;

根据所述目标节奏点对所述样本舞蹈进行拆分,得到所述多个样本舞蹈片段。

13.如权利要求12所述的方法,其特征在于,所述根据所述样本舞蹈中骨骼关键点的运动参数,从所述样本舞蹈中确定多个预选时刻,包括:

根据所述样本舞蹈中骨骼关键点的速度和加速度,确定加速度为0的样本舞蹈时刻为预选时刻;

对应的,所述根据所述运动参数,从所述多个预选时刻中确定运动参数变化超出预设的参数变化范围的预选时刻为目标节奏点,包括:

计算各所述预选时刻的动作速度变化,确定所述动作速度变化超出预设的参数变化范围的预选时刻为目标节奏点。

14.如权利要求1所述的方法,其特征在于,所述确定样本数据集中与所述音乐片段的音乐特征的相似度达到预设阈值的样本音乐片段的样本音乐特征作为目标音乐特征,包括:

根据余弦匹配算法,确定样本数据集中与所述音乐片段的音乐特征的余弦距离最小的样本音乐特征作为所述目标音乐特征。

15.如权利要求1-14中任一所述的方法,其特征在于,所述根据所述目标舞蹈片段,生成目标舞蹈动画,包括:

计算相邻目标舞蹈片段的过渡帧;

根据各所述音乐片段、各所述音乐片段对应的所述目标舞蹈片段和所述过渡帧,生成所述目标音乐舞蹈动画。

16.一种音乐分析模型的训练方法,其特征在于,所述音乐分析模型包括:预设编码器、预设转换模型和预设解码器,所述方法包括:

将样本音乐片段转换为样本音乐频谱信号;

采用所述编码器对所述样本音乐频谱信号进行编码处理,得到各所述样本音乐片段的一维特征;

采用所述预设转换模型,对各所述样本音乐片段的一维特征进行转换,得到各所述样本音乐片段的音乐特征;各所述样本音乐片段的音乐特征包括:前后样本音乐片段的上下文信息;

采用所述预设解码器对各所述样本音乐片段的音乐特征进行解码处理,得到解码后的重建信号;其中,所述重建信号为还原后的样本音乐频谱信号;

根据各所述样本音乐片段的所述重建信号和所述样本音乐频谱信号,计算目标损失函数值;

根据所述目标损失函数值,对所述预设编码器的编码参数进行优化,直至满足预设停止条件,得到优化后的编码器。

17.如权利要求16所述的方法,其特征在于,所述还原后的样本音乐频谱信号包括:还原后的样本音乐片段的音乐特征,各所述样本音乐频谱信号包括:各所述样本音乐片段的音乐特征;

所述根据各所述样本音乐片段的所述重建信号和所述样本音乐频谱信号,计算目标损失函数值,包括:

根据所述还原后的样本音乐片段的音乐特征和各所述样本音乐片段的音乐特征,计算所述目标损失函数值。

18.如权利要求16所述的方法,其特征在于,所述还原后的音乐频谱信号包括:还原后的样本音乐片段的梅尔频谱特征,各所述音乐频谱信号包括:各所述样本音乐片段的梅尔频谱特征;

所述根据各所述样本音乐片段的所述重建信号和所述样本音乐频谱信号,计算目标损失函数值,包括:

根据所述还原后的样本音乐片段的梅尔频谱特征和各所述样本音乐片段的梅尔频谱特征,计算第一损失函数值;

根据所述第一损失函数值,计算所述目标损失函数值。

19.如权利要求18所述的方法,其特征在于,所述还原后的音乐频谱信号包括:还原后的样本音乐片段的旋律特征,各所述音乐频谱信号包括:各所述样本音乐片段的旋律特征;

所述根据各所述样本音乐片段的所述重建信号和所述样本音乐频谱信号,计算目标损失函数值,包括:

根据所述还原后的样本音乐片段的旋律特征和各所述样本音乐片段的旋律特征,计算第二损失函数值;

根据所述第一损失函数值和所述第二损失函数值,计算所述目标损失函数值。

20.如权利要求19所述的方法,其特征在于,所述还原后的音乐频谱信号包括:还原后的样本音乐片段的节拍特征,各所述音乐频谱信号包括:各所述样本音乐片段的节拍特征;

所述根据各所述样本音乐片段的所述重建信号和所述样本音乐频谱信号,计算目标损失函数值,包括:

根据所述还原后的样本音乐片段的节拍特征和各所述样本音乐片段的节拍特征,计算第三损失函数值;

根据所述第一损失函数值、所述第二损失函数值和所述第三损失函数值,计算所述目标损失函数值。

21.一种舞蹈动画生成装置,其特征在于,所述装置包括:分割模块、分析模块、确定模块和生成模块,其中:

所述分割模块,用于对输入音乐进行分割,得到所述输入音乐的多个音乐片段;

所述分析模块,用于对各所述音乐片段进行特征分析,得到各所述音乐片段的音乐特征;

所述确定模块,用于确定样本数据集中与所述音乐片段的音乐特征的相似度达到预设阈值的样本音乐片段的样本音乐特征作为目标音乐特征;其中,所述样本数据集中包括多个样本音乐舞蹈数据,每个样本音乐舞蹈数据包括样本音乐片段以及所述样本音乐片段对应的样本舞蹈片段,并且所述样本音乐特征为通过对所述样本音乐片段进行特征分析得到;确定所述目标音乐特征所在的样本音乐片段对应的样本舞蹈片段为各所述音乐片段对应的目标舞蹈片段;

所述生成模块,用于根据所述目标舞蹈片段,生成目标舞蹈动画。

22.一种音乐分析模型的训练装置,其特征在于,所述音乐分析模型包括:预设编码器、预设转换模型和预设解码器,所述装置包括:转换模块、处理模块、计算模块和优化模块,其中:

所述转换模块,用于将样本音乐片段转换为样本音乐频谱信号;

所述处理模块,用于采用所述编码器对所述样本音乐频谱信号进行编码处理,得到各所述样本音乐片段的一维特征;

所述转换模块,具体用于采用所述预设转换模型,对各所述样本音乐片段的一维特征进行转换,得到各所述样本音乐片段的音乐特征;各所述样本音乐片段的音乐特征包括:前后样本音乐片段的上下文信息;

所述处理模块,具体用于采用所述预设解码器对各所述样本音乐片段的音乐特征进行解码处理,得到解码后的重建信号;其中,所述重建信号为还原后的样本音乐频谱信号;

所述计算模块,用于根据各所述样本音乐片段的所述重建信号和所述样本音乐频谱信号,计算目标损失函数值;

所述优化模块,用于根据所述目标损失函数值,对所述预设编码器的编码参数进行优化,直至满足预设停止条件,得到优化后的编码器。

23.一种电子设备,其特征在于,所述设备包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当所述舞蹈动画生成运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行上述权利要求1-20任一项所述的方法。

24.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述权利要求1-20任一项所述的方法。


技术总结
本申请提供一种舞蹈动画生成方法、模型练方法、装置、设备及存储介质,涉及视频制作技术领域。该方法包括:对输入音乐进行分割,得到输入音乐的多个音乐片段;对音乐片段进行特征分析,得到音乐片段的音乐特征;确定样本数据集中与音乐片段的音乐特征的相似度达到预设阈值的样本音乐片段的样本音乐特征作为目标音乐特征;确定目标音乐特征所在的样本音乐片段对应的样本舞蹈片段为各音乐片段对应的目标舞蹈片段;根据目标舞蹈片段,生成目标舞蹈动画。相对于现有技术,避免了制作一个舞蹈动画的编排耗时较长,时间成本和人力成本的消耗均较大的问题。

技术研发人员:段颖琳;石天阳;袁燚;范长杰;胡志鹏
受保护的技术使用者:网易(杭州)网络有限公司
技术研发日:2021.05.07
技术公布日:2021.07.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1