针对人形机器人的音乐数据处理方法及装置与流程

文档序号:12360968阅读:来源:国知局

技术特征:

1.一种针对人形机器人的音乐数据处理方法,其特征在于,所述方法包括以下步骤:

接收用户输入的多模态数据并进行解析,获取待表演曲目的音乐片段信息;

对所述音乐片段信息进行音乐识别,确定其所属的曲目;

根据识别出的所述曲目提取音乐特征参数,并融合所述音乐特征参数以训练生成所述曲目对应的动作输出模型;

结合所述动作输出模型进行多模态输出。

2.如权利要求1所述的针对人形机器人的音乐数据处理方法,其特征在于,所述音乐片段信息包括:哼唱片段信息和乐器演奏片段信息。

3.如权利要求1所述的针对人形机器人的音乐数据处理方法,其特征在于,在根据识别出的所述曲目提取音乐特征参数的步骤中,对识别出的曲目进行分帧处理以提取其所述音乐特征参数。

4.如权利要求3所述的针对人形机器人的音乐数据处理方法,其特征在于,所述音乐元素特征参数包括歌曲的节拍、旋律、歌词含义、曲风、预设动作中的一个或多个。

5.如权利要求3所述的针对人形机器人的音乐数据处理方法,其特征在于,在生成所述动作输出模型时,根据身体运动行为建立机器人运动的动作库。

6.如权利要求5所述的针对人形机器人的音乐数据处理方法,其特征在于,所述动作库包括:所述机器人硬件肢体方向数据和运动路线数据。

7.一种针对人形机器人的音乐数据处理装置,其特征在于,所述装置包括以下单元:

多模态数据解析单元,其用以接收用户输入的多模态数据并进行解析,获取待表演曲目的音乐片段信息;

曲目识别单元,其用以对所述音乐片段信息进行音乐识别,以确定其所属的曲目;

动作输出模型生成单元,其用以根据识别出的所述曲目提取音乐特征参数,并融合所述音乐特征参数以训练生成所述曲目对应的动作输出模型;

多模态输出单元,其用以结合所述动作输出模型进行多模态输出。

8.如权利要求7所述的针对人形机器人的音乐数据处理装置,其特征在于,在用以根据识别出的所述曲目提取音乐特征参数的动作输出模型生成单元中,对识别出的所述曲目进行分帧处理以提取所述音乐特征参数。

9.如权利要求7所述的针对人形机器人的音乐数据处理装置,其特征在于,在所述动作输出模型生成单元中,还包括用以根据身体运动行为建立机器人运动的动作库的单元。

10.如权利要求9所述的针对人形机器人的音乐数据处理装置,其特征在于,所述动作库包括:所述机器人硬件肢体方向数据和运动路线数据。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1