针对人形机器人的音乐数据处理方法及装置与流程

本发明涉及智能机器人领域，具体地说，涉及一种针对人形机器人的音乐数据处理方法及装置。

背景技术：

目前，音乐的歌词、曲目播放可通过软件来实现。比如，百度主页的音乐功能模块就是软件实现的一个例子。而人跳舞、伴舞则通过线下(演唱会、节目演出)实现。这样会使得音乐上的视觉、听觉完整娱乐性表现很弱。

针对机器人而言，最难的问题是，在目前的技术实现中机器人伴舞都是根据特定曲目事先预设好的对应动作去体现，而不能主动实现任意歌曲的舞蹈动作。

为此，需要一种能够使机器人根据用户需求对任意曲目进行舞蹈动作输出的技术方案。

技术实现要素：

本发明的目的在于解决现有技术的上述问题，提出了一种针对人形机器人的音乐数据处理方法。该所述方法包括以下步骤：

接收用户输入的多模态数据并进行解析，获取待表演曲目的音乐片段信息；

对所述音乐片段信息进行音乐识别，确定其所属的曲目；

根据识别出的所述曲目提取音乐特征参数，并融合所述音乐特征参数以训练生成所述曲目对应的动作输出模型；

结合所述动作输出模型进行多模态输出。

根据本发明的针对人形机器人的音乐数据处理方法，具体说，所述音乐片段信息包括：哼唱片段信息和乐器演奏片段信息。本发明例如可通过检测其中音乐片段信息的声纹并进行识别，以得到对应的歌曲曲目。在检测音乐片段信息的声纹时，可以初步判断出声源具体来自人的声带还是乐器，从而确定音乐片段信息为哼唱片段信息还是乐器演奏片段信息。

针对不同的声源，后续进行音乐特征元素提取时的方法有一些差别。

根据本发明的针对人形机器人的音乐数据处理方法，具体说，在根据识别出的所述曲目提取音乐特征参数的步骤中，对识别出的曲目进行分帧处理以提取其所述音乐特征参数。

根据本发明的针对人形机器人的音乐数据处理方法，具体说，所述音乐元素特征参数包括歌曲的节拍、旋律、歌词含义、曲风、预设动作中的一个或多个。因此，本发明所提取出的音乐特征参数是多维度的，这样便可以更好地为舞蹈动作设计提供素材。

根据本发明的针对人形机器人的音乐数据处理方法，具体说，在生成所述动作输出模型时，根据身体运动行为建立机器人运动的动作库。

根据本发明的针对人形机器人的音乐数据处理方法，具体说，所述动作库包括：所述机器人硬件肢体方向数据和运动路线数据。

根据本发明的另一个方面，还提供了一种针对人形机器人的音乐数据处理装置。所述装置包括以下单元：

多模态数据解析单元，其用以接收用户输入的多模态数据并进行解析，获取待表演曲目的音乐片段信息；

曲目识别单元，其用以对所述音乐片段信息进行音乐识别，以确定其所属的曲目；

动作输出模型生成单元，其用以根据识别出的所述曲目提取音乐特征参数，并融合所述音乐特征参数以训练生成所述曲目对应的动作输出模型；

多模态输出单元，其用以结合所述动作输出模型进行多模态输出。

根据本发明的针对人形机器人的音乐数据处理装置，具体说，在用以根据识别出的所述曲目提取音乐特征参数的动作输出模型生成单元中，对识别出的所述曲目进行分帧处理以提取所述音乐特征参数。

根据本发明的针对人形机器人的音乐数据处理装置，具体说，在所述动作输出模型生成单元中，还包括用以根据身体运动行为建立机器人运动的动作库的单元。

根据本发明的针对人形机器人的音乐数据处理装置，具体说，所述动作库包括：所述机器人硬件肢体方向数据和运动路线数据。机器人硬件肢体方向数据和运动路线数据具体包括：机器人胳膊、手腕、腿部、头部的前后左右、对角线、斜向上方向的转动或移动、跳跃、弯曲、前擦、回踏、旋转运动等数据。

本发明的有益之处在于：根据本发明原理设计的机器人可以不用预先针对特定曲目设计舞蹈动作，而是可以根据所听到的任意曲目进行任意舞蹈动作的编排，使得机器人的智能化程度大为提高，更加能够满足用户的需求。

本发明的其它特征和优点将在随后的说明书中阐述。有些还可以根据说明书显而易见地知道，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分。其与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1显示了根据本发明进行舞蹈动作输出的总体流程图；

图2显示了音乐特征信息的分类表；以及

图3显示了根据本发明的机器人舞蹈动作输出的装置结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。

本发明的方法主要是在机器人操作系统中实现的，采用的是现有的机器人操作系统架构。在机器人操作系统上可植入各种应用程序APP，从而实现机器人的各种功能性，如多媒体播放以及伴舞功能。具体到本发明而言，需要在操作系统中植入用于根据音乐片段信息来自动进行舞蹈动作输出的程序块。

本发明提供的针对人形机器人的音乐数据处理方法。通过该方法，用户采用语音哼唱的歌曲或者弹奏的乐曲可被人形机器人检测、分析、匹配，并通过关键特征构建出与该乐曲最匹配的舞蹈动作。

例如，当小朋友哼唱一句(段)儿歌，机器人检测到并通过哼唱识别技术识别出对应的文本，然后对该句(段)歌词与歌曲库进行匹配，匹配到具体歌曲后，根据该歌曲的节奏、旋律、和声、曲风、歌词含义、预设动作等音乐元素，在机器人动作库里检索出最佳动作，并串联成该首歌曲的舞蹈动作。

下面介绍其具体实现。本发明的方法主要通过计算机系统而实现。因此，实现本发明的方法的计算机程序可以在例如上述操作系统提供的平台上进行开发。如图1所示，其中显示了根据本发明的一个实施例的用于根据音乐片段信息识别来使智能机器人进行舞蹈动作输出的方法的流程图。

在该图中，本发明的方法开始于步骤S101。在步骤S101中，机器人接收用户输入的多模态数据并进行解析，获取待表演曲目的音乐片段信息。

一般情况下，用户输入的多模态数据包括语音输入数据、动作输入数据、表情情感输入数据。然而，在本发明中的多模态数据中，它主要包括声音输入数据。例如，声音输入数据包括用户哼唱的歌曲曲调或者用乐器演奏的乐曲片段。或者，也可以是机器人从输入的多模态数据中解析出音乐片段信息，从而在记忆库中搜索并确定下一步要进行伴舞的曲目名称。如果用户输入的仅是音乐片段，例如歌曲的经典片段，机器人可以在搜索到待表演曲目之后同时进行播放。

接下来，在步骤S102中，机器人对所获取的音乐片段信息进行音乐识别，确定其所属的曲目。在此过程中，机器人需要访问自身的记忆库。一般地，该记忆库中的某个特定区域(如音乐库)已经预先存储了大量的流行歌曲或者经典乐曲。对应于这些曲目，机器人在记忆库中也有专门保存动作元素的动作库，其中会有特定的标记以使这些动作与特定旋律的音乐片段匹配。

在步骤S103中，机器人对音乐片段信息进行识别后，提取其中的音乐特征参数。对于哼唱识别的具体实例，机器人会对哼唱的音乐进行去燥提取特征，与音乐库里的音乐特征库进行比对，从而识别出哼唱的歌曲。

在音乐元素特征提取中，对识别出来的曲目分帧处理提取其节拍、旋律、歌词含义、曲风、预设定动作等特征信息的提取。在一些实例中，节拍这一参数可以忽略。

接下来，机器人系统会将这些多维度的音乐特征参数融合到一基本的动作模型中，并进行训练，从而生成与确定出的待表演曲目相适应的动作输出模型。在生成动作输出模型时，根据身体运动行为建立机器人运动的动作库。所说的动作库包括机器人硬件肢体方向数据和运动路线数据。具体说，系统根据音乐元素特征创建相应适合机器人的肢体动作，创建动作模型并训练，输出适合机器人伴舞的最佳动作。

任何时候，只要机器人检测到哼唱歌曲的声纹，机器人便可以通过音乐特征提取、建立、训练动作模型输出伴舞动作。机器人系统根据其胳膊、手腕、腿、头部的前后左右、对角线、斜向上等多方向的转动或移动、跳跃、弯曲、前擦、回踏、旋转、滚动、转弯等身体运动行为建立适合机器人运动的动作库，并根据音乐元素特征创建运动模型。

而针对没有肢体，只有头部和身体的球状机器人，根据音乐元素特征可建立跳跃、滚动、扭头的动作。针对具有头部、肢体和身体主干的人形机器人，根据音乐元素或多元素特征的融合，可实现前后左右、转弯、旋转、前擦、回踏、弯曲等丰富逼真的舞蹈动作。

在机器人动作模型建立和训练学习过程中，可训练出最优动作模型，从而实现最佳舞蹈设计表演。其中，音乐元素组合越多，特征信息越丰富，动作模型越完善，舞蹈表达更贴切到位。

机器人自动伴舞的场景如下：

1)日常生活中，人们(老人、成人、小孩)有意或无意哼唱一两句或一首歌曲时，仿人形机器人能够进行歌曲识别，匹配出最佳舞蹈动作来进行伴舞展示，为家庭生活提供乐趣同时有助于培养激发人们对音乐艺术的爱好；

2)娱乐演出中，根据歌手演唱的任意曲目(已有曲目、最新创作)可以快速识别并演示匹配的舞蹈动作；

3)纯音乐认知，纯音乐名字不像普通歌曲容易被记住，但只要人家知道旋律，能够哼唱，机器人通过哼唱识别判别出该首纯音乐曲目，并根据音乐特征理解出其表达的含义，通过肢体动作神态传达出该首纯音乐表达的情感。

最后，在步骤S104中，系统结合训练优化的动作输出模型进行多模态的输出。根据本发明，多模态的输出不仅仅指舞蹈动作的输出，还可包括多媒体播放输出、语音输出以及表情输出(在舞蹈表演中，表情也是其中一个很重要的因素)等等。

由于本发明的方法描述的是在计算机系统中实现的。该计算机系统例如可以设置在机器人的控制核心处理器中。例如，本文所述的方法可以实现为能以控制逻辑来执行的软件，其由机器人控制系统中的CPU来执行。本文所述的功能可以实现为存储在非暂时性有形计算机可读介质中的程序指令集合。当以这种方式实现时，该计算机程序包括一组指令，当该组指令由计算机运行时其促使计算机执行能实施上述功能的方法。可编程逻辑可以暂时或永久地安装在非暂时性有形计算机可读介质中，例如只读存储器芯片、计算机存储器、磁盘或其他存储介质。除了以软件来实现之外，本文所述的逻辑可利用分立部件、集成电路、与可编程逻辑设备(诸如，现场可编程门阵列(FPGA)或微处理器)结合使用的可编程逻辑，或者包括它们任意组合的任何其他设备来体现。所有此类实施例旨在落入本发明的范围之内。

因此，根据本发明的另一个方面，还提供了一种针对人形机器人的音乐数据处理装置300。如图3所示，针对人形机器人的音乐数据处理装置300包括以下单元：

多模态数据解析单元301，其用以接收用户输入的多模态数据并进行解析，获取待表演曲目的音乐片段信息；

曲目识别单元302，其用以对所述音乐片段信息进行音乐识别，以确定其所属的曲目；

动作输出模型生成单元303，其用以根据识别出的所述曲目提取音乐特征参数，并融合所述音乐特征参数以训练生成所述曲目对应的动作输出模型；

多模态输出单元304，其用以结合所述动作输出模型进行多模态输出。

在针对人形机器人的音乐数据处理装置中，针对用以根据识别出的所述曲目提取音乐特征参数的动作输出模型生成单元303，还包括分帧处理单元，其用以对识别出的所述曲目进行分帧处理以提取所述音乐特征参数。

在动作输出模型生成单元303中，还包括用以根据身体运动行为建立机器人运动的动作库的单元304。

根据本发明的针对人形机器人的音乐数据处理装置300，其中的动作库包括机器人硬件肢体方向数据和运动路线数据。

根据本发明的机器人跳舞不是机械地事先预设、编排好动作，而是在音乐元素多特征信息融合基础上，建立、训练机器人运动模型，输出恰当的舞蹈动作。本发明在机器人操作系统框架下，实现了例如哼唱音源的音乐特征提取、建立模型、训练模型，从而解决了仿人形机器人伴舞难题。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。