音乐识别方法、音符识别模型建立方法、装置及电子设备与流程

文档序号:11232718
音乐识别方法、音符识别模型建立方法、装置及电子设备与流程
本发明涉及自动化领域,尤其涉及音乐识别方法、音符识别模型建立方法、装置及电子设备。

背景技术:
随着科学技术的不断发展,电子技术也得到了飞速的发展,电子产品的种类也越来越多,人们也享受到了科技发展带来的各种便利。现在人们可以通过各种类型的电子设备,享受随着科技发展带来的舒适生活。例如:现有技术中,可以通过电子设备内置的APP实现钢琴陪练。现有技术中钢琴陪练主要采用以下方式(如图1所示):针对钢琴搭配特殊的硬件设备,比如电钢琴或者有midi输出接口的电子琴,app通过接收该硬件设备的按键开关信息,来识别用户的演奏是否正确。该陪练方式存在以下技术问题:①该方案的兼容性不强,仅仅能够适用于该APP所对应的特定设备,如果换一台钢琴或者换个地点将无法陪练;②现有的电钢琴或电子琴很难达到与真钢琴相同的触感和音色,与在真钢琴上练习的效果是完全不同的,从而导致大部分家长无法接受让孩子在电钢琴上学习钢琴。

技术实现要素:
本发明提供一种音乐识别方法、音符识别模型建立方法及装置,以解决现有技术中在对音乐进行识别时需要依赖于特定的硬件设备的技术问题。第一方面,本发明实施例提供一种音乐识别方法,包括:获得音乐所对应的第一音频数据,所述第一音频数据包含M个音符片段,M为正整数;基于所述M个音符片段和音符模型,对所述第一音频数据进行匹配识别,其中,所述音符模型中包含至少一组音符片段与特征信息的对应关系。可选的,所述对所述第一音频数据进行匹配识别,包括:对所述第一音频数据中的演奏错误进行识别;和/或基于所述M个音符片段和音符模型获得所述第一音频数据的第一乐谱信息。可选的,所述演奏错误包括:音符错误、节奏错误、音不准中的至少一种演奏错误。可选的,所述对所述第一音频数据中的演奏错误进行识别,包括:获取用于产生所述第一音频数据的参考乐谱信息;确定出所述参考乐谱信息所包含的N个音符片段,N为正整数;基于所述音符模型,确定出所述M个音符片段与所述N个音符片段中音符不匹配的片段作为所述演奏错误所对应的音符片段。可选的,所述方法还包括:确定出所述N个音符片段中每个音符片段的演奏时长;在所述基于所述音符模型,确定出所述M个音符片段与所述N个音符片段中音符不匹配的片段作为所述演奏错误所对应的音符片段之后,所述方法还包括:确定出所述M个音符片段与所述N个音符片段中音符匹配但演奏时长不匹配的片段作为所述演奏错误所对应的音符片段。可选的,所述基于所述音符模型,确定出所述M个音符片段与所述N个音符片段中音符不匹配的片段作为所述演奏错误所对应的音符片段,包括:从所述音符模型中查找获得所述N个音符片段中各个音符片段的特征信息,进而确定出参考乐谱信息所对应的第一音符特征信息;提取获得所述M个音符片段中各个音符片段的特征信息,进而获得第二音符特征信息;将所述第二音符特征信息与所述第一音符特征信息进行匹配,确定出特征信息不匹配的音符片段作为所述演奏错误所对应的音符片段。可选的,所述基于所述音符模型,确定出所述M个音符片段与所述N个音符片段中音符不匹配的片段作为所述演奏错误所对应的音符片段,包括:提取获得所述M个音符片段中各个音符片段的特征信息,进而获得第二音符特征信息;通过所述音符模型对所述第二音符特征信息进行识别,进而获得所述第一音频数据所对应的第一乐谱信息;将所述第一乐谱信息与所述参考乐谱信息进行匹配,进而确定出音符不相同的音符片段作为所述演奏错误所对应的音符片段。可选的,所述获取用于产生所述第一音频数据的参考乐谱信息,包括:响应用户的选择操作,进而获取所述参考乐谱信息;或者对纸质教程上的乐谱进行扫描获得乐谱图像信息,对所述乐谱图像信息进行图像识别进而获得所述参考乐谱信息;或者对与所述第一音频数据存在关联的第二音频数据进行声学识别确定出所述参考乐谱信息。可选的,所述获得所述第一音频数据的第一乐谱信息,包括:提取出第一音符片段的第一特征信息,所述第一音符片段为所述M个音符片段中的任一音符片段;从所述音符模型所包含的音符片段中确定出特征信息与所述第一特征信息的相似度值满足预设相似度条件的音符片段;将所述相似度值满足预设相似度条件的音符片段的音符作为所述第一音符片段的音符;基于所述第一音符片段的音符、或第一音符片段的音符与所述第一音符片段的演奏时长确定出所述第一乐谱信息。可选的,在所述基于所述第一音符片段的音符以及所述第一音符片段的时长确定出所述第一乐谱信息之后,所述方法还包括:搜索获得与所述第一乐谱信息的相似度值大于预设相似度值的参考乐谱信息;将所述参考乐谱信息作为所述第一乐谱信息的推荐乐谱信息提供给用户。可选的,所述音符模型中包含在特定音调下,至少一组音符片段与特征信息的对应关系。第二方面,本发明实施例提供一种音符识别模型建立方法,包括:获取每个音符片段对应的标准语音数据;提取每个音符片段的标准语音数据的特征信息;基于音符片段与特征信息的对应关系建立音符模型,所述音符模型中包含至少一组音符片段与特征信息的对应关系。可选的,所述音符片段包括:由单个按键所构成的单个音符;和/或由多个按键组合所构成的多个音符。可选的,所述提取每个音符片段的标准语音数据的特征信息,包括:提取每个音符片段的频谱特征和/或频率特征。可选的,所述提取每个音符片段的标准语音数据的特征信息,包括:将所述标准语音数据由时域数据转换为频域数据;将所述频域数据划分为至少一个子数据;计算获得所述至少一个子数据中每个子数据的能量,所述至少一个子数据中每个子数据的能量做为对应音符片段的特征信息。可选的,所述提取每个音符片段的标准语音数据的特征信息,包括:将所述标准语音数据由时域数据转换为频域数据;将所述频域数据划分为至少一个子数据;计算获得所述至少一个子数据中每个子数据的能量;确定出预定能量对应的子数据的频率做为对应音符片段的特征信息。可选的,所述获取每个音符对应的标准语音数据,包括:获取在特定音调下,每个音符所对应的标准语音数据;所述基于音符片段与特征信息的对应关系建立音符模型,所述音符模型中包含至少一组音符片段与特征信息的对应关系,包括:基于所述特定音调下音符片段与特征信息的对应关系,建立所述音符模型,所述音符模型包含在所述特定音调下,所述至少一组音符片段与特征信息的对应关系。第三方面,本发明实施例提供一种音乐识别装置,包括:获得模块,用于获得音乐所对应的第一音频数据,所述第一音频数据包含M个音符片段,M为正整数;识别模块,用于基于所述M个音符片段和音符模型,对所述第一音频数据进行匹配识别,其中,所述音符模型中包含至少一组音符片段与特征信息的对应关系。第四方面,本发明实施例提供一种音符识别模型建立装置,包括:获取模块,用于获取每个音符片段对应的标准语音数据;提取模块,用于提取每个音符片段的标准语音数据的特征信息;建立模块,用于基于音符片段与特征信息的对应关系建立音符模型,所述音符模型中包含至少一组音符片段与特征信息的对应关系。第五方面,本发明实施例提供一种电子设备,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:获得音乐所对应的第一音频数据,所述第一音频数据包含M个音符片段,M为正整数;基于所述M个音符片段和音符模型,对所述第一音频数据进行匹配识别,其中,所述音符模型中包含至少一组音符片段与特征信息的对应关系。第六方面,本发明实施例提供一种电子设备,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:获取每个音符片段对应的标准语音数据;提取每个音符片段的标准语音数据的特征信息;基于音符片段与特征信息的对应关系建立音符模型,所述音符模型中包含至少一组音符片段与特征信息的对应关系。本发明有益效果如下:由于在本发明实施例中,在获得音乐所对应的第一音频数据中之后,可以基于第一音频数据中所包含的M个音符片段和音符模型,对第一音频数据进行匹配识别其中,所述音符模型中包含至少一组音符片段与特征信息的对应关系,也即是不需要硬件改进,就可以实现对第一音频数据中相关信息的识别,故而达到了提高对音乐识别的兼容性的技术效果,且能够降低对音乐识别的成本;另外,由于不需要依赖于硬件改进,故而针对任何方式输出的第一音频数据都能够识别,而不需要依赖于电钢琴或者电子琴,从而增加了该方案的应用范围。附图说明图1为现有技术中钢琴陪练的示意图;图2为本发明实施例中音乐识别方法的流程图;图3为本发明实施例的音乐识别方法中获得音符模型的流程图;图4为本发明实施例的音乐识别方法中对第一音频数据中的演奏错误进行识别的流程图;图5为本发明实施例的音乐识别方法中对第一音频数据中的演奏错误进行识别时确定音符不匹配的片段的第一种方式的流程图;图6为本发明实施例的音乐识别方法中对第一音频数据中的演奏错误进行识别时确定音符不匹配的片段的第二种方式的流程图;图7为本发明实施例的音乐识别方法中对第一音频数据中的演奏错误进行识别之后输出识别结果的示意图;图8为本发明实施例的音乐识别方法中确定出第一乐谱信息的流程图;图9为本发明实施例中音符识别模型建立方法的流程图;图10为本发明实施例中音乐识别装置的结构图;图11为本发明实施例中音符识别模型建立装置的结构图;图12是根据一示例性实施例示出的电子设备的框图。具体实施方式本发明提供一种音乐识别方法、音符识别模型建立方法及装置,以解决现有技术中在对音乐进行识别时需要依赖于特定的硬件设备的技术问题。本申请实施例中的技术方案为解决上述的技术问题,总体思路如下:在获得音乐所对应的第一音频数据中之后,可以基于第一音频数据中所包含的M个音符片段和音符模型,对第一音频数据进行匹配识别其中,所述音符模型中包含至少一组音符片段与特征信息的对应关系,也即是不需要硬件改进,就可以实现对第一音频数据中相关信息的识别,故而达到了提高对音乐识别的兼容性的技术效果,且能够降低对音乐识别的成本;另外,由于不需要依赖于硬件改进,故而针对任何方式输出的第一音频数据都能够识别,而不需要依赖于电钢琴或者电子琴,从而增加了该方案的应用范围。为了更好的理解上述技术方案,下面通过附图以及具体实施例对本发明技术方案做详细的说明,应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明,而不是对本发明技术方案的限定,在不冲突的情况下,本发明实施例以及实施例中的技术特征可以相互组合。第一方面,本发明实施例提供一种音乐识别方法,请参考图2,包括:步骤S201:获得音乐所对应的第一音频数据,所述第一音频数据包含M个音符片段,M为正整数;步骤S202:基于所述M个音符片段和音符模型,对所述第一音频数据进行匹配识别,其中,所述音符模型中包含至少一组音符片段与特征信息的对应关系。步骤S201中,第一音频数据例如为:用户通过乐器演奏所获得的音频数据、用户唱歌所获得音频数据、电子设备上自带或者于网络中下载的音频数据等等,对于该音频数据为何种音频数据,本发明实施例不作限制。其中,音符片段包括一个或者多个音符,每个音符包含音阶以及每个音阶的音调高低,音阶例如为:1、2、3、4、5、6、7,音阶的音调高低例如为:低音、中音、高音等等。其中,一个音符片段中可以仅仅包含一个音符,例如:(中音)1、(中音)2等等,一个音符片段也可以包含多个音符,例如:(中音)1(中音)2、(中音)1(中音)2(低音)3等等。其中,如果产生第一音频数据的乐器为按键类乐器(例如:钢琴、电子琴等等)且音符片段为单个音符,则该单个音符可以由单个按键构成的音符,也可以为由多个按键组合构成的多个音符,例如:和弦音等。其中,可以通过对第一音频数据进行特征识别,识别出其中所包含的每个音符,然后将其按照音符划分为多个部分,例如:如果第一音频数据中包含10个音符,则可以将第一音频数据划分为10个部分,然后基于每个音符片段中所包含的音符数量,将这10个部分组合为M个音符片段,例如:如果每个音符片段中仅仅包含一个音符,则可以将这10个部分直接作为10个音符片段;如果每个音符片段中包含两个音符,则可以将10个部分依次两两组合,获得5个音符片段等等。其中,在采集获得第一音频数据之后,可以直接采用第一音频数据进行后续处理,也可以先从第一音频数据中滤除静音和无效语音。在执行步骤S202之前,需要首先获得音符模型,在具体实施过程中,请参考图3,可以通过以下步骤获得音符模型:步骤S301:获取每个音符片段对应的标准语音数据;步骤S302:提取每个音符片段的标准语音数据的特征信息;步骤S303:基于音符片段与特征信息的对应关系建立音符模型,所述音符模型中包含至少一组音符片段与特征信息的对应关系。步骤S301中,以该音符模型为钢琴的音符模型、每个音符片段包含一个音符为例,钢琴上通常包含88个按键,每个按键对应一个音符,则可以针对每个按键分别进行录音获得对应按键的标准语音数据。步骤S302中,该特征数据可以包含多种特征信息,下面列举其中的两种进行介绍,当然,在具体实施过程中,不限于以下两种情况,另外,在不冲突的情况下,以下两种情况可以组合使用。第一种,所述特征数据包括频谱特征,所述提取每个音符片段的标准语音数据的特征信息,包括:将所述标准语音数据由时域数据转换为频域数据;将所述频域数据划分为至少一个子数据;计算获得所述至少一个子数据中每个子数据的能量,所述至少一个子数据中每个子数据的能量即为对应音符片段的特征信息。举例来说,可以根据实际需求将频域数据划分为不同数量的子数据,例如:5、10等等,本发明实施例不作限制。其中,假设将频域数据划分为5个子数据,针对其中某个标准语音数据(例如:高音1)的5个子数据的能量分别为:5、8、10、10、12,则可以确定出该标准语音数据的特征信息为(5,8,10,10,12)。其中,针对某个音符片段可以仅仅采集一次标准语音数据,也可以采集多次标准语音数据,如果采集多次标准语音数据的话,则可以获取多组前面的特征信息,然后将这多组特征信息取平均值获得最终用于确定音符模型中的特征信息。第二种,所述特征数据包括频率特征,所述提取每个音符片段的标准语音数据的特征信息,包括:将所述标准语音数据由时域数据转换为频域数据;将所述频域数据划分为至少一个子数据;计算获得所述至少一个子数据中每个子数据的能量;确定出预定能量对应的子数据的频率作为对应音符片段的特征信息。举例来说,可以首先计算出每部分子数据的能量,然后确定出能量最高的子数据所对应的频率作为对应音符片段的频率特征、也可以确定出能量居中的子数据所对应的频率作为对应的音符的频率特征等等,对于采用何种方式设定预定频率,本发明实施例不作限制。在具体实施过程中,如果该音符模型为针对固定调乐器的音符模型,则针对某个音符片段直接获取其对应的标准语音数据,然后建立该音符片段与特征信息之间的对应关系即可;而如果该音符模型为针对变调乐器的音符模型,所述获取每个音符对应的标准语音数据,包括:获取在特定音调下,每个音符所对应的标准语音数据;所述基于音符片段与特征信息的对应关系建立音符模型,所述音符模型中包含至少一组音符片段与特征信息的对应关系,包括:基于所述特定音调下音符片段与特征信息的对应关系,建立所述音符模型,所述音符模型包含在所述特定音调下,所述至少一组音符片段与特征信息的对应关系。举例来说,针对某一种乐器,如果其采用不同的调性(例如:C调、D调等等)即使是相同的音符,其特征信息也不相同,故而针对每个音调,都采集获得每个音符片段所对应的标准语音数据,进而最终所获得的音符包含每个音调下,至少一组音符片段与特征信息的对应关系,基于该方案能够实现对音乐更加准确的识别。在具体实施过程中,音符模型可以为多种形式的模型,下面列举其中的两种进行介绍,当然,在具体实施过程中,不限于以下两种情况。第一种,音符模型具体为音符模板,该音符模板中包含音符与特征信息之间的对应关系,例如,如表1所示:表1音符特征信息高音1(5,8,10,10,12)中音7(5,13,12,9,12)中音6(12,6,18,10,6)中音5(9,8,10,10,7...
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1