一种乐谱演奏的方法和装置的制造方法_3

文档序号:9525196阅读:来源:国知局
简谱,由简谱转化成吉他对应的五线谱,对吉他对应的五线谱重新编写成新的音乐描述文件,根据所述新的音乐描述文件生成吉他对应的音乐播放文件。随后,演奏装置105演奏该重编后的音乐播放文件。
[0076]本领域技术人员应能理解上述确定演奏版本和演奏乐器的方式仅为举例,其他现有的或今后可能出现的确定演奏版本和演奏乐器的方式如可适用于本发明,也应包含在本发明保护范围内,并在此以引用方式包含于此。
[0077]在此,乐谱演奏装置1获取用户提供的乐谱,识别所述乐谱,生成对应的音乐描述文件,根据所述音乐描述文件生成对应的音乐播放文件,根据所述乐谱的乐谱名称进行匹配搜索,获得对应的搜索结果,若所述搜索结果包括与所述乐谱对应的至少一个演奏版本,自所述音乐播放文件或所述至少一个演奏版本中选择一个版本进行演奏,若所述搜索结果未包括所述演奏版本,演奏所述音乐播放文件,用户既可以演奏合成版本还可以演奏名家经典演奏版本,实现了用户的不同需求,提升了用户的使用体验。
[0078]进一步地,用户既可以使用默认乐器进行演奏还可以按照自己的需求和喜好指定乐器进行演奏,实现了用户的个性化需求,进一步提升了用户的使用体验。
[0079]图2示出根据本发明一个优选实施例的乐谱演奏装置的示意图。乐谱演奏装置1还包括显示装置208。以下对该优选实施例进行详细描述:具体地,第一获取装置201获取用户提供的乐谱;识别装置202识别所述乐谱,生成对应的音乐描述文件;生成装置203根据所述音乐描述文件生成对应的音乐播放文件;搜索装置204根据所述乐谱的乐谱名称进行匹配搜索,获得对应的搜索结果;演奏装置205若所述搜索结果包括与所述乐谱对应的至少一个演奏版本,自所述音乐播放文件或所述至少一个演奏版本中选择一个版本进行演奏,若所述搜索结果未包括所述演奏版本,演奏所述音乐播放文件;修正装置206根据所述至少一个演奏版本,对所述音乐描述文件和所述音乐播放文件进行逆向修正;重编装置207获取所述用户以指定乐器演奏所述音乐播放文件的选择;根据所述指定乐器,重新编写所述音乐描述文件,生成与所述指定乐器对应的音乐描述文件;根据所述音乐描述文件,以所述指定乐器生成所述音乐播放文件;演奏装置205演奏该音乐播放文件。显示装置208将正在演奏的版本以动画形式显示于演奏界面;其中,以所述动画形式显示以下至少任一项:1)正在演奏的音符在所述乐谱的位置;2)手指在与所述版本对应的乐器的位置。其中,第一获取装置201、识别装置202、生成装置203、搜索装置204、演奏装置205、修正装置206和重编装置207与图1所示对应装置相同或者基本相同,故此处不再赘述,并通过引用的方式包含于此。
[0080]显示装置208将正在演奏的版本以动画形式显示于演奏界面;其中,以所述动画形式显示以下至少任一项:1)正在演奏的音符在所述乐谱的位置;2)手指在与所述版本对应的乐器的位置。具体地,显示装置208将正在演奏的版本以动画形式显示于演奏界面,其中以所述动画形式显示的正在演奏的音符在所述乐谱的位置是这样形成的:从识别装置202生成的音乐描述文件中提取的音乐元素位置判断和音乐元素分类等信息,把这些信息对应到乐谱上形成动画;以所述动画形式显示的手指在所述版本对应的乐器的位置是这样形成的:从识别装置202生成的音乐描述文件中提取必要的音乐元素和时间等信息,把这些信息对应到乐器键盘上形成动画。
[0081]本领域技术人员应能理解上述动画显示方式仅为举例,其他现有的或今后可能出现的动画显示方式如可适用于本发明,也应包含在本发明保护范围内,并在此以引用方式包含于此。
[0082]在此,乐谱演奏装置1在演奏乐谱时有动画显示界面,不仅可以动画显示播放的音符在乐谱的位置,还可以动画显示手指在乐器键盘的位置,提高了用户欣赏乐谱的直观性和学习乐谱的便利性,进一步提升了用户的使用体验。
[0083]以下用一实施例对上述装置的操作进行详细描述,图3示出根据本发明一个优选实施例的乐谱演奏装置的演奏显示界面的动画效果图。
[0084]例如,第一获取装置201通过用户设备的相机或者其他影音输入方法获取印刷体或手写体五线谱图像;
[0085]随后,识别装置202对该五线谱图像进行预处理,转换彩色图像到黑白二值图片、去噪、倾斜校正、进行音乐元素分割,检测该五线谱中的各个音乐元素的位置,并通过谱线的检测,判断音符等音乐元素在哪些谱线之间,然后把所述五线谱包含的各个音乐元素,如五线、音符、G谱号、F谱号、C谱号,变音记号、连音符、休止符、小节以及其他记号等等建库,并采集各个音乐元素一定数量的样本,用例如卷积神经网络进行训练,训练好的模型在获得单个分割好的音乐元素后就可以进行分类,将音乐元素分类识别之后标记时间戳,组成音乐描述文件,根据乐谱特征标记默认乐器。也可以在生成音乐描述文件之前指定乐器,根据指定乐器生成对应的音乐描述文件。现以双行谱为例,标记默认乐器为钢琴。
[0086]接着,生成装置203根据所述音乐描述文件输入的乐器类型为钢琴,根据识别出的音乐描述文件中各个音乐元素以及各音乐元素的时间戳,将所述音乐描述文件转换成可以播放的例如标准MIDI格式文件。其中,采用MIDI格式文件的方式,需要将各种真实乐器所能发出的所有声音(包括各个音域、声调)进行取样,存储为一个波表文件。该波表文件会作为一个标准的库在生成MIDI格式文件时候使用;如果对音效没有特别的要求,可以不用专门生成波表文件,直接从所述音乐描述文件转换成MIDI格式文件,在播放五线谱乐曲时采用用户设备自带声源。
[0087]然后,搜索装置204搜索乐曲时,利用例如傅里叶变换提取由生成装置203生成的音乐播放文件的指纹,然后在乐曲指纹库里利用例如哈希表原理进行检索匹配,根据匹配度确定相应的乐曲名称,进而在网络里搜索到各个演奏版本。把相应信息返回给用户,以供其选择。所述指纹是由提取的一系列时间信息、声音频率、声音强度等信息构成的,所述乐曲指纹库可以包含上百万乐曲的指纹。乐谱演奏装置1根据搜索到的至少一个演奏版本对所述音乐描述文件和音乐播放文件进行反馈修正,例如,将演奏版本的声音文件转换为音乐播放文件,进而根据该音乐播放文件进行逆推,对音乐描述文件中各个音乐元素进行位置判断、分类识别以及标记时间戳等操作时带来的误差进行反馈修正。
[0088]最后,用户自所述音乐播放文件或者所述至少一个演奏版本中选择一个版本,演奏装置205获取用户的选择后进行演奏,并将正在演奏的版本以动画形式显示于演奏界面。如果用户选择播放某个名家演奏版本,演奏装置205会根据用户的选择自动链接到对应的资源播放该乐曲。如果用户选择播放合成音乐版本,1)若用户没有进一步操作,演奏装置205使用识别装置202标注的默认乐器-钢琴进行演奏;2)若用户选择默认乐器进行演奏,则识别装置205使用钢琴进行演奏。3)若用户选择非默认乐器,重编装置207首先根据音乐规则,对识别装置202生成的音乐描述文件进行重新编写,生成音乐描述文件2。由于不同乐器的音色和音域有一定的差别,适用不同乐器的五线谱会一些差别。转换时重编装置207将钢琴对应的五线谱先转化成简谱,由简谱转化成指定乐器对应的五线谱,重编装置207对指定乐器对应的五线谱重新编写成新的音乐描述文件,进而根据所述新的音乐描述文件生成指定乐器对应的音乐播放文件。
[0089]显示装置208将正在演奏的版本以动画的形式显示于演奏界面,一部分显示正在播放的音符在五线谱的位置,另一部分显示手指所在乐器键盘的位置,其中,手指在乐器键盘的位置的动画显示是将从识别装置202生成的音乐描述文件中提取必要的音乐元素和时间等信息对应到乐器键盘上形成的。如以钢琴演奏所述版本时,界面动画显示效果如图3所示。
[0090]图4示出根据本发明另一个方面的乐谱演奏的流程示意图。
[0091]在此,乐谱演奏装置1例如可以位于计算机设备中,所述计算机设备包括用户设备与网络设备。当该乐谱演奏装置1位于网络设备时,其与用户设备之间通过网络进行相互通信,获取用户提供的乐谱,识别所述乐谱,生成对应的音乐描述文件,根据所述音乐描述文件生成对应的音乐播放文件,并根据所述乐谱的乐谱名称进行匹配搜索,若搜索获得与所述乐谱对应的至少一个演奏版本,自所述音乐播放文件或所述至少一个演奏版本中选择一个版本,返回该用户设备进行演奏,若未搜索获得所述演奏版本,将该音乐描述文件返回该用户设备进行演奏。
[0092]以下以该乐谱演奏装置1位于用户设备中为例进行详细描述。
[0093]在步骤401中,乐谱演奏装置1获取用户提供的乐谱。具体地,在步骤401中,乐谱演奏装置1获取用户提供的乐谱的方式包括但不限于:
[0094]1)获取已经在用户设备中存在的乐谱。例如,用户通过点选该用户设备中以图片等形式存储的乐谱,将该乐谱提供至乐谱演奏装置1。
[0095]2)获取从网络上搜索到的乐谱;例如,用户通过登陆一些搜索乐谱的网站,选择想要学习演奏的乐谱,将该乐谱下载下来提供至乐谱演奏装置1。
[0096]3)获取启动用户设备的摄像头或其他影音输入设备拍照获得的乐谱。
[0097]4)通过扫描装置扫描得到的乐谱。
[0098]在此,所述乐谱的种类包括但不限于:五线谱、六线谱、简谱。在此,所述乐谱的形式可以是印刷乐谱,也可以是用户手写的乐谱。
[0099]本领域技术人员应能理解上述获取乐谱的方式、乐谱的种类和形式仅为举例,其他现有的或今后可能出现的获取乐谱的方式、乐谱的种类或形式如可适用于本发明,也应包含在本发明保护范围以内,并在此以引用方式包含于此。
[0100]在步骤402中,乐谱演奏装置1识别所述乐谱,生成对应的音乐描述文件。具体地,在步骤402中,乐谱演奏装置1对在步骤401中获取的乐谱进行识别,以解析出乐谱包含的各个音乐元素或者乐谱上的文字,例如,解析出该乐谱中每一个音符、谱号、谱表所包含的声音含义,从而生成乐谱对应的音乐描述文件。优选地,在步骤402中,乐谱演奏装置1可以对在步骤401中获取到的乐谱进行OCR (Optical Character Recognit1n,光学字符识别)识别。例如,在步骤402中,乐谱演奏装置1对在步骤401中获取到的乐谱进行预处理、转换彩色图像到黑白二值图片、去噪、倾斜校正、元素分割、元素位置判断、元素识别等步骤,识别出音乐元素后生成乐谱对应的音乐描述文件。
[0101]在此,所述OCR识别过程可以在本地进行也可以在云端进行。
[0102]优选地,在步骤402中,乐谱演奏装置1判断音乐元素在所述乐谱中的位置以识别所述乐谱,生成所述音乐描述文件。具体地,在步骤402中,乐谱演奏装置1使用改进的文字检测系统检测到乐谱中各个元素的位置,并通过谱线检测,判断音符等音乐元素在哪些谱线之间,以识别所述乐谱,生成所述音乐描述文件。
[0103]优选地,在步骤402中,乐谱演奏装置1利用元素训练模型,确定所述音乐元素的分类;判断所述音乐元素在所述乐谱中的位置,结合所述分类,识别所述乐谱,并生成所述音乐描述文件。具体地,在步骤402中,乐谱演奏装置1将乐谱包含的音乐元素建库,采集各个音乐元素一定数量的样本,将所述样本进行训练,例如,利用卷积神经网络进行训练,随后,利用该训练好的元素训练模型,在获得单个分割好的音乐元素后确定其分类;进而,判断所述音乐元素在所述乐谱中的位置,例如,通过谱线检测,判断音符等音乐元素在哪些谱线之间,再结合这些音乐元素的分类,识别所述乐谱,并生成所述音乐描
当前第3页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1