一种乐谱演奏的方法和装置的制造方法_2

文档序号:9525196阅读:来源:国知局
行。
[0053]优选地,识别装置102判断音乐元素在所述乐谱中的位置以识别所述乐谱,生成所述音乐描述文件。具体地,识别装置102使用改进的文字检测系统检测到乐谱中各个元素的位置,并通过谱线检测,判断音符等音乐元素在哪些谱线之间,以识别所述乐谱,生成所述音乐描述文件。
[0054]优选地,识别装置102利用元素训练模型,确定所述音乐元素的分类;判断所述音乐元素在所述乐谱中的位置,结合所述分类,识别所述乐谱,并生成所述音乐描述文件。具体地,识别装置102将乐谱包含的音乐元素建库,采集各个音乐元素一定数量的样本,将所述样本进行训练,例如,利用卷积神经网络进行训练,随后,利用该训练好的元素训练模型,在获得单个分割好的音乐元素后确定其分类;进而,判断所述音乐元素在所述乐谱中的位置,例如,通过谱线检测,判断音符等音乐元素在哪些谱线之间,再结合这些音乐元素的分类,识别所述乐谱,并生成所述音乐描述文件。
[0055]在此,音乐元素的分类包括但不限于:五线、音符、G谱号、F谱号、C谱号、变音记号、连音符、休止符、小节。
[0056]优选地,识别装置102对所述音乐元素标记时间戳,生成所述音乐描述文件。例如,识别装置102将每一个音符、音节、音高、连音等音乐元素识别出来并标记时间戳,该时间戳例如标记演奏该音乐元素的长短(时值)以及该音乐元素相对该段音乐起始位置的时间偏移,从而生成所述音乐描述文件。
[0057]优选地,识别装置102根据乐谱的乐器特征,标注默认乐器,生成与所述默认乐器对应的所述音乐描述文件。具体地,每个乐谱例如可以有其对应的乐器特征,如钢琴是双行谱,小提琴是高音谱,大提琴是低音谱等等,识别装置102识别出该乐谱的乐器特征,并根据该乐谱的乐器特征,标注默认乐器,识别乐谱并生成与该默认乐器对应的音乐描述文件,例如,在该音乐描述文件的特定字段中写入该默认乐器。
[0058]优选地,识别装置102获取所述用户所指定的指定乐器,根据所述指定乐器,生成与所述指定乐器对应的音乐描述文件。具体地,除了根据乐谱的乐器特征来标注乐器,用户也可以自己指定其想要的指定乐器,例如,乐谱演奏装置1通过下拉框等形式,将可供用户选择的乐器类型提供给该用户,用户通过点选等方式,选择了其想要的指定乐器,识别装置102获取该用户指定的指定乐器,根据该指定乐器,生成与该指定乐器对应的音乐描述文件。例如,用户所指定的指定乐器为钢琴,则识别装置102根据该指定乐器及其对应的音乐规则,识别乐谱并生成与钢琴对应的音乐描述文件。
[0059]在此,若用户一开始就指定播放的乐器,识别装置102获取用户的选择之后,根据所述指定乐器的特征,直接生成指定乐器对应的音乐描述文件;用户亦可以在播放时指定播放的乐器。
[0060]本领域技术人员应能理解上述识别乐谱生成音乐描述文件的方式仅为举例,其他现有的或今后可能出现的识别乐谱生成音乐描述文件的方式如可适用于本发明,也应包含在本发明保护范围以内,并在此以引用方式包含于此。本领域技术人员应能理解上述对获取到的乐谱进行OCR识别仅为举例,其他现有的或今后可能出现的识别方式如可适用于本发明,也应包含在本发明保护范围内,并在此以引用方式包含于此。本领域技术人员还应能理解上述音乐元素的种类仅为举例,其他现有的或今后可能出现的音乐元素的种类如可适用于本发明,也应包含在本发明保护范围内,并在此以引用方式包含于此。
[0061]生成装置103根据所述音乐描述文件生成对应的音乐播放文件。具体地,基于识别装置102判断的音乐元素的位置、对音乐元素的分类或者对音乐元素标记的时间戳,生成装置103将识别装置102根据标注的默认乐器或者用户指定的指定乐器生成的对应的音乐描述文件转成对应的音乐播放文件。例如,生成装置103根据所述音乐描述文件输入的乐器类型、音乐元素以及各个音乐元素的时间戳,将所述音乐描述文件转换成标准MIDI格式文件。
[0062]在此,当用户设备未自带声源或者其自带的声源不满足需求时,生成装置103可以采用波表文件。所述波表文件将各种真实乐器所能发出的所有声音(包括各个音域、声调等)进行取样、存储而得到的一个文件库。在播放时,播放软件根据音乐播放文件需要的乐器和音色,查找对应的波表文件,当该用户设备自带的波表文件不符合要求时,还可以从服务器下载对应的完整的波表文件。例如,生成装置103生成所述标准MIDI格式文件时可以使用波表文件,播放时,根据MIDI格式文件纪录的乐曲信息向波表文件发出指令,从“表格”中逐一找出对应的声音信息,经过合成、加工后回放出来。如果对音效没有特别要求,可以不用专门生成波表文件库,而将识别装置102生成的音乐描述文件直接转换成标准MIDI文件,在演奏乐谱时采用设备自带声源。
[0063]本领域技术人员应能理解上述根据所述音乐描述文件生成对应的音乐播放文件的方式仅为举例,其他现有的或今后可能出现生成音乐播放文件的方法如可适用于本发明,也应包含在本发明保护范围内,并在此以引用方式包含于此。本领域技术人员还应能理解上述生成的音乐播放文件为标准MIDI格式文件的情况仅为举例,其他现有的或今后可能出现的文件格式如可适用于本发明,也应包含在本发明保护范围内,并在此以引用方式包含于此。
[0064]搜索装置104根据所述乐谱的乐谱名称进行匹配搜索,获得对应的搜索结果。具体地,乐谱名称的确定包括但不限于:1)用户上传乐谱名称;2)乐谱上有表示乐谱名称的文字,通过文字检测和识别系统识别乐谱名称;3)根据乐谱图形识别获取的乐谱名称;4)根据音乐播放文件匹配确定乐谱名称;搜索装置104根据所述乐谱的乐谱名称在网络中或者在本地进行匹配搜索,获得对应的搜索结果,例如,获得与所述乐谱对应的至少一个演奏版本,给用户提供选择。
[0065]优选地,搜索装置104根据所述音乐播放文件的指纹,在乐曲指纹库中进行匹配查询,确定所述乐谱名称。具体地,搜索装置104根据所述音乐播放文件的指纹,在乐曲指纹库中例如利用哈希表原理进行匹配查询,确定所述乐谱名称。
[0066]在此,所述指纹包括但不限于:时间信息、声音频率、声音强度。时间信息例如可以理解为X坐标,该点相对该段音乐起始位置的时间偏移;声音频率例如可以理解为Y坐标,是该点的声音频率;声音强度例如可以理解为Z坐标,是该点的声音能量的大小。
[0067]例如,搜索装置104通过离散傅里叶变换,提取该音乐播放文件的时间信息、声音频率、声音强度等信息,从而构成该音乐播放文件的指纹,接着,根据该指纹,在乐曲指纹库中进行匹配查询,确定该乐谱名称,进而,根据该乐谱名称进行匹配搜索,获得对应的搜索结果。
[0068]优选地,乐谱演奏装置1还包括第二获取装置(未示出)和更新装置(未示出)。该第二获取装置获取乐曲的指纹;该更新装置根据所述指纹与所述乐曲的名称之间的映射关系,建立或更新所述乐曲指纹库。具体地,对于用来建库的各个乐曲,其具有已知的、确定的名称,第二获取装置例如利用离散傅里叶变换,提取这些乐曲的指纹,如分别提取这些乐曲的时间信息、声音频率、声音强度等信息,从而分别构成这些乐曲的指纹;更新装置将这些乐曲的指纹与名称之间的映射关系存入该乐曲指纹库,从而建立或更新所述乐曲指纹库,该乐曲指纹库包含上百万甚至更多乐曲的指纹。
[0069]本领域技术人员应能理解上述确定乐谱名称的方法仅为举例,其他现有的或今后可能出现的生成音乐播放文件的方法如可适用于本发明,也应包含在本发明保护范围内,并在此以引用方式包含于此。本领域技术人员还应能理解上述搜索与乐谱名称对应的演奏版本的方法仅为举例,其他现有的或今后可能出现的搜索与乐谱名称对应的演奏版本的方法如可适用于本发明,也应包含在本发明保护范围内,并在此以引用方式包含于此。
[0070]演奏装置105若所述搜索结果包括与所述乐谱对应的至少一个演奏版本,自所述音乐播放文件或所述至少一个演奏版本中选择一个版本进行演奏;若所述搜索结果未包括所述演奏版本,演奏所述音乐播放文件。具体地,当搜索装置104搜索获得与该乐谱对应的至少一个演奏版本时,演奏装置105自生成装置103生成的所述音乐播放文件或该搜索装置104搜索到的所述至少一个演奏版本中选择一个版本进行演奏。该选择可以是随机的,也可以根据用户的选择来确定。用户可以选择合成的音乐播放文件进行演奏,也可以从搜索到的演奏版本中选项一个进行演奏。例如,当用户选择播放一个演奏版本时,演奏装置105根据用户的选择自动链接到对应的资源播放该演奏版本;当用户选择播放合成的音乐播放文件时,存在至少以下两种情况:1)用户没有指定乐器或者用户指定的乐器正好是识别装置102标注的默认乐器,则按照标注的默认乐器对应的音乐播放文件进行演奏;2)用户指定的乐器为非默认乐器,演奏装置105获取用户指定的乐器,根据指定乐器重新编写所述音乐描述文件,生成指定乐器对应的音乐描述文件,并根据该音乐描述文件生成指定乐器对应的音乐播放文件进行演奏。
[0071]当搜索装置104没有搜索获得与该乐谱对应的演奏版本时,演奏装置105演奏该合成的音乐播放文件,其演奏的过程同样存在如上所述的情况,此处不再赘述,并通过引用的方式包含于此。
[0072]优选地,乐谱演奏装置1还包括修正装置106 (未示出)。该修正装置106若所述搜索结果包括与所述乐谱对应的至少一个演奏版本,根据所述至少一个演奏版本,对所述音乐描述文件、所述音乐播放文件进行逆向修正。具体地,当搜索装置104匹配搜索获得与该乐谱对应的至少一个演奏版本时,修正装置106根据所述至少一个演奏版本,将其对应的声音文件转换为音乐播放文件,进而,根据该音乐播放文件进行逆推,确定各音乐元素,从而对识别装置102生成的音乐描述文件进行逆向修正,例如修正音乐元素在所述乐谱中的位置判断误差、对音乐元素分类和标记时间戳的误差。例如,当搜索装置104匹配搜索获得与该乐谱对应的至少一个演奏版本时,修正装置106根据该至少一个演奏版本中的一个,根据该演奏版本的声音文件,把该声音文件转换成MIDI格式,进而确定演奏的乐器,以及音符、音节、音调、音高、停止符等音乐元素加上各个音乐元素的时间戳,这样逆推出的音乐描述文件去修正之前的音乐描述文件。
[0073]本领域技术人员应能理解上述修正方式仅为举例,其他现有的或今后可能出现的修正方式如可适用于本发明,也应包含在本发明保护范围内,并在此以引用方式包含于此。
[0074]在此,乐谱演奏装置1根据乐谱名称匹配搜索获得与所述乐谱对应的至少一个演奏版本后,会根据搜索到的演奏版本对所述音乐描述文件和音乐播放文件进行反馈修正,使所述音乐描述文件和音乐播放文件更佳准确,减少合成版本的演奏误差,提高了用户的使用体验。
[0075]优选地,乐谱演奏装置1还包括重编装置107 (未示出)。该重编装置107获取所述用户以指定乐器演奏所述音乐播放文件的选择;根据所述指定乐器,重新编写所述音乐描述文件,生成与所述指定乐器对应的音乐描述文件;根据所述音乐描述文件,以所述指定乐器生成所述音乐播放文件;演奏装置105演奏该音乐播放文件。具体地,当用户选择以指定乐器演奏所述音乐播放文件时,重编装置107根据音乐规则对识别装置102生成的音乐描述文件进行重新编写,生成与所述指定乐器对应的音乐描述文件,再将所述音乐描述文件生成所述音乐播放文件。例如,第一获取装置101所获取的乐谱为五线谱,默认的乐器为钢琴,音乐描述文件和音乐播放文件都是按照钢琴的规则生成的,而用户指定乐器吉他进行演奏,则重编装置107将钢琴对应的五线谱先转化成
当前第2页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1