基于音频相关信号处理的乐谱数字处理方法与流程

1.本发明属于数字信号处理领域，应用于音乐形态学，具体是指利用本振频率信号与音频信号进行相关运算、根据相关峰大小确定音符组成、根据全局强度运算核准强弱信息、实现从音频到乐谱自动化处理的技术方法，尤其涉及一种基于音频相关信号处理的乐谱数字处理方法。


背景技术：

2.音频和乐谱是音乐作品的两大主要载体。音频能够全面准确、当时当下记录音乐作品，是听众异地异时享受音乐作品艺术魅力的前提，也是音乐研究者通过反复回放对音乐作品进行详细分析的关键。乐谱为音乐作品提供了一种文字化、图形化、符号化的描述手段，(与音频相比)能够以较小的存储空间保存大量音乐作品，能够让表演者、研究者更为直观的演唱、演奏与分析，也是音乐研究者日常开展音乐研究的主要工具。
3.在涉及音乐作品的田野调查中，音乐研究者往往需要携带声像设备录制音频、视频，再通过人工识别记谱的方式将音乐作品转为乐谱保存。这样的记谱方式效率较低，且存在一定的主观性风险，即音乐研究者对音乐作品的理解差异和大量作品分析后的精力涣散等，都会对乐谱的准确性产生影响。


技术实现要素：

4.针对上述缺陷，本发明要解决的技术问题是如何解决声像设备录制音频、视频记录的音乐作品转为乐谱的自动化处理和保存，提高记录的准确性。
5.针对上述缺陷，本发明的目的在于提供一种基于音频相关信号处理的乐谱数字处理方法，利用各音高的本振频率信号与音频信号进行相关运算，获取相关峰的时变曲线，相关峰高于阈值意味着存在相应音高的音符，相关峰持续时间对应音符时值，音频信号平均强度对应音乐强弱变化；将相关峰时变曲线计算结果与打谱软件命令符建立映射关系，即可从音频中识别音符并生成具有一定准确率的乐谱初样。
6.为了达到上述效果，本发明提供的基于音频相关信号处理的乐谱数字处理方法，应用于处理器端，其特征在于，所述方法利用各音高的本振频率信号与音频信号进行相关运算，获取相关峰随时间的变化曲线；根据相关峰的阈值条件判断是否存在某个特定音符；根据音频信号无差别强度均值判断乐曲强弱变化，根据相关峰出现跳变的时序位置确定音符时值，最终将音乐作品从音频转换为乐谱。
7.优选的，上述方法具体包括以下步骤：
8.s1、音频信号的相关计算，即生成乐器相应数量n个音高的本振频率信号，利用本振频率信号与音频信号进行相关运算，获得n个相关峰时变信号；
9.s2、音符的识别，监测n个相关峰时变信号是否超过阈值、超过阈值的时序位置和持续时间，由此判断各音符在乐谱中出现的位置；
10.s3、音乐强弱变化的识别，以节拍为周期对音频强度进行积分，根据相邻积分结果
之间的相对变化判断乐曲强弱变化；
11.s4、乐谱初样的构建，将音符和强弱与打谱软件命令符建立映射关系，驱动打谱软件编译乐谱初样，对乐谱初样核对订正后生成乐谱正样。
12.优选的，上述数字乐谱为钢琴乐谱，n为88个。
13.优选的，上述方法具体为：
14.s101、生成88个音符对应的本振频率信号，将其作为参考信号输入相关计算器；
15.s102、对处理后的音频信号做归一化处理，与88个本振频率信号分别做相关计算，获取相关峰时变曲线；相关峰值介于0-1之间，根据信噪比等因素确定判别阈值，高于此阈值的相关峰判定为音符存在，低于此阈值的相关峰判定为音符不存在；
16.s103、根据超阈相关峰出现的位置和持续时间，将音符的音高和时值信息与打谱软件的命令符做映射关联，驱动打谱软件命令符将各音高输入乐谱，补充前述乐曲强度变化符号，并做最后的订正，完成音乐作品从音频到乐谱的编译过程。
17.优选的，上述步骤s101还包括对待识别音频进行滤波去噪处理，去除环境白噪声。
18.优选的，上述步骤s101还包括输入乐曲的速度和节拍类型，逐拍对音频信号进行强度积分，确定乐曲强度走势，将其中对应渐强、渐弱、突强、突弱的信息摘取出来。
19.优选的，上述相关运算由数学方式或物理方法完成。
20.优选的，上述无差别是指无论此时音符有几个、音高各是多少，统一纳入非空拍平均强度计算范畴；所述强弱变化通过相邻强度差值或相邻强度相除或多项式拟合进行分析。
21.一种基于音频相关信号处理的乐谱数字处理系统，包括处理器、数据库，系统包括：
22.音频信号相关计算模块，用于生成乐器相应数量n个音高的本振频率信号，利用本振频率信号与音频信号进行相关运算，获得n个相关峰时变信号；
23.音符识别模块，用于监测n个相关峰时变信号是否超过阈值、超过阈值的时序位置和持续时间，由此判断各音符在乐谱中出现的位置；
24.音乐强弱变化识别模块，用于以节拍为周期对音频强度进行积分，根据相邻积分结果之间的相对变化判断乐曲强弱变化；
25.乐谱初样构建模块，将音符和强弱与打谱软件命令符建立映射关系，驱动打谱软件编译乐谱初样，对乐谱初样核对订正后生成乐谱正样。
26.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法。
27.相对于现有技术，本发明利用各音高的本振频率信号与音频信号进行相关运算，获取相关峰的时变曲线，相关峰高于阈值意味着存在相应音高的音符，相关峰持续时间对应音符时值，音频信号平均强度对应音乐强弱变化；将相关峰时变曲线计算结果与打谱软件命令符建立映射关系，即可从音频中识别音符并生成具有一定准确率的乐谱初样。
附图说明
28.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还
可以根据这些附图获得其他的附图。
29.图1示出了本发明基于音频相关信号处理的乐谱数字处理基本原理示意图；
30.图2示出了本发明基于音频相关信号处理的乐谱数字处理方法一实施例流程示意图；
31.图3示出了本发明基于音频相关信号处理的乐谱数字处理方法另一实施例流程示意图。
具体实施方式
32.下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
33.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
34.本发明提供了一种基于音频相关信号处理的乐谱数字处理方法的实施例，应用于处理器端，。
35.如图1所示，本发明提供了一种基于音频相关信号处理的自动化乐谱编译方法原理的实施例。音频信号经滤波、去噪、归一化后输入相关计算器，各音高对应的本振频率作为参考信号同样输入相关计算器。图中，小字一组c对应频率为261.6hz，小字一组d对应频率为293.6hz，小字一组e对应频率为329.6hz，小字一组f对应频率为349.2hz，小字一组g对应频率为392hz，小字一组a对应频率为440hz，小字一组b对应频率为493.8hz，小字二组c对应频率为523.2hz。
36.图中示例的音频信号与各本振频率相关计算得到的相关峰时变曲线显示，第一拍时小字一组c的相关峰强度超过阈值，第二拍时小字一组e的相关峰强度超过阈值，第三拍时小字一组g的相关峰强度超过阈值，第四拍时小字二组c的相关峰强度超过阈值，各相关峰持续时间恰好等于一拍。此外，逐拍对音频信号进行强度积分，用后一拍的平均强度除以前一拍的平均强度，发现结果近似不变且大于1。由此判定这一乐句强度变化为渐强。将上述结果与打谱软件命令符做一一对应关系，则可快速生成相关乐谱。需要注意的是，本发明所述音频相关处理的自动化乐谱编译方法需要将节拍和速度预先输入相关计算器，以此作为时序信号的识别基准。
37.如图2所示，在一些具体的场景中，本发明提供了一种基于音频相关信号处理的乐谱数字处理方法的实施例，具体包括以下步骤：
38.s1、音频信号的相关计算，即生成乐器相应数量n个音高的本振频率信号，利用本
振频率信号与音频信号进行相关运算，获得n个相关峰时变信号；
39.s2、音符的识别，监测n个相关峰时变信号是否超过阈值、超过阈值的时序位置和持续时间，由此判断各音符在乐谱中出现的位置；
40.s3、音乐强弱变化的识别，以节拍为周期对音频强度进行积分，根据相邻积分结果之间的相对变化判断乐曲强弱变化；
41.s4、乐谱初样的构建，将音符和强弱与打谱软件命令符建立映射关系，驱动打谱软件编译乐谱初样，对乐谱初样核对订正后生成乐谱正样。
42.以钢琴为例，本发明提供了一种基于音频相关信号处理的乐谱数字处理方法实施例，包括以下步骤：
43.音频信号的相关计算，即生成对应88个音高的本振频率信号，利用本振频率信号与音频信号进行相关运算，获得88个相关峰时变信号；
44.符的识别，监测88个相关峰时变信号是否超过阈值、超过阈值的时序位置和持续时间，由此判断各音符在乐谱中出现的位置；
45.音乐强弱变化的识别，以节拍为周期对音频强度进行积分，根据相邻积分结果之间的相对变化判断乐曲强弱变化；
46.乐谱初样的构建，即将音符和强弱与打谱软件命令符建立映射关系，驱动打谱软件编译乐谱初样，并由音乐工作者完成乐谱初样的核对订正，生成乐谱正样。
47.如图3所示，本发明还提供一种基于音频相关信号处理的乐谱数字处理方法实施例，包括以下步骤：
48.s101、生成88个音符对应的本振频率信号，将其作为参考信号输入相关计算器；对待识别音频进行滤波去噪处理，去除环境白噪声，提升音频保真度；输入乐曲的速度和节拍类型，逐拍对音频信号进行强度积分，确定乐曲强度走势，将其中对应渐强、渐弱、突强、突弱的信息摘取出来；
49.s102、对处理后的音频信号做归一化处理，与88个本振频率信号分别做相关计算，获取相关峰时变曲线；相关峰值介于0-1之间，根据信噪比等因素确定判别阈值，高于此阈值的相关峰判定为音符存在，低于此阈值的相关峰判定为音符不存在；
50.s103、根据超阈相关峰出现的位置和持续时间，将音符的音高和时值信息与打谱软件的命令符做映射关联，驱动打谱软件命令符将各音高输入乐谱，补充前述乐曲强度变化符号，经过订正后完成音乐作品从音频到乐谱的生成过程。
51.本发明还提供一种基于音频相关信号处理的乐谱数字处理方法实施例，利用各音高的本振频率信号与音频信号进行相关运算，获取相关峰随时间的变化曲线；根据相关峰的阈值条件判断是否存在某个特定音符；根据音频信号无差别强度均值判断乐曲强弱走势，根据相关峰出现跳变的时序位置确定音符时值，最终将音乐作品从音频转换为乐谱。
52.在一些实施例中，将各音高对应的本振频率作为参考，与滤波、去噪、归一化处理后的音频信号进行相关运算，当音频中存在此音高时，相关峰会大于特定阈值，相关峰大于阈值的时长对应音符的时值，产生超阈相关峰的本振频率对应音符的音高。
53.在一些实施例中，相关运算可以由数学方式完成，也可由物理方法完成。
54.在一些实施例中，不限定滤波、去噪、归一化处理的具体细节和各本振频率的判别阈值。
55.在一些实施例中，将乐曲的节奏和速度作为输入量输入自动化乐谱编译系统的主线时钟，以节拍为单位对音频信号进行强度积分，根据相邻节拍强度结果的变化走势判断渐强、渐弱、突强、突弱等乐曲强弱变化。
56.无差别强度均值中的无差别是指无论此时音符有几个、音高各是多少，统一纳入非空拍平均强度计算范畴。
57.在一些实施例中，强弱变化可通过相邻强度差值、相邻强度相除、多项式拟合等方式分析，凡使用数学或物理方法分析乐曲强弱的方法均在本发明权利要求范围之内。
58.在一些实施例中，乐谱转换将音符与打谱软件的命令符做映射关联，驱动打谱软件将各音符输入乐谱，补充前述乐曲强度变化符号，并由音乐研究者做最后的订正，完成音乐作品从音频到乐谱的编译过程。
59.在一些实施例中，不限定打谱软件具体类型和命令符具体语法，凡通过音频波形特征识别跳音、连音、颤音等记号，或在本发明所述编译方法基础上追加任何额外打谱功能的方法均在本发明权利要求范围之内。
60.本发明提供一种计算机可读存储介质的实施例，其上存储有计算机程序，该程序被处理器执行时实现以下方法步骤：利用各音高的本振频率信号与音频信号进行相关运算，获取相关峰随时间的变化曲线；根据相关峰的阈值条件判断是否存在某个特定音符；根据音频信号无差别强度均值判断乐曲强弱变化，根据相关峰出现跳变的时序位置确定音符时值，最终将音乐作品从音频转换为乐谱。
61.本发明提供一种计算机程序产品的实施例，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现以下方法步骤：利用各音高的本振频率信号与音频信号进行相关运算，获取相关峰随时间的变化曲线；根据相关峰的阈值条件判断是否存在某个特定音符；根据音频信号无差别强度均值判断乐曲强弱变化，根据相关峰出现跳变的时序位置确定音符时值，最终将音乐作品从音频转换为乐谱。
62.与现有技术相比，本发明具有以下优势：
63.首先，本发明提出一种基于分级图形匹配的自动化乐谱编译方法，能够通过音符特有的本振频率和待识别音频之间做遍历相关计算，将音乐元素中的音高、时值、强弱准确识别出来，是一种通过学科交叉实现技术升级的有效方法。
64.其次，本发明所述音频相关信号处理方法能够在不依赖于声源的前提下，将以音频形式保留的音乐作品快速转化为乐谱，对于不同乐器、人声亦能工作，将有力推动音乐研究者处理田野调查数据的效率和准确度。
65.最后，本发明还能作为一种标准化工作方法，实现音频信号的记谱备份和材料归档，对于音乐相关非物质文化遗产传承亦有重要意义。
66.为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本技术时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
67.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
68.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
69.本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
70.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
71.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
72.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
73.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
74.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
75.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
76.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实
施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
77.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。