复调乐器音符定位方法和装置的制造方法
【技术领域】
[0001]本发明涉及乐器音符定位技术领域，尤其涉及一种复调乐器音符定位方法和装置。
【背景技术】
[0002]计算机的出现推动了音乐辅助教学工具的发展，音乐辅助教学工具可以对演奏用户进行全面而准确的辅助与指导，提高他们对音乐的认知能力。音乐辅助教学工具对用户进行演奏辅助和指导时，首先需要准确定位到用户演奏的音符，对用户演奏错误的地方进行提醒，如多演奏音符的地方、少演奏音符的地方，指导用户对演奏错误的地方进行针对性地练习或纠正，从而提升用户的演奏水平。
[0003]相关技术中，首先通过将用户演奏数据同标准乐谱音频数据进行对齐后；然后根据对齐后的数据，利用非负矩阵因子分解(Nonnegative Matrix Factorizat1n，NMF)方法分别提取用户演奏音符信息及标准乐谱音符信息，随后，通过隐马尔可夫模型(HiddenMarkov Model, HMM)建模的方法确定用户演奏音符序列及标准乐谱音符序列；最后根据用户演奏音符序列和标准乐谱音符序列，采用规则的方法进行比对，定位用户演奏的音符，检测出用户演奏错误的音符。
[0004]这种方法对用户的演奏水平要求较高，需要用户演奏数据基本与标准乐谱一致，对于演奏水平不高的用户，很难做到这一点，音符定位效果差。
【发明内容】
[0005]本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
[0006]为此，本发明的一个目的在于提出一种复调乐器音符定位方法，该方法能够有效提高复调乐器音符定位效果。
[0007]本发明的另一个目的在于提出一种复调乐器音符定位装置。
[0008]为达到上述目的，本发明第一方面实施例提出的复调乐器音符定位方法，包括:接收用户演奏数据；提取用户演奏音符以得到用户演奏音符序列；检测并标记所述用户演奏音符序列中的和声音符以得到所述用户演奏数据对应的和声信息；根据得到的所述用户演奏音符序列及所述和声信息，采用动态规划方法对所述用户演奏音符进行定位以得到定位后的演奏音符序列；以及获取所述定位后的演奏音符序列并反馈给用户。
[0009]本发明第一方面实施例提出的复调乐器音符定位方法，通过从用户演奏数据中提取用户演奏音符序列，检测并标记其中的和声音符以得到和声信息，并根据得到的用户演奏音符序列及和声信息，对用户演奏音符进行定位，有效提高复调乐器音符定位效果。
[0010]为达到上述目的，本发明第二方面实施例提出的复调乐器音符定位装置，包括:接收模块，用于接收用户演奏数据；提取模块，用于提取用户演奏音符以得到用户演奏音符序列；检测模块，用于检测并标记所述用户演奏音符序列中的和声音符以得到所述用户演奏数据对应的和声信息；定位模块，用于根据得到的所述用户演奏音符序列及所述和声信息，采用动态规划方法对所述用户演奏音符进行定位以得到定位后的演奏音符序列；以及获取模块，用于获取所述定位后的演奏音符序列并反馈给用户。
[0011]本发明第二方面实施例提出的复调乐器音符定位装置，通过从用户演奏数据中提取用户演奏音符序列，检测并标记其中的和声音符以得到和声信息，并根据得到的用户演奏音符序列及和声信息，对用户演奏音符进行定位，有效提高复调乐器音符定位效果。
[0012]本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
【附图说明】
[0013]本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中:
[0014]图1是本发明一实施例提出的复调乐器音符定位方法的流程示意图；
[0015]图2是本发明另一实施例提出的复调乐器音符定位方法的流程示意图；
[0016]图3是本发明实施例中用户演奏数据中的音符在不同时刻的分解系数曲线图；
[0017]图4是本发明实施例中参考音符与用户演奏音符的部分动态规划路径图；
[0018]图5是本发明另一实施例提出的复调乐器音符定位方法的流程示意图；
[0019]图6是本发明另一实施例提出的复调乐器音符定位装置的结构示意图；
[0020]图7是本发明另一实施例提出的复调乐器音符定位装置的结构示意图；
[0021]图8是本发明另一实施例提出的复调乐器音符定位装置的结构示意图；
[0022]图9是本发明另一实施例提出的复调乐器音符定位装置的结构示意图；
[0023]图10是本发明另一实施例提出的复调乐器音符定位装置的结构示意图。
【具体实施方式】
[0024]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
[0025]图1是本发明一实施例提出的复调乐器音符定位方法的流程示意图，该方法包括:
[0026]Sll:接收用户演奏数据。
[0027]本实施例的执行主体可以是复调乐器。
[0028]复调乐器是指可以同时演奏多个音符的乐器，具体如钢琴、手风琴、笛子等。
[0029]用户演奏数据是指复调乐器演奏者演奏乐曲的过程中所包含的数据信息，例如用户演奏乐曲的音频数据。
[0030]S12:提取用户演奏音符以得到用户演奏音符序列。
[0031]可选的，提取用户演奏音符以得到用户演奏音符序列，包括:对用户演奏数据进行分帧处理，提取每帧用户演奏数据对应的频谱特征，如能量谱特征；提取用户演奏数据对应的用户演奏音符信息，其中，用户演奏音符信息用分解系数表示；以及根据分解系数确定用户演奏音符序列。
[0032]其中，可以利用NMF方法提取用户演奏数据对应的用户演奏音符信息，所述用户演奏音符信息可以使用NMF分解系数表示，具体提取方法与现有技术相同，在此不再赘述。
[0033]进一步，可以对分解系数进行平滑操作，以得到平滑后的分解系数；以及对平滑后的分解系数进行峰值点检测，以确定用户演奏音符序列。
[0034]S13:检测并标记所述用户演奏音符序列中的和声音符以得到所述用户演奏数据对应的和声信息。
[0035]其中，和声指两个或两个以上不同的音符，按一定的法则同时发声而构成的音响组合。
[0036]和声音符指在同一个和声内的音符。
[0037]和声信息包括每个和声内的用户演奏音符序列，以及用户演奏音符序列所属和声的编号。
[0038]具体地，根据检测到的用户演奏音符序列中，每个音符的峰值点时间和起始时间，以及预先设置的阈值，进行和声音符的检测；依次检测出用户演奏数据中所有和声音符，对同一和声内的和声音符进行标记；以及对和声音符所属的和声进行编号，以得到用户演奏数据对应的和声信息。
[0039]S14:根据得到的所述用户演奏音符序列及所述和声信息，采用动态规划方法对所述用户演奏音符进行定位以得到定位后的演奏音符序列。
[0040]可选的，该步骤具体包括获取所述标准演奏数据；提取所述标准演奏数据对应的标准演奏音符以得到参考音符序列；根据所述参考音符序列，采用动态规划方法对所述用户演奏音符序列进行全局定位，以得到所述用户演奏数据中用户演奏错误的音符；根据所述和声信息对全局定位后的所述用户演奏音符序列进行局部修正；以及根据所述参考音符序列，对局部修正后的所述用户演奏音符序列进行全局定位，以得到全局定位后的所述用户演奏音符序列。
[0041]S15:获取所述定位后的演奏音符序列并反馈给用户。
[0042]例如，复调乐器根据定位后的演奏音符序列，评价用户的演奏水平和技巧，对用户进行辅助和指导，或者根据定位后的演奏音符序列，获取用户演奏错误的音符反馈给用户，用于提醒用户在具体在哪些地方演奏错误。
[0043]本实施例中，通过从用户演奏数据中提取用户演奏音符序列，检测并标记其中的和声音符以得到和声信息，并根据得到的用户演奏音符序列及和声信息，对用户演奏音符进行定位，有效提高复调乐器音符定位效果。
[0044]图2是本发明另一实施例提出的复调乐器音符定位方法的流程示意图，本实施例以使用非负矩阵因子分解(Nonnegative Matrix Factorizat1n，NMF)方法对用户演奏数据进行分解为例，该方法包括:
[0045]S201:接收用户演奏数据。
[0046]用户演奏数据是指复调乐器演奏者演奏乐曲的过程中所包含的