一种电子乐谱的智能展现方法与流程

本发明涉及音频与文本处理领域，特别涉及电子乐谱的智能展现方法。

背景技术：

在乐器初学或练习过程中，经常不了解乐谱的音符。需要一边看乐谱，一边弹奏。当低头看琴键，又抬头看乐谱的时候，经常会手忙脚乱，不知道自己弹到乐谱上的哪个音，而且音乐的乐句大多具有很高的相似性，需要时间不断在乐谱上来回查找和细看，因此对乐谱中相似部分进行颜色凸显，能很好的帮助用户定位。乐谱中的相似乐句，经常会让用户忽略其中的差异细节，降低了演奏效果，因此对相似乐句的细小差异，进行颜色凸显也具有重要作用。

当前虽然已经有一些软件可以识别当前用户弹奏的音符是否已经被弹过，但是音乐练习不同于音乐表演，学习者经常会在他不熟悉的地方，反复演奏几遍。因此仅仅只识别当前乐谱上面的音是否已经被弹过，是不够的。还需要识别，用户是否倒回去，在前面的一两句乐句中重复练习，系统不会以为是错误演奏，而不断出现演奏错误信息。

在乐器练习过程中，在一些比较具有音乐表现力的乐句中，经常会使用演奏技巧。乐器演奏技巧是具有高级和低级的难度区别的。如果有些高级别的音符用户演奏者一直演奏不准，也会影响用户的练习积极性。需要乐谱能够根据当前演奏者的演奏水平，技巧音能逐个自动的对演奏者进行支适应的匹配。

技术实现要素：

本发明提供了一种电子乐谱的智能展现方法，以解决电子乐谱不够智能的问题。

第一方面，本发明实施例提供了一种电子乐谱智能展现方法，包括：

设定用户要弹奏的乐谱，对乐谱内容进行提取，包括对乐谱内的音名、调子及演奏技巧音进行获取，并对技巧音进行频谱分析；所述演奏技巧音是指在乐谱中标示于音符右上角的，表明该音符应该如何加入技巧进行演奏的特定标示。

对乐谱进行分句，对所述乐句进行聚类；

对相同类别的乐句，采用相似的颜色、不同的颜色深度进行预设；所述预设是指，通过分析好的结果来预设颜色，等待需要显示的时候，就可以根据预设好的颜色进行显示。

对同一个类别下，乐句之间的音符差异，进行所述音符差异的凸显；

识别用户当前时刻演奏的音符，并将音符对应到乐谱中；所述对应是指通过软件将用户根据乐谱弹奏出来的音符，与乐谱内容对应起来。

识别用户弹奏的乐句，记录当前用户演奏乐句在乐谱中的位置，当用户弹奏的音符与乐谱音符不同时，判断用户意图，并对用户进行所述不同的内容提醒；

识别用户对技巧音的演奏效果，根据用户对每个技巧音的熟练程度不同，改变乐谱上的技巧音等级。

结合第一方面，在第一方面的第二种实施例方式中，所述对乐谱进行分句，对所述乐句进行聚类，包括：

获取乐谱中各音的音长，获取每个小节中最后一个音，作为候选分割音。获取所述候选分割音的音程，比较该音程。抽取音程最长的n个候选分割音，作为分割音。根据所述分割音进行分句。当分句后，乐句少于预设的长度时，该乐句与左右相邻句中的较短的乐句进行合并，重新分配乐句。

根据乐句中的音名和音程，计算乐句之间的相似度，对乐句进行聚类，将相近的乐句，作为同一个乐句类别；

其中，所述相似度计算方法采用编辑距离的相似度计算方式进行，聚类算法采用scikit-learn工具包里的文本聚类工具包进行聚类，获得曲谱的乐句类别。

结合第一方面或其任一种实施方式，在第一方面的第三种实施例方式中，所述针对相同类别的乐句，采用相似的颜色、不同的颜色深度进行预设，包括：

对所述相同类别的乐句，用相似颜色来预设乐句被弹奏时应该显示的背景颜色，采用相异的颜色来显示不同类别的乐句背景颜色。相同类别中的不同乐句，采用相似颜色、不同的颜色深度来显示。

结合第一方面或其任一种实施方式，在第一方面的第四种实施例方式中，所述对同一个类别下，乐句之间的音符差异，进行所述差异音符的凸显预设，包括：

当用户演奏到当前乐句时，对同一个类别中，与其他乐句具有差异的音进行凸显；

所述乐句差异分析，首先采用hash算法，对同一个类别中乐句具有差异的乐句进行定位，然后对差异乐句，采用diff函数进行匹配，获得乐句之间细小的差异，并对该差异进行突出显示。

结合第一方面或其任一种实施方式，在第一方面的第五种实施例方式中，所述识别用户演奏的当前音，并将音对应到乐谱中的音，包括：

获取演奏者的当前弹奏音符，根据乐器发出的当前音的基频震动频率转换为标准的乐音。所述转换，包括识别当前音符的频率，将该音频对应到乐音频谱上，对频谱的音进行频率对应，并将该转化后的音符对应到乐谱上，获得当前演奏音对应的在乐谱中的对应音符；

结合第一方面或其任一种实施方式，在第一方面的第六种实施例方式中，所述识别用户弹奏的乐句，记录当前用户演奏乐句在乐谱中的位置，当用户弹奏的音符与乐谱音符不同时，判断用户意图，并对用户进行不同内容的提醒，包括：

记录用户的演奏的前面连续的n个音符，搜索用户当前乐句在乐谱中的哪一个句，系统不断记录用户的弹奏内容在乐谱中的进度。

当用户弹奏的内容与乐谱不符时，依次判断用户意图，主要包括，判断用户是否因为看错而跳跃到其他相似乐句上，判断用户是否在重复练习一句他不熟练的句子，判断用户是否真的弹奏了错误的音符。

结合第一方面或其任一种实施方式，在第一方面的第七种实施例方式中，所述判断用户是否因为看错而跳跃到其他相似乐句上，包括：

当用户弹奏的内容与乐谱内容不符，对用户当前弹奏的乐句与该句相同聚类类别的乐句进行匹配，如果有乐句与用户弹奏的乐句更加相似，对两个乐句进行预设颜色的现实，并对当前正确对乐谱乐句进行凸显，给出提示。

所述判断用户是否在重复练习一句他不熟练的乐句，包括：

当用户弹奏的内容与乐谱内容不符，搜索用户当前弹奏的乐句内容是否重复，通过相似度计算的方式，对用户弹奏的错误内容进行相似度计算，如果用户多次弹奏的乐谱属于同一个乐句，以最靠近用户已经演奏过的乐谱内容为搜索顺序，搜索该乐句，并按照所述预设的颜色对匹配到的乐谱进行突出显示。

所述判断用户是否真的弹奏了错误的音符，包括：当判断用户没有对相似乐句进行演奏，也没有进行同一个乐句的多次练习，则判断为演奏错误，系统对用户进行提示。

结合第一方面或其任一种实施方式，在第一方面的第八种实施例方式中，所诉识别用户对技巧音的演奏效果，根据用户对每个技巧音的熟练程度不同，改变乐谱上的技巧音等级，包括：

获取用户当前的演奏技巧音，对所述技巧音进行频谱分析，与所述权威演奏效果音频频谱进行相似度匹配。如果相似度大于一定阈值，则判断为用户演奏技巧正确，如果相似度没有达到相关阈值，则判断用户演奏技巧错误；

获取各个用户演奏技巧音，分别判断每一个技巧音演奏正确与演奏错误的次数。当某技巧多次演奏正确或错误时，改变乐谱技巧音等级；

所述改变技巧音等级，包括，当用户弹奏的技巧音正确次数大于一定次数时，改变该技巧在乐谱上的难度，改为较高级的技巧；当用户弹奏技巧音错误大于一定阈值时，改变技巧音为较低级的技巧。

第二方面，本发明实施例还提供一种电子乐谱的智能展现装置，包括：

乐谱内容提取模块，用于获取用户要演奏的乐谱内容，获取乐谱调子和演奏技巧音符注释。并提取该技巧音符注释的演奏效果权威视频；

乐谱分句与聚类模块，用于对乐谱中的乐句进行分句，并进行乐句聚类。

乐谱颜色预设模块，用户将乐谱颜色进行变化规则的预设；

演奏音识别与记录模块，用于将用户当前演奏音进行识别并对应到乐谱中，并且记录下用户演奏过什么音；

乐谱颜色控制模块，用于根据乐谱颜色预设模块，对用户当前演奏乐句进行颜色预设，根据当前演奏音突出显示乐谱，并在用户演奏错误时给出不同的错误提示；

乐谱演奏技巧修改模块，用户根据用户对技巧音的演奏情况，动态变化演奏技巧音。

通过本发明，对乐谱模型进行分段，并在用户当前的弹奏的乐句进行颜色的不同变化显示，同时突出当前演奏音。并且可以根据用户的练习情况，回溯突出当前乐句。当用户弹奏技巧无法达标时，及时修改改音在乐谱上的低级的技巧。

通过以上方法达到了以下四个技术效果：

首先，能够对乐谱中相似乐句中差异细节进行凸显，帮助用户注意演奏相似乐段中的差异音，提升演奏效果。

其次，可以让用户迅速根据乐谱颜色了解该乐谱的相似乐句和前后呼应情况。了解该使用什么演奏方法和固定手指模式。并且找到当前乐段属于乐谱中的哪一段，不会因为乐谱的相似行而出现肉眼经常错误定位的情况。

再次，能够在用户重复练习一个乐句是，识别用户意图，跟着用户的演奏进度，进行颜色的凸显。

最后，可以根据用户对演奏技巧的熟练程度，自动修正乐谱中加入演奏技巧的难易等级，不仅仅整首改变，而是根据用户的技巧熟练程度，个性户的展示更加适应性的技巧音给用户。

附图说明

图1为本发明的电子乐谱的智能展现方法实施例的流程图。

图2为本发明实施例的电子乐谱示意图。

图3为本发明实施例的对乐谱进行分句与相似乐句聚类的示意图。

图4为本发明实施例的乐谱中乐句采用不同颜色显示的示意图。

图5为本发明的电子乐谱的智能展现装置实施例的结构图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

本发明实施例提供了一种电子乐谱的智能展现方法。具体如下：

步骤100、设定当前用户要弹奏的曲子的乐谱。获取乐谱的调子，对乐谱进行分句，识别乐谱技巧音，并且获取技巧音的正确演奏音频。

如图2，乐谱中包含有调子，例如通过图像识别ocr或者曲谱本身的格式，都可以获取左上角的bb调的符号，并存储到数据库中。同理，可以获取每一个音的音名和音程。同时获取演奏技巧标示，例如颤音（tr）、叠音（又）、强音（>）等技巧符号。并且可以通过网络获取著名表演艺术家表演该技巧音时，采用的正确、权威的演奏音频。

演奏技巧是针对不同的乐器，有不同的表示方法和演奏方法的，它们是演奏者学习该乐器时，用于提高音乐表现力所需要学习的，具体各种乐器的演奏技巧可以查看教科书的描述，在此不进行赘述。

对网上权威音频的技巧音录音进行频谱分析，可以使用librosa软件，进行频谱分析，获得这些技巧音的频谱，方便后面进行比较分析。

步骤101、对乐谱根据音程进行分句。对电子乐谱内容进行提取，获取乐谱各音的音长。判断每个小节中最后一个音，获得乐谱中该音音程最长的n个，根据该长音进行分句。当分句后，乐句少于预设的长度时，该乐句与左右相邻句中的较短的乐句，进行合并。重新获得乐句。

例如，如图2所示，乐句第一句和第二句的切分，可以通过上述切割方法，因为判断歌谱中，小节最后的音，最长音程为2分音符。因此，第一句和第二句之间，可以通过

5-音切割。当有写乐句切分后过长，可以根据乐句之间具有相近的时值长度，进行分割。

步骤102、根据乐句中的音的音名和音程。计算乐句之间的相似度，对乐句进行聚类。其中，所述相似度计算方法采用编辑距离的相似度计算方式进行，聚类算法采用scikit-learn工具包里的文本聚类工具包进行聚类，获得曲谱的乐句类别。

对聚在同一个类别中的乐句，用相近颜色但不同的深度来进行预设，并在用户演奏到该句音乐时，显示为预设的颜色。使用户可以迅速识别当前乐句，并且用户可以根据乐句的相似性，采用大致相似的演奏技巧。因为乐句之间经常具有相似性和迷惑性，而音乐的节奏是有一点点时间延迟就会导致节奏被打乱的，而初学者经常因为需要察看琴谱又要察看琴键，导致无法迅速找到当前演奏音在曲谱中的位置的情况，对属于不同的乐句的相似乐句进行区分，能够方便用户根据颜色差辨别乐句位置定位，起到眼睛快速定位，迅速演奏的作用。同时也让用户了解乐谱中相似乐句的大概范围。

如图3所示，第二句与第六句，会被聚合到同一个类别，第三句与第7句会被聚合到同一个类别。

步骤103、如图4所示，相同类别的乐句，用相似颜色来预设乐句被弹奏时应该显示的背景颜色，采用相异的颜色来显示不同类别的乐句背景颜色。相同类别中的不同乐句，采用相似颜色、不同的颜色深度来显示。

当用户演奏到当前乐句时，对同一个类别中，与其他乐句具有差异的音进行凸显；

所述乐句差异分析，首先采用hash算法，对同一个类别中乐句具有差异的乐句进行定位，然后对差异乐句，采用diff函数进行匹配，获得乐句之间细小的差异，并对该差异进行突出显示。突出显示方式，如图3所示，可以对有差异的音符，进行放大显示，或者改变前景颜色显示。

例如图3中，第二句和第六句属于同一个类中的乐句，他们还是存在差别的。例如第二句左起第4个音5，就与第6句的两个55的演奏方法有区别。这些音如果没有注意到，会很容易被演奏者忽视。乐谱通过突出这些差异，能够让这些相似乐谱中的差异被演奏，能够演绎出更加动听的音乐效果。

步骤104、识别用户演奏的当前音，并将演奏音对应到乐谱中的音。

获取演奏者的当前弹奏音符，根据乐器发出的当前音的基频震动频率转换为标准的乐音。所述转换，包括识别当前音符的频率，将该音频对应到乐音频谱上，对频谱的音进行频率对应，并将该转化后的音符对应到乐谱上，获得当前演奏音对应的在乐谱中的对应音符；

该过程类似哼唱识别，或者音乐检索，属于现有技术。可以通过相关音乐检索软件完成。

步骤105、识别用户弹奏的乐句，记录当前用户演奏乐句在乐谱中的位置，当用户弹奏的音符与乐谱音符不同时，判断用户意图，并对用户进行不同内容的提醒。

记录用户的演奏的前面连续的n个音符，搜索用户当前乐句在乐谱中的哪一个句，系统不断记录用户的弹奏内容在乐谱中的进度。

当用户弹奏的内容与乐谱不符时，依次判断用户意图，主要包括，判断用户是否因为看错而跳跃到其他相似乐句上，判断用户是否在重复练习一句他不熟练的句子，判断用户是否真的弹奏了错误的音符。

所述判断用户是否因为看错而跳跃到其他相似乐句上，包括：

当用户弹奏的内容与乐谱内容不符，对用户当前弹奏的乐句与该句相同聚类类别的乐句进行匹配，如果有乐句与用户弹奏的乐句更加相似，对两个乐句进行预设颜色的现实，并对当前正确对乐谱乐句进行凸显，给出提示。

给出提示的方式，可以是对相似乐句同时进行预设颜色的闪烁，然后将当前应该弹奏的乐句进行常亮，提示用户演奏的应该是这一句。也可以在谱上，正确的乐句附近，用文字显示“你弹奏的是不是应该是这句”等提示。

所述判断用户是否在重复练习一句他不熟练的乐句，包括：

当用户弹奏的内容与乐谱内容不符，搜索用户当前弹奏的乐句内容是否重复，通过相似度计算的方式，对用户弹奏的错误内容进行相似度计算，如果用户多次弹奏的乐谱属于同一个乐句，以最靠近用户已经演奏过的乐谱内容为搜索顺序，搜索该乐句，并按照所述预设的颜色对匹配到的乐谱进行突出显示。

突出显示的方式，可以是对乐句进行预设颜色的闪烁，也可以是固定的颜色，当用户弹奏的内容与乐句原本应该演奏的节奏越相符，显示的颜色越淡，或者给出“弹奏得不错”等的鼓励和提示。

所述判断用户是否真的弹奏了错误的音符，包括：当判断用户没有对相似乐句进行演奏，也没有进行同一个乐句的多次练习，则判断为演奏错误，系统对用户进行提示。

给出提示的方式，可以是对乐句进行预设颜色的闪烁，或者在乐谱上，在发现匹配错误的音符附近，用文字显示“此处弹奏错误”等提示。

步骤106、识别用户对技巧音的演奏效果，根据用户对每个技巧音的熟练程度不同，改变乐谱上的技巧音等级。

获取用户当前的演奏技巧音，对所述技巧音进行频谱分析，与所述权威演奏效果音频频谱进行相似度匹配。如果相似度大于一定阈值，则判断为用户演奏技巧正确，如果相似度没有达到相关阈值，则判断用户演奏技巧错误；

频谱分析可以采用librosa软件，其中mfcc算法可以对技巧音的音频频谱进行特征提取，然后对提取之后的特征做相似度计算。得出用户演奏的技巧音，是否与权威演奏家演奏的相似。

获取各个用户演奏技巧音，分别判断每一个技巧音演奏正确与演奏错误的次数。当某技巧多次演奏正确或错误时，改变乐谱技巧音等级；

所述改变技巧音等级，包括，当用户弹奏的技巧音正确次数大于一定次数时，改变该技巧在乐谱上的难度，改为较高级的技巧；当用户弹奏技巧音错误大于一定阈值时，改变技巧音为较低级的技巧。

技巧的高低级别，可以通过教科书里面定义的技巧等级，进行技巧高低级的切换。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。