一种智能陪练方法与流程

本发明涉及器乐陪练技术领域，具体涉及一种智能陪练方法。

背景技术：

音乐教育包含乐理、视唱练耳、声乐、器乐(含中外器乐)等众多教学课程。

长久以来，器乐教学的最大特点就是需要长时间的练习时间。一种比较普遍的现状就是，国内的艺术培训机构/老师都要求学员每天在家保证不少于一个小时的器乐练习时间，都是采用教师点对点的教学方式开展。教师需要花费大量时间，帮助学员提升演奏的音准，节奏的完成度。器乐教学领域的研究人员一直寻找一种方法能够有效的识别演奏的完成度，从而通过对完成度的监控，来辅助学员更好的完成器乐练习。

现有技术中，采用在乐器设备上安装光传感设备或距离传感器，感知琴键是否被按下，或者采用电子乐器设备(比如电子钢琴，电子鼓)，来感知器乐演奏情况。但采取这样的方式需在器乐内部安装传感设备,安装的技术难度和成本较高，不利于普及，以及会对乐器造成不可逆转的损伤，且在乐器出现问题的情况下无法有效地识别音准，且兼容性差。

技术实现要素：

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种智能陪练方法，克服现有的辅助学员器乐练习方式的成本高，音准识别存在不稳定性，且兼容性差的问题。

本发明解决其技术问题所采用的技术方案是：提供一种智能陪练方法，包括步骤：

获取演奏数据并识别转化为对应乐谱的乐音结构化数据；

对所述乐音结构化数据进行评测处理，以获取演奏数据的演奏完成度评价。

本发明的更进一步优选方案是：所述获取演奏数据并识别转化为对应乐谱的乐音结构化数据包括步骤：

通过拾音设备获取演奏数据；

将获取的演奏数据转化为数字音乐文件；

将所述数字音乐文件传入经深度学习算法训练的乐音识别模型识别转化为对应的乐音结构化数据。

本发明的更进一步优选方案是：深度学习算法训练乐音识别模型包括步骤：

通过迁移学习训练适合不同器乐的乐音自动识别模型。

本发明的更进一步优选方案是：对所述乐音结构化数据进行评测处理包括步骤：

分析乐音结构化数据，并转化为将乐音结构化数据按时间顺序进行展示的演奏时序图谱；

将演奏数据对应的演奏时序图谱与标准的演奏时序图谱进行比较；

输出通过比较后演奏数据的演奏完成度评价结果。

本发明的更进一步优选方案是：所述将演奏数据对应的演奏时序图谱与标准的演奏时序图谱进行比较包括步骤：

对比演奏数据对应的演奏时序图谱与标准的演奏时序图谱在对应时刻的音符的音高、时长情况；

根据对应演奏时刻的音高演奏情况输出音高准确度结果并在对应乐谱音符位置进行标识；

根据对应演奏时刻的每个音符的演奏时长情况输出节奏评价结果；

结合音高准确度结果和节奏评价结果输出演奏数据的演奏完成度评价结果。

本发明的更进一步优选方案是：所述智能陪练方法还包括步骤：

通过演奏歌曲的部分小节、文本输入歌曲名称和语音口述歌曲名称中的一种方式识别后，从数据库中调取相应标准的演奏时序图谱。

本发明的更进一步优选方案是：所述智能陪练方法还包括步骤：

演奏者根据乐谱的小节和演奏特点，将整段乐谱分解为不同的练习段落，对其中的一个或多个练习段落进行重复练习。

本发明的更进一步优选方案是：所述智能陪练方法还包括步骤：

演奏者对一个或多个练习段落的演奏数据进行回放并获取对应的演奏完成度评价结果。

本发明的更进一步优选方案是：所述智能陪练方法还包括步骤：

演奏者将一次或多次演奏数据合并发送至指导者；

指导者根据获取的演奏数据给予表演情感和音乐理解方面的指导。

本发明的更进一步优选方案是：所述智能陪练方法还包括步骤：

演奏者选择不同的速率进行练习。

本发明的有益效果在于，与现有技术相比，通过获取演奏数据并识别转化为对应乐谱的乐音结构化数据，对所述乐音结构化数据进行评测处理，以获取演奏数据的演奏完成度评价，实现有效稳定地识别演奏者演奏数据的音准，对演奏者器乐练习过程的监控并反馈演奏数据的演奏完成度评价结果，指导演奏者优化器乐演奏练习过程，对演奏者有更好的指导作用，且成本低；以及，可识别不同乐器的演奏，兼容性强；以及，指导者可获取演奏者一次或多次的演奏数据并给予表演情感和音乐理解方面的指导。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明的智能陪练方法的流程框图；

图2是本发明的获取识别演奏数据的流程框图；

图3是本发明的乐音结构化数据评测处理的流程框图；

图4是本发明的对比演奏数据对应的演奏时序图谱与标准的演奏时序图谱的流程框图；

图5是本发明的训练音符事件预测模型的流程框图；

图6是本发明的训练音高预测模型的流程框图；

图7是本发明的智能陪练方法的具体流程框图；

图8是本发明的演奏时序图谱。

具体实施方式

现结合附图，对本发明的较佳实施例作详细说明。

如图1所示，本发明提供一种智能陪练方法的优选实施例。

所述智能陪练方法包括步骤：

s10、获取演奏数据，识别转化为对应乐谱的乐音结构化数据；

s20、对所述乐音结构化数据进行评测处理，以获取演奏数据的演奏完成度评价。

通过将获取的演奏数据识别转化为对应乐谱的乐音结构化数据，对所述乐音结构化数据进行评测处理，实现有效稳定地识别演奏者演奏数据的音准，对演奏者器乐练习过程的监控并反馈演奏数据的演奏完成度评价结果，指导演奏者优化器乐演奏练习过程，对演奏者有更好的指导作用，且成本低；以及，可识别不同乐器的演奏，兼容性强。

其中，演奏数据是通过对演奏者使用乐器弹奏发出的乐音收集获取的乐音数据。

以及，乐音结构化数据包括音高、乐音强弱数据、音符开始时间和音符结束时间，它反应了某个时刻的音准，反应了演奏在某一个时刻，弹奏了音高。能反映乐谱中如音高、乐音强弱数据、音符开始时间和音符结束时间等相关信息的都称为乐音结构化数据。对所述乐音结构化数据进行评测处理，可判别演奏在音高、乐音强弱、音符时长方面的完成度是否达到标准，演奏完成度评价包含了对音高和节奏两个维度的综合评价。以及，乐谱可以是五线谱、简谱等。本实施例中，乐谱优选为五线谱。

进一步地，参考图2，在步骤s10中，包括步骤：

s11、通过拾音设备获取演奏数据；

s12、将获取的演奏数据转化为数字音乐文件；

s13、将所述数字音乐文件传入经深度学习算法训练的乐音识别模型识别转化为对应乐谱的乐音结构化数据。

拾音设备可根据实际需要自适应设置在不同的空间位置，完成对演奏数据的收集获取，不对乐器造成不可逆的损伤，可兼容不同乐器，同一种乐器的不同品牌、不同型号，兼容性强，实施成本低；以及，通过上述方式识别演奏者的演奏，识别准确率高，能在极低成本下进行乐音识别。

其中，前期通过采集大量乐音样本，通过深度学习算法训练乐音识别模型。乐音识别模型包括用于预测音符的起止时间的音符事件预测模型，以及用于预测音符音高的音高预测模型。乐音识别模型可识别演奏数据转化为基于五线谱的乐音结构化数据，识别准确率高。

具体地，参考图5，训练音符事件预测模型包括步骤：

s51、提取所述乐音样本的声音信号特征；

s52、将提取的声音信号特征综合输出第一全连接层；

s53、使用深度学习算法对第一全连接层的数据进行处理输出音符事件预测结果集。

参考图6，训练音高预测模型包括步骤：

s61、提取所述乐音样本的声音信号特征；

s62、将提取的声音信号特征综合输出第二全连接层；

s63、使用深度学习算法对第二全连接层的数据和第一全连接层中的音符事件位置信息进行处理输出音高结果集。

通过音符事件预测模型预测在具体时间点上是否发生了一个音符事件，音高预测模型配合音符事件预测模型，在对应时间帧上预测音高，数字音乐文件经音符事件预测模型和音符事件预测模型处理过后，将转化生成音符结果集，并转化为对应乐谱的乐音结构化数据，实现对演奏数据的识别转化。

进一步地，深度学习算法训练乐音识别模型包括步骤：

通过迁移学习训练适合不同器乐的乐音自动识别模型。

具体地，通过保留原先训练的乐音自动识别模型的前n层参数，对原先训练的乐音自动识别模型重新训练，识别其他器乐的乐音，减少运算算力需求。

比如，可将一个可识别钢琴乐音的乐音自动识别模型通过迁移学习迁移到识别小提琴，这样可降低训练适合不同器乐的乐音自动识别模型的学习成本。

这样，可实现识别不同器乐的演奏，识别准确率高，且成本低。

本实施例中，参考图3，对所述乐音结构化数据进行评测处理包括步骤：

s21、分析乐音结构化数据，并转化为将乐音结构化数据按时间顺序进行展示的演奏时序图谱；

s22、将演奏数据对应的演奏时序图谱与标准的演奏时序图谱进行比较；

s23、输出通过比较后演奏数据的演奏完成度评价结果。

通过将演奏者的演奏数据对应的演奏时序图谱与标准的演奏时序图谱进行比较，可以判别演奏在音高、乐音强弱、音符时长方面的完成度是否达到标准，从而输出演奏完成度评价结果，指导演奏者优化器乐演奏练习过程。

其中，参考图8，图8是演奏时序图谱的一个示例。演奏时序图谱是将乐音结构化数据以时间轴为坐标，将乐音结构化数据转换为按照时间顺序展示的数据，其横坐标表示时间节点(time)，纵坐标表示对应时刻的音高(pitch)。通过对比演奏数据对应的演奏时序图谱和标准的演奏时序图谱，就可知道演奏者在某一个时间段，是否正确的演奏了某一个音高，以及音符的市场。

以及，通过演奏歌曲的部分小节、文本输入歌曲名称和语音口述歌曲名称中的一种方式识别后，从数据库中调取相应标准的演奏时序图谱。

具体地，采用演奏歌曲的部分小节，通过乐音识别模型识别转换乐谱，并从数据库中获取对应的完整的演奏时序图谱；采用文本输入歌曲名称，从数据库中获取对应的演奏时序图谱；采用语音口述歌曲名称，通过语音识别，并从数据库中获取对应的完整的演奏时序图谱。

参考图4，在步骤s22中，包括步骤：

s221、对比演奏数据对应的演奏时序图谱与标准的演奏时序图谱在对应时刻的音符的音高、时长情况；

s222、根据对应演奏时刻的音高演奏情况输出音高准确度结果并在对应乐谱音符位置进行标识；

s223、根据对应演奏时刻的每个音符的演奏时长情况输出节奏评价结果；

s224、结合音高准确度结果和节奏评价结果输出演奏数据的演奏完成度评价结果。

结合演奏数据对应的演奏时序图谱与标准的演奏时序图谱比较得出的音高准确度结果和节奏评价结果输出演奏者演奏数据的演奏完成度评价结果，演奏者得到及时的反馈。

其中，音高准确度是根据演奏的音高、音高开始时间和持续时间，对每一个音符计算一个音高准确度，输出音高准确度结果即是根据演奏数据对应乐谱的乐音结构化数据输出音高准确度等级，并根据以下方式对音高准确度进行判别：

将所有的不同的音高划分为不同的甬道，再在甬道上建立时间轴，将时间轴按照一个最小frame进行划分(frame的大小影响计算的精度)，每一个frame对应一个时间点上的某一个琴键状态。(比如一首10秒钟的钢琴演奏录音，就有88个甬道，每个甬道有100个frame。总共8800个frame)。通过标准的演奏时序图谱，可以对每一个frame是否应该被演奏做出标记，标记1代表该时间段内，对于音高应该被演奏，标记0则相反。最后，按照演奏者的实际演奏结果，和标准的演奏时序图谱做出对比，得出音高准确度的评分。frame标记为1而演奏者正确演奏的获取1分，最终总分除以标记为1的frame总数量就是音高准确度。整段曲子的评分为针对整段曲子所有frame的总评分，单个音符的评分为单个音符对用所有frame的总评分。

具体地，根据音高准确度的等级在对应乐谱音符位置进行标识。如：

a)音高准确度超过80％，等级为极高，练习段落回放时将对应乐谱音符为位置用绿色标识；

b)音高准确度在60-80％，等级为较高，练习段落回放时将对应乐谱音符位置用黄色标识；

c)音高准确度在40-60％，等级为偏低，练习段落回放时将对应乐谱音符位置用橙色标识；

d)音高准确度为0-40％，等级为低，代表演奏者错误演奏音高，练习段落回放时将对应乐谱音符位置用红色标识。

以及，根据对应演奏时刻演奏数据对应的演奏时序图谱与标准的演奏时序图谱的差距判别输出节奏评价结果，如：节奏偏快、节奏偏慢或节奏不稳等。

本实施例中，所述智能陪练方法还包括步骤：

演奏者根据乐谱的小节和演奏特点，将整段乐谱分解为不同的练习段落，对其中的一个或多个练习段落进行重复练习。

演奏者可选择对一个或多个练习段落重复练习，通过对同一练习段落的不断训练加强练习效果，这样能帮助演奏者分解练习过程，分段练习演奏技巧。

演奏者还可对一个或多个练习段落的演奏数据进行回放并获取对应的演奏完成度评价结果，在回放时可以根据回放时乐谱中音符的颜色知晓自己弹奏的音高准确度，以及从节奏评价结果知晓自己演奏的节奏速率。回放时，以五线谱或其他音乐表示法展示演奏者的音高准确度、节奏和整体演奏数据的演奏完成度评价结果。

以及，所述智能陪练方法还包括步骤：

演奏者将一次或多次演奏数据合并发送至指导者；

指导者根据获取的演奏数据给予表演情感和音乐理解方面的指导。

指导者无需采用点对点的方式，花费大量时间对演奏者的练习过程进行监督。演奏者将一次或多次演奏数据合并发送至指导者，指导者可在除了音高准确度、音符节奏把握、演奏完成度这些方面外，针对演奏者的演奏数据给予表演情感和音乐理解等方面给予针对性的指导，引导演奏者更好地练习演奏，优化器乐练习过程。

本实施例中，所述智能陪练方法还包括步骤：

演奏者选择不同的速率进行练习。

其中，演奏者的演奏速率以演奏节拍数进行表征。演奏节拍数是指在一分钟的时间段落之间，所发出的声音节拍的数量。一首乐谱在给定了演奏节拍数后，乐谱的每一个音符都有了一个固定的演奏时长。

演奏者在练习时可以选择不同的演奏节拍数，以选择放慢或加快演奏速度，分速度练习演奏技巧。

参考图7，图7为本发明的智能陪练方法的具体实施例。

其中，图7中的智能陪练方法包括步骤：s71、乐谱识别；s72、获取乐谱对应的标准演奏时序图谱；s73、分段练习；s74、练习下一段；s75、获取识别演奏数据；s76、段评分；s77、段回放；s78、重复练习；s79、合并练习的演奏数据并发送至指导者；s80、指导者指导评分。

具体地，通过演奏歌曲的部分小节、文本输入歌曲名称和语音口述歌曲名称中的一种方式识别获取乐谱；从数据库中调取对应的标准演奏时序图谱；演奏者可以选择乐谱的其中一个段落进行练习；获取演奏者练习的演奏数据后对演奏数据进行识别评测处理后输出段评分；演奏者可对自己练习过的演奏数据进行回放，也可对同一练习段落进行重复练习，并将一次或多次演奏数据合并发送给指定的指导者，由指导者根据获取的演奏数据进行指导和评分。

应当理解的是，以上实施例仅用以说明本发明的技术方案，而非对其限制，对本领域技术人员来说，可以对上述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而所有这些修改和替换，都应属于本发明所附权利要求的保护范围。