一种乐器演奏辅助练习装置、方法及系统与流程

[0001]
本发明涉及乐器演奏辅助装置技术领域，更为具体地，涉及一种乐器演奏辅助练习装置、方法及系统。


背景技术：

[0002]
对于乐器学习者而言，乐器演奏的学习通常包括课堂学习和课后练习。在实际学习过程中，课后练习往往缺少足够的练习反馈和练习指导，从而无法及时发现并纠正练习中出现的问题，导致练习效率低，效果差。
[0003]
目前现有技术主要集中在跟弹式练习，即：向练习者指示每个音符的演奏指令，例如按下某个琴键，练习者完成该音符的演奏指令后，可进入下一个音符的演奏。该类技术将练习转化为机械化的记忆，不利于提升练习者的识谱、节奏感知和其他自主思考能力。


技术实现要素：

[0004]
本发明的目的在于克服现有技术的不足，提供一种乐器演奏辅助练习装置、方法及系统，可在练习者主动练习后给予结果反馈，并提供针对性的指导等。
[0005]
本发明的目的是通过以下技术方案来实现的：
[0006]
一种乐器演奏辅助练习装置，包括：
[0007]
存储单元，用于存储制作的数字曲谱文件形成数字曲谱库，且存储单元结合程序构建曲谱分解练习项目，基于构建的曲谱分解练习项目生成曲谱信息文件生成单元和曲谱展示文件生成单元；
[0008]
触发单元，用于根据分解练习规则在某分解练习项目的达到触发条件后进入下一分解练习项目；
[0009]
数字声音信号生成单元，用于根据练习者的演奏输入生成数字声音信号；
[0010]
提取匹配单元，提取数字声音信号生成单元中的练习曲谱的音高序列、时值序列和数字声音信号的音高序列、时值序列，并通过最优路径匹配，进行序列比对和生成评价信息；
[0011]
推荐单元，根据提取单元生成的比对信息和评价信息，针对性地推荐识谱练习、节奏练习、专业演奏者的视频示范和要点讲解。
[0012]
进一步地，
[0013]
所述曲谱信息文件生成单元，用于将musicxml\xml格式的全曲曲谱文件区分为头部信息和乐曲音符、时值、标记与记号细节信息，然后获取头部信息，根据分解练习项目的音符索引规则和音符索引标记获取对应分解练习项目的乐曲细节信息，将头部信息和分解练习项目的乐曲细节信息合并，并根据设定规则调整生成该分解练习项目所需的musicxml\xml格式曲谱文件；
[0014]
所述曲谱展示文件生成单元，基于已生成的musicxml\xml文件生成pdf、png、jpg格式的曲谱展示文件。
[0015]
进一步地，在所述曲谱信息文件生成单元中的索引规则包括附加和弦标记的音符与上一个未附加和弦标记的音符保持相同的索引编号，不同音轨标记的音符在时间轴上有序排列以确定各自的索引编号，原曲谱信息文件中音符标记索引编号与提取后的音符索引编号之间的相互转换。
[0016]
进一步地，在所述触发单元中的分解练习规则为在子分解练习项目的达到触发条件后，进入所属相同母分解练习项目的下一子练习项目，某母分解练习项目下所属子分解练习项目全部达到触发条件后进入该母分解练习项目。
[0017]
进一步地，所述触发单元的触发条件为练习次数达到阈值或者练习正确率达到阈值时触发。
[0018]
进一步地，所述练习正确率n的计算过程为：
[0019]
n＝(音高正确音符数量/练习音符数量)*50％+(时值正确音符数量/练习音符数量)*50％。
[0020]
进一步地，在所述推荐单元中，根据识别出的音高错误类型提供针对性识谱练习，如果出现音区错误则提供八度练习；如果出现升降记号错误，则提供调号和升降记号练习；根据识别出的节奏错误类型提供针对性节奏练习，提取包含错误的小节或乐句的时值信息，生成该小节或乐句的节奏声音并播放。
[0021]
进一步地，在所述推荐单元中，包括一种光标追踪模块，用于将曲谱展示文件中的曲谱音符与演奏视频中的演奏音符一一映射关联。
[0022]
进一步地，所述光标追踪模块包括第一提取子单元、第二提取子单元和匹配子单元；第一提取子单元用于通过曲谱信息文件提取曲谱展示文件中的曲谱音符序列的索引信息、音高信息、时值信息、位置信息；第二提取子单元用于提取演奏视频中演奏音符的初始触发时间信息和标准速度信息并生成演奏音符序列的索引信息、时值信息；匹配子单元用于将曲谱音符序列的索引信息，音高信息、时值信息、位置信息和演奏音符索引信息和时值信息进行匹配，生成曲谱音符与演奏音符的{索引-位置-时间}信息对，并进行光标追踪。
[0023]
进一步地，根据{索引-位置-时间}信息对，基于曲谱展示文件的大小缩放、演奏视频的倍速缩放进行变换生成在特定曲谱展示文件与对应特定演奏视频的{索引-位置-时间}信息对，并进行光标追踪；或，选择特定曲谱片段或视频片段进行光标追踪，并通过语音声控指令、点击指令进行播放、暂停、停止、返回交互操作。
[0024]
进一步地，所述第一提取子单元通过musicxml\xml格式的曲谱信息文件提取所包含的曲谱展示文件宽度、高度信息、标准时值信息；所述第一提取子单元提取曲谱音符标所对应的音高、时值、位置信息，根据索引规则和音符触发及发声规则，生成{曲谱音符索引，曲谱音符音高，曲谱音符时值，曲谱音符横坐标，曲谱音符纵坐标，曲谱音符触发标志，曲谱音符发声标志}信息对。
[0025]
进一步地，所述音符触发及发声规则包括：休止符音符＜note＜rest＞＞为{非触发，非发声}，包含连线的音符＜note＜pitch＞＜slur＞＞＞，若判定为同音连线起始音则为{非触发，发声}，若判定为同音连线尾音则为{非触发，非发声}。
[0026]
进一步地，第二提取子单元中，提取演奏音符的标准速度信息可由人工标注或通过计算机软硬系统实现。
[0027]
进一步地，人工标注包括演奏者根据乐谱演奏速度术语标记确定固定演奏速度；
[0028]
通过计算机软硬系统包括：
[0029]
第一计算模块，用于通过演奏视频的起始触发时间和结束演奏时间，曲谱音符序列的总时值计算演奏速度的最佳估计；
[0030]
第二计算模块，用于通过曲谱信息文件提取的{曲谱音符索引，曲谱音符音高，曲谱音符时值，曲谱音符横坐标，曲谱音符纵坐标，曲谱音符触发标志，曲谱音符发声标志}信息对，计算出{曲谱音符索引，曲谱触发时值}信息对，并提取声音文件的音符序列和触发时间信息＜声音音符索引，声音触发时值}，从而计算出演奏速度的最佳估计。
[0031]
进一步地，所述匹配子单元中，演奏音符是曲谱音符的子集。
[0032]
进一步地，所述匹配子单元包括第三计算模块，用于根据第一提取子单元提取的{曲谱音符索引，曲谱音符音高，曲谱音符时值，曲谱音符横坐标，曲谱音符纵坐标，曲谱音符触发标志，曲谱音符发声标志}信息和第二提取子单元中视频文件提取的初始触发时间和演奏速度，计算生成{曲谱音符索引，曲谱音符横坐标，曲谱音符纵坐标，演奏视频音符时间戳}信息对。
[0033]
一种基于乐器演奏辅助练习装置的方法，包括如上任一所述装置中的实现流程。
[0034]
一种基于乐器演奏辅助练习装置的系统，包括如上任一所述装置。
[0035]
本发明的有益效果是：
[0036]
(1)本发明装置、方法及系统，可在练习者主动练习后给予结果反馈，并提供针对性的指导等；具体的，基于树状结构的分解练习体系可以根据练习者的实际演奏水平确定练习颗粒度，以慢练为基础地循序渐进提升练习效果，从而确保练习的针对性和有效性；以及通过光标追踪模块将曲谱展示文件和示范演奏视频对应音符相匹配，可以让练习者准确定位特定音符或乐曲片段的曲谱和示范，从而清楚地观察到示范演奏者的手部、臂部动作与钢琴键位，解决练习过程中“不知如何下键、不知双手如何配合”等问题。
附图说明
[0037]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0038]
图1为本发明的结构示意图。
[0039]
图2为分解练习项目树状结构示意图。
具体实施方式
[0040]
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。本说明书中公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
[0041]
如图1和图2所示，一种乐器演奏辅助练习装置，包括：
[0042]
存储单元，用于存储制作的数字曲谱文件形成数字曲谱库，且存储单元结合程序构建曲谱分解练习项目，基于构建的曲谱分解练习项目生成曲谱信息文件生成单元和曲谱展示文件生成单元；
[0043]
触发单元，用于根据分解练习规则在某分解练习项目的达到触发条件后进入下一分解练习项目；
[0044]
数字声音信号生成单元，用于根据练习者的演奏输入生成数字声音信号；
[0045]
提取匹配单元，提取数字声音信号生成单元中的练习曲谱的音高序列、时值序列和数字声音信号的音高序列、时值序列，并通过最优路径匹配，进行序列比对和生成评价信息；
[0046]
推荐单元，根据提取单元生成的比对信息和评价信息，针对性地推荐识谱练习、节奏练习、专业演奏者的视频示范和要点讲解。
[0047]
进一步地，
[0048]
所述曲谱信息文件生成单元，用于将musicxml\xml格式的全曲曲谱文件区分为头部信息和乐曲音符、时值、标记与记号细节信息，然后获取头部信息，根据分解练习项目的音符索引规则和音符索引标记获取对应分解练习项目的乐曲细节信息，将头部信息和分解练习项目的乐曲细节信息合并，并根据设定规则调整生成该分解练习项目所需的musicxml\xml格式曲谱文件；
[0049]
所述曲谱展示文件生成单元，基于已生成的musicxml\xml文件生成pdf、png、jpg格式的曲谱展示文件。
[0050]
进一步地，在所述曲谱信息文件生成单元中的索引规则包括附加和弦标记的音符与上一个未附加和弦标记的音符保持相同的索引编号，不同音轨标记的音符在时间轴上有序排列以确定各自的索引编号，原曲谱信息文件中音符标记索引编号与提取后的音符索引编号之间的相互转换。
[0051]
进一步地，在所述触发单元中的分解练习规则为在子分解练习项目的达到触发条件后，进入所属相同母分解练习项目的下一子练习项目，某母分解练习项目下所属子分解练习项目全部达到触发条件后进入该母分解练习项目。
[0052]
进一步地，所述触发单元的触发条件为练习次数达到阈值或者练习正确率达到阈值时触发。
[0053]
进一步地，所述练习正确率n的计算过程为：
[0054]
n＝(音高正确音符数量/练习音符数量)*50％+(时值正确音符数量/练习音符数量)*50％。
[0055]
进一步地，在所述推荐单元中，根据识别出的音高错误类型提供针对性识谱练习，如果出现音区错误则提供八度练习；如果出现升降记号错误，则提供调号和升降记号练习；根据识别出的节奏错误类型提供针对性节奏练习，提取包含错误的小节或乐句的时值信息，生成该小节或乐句的节奏声音并播放。
[0056]
进一步地，在所述推荐单元中，包括一种光标追踪模块，用于将曲谱展示文件中的曲谱音符与演奏视频中的演奏音符一一映射关联。
[0057]
进一步地，所述光标追踪模块包括第一提取子单元、第二提取子单元和匹配子单元；第一提取子单元用于通过曲谱信息文件提取曲谱展示文件中的曲谱音符序列的索引信息、音高信息、时值信息、位置信息；第二提取子单元用于提取演奏视频中演奏音符的初始触发时间信息和标准速度信息并生成演奏音符序列的索引信息、时值信息；匹配子单元用于将曲谱音符序列的索引信息，音高信息、时值信息、位置信息和演奏音符索引信息和时值
信息进行匹配，生成曲谱音符与演奏音符的{索引-位置-时间}信息对，并进行光标追踪。
[0058]
进一步地，根据{索引-位置-时间}信息对，基于曲谱展示文件的大小缩放、演奏视频的倍速缩放进行变换生成在特定曲谱展示文件与对应特定演奏视频的{索引-位置-时间}信息对，并进行光标追踪；或，选择特定曲谱片段或视频片段进行光标追踪，并通过语音声控指令、点击指令进行播放、暂停、停止、返回交互操作；在钢琴上实现光标追踪，更便于练习者练习，相对现有的在乐谱上的追踪更为直观。
[0059]
进一步地，所述第一提取子单元通过musicxml\xml格式的曲谱信息文件提取所包含的曲谱展示文件宽度、高度信息、标准时值信息；所述第一提取子单元提取曲谱音符标所对应的音高、时值、位置信息，根据索引规则和音符触发及发声规则，生成{曲谱音符索引，曲谱音符音高，曲谱音符时值，曲谱音符横坐标，曲谱音符纵坐标，曲谱音符触发标志，曲谱音符发声标志}信息对。
[0060]
进一步地，所述音符触发及发声规则包括：休止符音符＜note＜rest＞＞为{非触发，非发声}包含连线的音符＜note＜pitch＞＜slur＞＞＞，若判定为同音连线起始音则为{非触发，发声}，若判定为同音连线尾音则为{非触发，非发声}。
[0061]
进一步地，第二提取子单元中，提取演奏音符的标准速度信息可由人工标注或通过计算机软硬系统实现。
[0062]
进一步地，人工标注包括演奏者根据乐谱演奏速度术语标记确定固定演奏速度；
[0063]
通过计算机软硬系统包括：
[0064]
第一计算模块，用于通过演奏视频的起始触发时间和结束演奏时间，曲谱音符序列的总时值计算演奏速度的最佳估计；
[0065]
第二计算模块，用于通过曲谱信息文件提取的{曲谱音符索引，曲谱音符音高，曲谱音符时值，曲谱音符横坐标，曲谱音符纵坐标，曲谱音符触发标志，曲谱音符发声标志}信息对，计算出{曲谱音符索引，曲谱触发时值}信息对，并提取声音文件的音符序列和触发时间信息＜声音音符索引，声音触发时值}，从而计算出演奏速度的最佳估计。
[0066]
进一步地，所述匹配子单元中，演奏音符是曲谱音符的子集。
[0067]
进一步地，所述匹配子单元包括第三计算模块，用于根据第一提取子单元提取的{曲谱音符索引，曲谱音符音高，曲谱音符时值，曲谱音符横坐标，曲谱音符纵坐标，曲谱音符触发标志，曲谱音符发声标志}信息和第二提取子单元中视频文件提取的初始触发时间和演奏速度，计算生成{曲谱音符索引，曲谱音符横坐标，曲谱音符纵坐标，演奏视频音符时间戳}信息对。
[0068]
一种基于乐器演奏辅助练习装置的方法，包括如上任一所述装置中的实现流程。
[0069]
一种基于乐器演奏辅助练习装置的系统，包括如上任一所述装置。
[0070]
在本发明的其他实施例中，本发明实施例提供的一种乐音乐器演奏辅助练习方法，可以包括以下步骤：
[0071]
(a1)制作数字曲谱文件登记入数字曲谱库，并构建“小乐句-大乐句-段落-全曲”分解练习体系。
[0072]
(a2)练习者根据练习曲谱演奏，生成数字声音信号。
[0073]
(a3)提取(a2)中的练习曲谱的音高序列、时值序列和数字声音信号的音高序列、时值序列，并通过最优路径匹配，进行序列比对和生成评价信息。
[0074]
(a4)根据(a3)生成的比对信息和评价信息，针对性地提供识谱练习、节奏练习、专业演奏者的视频示范、要点讲解等。
[0075]
具体地，步骤(al)中小乐句、大乐句、段落、全曲统称为分解练习项目，而构建“小乐句-大乐句-段落-全曲”分解练习体系包括以下步骤，：
[0076]
(b1)自动生成分解练习项目对应的曲谱信息文件、曲谱展示文件。
[0077]
(b2)根据分解练习规则，在某分解练习项目的达到触发条件后，进入下一分解练习项目。
[0078]
具体地，步骤(b1)诸分解练习项目之间为树状结构，其层次关系为小乐句是大乐句的子分解练习项目，大乐句是小乐句的母分解练习项目，若干小乐句组成一个大乐句，类比地，大乐句和段落、段落和全曲互为母子分解练习关系。
[0079]
具体地，步骤(b1)所述自动生成分解练习对应的曲谱信息文件包括以下步骤：
[0080]
(b11)将musicxml\xml格式的全曲曲谱文件区分为头部信息和乐曲音符、时值、标记与记号等细节信息，
[0081]
(b12)获取头部信息，
[0082]
(b13)根据分解练习体系的音符索引规则和音符索引标记获取对应分解练习项目的乐曲细节信息，
[0083]
(b14)将头部信息和分解练习项目的乐曲细节信息合并，并根据一定规则调整生成该分解练习项目所需的musicxml\xml格式曲谱文件。
[0084]
具体地，步骤(b13)所述索引规则包括但不限于：附加和弦标记＜chord＞的音符与上一个未附加和弦标记的音符保持相同的索引编号，不同音轨标记＜voice＞的音符在时间轴上有序排列以确定各自的索引编号，原曲谱信息文件中音符标记＜note＞索引编号与提取后的音符索引编号之间的相互转换。
[0085]
具体地，步骤(b1)所述自动生成分解练习对应的曲谱信息文件为：基于已生成的musicxml\xml文件生成pdf、png、jpeg等格式的曲谱展示文件。
[0086]
具体地，(b2)分解练习规则为在子分解练习项目的达到触发条件后，进入所属相同母分解练习项目的下一子练习项目，某母分解练习项目下所属子分解练习项目全部达到触发条件后进入该母分解练习项目。
[0087]
具体地，(b2)触发条件为练习次数达到阈值或者练习正确率达到阈值，练习正确率的计算方法为(音高正确音符数量/练习音符数量)*50％+(时值正确音符数量/练习音符数量)*50％。
[0088]
具体地，步骤(a4)中针对性地提供的识谱练习特征在于根据识别出的音高错误类型提供针对性识谱练习，包括但不限于：如果出现音区错误则提供八度练习；如果出现升降记号错误，则提供调号和升降记号练习。
[0089]
具体地，步骤(a4)中针对性地提供的节奏练习特征在于根据识别出的节奏错误类型提供针对性节奏练习，包括但不限于：提取包含错误的小节或乐句的时值信息，生成该小节或乐句的节奏声音并播放。
[0090]
具体地，步骤(a4)中针对性地提供的专业演奏者的视频示范组件，包含：
[0091]
(c1)预先录制好的、不同角度、可调整倍速，可提供演奏过程中的触键键位、手指指法、手腕呼吸与发力、双手下键配合等示范内容的有声演奏视频；
[0092]
(c2)演奏曲谱展示文件；
[0093]
(c3)一种光标追踪装置，将曲谱展示文件中的曲谱音符与演奏视频中的演奏音符一一映射关联。
[0094]
具体地，步骤(c3)光标追踪装置包括执行流程：
[0095]
(c31)通过曲谱信息文件提取曲谱展示文件中的曲谱音符序列的索引信息、音高信息、时值信息、位置信息等；
[0096]
(c32)提取演奏视频中演奏音符的初始触发时间信息和标准速度信息并生成演奏音符序列的索引信息、时值信息等；
[0097]
(c33)将(c31)中曲谱音符序列的索引信息，音高信息、时值信息、位置信息和(c32)中演奏音符索引信息和时值信息进行匹配，生成曲谱音符与演奏音符的{索引-位置-时间}信息对，并进行光标追踪；
[0098]
(c34)附加地，可根据(c33)中生成的{索引-位置-时间}信息对，基于曲谱展示文件的大小缩放、演奏视频的倍速缩放等，进行变换生成在特定曲谱展示文件与对应特定演奏视频的{索引-位置-时间}信息对，并进行光标追踪。
[0099]
(c35)附加地，可人工选择或自动选择特定曲谱片段或视频片段进行光标追踪，并通过语音声控指令、点击指令等进行播放、暂停、停止、返回等交互操作。
[0100]
具体地，步骤(c31)通过曲谱信息文件提取音符序列在曲谱展示文件中的索引信息、音高信息、时值信息、位置信息等，包括以下步骤：通过musicxml\xml格式的曲谱信息文件，
[0101]
(c311)提取所包含的曲谱展示文件宽度、高度信息、标准时值信息；
[0102]
(c312)提取曲谱音符标记＜note＞所对应的音高、时值、位置信息等，
[0103]
(c313)根据索引规则和音符触发及发声规则，生成{曲谱音符索引，曲谱音符音高，曲谱音符时值，曲谱音符横坐标，曲谱音符纵坐标，曲谱音符触发标志，曲谱音符发声标志}信息对。
[0104]
具体地，(c313)音符触发及发声规则包括但不限于：休止符音符＜note＜rest＞＞为{非触发，非发声}，包含连线的音符＜note＜pitch＜slur＞＞＞若判定为同音连线则为{非触发，发声}。
[0105]
具体地，步骤(c32)提取演奏音符的标准速度信息可由人工标注或通过计算机程序硬件系统实现。
[0106]
其中，人工标注包括但不限于：演奏者根据乐谱演奏速度术语标记等确定固定演奏速度，例如四分音符＝120或四分音符＝0.5s。
[0107]
通过计算机程序硬件系统实现包括但不限于以下方法：
[0108]
(1)通过演奏视频的起始触发时间和结束演奏时间，曲谱音符序列的总时值计算演奏速度的最佳估计，例如四分音符＝0.5s，该方法主要适用于固定速度演奏；
[0109]
(2)通过曲谱信息文件提取的{曲谱音符索引，曲谱音符音高，曲谱音符时值，曲谱音符横坐标，曲谱音符纵坐标，曲谱音符触发标志，曲谱音符发声标志}信息对，计算出{曲谱音符索引，曲谱触发时值}信息对，并提取声音文件的音符序列和触发时间信息＜声音音符索引，声音触发时值}，从而计算出演奏速度的最佳估计，例如四分音符＝0.5s。该方法既适用于固定速度演奏，也适用于自由速度演奏。
[0110]
具体地，步骤(c33)所述的曲谱音符与演奏音符之间的关系为，演奏音符是曲谱音符的子集。
[0111]
具体地，步骤(c33)的特征在于：(c31)提取的{曲谱音符索引，曲谱音符音高，曲谱音符时值，曲谱音符横坐标，曲谱音符纵坐标，曲谱音符触发标志，曲谱音符发声标志}信息和(c32)视频文件提取的初始触发时间和演奏速度，计算生成{曲谱音符索引，曲谱音符横坐标，曲谱音符纵坐标，演奏视频音符时间戳}信息对。
[0112]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0113]
本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、rom、ram等。
[0114]
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。