辅助乐器演奏练习的方法、终端设备、服务器和系统与流程

本发明涉及乐器演奏辅助教学领域，特别涉及一种辅助乐器演奏练习的方法、终端设备、服务器和系统。

背景技术：

目前，乐器学习者一般都需要老师进行面对面的指导，由于有限的老师数量与固定的教学时间安排，使得学习与练习的时间、频次和场地等都会受到限制，学习者无法得到充分的学习与练习。

即便可以在家里独自练习，但由于缺乏及时的、正确的指导，容易产生错误的演奏习惯，再到老师进行面对面指导时，纠正起来会比较耗时、耗力，也会影响学习者的信心和积极性。

利用乐器演奏辅助教学系统，使学习者能够根据自己的意愿灵活地调整练习时间，就成为提高乐器学习效率的行之有效的手段。但是现有乐器演奏辅助教学技术方案中均存在相应的技术问题。

现有的一种技术方案仅采用音频信号进行评判，无法判断演奏者的动作是否正确、规范。

现有的另一种技术方案需要乐器带压电传感器，而通常使用的乐器并不带压电传感器。另外，还需要在运动的肢体处佩戴重力传感器，这会影响演奏，特别是对需要手指进行精细配合、控制的乐器的演奏。

技术实现要素：

鉴于以上技术问题，本发明提供了一种辅助乐器演奏练习的方法、终端设备、服务器和系统，可以利用乐器演奏时发出的声音和演奏者手指运动而产生的表面肌电信号，辅助进行乐器演奏练习。

根据本发明的一个方面，提供一种辅助乐器演奏练习的方法，包 括：

获取乐器练习者演奏时产生的音频信号和表面肌电信号；

将演奏数据上报给服务器，以便服务器根据演奏数据确定演奏评价结果，其中演奏数据包括音频信号和表面肌电信号；

接收服务器返回的演奏评价结果；

显示所述演奏评价结果，以指导乐器练习者练习演奏乐曲。

在本发明的一个实施例中，所述获取乐器练习者演奏时产生的音频信号和表面肌电信号的步骤包括：

向音频信号采集装置和表面肌电信号采集装置发送同步工作指令，并指示乐器练习者开始演奏，以便音频信号采集装置和表面肌电信号采集装置同步采集乐器练习者演奏时产生的音频信号和表面肌电信号；

接收音频信号采集装置发送的音频信号、以及表面肌电信号采集装置发送的表面肌电信号。

在本发明的一个实施例中，所述演奏数据还包括乐器练习者选择的练习曲目；在所述获取乐器练习者演奏时产生的音频信号和表面肌电信号的步骤之前，所述方法还包括：获取乐器练习者选择的练习曲目。

在本发明的一个实施例中，所述演奏数据还包括乐器练习者的级别；在所述将演奏数据上报给服务器的步骤之前，所述方法还包括：获取乐器练习者的级别。

根据本发明的另一方面，提供一种辅助乐器演奏练习的方法，包括：

接收终端设备上报的演奏数据，其中演奏数据包括音频信号和表面肌电信号；

根据所述演奏数据确定演奏评价结果；

将演奏评价结果返回给终端设备，以便终端设备显示所述演奏评价结果，以指导乐器练习者练习演奏乐曲。

在本发明的一个实施例中，所述根据所述演奏数据确定演奏评价结果的步骤包括：

根据音频信号、音频信号与表面肌电信号的对应关系判断乐器学习者练习演奏乐曲的音高、节奏、音量、手指信息是否正确；

根据音高、节奏、音量、手指信息的评判结果，获取综合分数；

将所述评判结果和综合分数作为演奏评价结果。

在本发明的一个实施例中，所述演奏数据还包括乐器练习者选择的练习曲目；

所述根据音频信号、音频信号与表面肌电信号的对应关系判断乐器学习者练习演奏乐曲的音高、节奏、音量、手指信息是否正确的步骤包括：

根据乐器练习者选择的练习曲目获取所述练习曲目对应的标准音信息，其中所述标准音信息包括标准音音频信息和标准音手指信息；

将音频信号与标准音音频信息进行比对，判断乐器学习者练习演奏乐曲的音高、节奏、音量是否正确；

根据音频信号与表面肌电信号的对应关系确定乐器练习者演奏乐曲时的手指信息；

将乐器练习者的手指信息与标准音手指信息进行比对，判断乐器学习者练习演奏乐曲时的手指信息是否正确。

在本发明的一个实施例中，所述演奏数据还包括乐器练习者的级别；

所述将音频信号与标准音音频信息进行比对，判断乐器学习者练习演奏乐曲的音高、节奏、音量是否正确的步骤包括：

将音频信号与标准音音频信息进行比对；

如果比对误差小于允许误差，则判定乐器学习者练习演奏乐曲的音高、节奏、音量正确，其中，乐器练习者的级别越高，允许误差越小。

根据本发明的另一方面，提供一种终端设备，包括信号获取模块、数据上报模块、结果接收模块和显示模块，其中：

信号获取模块，用于获取乐器练习者演奏时产生的音频信号和表面肌电信号；

数据上报模块，用于将演奏数据上报给服务器，以便服务器根据演奏数据确定演奏评价结果，其中演奏数据包括音频信号和表面肌电信号；

结果接收模块，用于接收服务器返回的演奏评价结果；

显示模块，用于显示所述演奏评价结果，以指导乐器练习者练习演奏乐曲。

在本发明的一个实施例中，信号获取模块包括指令下发单元和信号接收单元，其中：

指令下发单元，用于向音频信号采集装置和表面肌电信号采集装置发送同步工作指令，并指示乐器练习者开始演奏，以便音频信号采集装置和表面肌电信号采集装置同步采集乐器练习者演奏时产生的音频信号和表面肌电信号；

信号接收单元，用于接收音频信号采集装置发送的音频信号、以及表面肌电信号采集装置发送的表面肌电信号。

在本发明的一个实施例中，所述演奏数据还包括乐器练习者选择的练习曲目；

所述终端设备还包括曲目获取模块，其中：

曲目获取模块，用于在信号获取模块获取乐器练习者演奏时产生的音频信号和表面肌电信号之前，获取乐器练习者选择的练习曲目。

在本发明的一个实施例中，所述演奏数据还包括乐器练习者的级别；

所述终端设备还包括级别获取模块，其中：

级别获取模块，用于在数据上报模块将演奏数据上报给服务器之前，获取乐器练习者的级别。

根据本发明的另一方面，提供一种服务器，包括数据接收模块、结果确定模块和结果返回模块，其中：

数据接收模块，用于接收终端设备上报的演奏数据，其中演奏数据包括音频信号和表面肌电信号；

结果确定模块，用于根据所述演奏数据确定演奏评价结果；

结果返回模块，用于将演奏评价结果返回给终端设备，以便终端设备显示所述演奏评价结果，以指导乐器练习者练习演奏乐曲。

在本发明的一个实施例中，结果确定模块包括指标判定单元、综合分数确定单元和评价结果确定单元，其中：

指标判定单元，用于根据音频信号、音频信号与表面肌电信号的对应关系判断乐器学习者练习演奏乐曲的音高、节奏、音量、手指信息是否正确；

综合分数确定单元，用于根据音高、节奏、音量、手指信息的评判结果，获取综合分数；

评价结果确定单元，用于将所述评判结果和综合分数作为演奏评价结果。

在本发明的一个实施例中，所述演奏数据还包括乐器练习者选择的练习曲目；

指标判定单元包括标准信息确定子模块、音频比对子模块、手指信息确定子模块和手指信息比对子模块，其中：

标准信息确定子模块，用于根据乐器练习者选择的练习曲目获取所述练习曲目对应的标准音信息，其中所述标准音信息包括标准音音频信息和标准音手指信息；

音频比对子模块，用于将音频信号与标准音音频信息进行比对，判断乐器学习者练习演奏乐曲的音高、节奏、音量是否正确；

手指信息确定子模块，用于根据音频信号与表面肌电信号的对应关系确定乐器练习者演奏乐曲时的手指信息；

手指信息比对子模块，用于将乐器练习者的手指信息与标准音手指信息进行比对，判断乐器学习者练习演奏乐曲时的手指信息是否正确。

在本发明的一个实施例中，所述演奏数据还包括乐器练习者的级别；

音频比对子模块用于将音频信号与标准音音频信息进行比对；如果比对误差小于允许误差，则判定乐器学习者练习演奏乐曲的音高、 节奏、音量正确，其中，乐器练习者的级别越高，允许误差越小。

根据本发明的另一方面，提供一种辅助乐器演奏练习的系统，包括音频信号采集装置、表面肌电信号采集装置、如上述任一实施例所述的终端设备以及如上述任一实施例所述的服务器，其中：

音频信号采集装置，用于获取乐器练习者演奏时产生的音频信号，并将所述音频信号发送给终端设备；

表面肌电信号采集装置，用于获取乐器练习者演奏时产生的表面肌电信号，并将所述表面肌电信号发送给终端设备。

在本发明的一个实施例中，音频信号采集装置包括声音传感器和音频信号处理模块，其中：

声音传感器，用于拾取乐器练习者演奏时乐器发出的声音，并将所述声音信号转换为电信号，并将所述电信号输入到音频信号处理模块；

音频信号处理模块，用于对声音传感器输入的电信号进行处理，并将处理后的音频信号发送给终端设备。

在本发明的一个实施例中，表面肌电信号采集装置包括表面肌电传感器和表面肌电信号处理模块，其中：

表面肌电传感器，用于拾取乐器练习者演奏时练习者的表面肌电信号，并将所述表面肌电信号输入到表面肌电信号处理模块；

表面肌电信号处理模块，用于对表面肌电传感器输入的电信号进行处理，并将处理后的表面肌电信号发送给终端设备。

本发明可以利用乐器演奏时发出的声音和演奏者手指运动而产生的表面肌电信号，由此可以在不影响演奏时手指对乐器的操作的前提下，辅助进行乐器演奏练习；使乐器学习者即便是在家里，也可以独自、方便、灵活地进行演奏练习，并对学习者的练习效果进行评判。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将 对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明辅助乐器演奏练习的系统一个实施例的示意图。

图2为本发明辅助乐器演奏练习的系统另一实施例的示意图。

图3为本发明终端设备一个实施例的示意图。

图4为本发明一个实施例中信号获取模块的示意图。

图5为本发明终端设备另一实施例的示意图。

图6为本发明服务器一个实施例的示意图。

图7为本发明一个实施例中结果确定模块的示意图。

图8为本发明一个实施例中指标判定单元的示意图。

图9为本发明辅助乐器演奏练习的方法一个实施例的示意图。

图10为本发明辅助乐器演奏练习的方法另一实施例的示意图。

图11为本发明一个实施例中服务器对乐曲标准音进行分析、处理的示意图。

图12为本发明一个实施例中服务器对乐器学习者的音频信号数据、手部表面肌电信号数据进行分析、处理的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸 并不是按照实际的比例关系绘制的。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1为本发明辅助乐器演奏练习的系统一个实施例的示意图。如图1所示，所述系统包括音频信号采集装置100、表面肌电信号采集装置200、终端设备300以及服务器400，其中：

音频信号采集装置100，用于获取乐器练习者演奏时产生的音频信号，并将所述音频信号发送给终端设备300。

表面肌电信号采集装置200，用于获取乐器练习者演奏时练习者手指运动而产生的表面肌电信号，并将所述表面肌电信号发送给终端设备300。

终端设备300，用于接收音频信号采集装置100和表面肌电信号采集装置200发送的音频信号和表面肌电信号；将所述音频信号和表面肌电信号发送给服务器；接收服务器发送的评判结果、综合分数、是否满意等信息，并显示接受的这些信息。

在本发明的一个实施例中，终端设备300可以为智能手机、平板电脑等移动智能终端，或笔记本、台式机等智能终端。

服务器400，用于存储乐器演奏专家演奏的乐曲标准音；对乐曲标准音进行预处理、时频分析，获得相关信息，并存储相关信息；接收终端设备300发送的数据(音频信号和表面肌电信号数据)；对该数据进行预处理、时频分析，并与乐曲标准音的相关信息进行比对，获得评判结果，计算综合分数，判断是否满意；将评判结果、综合分 数、是否满意等信息发送给终端设备300。

在本发明的一个实施例中，服务器400可以设置在云端，即服务器400可以为云端服务器。

在本发明的一个实施例中，音频信号采集装置100与终端设备300之间可以通过蓝牙、wifi等无线网络进行数据通信。

在本发明的一个实施例中，表面肌电信号采集装置200与终端设备300之间可以通过蓝牙、wifi等无线网络进行数据通信。

在本发明的一个实施例中，服务器400与终端设备300之间可以通过wifi等无线网络或者3g、4g等蜂窝移动通信网络进行数据通信。

基于本发明上述实施例提供的辅助乐器演奏练习的系统，用音频信号与表面肌电信号相结合的方式，而不是仅仅采用音频信号，评判乐器学习者的练习效果。本发明上述实施例可以根据音频信号判断乐器学习者练习演奏乐曲的音高、节奏、音量是否正确；并根据音频信号与表面肌电信号的对应关系，判断乐器学习者练习演奏乐曲时是否用正确的手指按键(孔)。

本发明上述实施例不需要在乐器上安装压电传感器，利用本发明的系统，乐器学习者使用通常的乐器，就可以独自、方便、灵活地进行演奏练习，自主解决乐曲演奏练习中的大部分问题。在老师面对面指导时，可以主要针对难点进行辅导，提高学习效率。

本发明上述实施例的系统可以用于小学、中学、大学(非音乐专业)学生练习乐器的演奏，也可以用于少年宫、青少年活动中心等的学员，以及业余爱好者练习乐器的演奏。

本发明上述实施例的系统，可以用于笙、笛子、唢呐等需要手指进行精细配合、控制的乐器的演奏练习。

图2为本发明辅助乐器演奏练习的系统另一实施例的示意图。与图1实施例相比，图2所示实施例中，音频信号采集装置100具体可以包括声音传感器110和音频信号处理模块120，其中：

声音传感器110，用于拾取乐器练习者演奏时乐器发出的声音，并将所述声音信号转换为电信号，并将所述电信号输入到音频信号处 理模块120。

在本发明的一个实施例中，声音传感器110可以是麦克风。

在本发明的一个实施例中，麦克风可以采用电动式麦克风、电容式麦克风等，用于拾取笙等乐器演奏时发出的声音(拾音)，并将声音信号转换为电信号，通过有线或无线(fm频段、vhf频段、uhf频段)方式将电信号输入到音频信号处理模块120。

音频信号处理模块120，用于对声音传感器110输入的电信号进行放大、滤除可能引起混叠噪声的频率、模数(a/d)转换、采样保持、压缩数据、存储数据等数据处理，并将处理后的音频信号发送给终端设备300。

综合考虑声音的保真性、携带的方便性、实现的容易性、成本的经济性等方面的因素，本发明可以将音频信号处理模块120的功能集中在一个设备(装置)上实现；也可以利用麦克风前置功率放大器(话筒放大器)、带声卡的电脑等组合实现；或者如果终端设备300(例如，智能手机、平板电脑等)具有较好的录音效果，也可以利用终端设备300实现音频信号处理模块120和声音传感器110的功能。

在本发明的一个实施例中，音频信号处理模块120通过无线网络(例如，蓝牙、wifi等)接口与终端设备300进行通信。

在图2所示实施例中，表面肌电信号采集装置200具体可以包括表面肌电传感器210和表面肌电信号处理模块220，其中：

表面肌电传感器210，用于拾取乐器练习者演奏时练习者手指运动而产生的表面肌电信号，并将所述表面肌电信号输入到表面肌电信号处理模块220。

表面肌电信号处理模块220，用于对表面肌电传感器210输入的电信号进行处理，并将处理后的表面肌电信号发送给终端设备300。

在本发明的一个具体示例中，表面肌电传感器210具体可以为电极，表面肌电传感器210可以做成露出手指的手套形状，在手套内侧，与手部肌群对应的位置布置电极(例如，镀银铜丝电极、高纯度银丝电极、凝胶电极等)。这些手部肌群包括：鱼际肌群、小鱼际肌群、中间肌群， 其中：鱼际肌群包括：拇短展肌、拇短屈肌、拇对掌肌、拇收肌。小鱼际肌群包括：小指展肌、小指短屈肌、小指对掌肌。中间肌群包括：蚓状肌、骨间掌侧肌、骨间背侧肌。

诸如笙等乐器的学习者在进行演奏练习时，双手佩戴露出手指的手套，手套内侧的电极与相应位置的手部肌腹良好接触，而露出的手指可以灵活地对笙进行操作。

手部肌群处的电极采集控制10个手指运动的相应肌腹伸缩产生的电信号，将10路电信号分别输入10个表面肌电信号处理单元。

每一个表面肌电信号处理单元处理1路电信号，对相应电极输入的电信号进行高阻抗匹配、弱信号放大、滤除伪运动轨迹引起的噪声干扰(例如,通频带为10hz～500hz)、模数(a/d)转换、采样保持、压缩数据、存储数据等数据处理。

综合考虑信号的保真性、佩戴的方便性、实现的容易性等方面的因素，可以将上述表面肌电信号处理单元的功能集中在一个设备(装置)上实现，也可以分布在两个设备(装置)上实现，例如，一个设备(装置)实现高阻抗匹配、弱信号放大、滤除伪运动轨迹引起的噪声干扰等功能；另一个设备(装置)实现滤波、放大、模数(a/d)转换、采样保持、压缩数据、存储数据等功能，这两个设备(装置)之间可以通过柔性扁平电缆相连接。

十个表面肌电信号处理单元组成一个表面肌电信号处理模块220，通过统一的无线网络(例如，蓝牙、wifi等)接口与终端设备300进行通信。

本发明上述实施例根据控制手指运动的肌腹并不在手指上这一特点，利用表面肌电传感器检测控制手指运动的肌腹伸缩产生的电信号，并以此判断手指的运动，而佩戴于相应肌腹处的表面肌电传感器并不会影响演奏时手指对乐器的操作，由此使乐器学习者即便是在家里，也可以独自、方便、灵活地进行演奏练习，并对学习者的练习效果进行评判。

下面通过具体实施例对图1或图2实施例中所述的终端设备300 和服务器400的结构和功能进行进一步介绍。

图3为本发明终端设备一个实施例的示意图。如图3所示，图1或图2实施例中所述的终端设备300可以包括信号获取模块310、数据上报模块320、结果接收模块330和显示模块340，其中：

信号获取模块310，用于获取乐器练习者演奏时产生的音频信号和表面肌电信号。

在本发明的一个实施例中，信号获取模块310具体用于接收音频信号采集装置100发送的乐器练习者演奏时产生的音频信号、以及表面肌电信号采集装置200发送的乐器练习者演奏时练习者手指运动而产生的表面肌电信号。

数据上报模块320，用于将演奏数据上报给服务器400，以便服务器400根据演奏数据确定演奏评价结果，其中演奏数据包括音频信号和表面肌电信号。

结果接收模块330，用于接收服务器400返回的演奏评价结果。

显示模块340，用于显示所述演奏评价结果，以指导乐器练习者练习演奏乐曲。

图4为本发明一个实施例中信号获取模块的示意图。如图4所示，图3实施例中的信号获取模块310可以包括指令下发单元311和信号接收单元312，其中：

指令下发单元311，用于向音频信号采集装置100和表面肌电信号采集装置200发送同步工作指令，并指示乐器练习者开始演奏，以便音频信号采集装置100和表面肌电信号采集装置200同步采集乐器练习者演奏时产生的音频信号和表面肌电信号。

信号接收单元312，用于接收音频信号采集装置100发送的音频信号、以及表面肌电信号采集装置200发送的表面肌电信号。

指令下发单元311具体可以用于分别向图2所示的音频信号处理模块120和表面肌电信号处理模块220发送同步工作指令或暂停工作指令。音频信号处理模块120和表面肌电信号处理模块220具体用于在接收到指令下发单元311下发的同步工作指令后，同时开始进行数 据处理工作；并在接收到指令下发单元311下发的暂停工作指令后，同时暂停数据处理工作。

由此本发明上述实施例可以实现对音频信号与表面肌电信号的同步采集，从而可以方便服务器根据音频信号与表面肌电信号的对应关系，判断乐器学习者练习演奏乐曲时是否用正确的手指按键(孔)。

图5为本发明终端设备另一实施例的示意图。在图5所示实施例中，演奏数据还可以包括乐器练习者选择的练习曲目。与图3所示实施例相比，在图5所示实施例中，终端设备300还可以包括曲目获取模块350，其中：

曲目获取模块350，用于在信号获取模块310获取乐器练习者演奏时产生的音频信号和表面肌电信号之前，获取乐器练习者选择的练习曲目。由此，可以方便服务器根据练习曲目选择对应的标准音，将乐器练习者演奏时产生的数据与标准音的相应信息进行比对，确定该次练习的演奏评价结果，以指导乐器练习者练习演奏乐曲。

在本发明的一个实施例中，如图5所示，图1-图3任一实施例中的终端设备300还可以包括级别获取模块360，其中：

级别获取模块360，用于在数据上报模块320将演奏数据上报给服务器400之前，获取乐器练习者的级别。

在本发明的一个实施例中，数据上报模块320上报的演奏数据还可以包括乐器练习者的级别。

乐器学习者的级别可以由乐器学习者手动设置；也可以根据一定条件，由服务器自动升高、降低每一位学生用户的级别。

学习者的级别决定了服务器判断乐器学习者练习演奏乐曲的音高、节奏、音量是否正确的允许误差，学习者的级别越高，对应的允许误差越小；反之，则允许误差越大。

本发明上述实施例可以使得服务器结合学习者的级别去决定允许误差的大小，进而决定演奏评价结果，从而进一步提高了演奏评价结果的科学性和针对性。

图6为本发明服务器一个实施例的示意图。如图6所示，图1或 图2实施例中所述的服务器400可以包括数据接收模块410、结果确定模块420和结果返回模块430，其中：

数据接收模块410，用于接收终端设备300上报的演奏数据，其中演奏数据包括音频信号和表面肌电信号。

结果确定模块420，用于根据所述演奏数据确定演奏评价结果。

结果返回模块430，用于将演奏评价结果返回给终端设备300，以便终端设备300显示所述演奏评价结果，以指导乐器练习者练习演奏乐曲。

图7为本发明一个实施例中结果确定模块的示意图。如图7所示，图6实施例中的结果确定模块420包括指标判定单元421、综合分数确定单元422和评价结果确定单元423，其中：

指标判定单元421，用于根据音频信号、音频信号与表面肌电信号的对应关系判断乐器学习者练习演奏乐曲的音高、节奏、音量、手指信息等指标是否正确。

综合分数确定单元422，用于根据音高、节奏、音量、手指信息等指标的评判结果，获取综合分数。

评价结果确定单元423，用于将所述评判结果和综合分数作为演奏评价结果。

图8为本发明一个实施例中指标判定单元的示意图。如图8所示，图7实施例中的指标判定单元421可以包括标准信息确定子模块4211、音频比对子模块4212、手指信息确定子模块4213和手指信息比对子模块4214，其中：

标准信息确定子模块4211，用于根据乐器练习者选择的练习曲目获取所述练习曲目对应的标准音信息，其中所述标准音信息包括标准音音频信息和标准音手指信息。

音频比对子模块4212，用于将音频信号与标准音音频信息进行比对，判断乐器学习者练习演奏乐曲的音高、节奏、音量等音频指标是否正确。

手指信息确定子模块4213，用于根据音频信号与表面肌电信号的 对应关系确定乐器练习者演奏乐曲时的手指信息。

手指信息比对子模块4214，用于将乐器练习者的手指信息与标准音手指信息进行比对，判断乐器学习者练习演奏乐曲时的手指信息是否正确。

在本发明的一个实施例中，数据接收模块410接收的终端设备300上报的演奏数据还可以包括乐器练习者选择的练习曲目。

基于本发明上述实施例提供的辅助乐器演奏练习的服务器，用音频信号与表面肌电信号相结合的方式，而不是仅仅采用音频信号，评判乐器学习者的练习效果。本发明上述实施例可以根据音频信号判断乐器学习者练习演奏乐曲的音高、节奏、音量是否正确；并根据音频信号与表面肌电信号的对应关系，判断乐器学习者练习演奏乐曲时是否用正确的手指按键(孔)。

本发明上述实施例可以方便服务器根据练习曲目选择对应的标准音，将乐器练习者演奏时产生的数据与标准音的相应信息进行比对，确定该次练习的演奏评价结果，以指导乐器练习者练习演奏乐曲。

在本发明的一个实施例中，音频比对子模块4212具体可以用于将音频信号与标准音音频信息进行比对；如果比对误差小于允许误差，则判定乐器学习者练习演奏乐曲的音高、节奏、音量正确，其中，乐器练习者的级别越高，对应的允许误差越小；反之，则允许误差越大。

在本发明的上述实施例中，数据接收模块410接收的终端设备300上报的演奏数据还可以包括乐器练习者的级别。

本发明上述实施例的服务器可以结合学习者的级别去决定允许误差的大小，进而决定演奏评价结果，从而进一步提高了演奏评价结果的科学性和针对性。

图9为本发明辅助乐器演奏练习的方法一个实施例的示意图。优选地，本实施例可以由本发明图3-图5中任一实施例所述的终端设备执行。如图9所示，所述方法包括：

步骤101，获取乐器练习者演奏时产生的音频信号和表面肌电信号。

在本发明的一个实施例中，信号获取模块310具体用于接收音频信号采集装置100发送的乐器练习者演奏时产生的音频信号、以及表面肌电信号采集装置200发送的乐器练习者演奏时练习者手指运动而产生的表面肌电信号。

步骤102，将演奏数据上报给服务器400，以便服务器400根据演奏数据确定演奏评价结果，其中演奏数据包括音频信号和表面肌电信号。

在本发明的一个实施例中，所述演奏数据还包括乐器练习者选择的练习曲目和/或乐器练习者的级别。

步骤103，接收服务器400返回的评判结果、综合分数、是否满意等演奏评价结果。其中，评判结果包括音高、节奏、音量是否正确，是否使用正确的手指按键(孔)等评判结果。

步骤104，显示所述演奏评价结果，以指导乐器练习者练习演奏乐曲。

基于本发明上述实施例提供的辅助乐器演奏练习的方法，采用音频信号与表面肌电信号相结合的方式，而不是仅仅采用音频信号，评判乐器学习者的练习效果。由此，乐器学习者使用通常的乐器，就可以独自、方便、灵活地进行演奏练习，自主解决乐曲演奏练习中的大部分问题。在老师面对面指导时，可以主要针对难点进行辅导，提高学习效率。

本发明上述实施例的方法，可以适用于笙、笛子、唢呐等需要手指进行精细配合、控制的乐器的演奏练习。

下面通过具体实施例，以乐器笙为例，对本发明辅助乐器演奏练习的方法进行介绍。

图10为本发明辅助乐器演奏练习的方法另一实施例的示意图。本实施例可以由本发明辅助乐器演奏练习的系统执行。如图10所示，所述方法可以包括：

步骤201，学生用户在终端设备上运行app登录服务器后，可以选择学习者的级别，笙学习者可以分为初级、中级、高级等几个级别。

在笙学习者演奏练习的过程中，根据每一位学生用户累积的综合分数、超过某一分数(例如，90分)的次数占比、低于某一分数(例如，80分)的次数占比等条件，服务器会自动升高、降低每一位学生用户的学习者的级别。

服务器存储与每一位学生用户对应的学习者的级别。在将笙学习者的音频信号与乐曲标准音(笙演奏专家演奏的乐曲标准音)的相应有音片段的相关信息进行比对时，服务器会根据学习者的级别，选择适当的允许误差，学习者的级别越高，对应的允许误差越小；反之，则允许误差越大。

步骤202，笙学习者选择练习曲目。

步骤203，终端设备显示倒数的3、2、1三个预备拍后，分别向音频信号处理模块、表面肌电信号处理模块发送同步工作指令。

步骤204，笙学习者开始演奏练习(步骤2041)；音频信号处理模块、表面肌电信号处理模块同时开始工作，各自记录相应的数据(步骤2042、2043)。

步骤205，判断终端设备是否接收到笙学习者发送的暂停指令，其中，笙学习者在演奏练习的过程中可以随时暂停练习。如果接收到笙学习者发送的暂停指令，则执行步骤206；否则，如果未接收到笙学习者发送的暂停指令，则执行步骤204，即，笙学习者继续进行演奏练习，且音频信号处理模块、表面肌电信号处理模块继续记录各自相应的数据。

步骤206，笙学习者选择暂停后，终端设备分别同时向音频信号处理模块、表面肌电信号处理模块发送暂停工作指令。

步骤207，收到暂停工作指令后，音频信号处理模块、表面肌电信号处理模块暂停记录数据，分别将各自本次记录的数据传送给终端设备。

步骤208，终端设备接收完数据后，将学习者的级别、音频信号数据、手部表面肌电信号数据、本段或下一段乐曲的指示信息发送给服务器。

步骤209，服务器对笙学习者的音频信号数据、手部表面肌电信号数据进行分析、处理，获得评判结果、综合分数，并将评判结果、综合分数发送给终端设备。

步骤210，终端设备显示评判结果、综合分数。

步骤211，根据终端设备上显示的评判结果、综合分数，由笙学习者自己判断是否满意。如果笙学习者对评判结果、综合分数满意，则执行步骤212；否则，如果笙学习者对评判结果、综合分数不满意，则执行步骤213。

在本发明的另一实施例中，步骤209之后，所述方法也可以包括：根据评判结果、综合分数及一定规则，由服务器判断是否满意后，再将评判结果、综合分数、是否满意等信息发送给终端设备显示。

步骤212，判断本曲目是否结束。如果本曲目结束，则执行步骤218；否则，如果本曲目未结束，则执行步骤203，即，在本曲目未结束时，笙学习者可以继续练习下一段乐曲。

步骤213，由笙学习者选择是否要听本段乐曲的标准音。如果笙学习者选择不听本段乐曲的标准音，则执行步骤203，即笙学习者可以重新练习本段乐曲；如果笙学习者选择要听本段乐曲的标准音，则执行步骤214。

步骤214，其中步骤214可以包括步骤2141，终端设备从服务器调取本段乐曲的标准音；步骤2142，在终端设备上，以流媒体的形式播放，或者下载到终端设备上以后，再播放。

步骤215，由笙学习者判断是否重听本段乐曲的标准音。在逻辑的控制下，终端设备对标准音的播放可以反复进行，供笙学习者学习。如果笙学习者决定重听本段乐曲的标准音，则重复执行步骤2142；如果笙学习者决定不重听本段乐曲的标准音，则执行步骤216。

在本发明的一个实施例中，服务器中存储有诸如笙等乐器的演奏专家演奏的乐曲标准音。

步骤216，笙学习者可以选择是否要重新练习本段乐曲。如果笙学习者要重新练习本段乐曲，则执行步骤203；否则，如果笙学习者 不重新练习本段乐曲，则执行步骤217。

步骤217，笙学习者可以选择是否要继续练习下一段乐曲。如果笙学习者要继续练习下一段乐曲，则执行步骤203；否则，如果笙学习者不继续练习下一段乐曲，则执行步骤218。

步骤218，笙学习者可以选择是否要继续练习。如果笙学习者要继续练习，则执行步骤202，即笙学习者选择练习曲目，笙学习者可以选择与刚练习过的曲目相同的曲目，也可以选择另一曲目；如果笙学习者不继续练习，则结束。

在本发明的上述实施例中，服务器存储有与每一位学生用户(乐器学习者)对应的每一次演奏练习的音频信号数据、手部表面肌电信号数据、评判结果、综合分数、是否满意等数据。

在本发明的一个实施例中，老师用户登录服务器(可以利用终端设备的app登录，也可以在电脑上通过浏览器登录)后，可以调取、预听自己指导的笙学习者演奏练习的录音。在面对面指导之前，对自己学生演奏练习中存在的主要问题做到心中有数，再进行有针对性的辅导，从而节省了辅导时间。

在本发明的另一实施例中，笙学习者可以组成学习班组，同一班组的学生之间可以pk演奏练习的成绩，通过闯关、进阶、奖励等活动，从而增加了练习的互动性、趣味性，提高了学生的积极性。

在本发明的一个实施例中，在服务器正式使用之前，所述方法还包括：服务器事先对乐曲标准音进行分析、处理，并存储相关信息。

在本发明的一个实施例中，在图10实施例的步骤208之前，所述方法还包括：服务器事先对乐曲标准音进行分析、处理，并存储相关信息。

图11为本发明一个实施例中服务器对乐曲标准音进行分析、处理的示意图。优选地，本实施例可以由本发明图6-图8中任一实施例所述的服务器执行。如图11所示，所述方法可以包括：

步骤301，服务器读取服务器中存储的乐曲标准音。

步骤302，服务器对乐曲标准音进行预处理。

在本发明的一个实施例中，步骤302可以包括：将乐曲标准音分成等时长且时长很短的帧；对乐曲标准音进行有音无音判断。

步骤303，服务器对有音片段进行时频分析，获得有音片段的频谱信息、自相关包络信息、音量信息(例如，可以采用对数能量)等音频信息。

步骤304，服务器存储与每一个有音片段对应的频谱信息、自相关包络信息、音量信息等音频信息。

步骤305，标记并在服务器中存储与每一个有音片段对应的手指信息(即每一个有音片段与哪一个或几个手指对应)。

图12为本发明一个实施例中服务器对乐器学习者的音频信号数据、手部表面肌电信号数据进行分析、处理的示意图。如图12所示，所述方法可以包括：

步骤401，服务器接收终端设备发送的学习者的级别、乐器练习者选择的练习曲目、音频信号数据、手部表面肌电信号数据等演奏数据。

步骤402，服务器接收完演奏数据后，分别对音频信号数据、手部表面肌电信号数据进行预处理。

在本发明的一个实施例中，步骤402可以包括步骤4021和步骤4022，其中：

步骤4021，服务器对音频信号数据进行预处理。该预处理可以包括：音频信号数据解压缩；将音频信号数据分成等时长且时长很短的帧；对音频信号数据进行有音无音判断。

步骤4022又可以包括步骤4022a和步骤4022b，其中：

步骤4022a，服务器对手部表面肌电信号数据进行预处理，该预处理可以包括：手部表面肌电信号数据解压缩；将手部表面肌电信号数据分成等时长且时长很短的帧。

步骤4022b，利用预处理后的手部表面肌电信号数据，服务器对手指运动进行判断，获得手指运动信息。

步骤403，服务器对有音片段进行时频分析，获得有音片段的频 谱信息、自相关包络信息、音量信息(例如，可以采用对数能量)等音频信息。

步骤404，服务器将上述音频信息分别与乐曲标准音的相应有音片段的频谱信息、自相关包络信息、音量信息等音频信息进行比对。

步骤405，服务器对音高、节奏、音量等音频指标是否正确进行评判。

在本发明的一个实施例中，步骤405可以包括，通过频谱信息的比对，判断音高是否正确；通过自相关包络信息的比对，判断节奏是否正确；通过音量信息的比对，判断音量是否正确。当比对误差小于允许误差时，即认为正确。允许误差随着学习者的级别的不同而不同，学习者的级别越高，对应的允许误差越小；反之，则允许误差越大。

步骤406，根据时间同步原则，服务器将手指运动信息与有音片段关联，确定与每一个有音片段对应的手指信息(即每一个有音片段与哪一个或几个手指对应)。

步骤407，针对每一个有音片段，服务器将上述手指信息与乐曲标准音的相应手指信息进行比对。

步骤408，服务器对乐器练习者是否用正确的手指按键(孔)进行评判。

步骤409，在上述所有评判结果的基础上，根据一定规则，服务器计算出综合分数。

步骤410，服务器将评判结果、综合分数发送给终端设备；或者，根据评判结果、综合分数及一定规则，服务器判断是否满意后，再将评判结果、综合分数、是否满意等信息发送给终端设备。

本发明上述实施例可以利用表面肌电传感器检测控制手指运动的肌腹伸缩产生的电信号，并以此判断手指的运动，而佩戴于相应肌腹处的表面肌电传感器并不会影响演奏时手指对乐器的操作。因此本发明采用音频信号与表面肌电信号相结合的方式来评判乐器学习者的练习效果。

本发明可以根据音频信号判断乐器学习者练习演奏乐曲的音高、 节奏、音量是否正确；而根据音频信号与表面肌电信号的对应关系，判断乐器学习者练习演奏乐曲时是否用正确的手指按键(孔)。

因此，本发明上述实施例不需要在乐器上安装压电传感器，就可以使得乐器学习者使用通常的乐器，独自、方便、灵活地进行演奏练习，自主解决乐曲演奏练习中的大部分问题。在老师面对面指导时，可以主要针对难点进行辅导，提高学习效率。

本发明上述实施例可以用于小学、中学、大学(非音乐专业)学生练习乐器的演奏，也可以用于少年宫、青少年活动中心等的学员，以及业余爱好者练习乐器的演奏。

在上面所描述的终端设备300、服务器400、音频信号处理模块120、表面肌电信号处理模块220等功能单元可以实现为用于执行本申请所描述功能的通用处理器、可编程逻辑控制器(plc)、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。

至此，已经详细描述了本发明。为了避免遮蔽本发明的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。