一种AR辅助乐器练习方法、系统以及一种智能设备与流程

本发明涉及乐器技术领域，特别是涉及钢琴技术领域，具体为一种ar辅助乐器练习方法、系统以及一种智能设备。

背景技术

钢琴是一种键盘乐器，用键拉动琴槌以敲打琴弦。钢琴通常包括踏板、调音钉、琴槌、制音器、击弦机、音板和琴键构成。其中，踏板是指钢琴下面用足踩的踏板而言。它是钢琴中除键盘外最重要的配件。制音器是与弦紧贴着，用来阻止弦的震动。例如当钢琴上的琴键被按下时，钢琴内部的琴槌会打在一条条用铜制造的琴弦上，借着琴弦的震动发出声音。击弦机连接着琴键和琴槌，是整部钢琴的灵魂和最重要的配件。音板位于钢琴内部的一块大木板，高档钢琴用枫树实木板拼成，现代低端普及琴有用密度板。它连着调音钉，紧贴着琴弦，当琴弦振动，音板会使声波高效率耦合到空气中，即将声音透过响板反射以及扩大出来。整个琴键都是由黑键和白键组合而成，通常包括黑键36个，白键52个，共88个。

随着技术的不断发展，现代钢琴不断与新技术相结合，对如何利用新技术帮助钢琴的演奏和指导钢琴的教学方面不断提出新的要求。乐器的学习需要大量的重复性练习，如何更好的为乐器练习者提供教学辅助用具是本领域技术人员亟待解决的技术问题。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种ar辅助乐器练习方法、系统以及一种智能设备，用于为乐器练习者提供教学辅助。

为实现上述目的及其他相关目的，本发明提供一种ar辅助乐器练习方法，应用于一智能设备中，所述ar辅助乐器练习方法包括：捕捉弹奏智能乐器的用户弹奏动作实时图像；从所述智能乐器实时获取用户当前按键信息和按键正确指法信息；实时显示所述用户弹奏动作实时图像并根据所述用户弹奏动作实时图像、所述用户当前按键信息和按键正确指法信息确定用户当前指法是否正确，在用户当前弹奏指法错误时进行提示并显示对应的正确弹奏指法。

于本发明的一实施例中，所述ar辅助乐器练习方法还包括：从所述智能乐器实时获取每一个弹奏指法的弹奏注意事项；根据所述弹奏注意事项显示当前弹奏指法的下一弹奏指法的弹奏注意事项。

于本发明的一实施例中，所述ar辅助乐器练习方法还包括：在用户当前弹奏指法错误时，通过虚拟乐器键盘图片，弹奏指法手型以及文字进行提示并显示对应的错误。

于本发明的一实施例中，通过虚拟乐器键盘图片，弹奏指法手型以及文字进行提示并显示对应的正确弹奏指法。

本发明的实施例还提供一种ar辅助乐器练习系统，应用于一智能设备中，所述ar辅助乐器练习系统包括：图像捕捉模块，用于捕捉弹奏智能乐器的用户弹奏动作实时图像；信息接收模块，用于从所述智能乐器实时获取用户当前按键信息和按键正确指法信息；教学模块，用于实时显示所述用户弹奏动作实时图像并根据所述用户弹奏动作实时图像、所述用户当前按键信息和按键正确指法信息确定用户当前指法是否正确，在用户当前弹奏指法错误时进行提示并显示对应的正确弹奏指法。

于本发明的一实施例中，所述信息接收模块还用于从所述智能乐器实时获取每一个弹奏指法的弹奏注意事项；所述教学模块还用于根据所述弹奏注意事项显示当前弹奏指法的下一弹奏指法的弹奏注意事项。

于本发明的一实施例中，在用户当前弹奏指法错误时，所述教学模块还用于通过虚拟乐器键盘图片，弹奏指法手型以及文字进行提示并显示对应的错误。

于本发明的一实施例中，所述教学模块通过虚拟乐器键盘图片，弹奏指法手型以及文字进行提示并显示对应的正确弹奏指法。

本发明的实施例还提供一种存储介质，存储有程序指令，所述程序指令被执行时实现如上所述的ar辅助乐器练习方法。

本发明的实施例还提供一种智能设备，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现如上所述的ar辅助乐器练习方法。

如上所述，本发明的ar辅助乐器练习方法、系统以及一种智能设备，具有以下有益技术效果：

本发明中，用户通过智能设备进行辅助乐器练习，智能设备可以判定用户手型，弹奏指法是否正确，若弹错，提示用户错在哪里，下一步应该怎么弹，为练习者提供有效的教学辅助手段。

附图说明

图1显示为本发明的ar辅助乐器练习方法的流程示意图。

图2显示为本发明的ar辅助乐器练习方法中进行提示的流程示意图。

图3显示为本发明的ar辅助乐器练习系统的原理框图。

元件标号说明

100ar辅助乐器练习系统

110图像捕捉模块

120信息接收模块

130教学模块

s110～s170步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

本实施例的目的在于提供一种ar辅助乐器练习方法、系统以及一种智能设备，用于为乐器练习者提供教学辅助。以下将详细阐述本实施例的一种ar辅助乐器练习方法、系统以及一种智能设备的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的一种ar辅助乐器练习方法、系统以及一种智能设备。

如图1所示，本实施例提供一种ar辅助乐器练习方法，所述ar辅助乐器练习方法应用于一智能设备中，所述ar辅助乐器练习方法包括以下步骤：

步骤s110，捕捉弹奏智能乐器的用户弹奏动作实时图像；

步骤s120，从所述智能乐器实时获取用户当前按键信息和按键正确指法信息；

步骤s130，实时显示所述用户弹奏动作实时图像；

步骤s140，根据所述用户弹奏动作实时图像、所述用户当前按键信息和按键正确指法信息确定用户当前指法是否正确，

步骤s150，在用户当前弹奏指法错误时进行提示并显示对应的正确弹奏指法。

以下对本实施例ar辅助乐器练习方法的步骤s110至步骤s150进行详细说明。

步骤s110，捕捉弹奏智能乐器的用户弹奏动作实时图像。

其中，所述智能乐器包括不限于智能钢琴、智能小提琴、大提琴、智能吉他等。

其中，所述智能设备为但不限于智能眼镜、智能手机或pad等支持ar的设备，所述智能设备中内置有一摄像头，通过所述智能设备中的摄像头捕捉弹奏智能乐器的用户弹奏动作实时图像。

步骤s120，从所述智能乐器实时获取用户当前按键信息和按键正确指法信息。

于本实施例中，于所述智能乐器中预存曲谱信息，曲谱对应的按键正确指法信息，所述智能乐器通过键盘的传感器或者其它按键信息采集设备实时采集用户当前按键信息。在用户打开所述智能乐器上的曲谱时，将曲谱对应的按键正确指法信息发送至智能设备，在用户进行弹奏，按下琴键时采集的用户当前按键信息发送至所述智能设备。

步骤s130，实时显示所述用户弹奏动作实时图像。通过智能设备可以实时看到用户弹奏动作实时图像。

步骤s140，根据所述用户弹奏动作实时图像、所述用户当前按键信息和按键正确指法信息确定用户当前指法是否正确。

其中，从所述用户弹奏动作实时图像中提取按键指法信息，结合所述用户当前按键信息，匹配当前按键的按键正确指法信息，判断用户的当前按键指法是否正确。

步骤s150，在用户当前弹奏指法错误时进行提示并显示对应的正确弹奏指法。

于本实施例中，在用户当前弹奏指法错误时，通过虚拟乐器键盘图片，弹奏指法手型以及文字进行提示并显示对应的错误。即在用户当前弹奏指法错误时，可以在智能设备里面显示对应的错误提示，并显示正确的弹奏指法。

其中，于本实施例中，通过虚拟乐器键盘图片，弹奏指法手型以及文字进行提示并显示对应的正确弹奏指法。

于本实施例中，如图2所示，所述ar辅助乐器练习方法还包括：

步骤s160，在从所述智能乐器实时获取每一个弹奏指法的弹奏注意事项；

步骤s170，在根据所述弹奏注意事项显示当前弹奏指法的下一弹奏指法的弹奏注意事项。

于本实施例中，无论用户当前弹奏指法是否正确，都可以显示当前弹奏指法的下一弹奏指法的弹奏注意事项，也可以仅在用户当前弹奏指法错误时，显示当前弹奏指法的下一弹奏指法的弹奏注意事项。这样，用户通过智能设备即可以知道下一步弹奏的注意事项，方便练习者乐器练习。

所以于本实施例中，所示智能设备例如为智能ar眼镜，所述乐器为钢琴时，ar眼镜配合智慧钢琴，可以判断用户是否弹对，手型、指法是否正确，并实时通过图形、手型、文字提示用户弹错在哪里，用户戴着ar眼镜乐器练习，智能设备里可以出现虚拟的图形、手型、文字等提示用户下一步改怎么弹，为练习者提供有效的教学辅助手段。

如图3所示，本发明的实施例还提供一种ar辅助乐器练习系统100，应用于一智能设备中，所述ar辅助乐器练习系统100包括：图像捕捉模块110，信息接收模块120以及教学模块130。

于本实施例中，所述图像捕捉模块110用于捕捉弹奏智能乐器的用户弹奏动作实时图像。

其中，其中，所述智能乐器包括不限于智能钢琴、智能小提琴、大提琴、智能吉他等，所述智能设备为但不限于智能眼镜、智能手机或pad等支持ar的设备，所述智能设备中内置有一摄像头，所述图像捕捉模块110通过所述智能设备中的摄像头捕捉弹奏智能乐器的用户弹奏动作实时图像。

于本实施例中，所述信息接收模块120用于从所述智能乐器实时获取用户当前按键信息和按键正确指法信息。

于本实施例中，于所述智能乐器中预存曲谱信息，曲谱对应的按键正确指法信息，所述智能乐器通过键盘的传感器或者其它按键信息采集设备实时采集用户当前按键信息。在用户打开所述智能乐器上的曲谱时，将曲谱对应的按键正确指法信息发送至智能设备，在用户进行弹奏，按下琴键时采集的用户当前按键信息发送至所述智能设备。

于本实施例中，所述教学模块130用于实时显示所述用户弹奏动作实时图像并根据所述用户弹奏动作实时图像、所述用户当前按键信息和按键正确指法信息确定用户当前指法是否正确，在用户当前弹奏指法错误时进行提示并显示对应的正确弹奏指法。

其中，从所述用户弹奏动作实时图像中提取按键指法信息，结合所述用户当前按键信息，匹配当前按键的按键正确指法信息，判断用户的当前按键指法是否正确。

于本实施例中，在用户当前弹奏指法错误时，所述教学模块130还用于通过虚拟乐器键盘图片，弹奏指法手型以及文字进行提示并显示对应的错误。即在用户当前弹奏指法错误时，可以在智能设备里面显示对应的错误提示，并显示正确的弹奏指法。

其中，于本实施例中，所述教学模块130通过虚拟乐器键盘图片，弹奏指法手型以及文字进行提示并显示对应的正确弹奏指法。

于本实施例中，所述信息接收模块120还用于从所述智能乐器实时获取每一个弹奏指法的弹奏注意事项；所述教学模块130还用于根据所述弹奏注意事项显示当前弹奏指法的下一弹奏指法的弹奏注意事项。

于本实施例中，无论用户当前弹奏指法是否正确，都可以显示当前弹奏指法的下一弹奏指法的弹奏注意事项，也可以仅在用户当前弹奏指法错误时，显示当前弹奏指法的下一弹奏指法的弹奏注意事项。这样，用户通过智能设备即可以知道下一步弹奏的注意事项，方便练习者乐器练习。

所以于本实施例中，所示智能设备例如为智能ar眼镜，所述乐器为钢琴时，ar眼镜配合智慧钢琴，可以判断用户是否弹对，手型、指法是否正确，并实时通过图形、手型、文字提示用户弹错在哪里，用户戴着ar眼镜乐器练习，智能设备里可以出现虚拟的图形、手型、文字等提示用户下一步改怎么弹，为练习者提供有效的教学辅助手段。

本发明的实施例还提供一种存储介质，所述存储介质例如为存储器，存储器被配置为存储各种类型的数据以支持在设备的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，消息，图片等。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，高速随机存取存储器，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘等。所述存储器存储有程序指令，所述程序指令被执行时实现如上所述的ar辅助乐器练习方法。上述已经对所述的辅助乐器练习方法进行了详细说明，在此不再赘述。

本发明的实施例还提供一种智能设备，所述智能设备为但不限于智能眼镜、智能手机或pad等，所述智能设备包括处理器和存储器，所述存储器存储有程序指令，其特征在于，所述处理器运行程序指令实现如上所述的ar辅助乐器练习方法。

于实际的实现方式中，所述智能设备例如为安装android操作系统或者ios操作系统，或者palmos、symbian(塞班)、或者blackberry(黑莓)os、windowsphone等操作系统的智能设备。

在示例性实施例中，所述智能设备可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器、摄像头或其他电子元件实现，用于执行上述ar辅助乐器练习方法。

综上所述，本发明中，用户通过智能设备进行辅助乐器练习，智能设备可以判定用户手型，弹奏指法是否正确，若弹错，提示用户错在哪里，下一步应该怎么弹，为练习者提供有效的教学辅助手段。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。