专利名称：一种键盘乐器示教系统和示教方法
技术领域：
本发明涉及乐器示教技术，具体涉及一种键盘乐器示教系统和示教方法。
背景技术：
乐器为广大人民大众所喜爱，但是对于新手来说，乐器弹奏培训花费时间长且费用昂贵；对于教师来说，传统的教学模式显得效率低下，因此智能示教系统的开发很有必要。美国专利us 20120064498A1报道了一种基于计算机实现的交互式的乐器示教系统，它由乐器、接口、计算机组成，乐器里面需要嵌入视觉标识器，计算机通过软件接收接口信号的同时给出示教的控制信号，控制乐器里面的视觉标识器，为使用者的演奏提示视觉上的信号提示，以达到示教的功能。但该发明涉及的乐器示教系统需要加入视觉标识器，比如针对吉他，需要在吉他的每一根弦增加相应的视觉标识器，因此为了实现交互式的示教需要对乐器本身进行改造，无法广泛地运用到现有的乐器中。美国专利US2005005761A1报道了一种教授音乐的系统，它实现了乐器弹奏的可视化指示，但是在实现的过程中，指示灯位于乐器附近的地方，如专利的说明书附图的图1所示，指示灯位于乐器按键的上方。由于视觉的指示信号并未准确地显示在乐器的按键上，弹奏过程中需要人为地将信号指示与相应的按键进行对应，增加了弹奏者的学习难度。另夕卜，这样的实现也需要大量的指示灯嵌入到乐器表面，难以广泛地运用到现有的乐器中。
发明内容
本发明的目的在于针对现有技术的不足，提供一种键盘乐器示教系统和示教方法。本发明采用如下的技术方案来实现:
一种键盘乐器示教系统，其特征在于:所述的系统包括信息采集单元，信号处理单元和信息输出单兀。本发明的系统的基本工作原理是信息采集单元采集使用者弹奏乐器时的指法和使用者的操作指令，信号处理单元处理信息采集单元采集到的信息，信息输出单元接收信号处理单元发送的信号，从而输出相应的提示信息。所述的信息采集单元用于采集外界信息，并将采集到的信息以信号方式发送到信号处理单元。所述的外界信息包括音乐信息，人体部位的空间坐标信息、压力信息、声音信肩、O所述的人体部位的空间坐标信息是人体部位的空间坐标。所述的空间坐标是3D的立体坐标(x，y，z)或2D的平面坐标(x，y)的，所述的人体部位是指弹奏键盘乐器的人体器官，包括手指、脚趾等。该信息既可以用于分析指法还可以作为使用者的空间指令；例如，人看到投影装置投影出来的空间界面，系统通过识别人体部位在空间界面的位置，从而获得指令信息；例如，人看到投影装置投影到墙上的界面，界面上有一个按钮，手指点上去，系统识别到手指位于该按钮上，则系统针对该按钮对应的操作做出相应的行为。
所述的采集的压力信息是使用者按键的力度大小。所述的声音信息是使用者的语音指令；例如，人发出声音，告诉系统切换到某工作模式，那么系统识别人的声音，切换到相应的工作模式；
所述的信号处理单元用于接收信息采集单元发送的信号，并且进行处理，将处理后的信号发送到信号输出单元；
所述的信息输出单元用于接收信号处理单元发送的信号，并将信号转换为相应的提示信息。所述的提不信息包括视觉信息，压力信息，声音信息。所述的提示的视觉信息是系统的图像提示信息；所述的系统的图像提示信息包括投影出空间界面和直接投影出指示信息到琴键上。例如，投影出空间界面到墙上，空间界面上显示出指法提示界面，评价界面，报错界面，操作界面等等。例如投影出不同颜色的激光到琴键上，提示指法。所述的提示的声音信息是系统的语音提示信息；所述的系统的语音提示信息包括当前系统的工作状态和对使用者的评价。例如，使用者弹奏乐器的时候，人体辅助装置发出声音，说明当前音量大小，工作模式等工作状态；使用者弹完之后，人体辅助装置发出声音，评价使用者弹奏水平的高低。所述的提示的压力信息是人体辅助装置反馈给人体部位的压力；例如，当使用者按到到错误的按键或者按键与提示指法不一致的时候，对人体部位施加一个作用力，阻碍使用者按键，使用者知道按键有误。所述的键盘乐器是有固定排列顺序的琴键、并且每个琴键有固定音高的乐器。所述的键盘乐器包括钢琴、管风琴、手风琴或电子琴。所述的信息采集单元可以包含以下三种组成方式:
(1)音乐采集装置和图像采集装置；
(2)音乐采集装置和人体辅助装置；
(3)音乐采集装置、图像采集装置和人体辅助装置。所述的信息输出单元可以包含以下二种组成方式:
(1)投影装置；
(2)投影装置和人体辅助装置。所述的音乐采集装置用于采集音乐信息，将采集到的音乐信息转换为信号，并将该信号发送到信号处理单元；
所述的音乐采集装置是能够采集音乐信息，将采集到的音乐信息转换为信号，并将该信号发送到信号处理单元的装置；所述的音乐采集装置具备摄像功能、录音功能、扫描功能，通信功能，包括但不限于台式电脑、笔记本电脑或移动智能终端。具备摄像功能的设备可以是数码摄像机，数码照相机；具有录音功能设备可以是录音笔，麦克风；具有扫描功能的设备可以是扫描仪，扫描枪；具有通信功能的设备可以是无线AP，无线网桥，无线网卡，天线。所述的音乐信息包括但不限于纸质乐谱、电子乐谱等能够被视觉识别的信息，实时音乐、人声、现场音乐会、电视节目录音等能够被听觉识别的信息，MID1、MP3、WAV等能被信号处理单元的标准音频格式文件。所述的图像采集装置用于将人体图像信息转换为信号，并发送到信号处理单元，包括但不限于具有图像采集功能的台式电脑、笔记本电脑或移动智能终端。所述的人体辅助装置根据需要可以采集人体部位的空间坐标信息、压力信息、声音信息并将上述信息转换为信号发送到信号处理单元；还可以接收信号处理单元发送的信号并将其转换为反馈的声音信息、压力信息。所述的人体辅助装置可以包含信息采集模块和/或信息输出模块。人体辅助装置属于信息采集单元时，人体辅助装置包含信息采集模块；人体辅助装置属于信息输出单元时，人体辅助装置包含信息输出模块；人体辅助装置既属于信息采集单元又属于信息输出单元时，人体辅助装置包含信息采集模块和信息输出模块。所述的信息采集模块是能将物理信息转换为信号的模块，包括但不限于陀螺仪传感器，压力传感器、声音传感器等；所述的信息输出模块是能把信号转换为物理信息的模块，包括但不限于声音发生器和压力发生器等。所述的陀螺仪传感器是将人体部位的空间坐标信息转换为电信号的装置；所述的压力传感器是将压力信息转换为电信号的装置；所述的声音传感器是将声音信息转换为电信号的装置；所述的触觉发生器是将电信号转换为压力的装置；声音发生器是将电信号转换为声音信息的装置。所述的人体辅助装置样式可以是套状物(如手套、脚套、头套等)、垫状物(如触摸垫、腕垫等)、形成封密环或半封密环带状物(如手带、脚带、腰带、腕带等)、可贴于皮肤表面的贴片等。例如，幽灵手套可以采集人体手部和肘部的压力信息，并且可以反馈给人相应的压力。钢琴手套(Piano Hands)具有发声效果，戴着它在任何的平面上敲击，手部则会将这种敲击转换成钢琴的声音播放出来。所述的投影装置用于接收信号处理单元发送的信号并将其转换为视觉信息。所述的投影装置是一种能够将电信号转换为投影出来的视觉信息的一种装置。所述的视觉信息可以是2D视觉信息，3D视觉信息或激光。所述的投影装置包括激光仪，DLP投影机，3D投影仪，2D投影仪，至少一台具有投影功能的台式电脑、笔记本电脑或移动智能终端。所述的移动智能终端是便携式的智能终端，包括但不限于各种智能手机、平板电脑(如iPad等)、掌上电脑、智能掌上游戏机。所述的信号处理单元用于接收信息采集单元发送的信号，并且进行处理，将处理后的信号发送到信号输出单元；
所述的信号处理单元是能够进行计算、分析、储存、信号处理和信号发送的设备，所述的信号处理单元包括但不限于计算机、服务器、移动智能终端。所述的移动智能终端是能够采集外部信息，能进行计算、分析和处理，并在不同终端之间能够进行信息传输的便携式设备，包括但不限于智能手机、PDA、笔记本电脑、上网本、平板电脑、掌上电脑、智能掌上游戏机、Pocket PC、Tablet PC。本发明的系统可提供多种工作模式，包括提示最优指法模式，修正指法模式，评价模式，教学模式。所述的提示最优指法模式是指工作在该模式下的弹奏过程中，系统提示弹奏键盘乐器的最优指法；
所述的修正指法模式是指工作在该模式下的弹奏过程中，系统提示弹奏钢琴的错误，并纠正错误的弹奏方式；
所述的评价模式是指工作在该模式下的弹奏过程中，系统实时评价使用者的演奏情况和/或工作在该模式下弹完一首曲子之后，系统再评价使用者的演奏情况；
所述的教学模式是通过在信号处理单元内部内置教学系统和/或通过音乐采集装置导入教学系统进行教学，在弹奏过程中通过提示最优指法模式、修正指法模式和评价模式中的任意一种或任意组合，对使用者进行教学。本发明提供的键盘乐器示教系统可以实现对工作模式的切换，例如，当前示教方法采用的是提示最优指法模式，使用者通过发出操作指令，经过信号处理单元处理，改变工作模式为修正指法模式，从而实现工作模式的切换。本发明还提供键盘乐器示教系统的示教方法，其特征在于包括以下步骤:
采集信息:信息采集单元采集信息，并将采集到的信息以信号方式发送到信号处理单
J Li ο信号处理:信号处理单元接收信息采集单元发送的信号，并进行处理，将处理后的信号发送到信号输出单元；
反馈信息:接收信号处理单元发送的信号，并将信号转换为相应的提示信息。基于上述3个基本步骤，按照工作的逻辑关系进行组合能够实现多种工作模式。本发明系统的示教方法具有多种工作模式，包括提示最优指法模式、修正指法模式、执法评价模式和教学模式。所述的提示最优指法模式包括以下步骤:
(1)设置:采集使用者的操作指令，处理操作指令对应的信号，反馈操作信息；
(2)音乐信息的采集与处理:采集音乐信息，处理音乐信息对应的信号，给出初始的提不最优指法彳目息
(3)循环工作:依次循环执行采集信息、信号处理、反馈信息的步骤；
具体地，所述步骤(I)的设置过程可以包括以下步骤:
采集使用者的操作指令:使用者发出空间指令和/或语音指令，信息处理单元采集上述指令对应信息，以信号方式发送到信号处理单元。处理操作指令对应的信号:信号处理单元接收信号并处理，发送经过处理的信号到信息输出单元。反馈操作信息:信息输出单元接收信号并且反馈与操作方式相应的提示信息。具体地，所述步骤(2)的音乐信息的采集与处理过程可以包括以下步骤:
采集音乐信息:信息处理单元中的音乐采集装置采集音乐信息，将音乐信息转换为信
号，发送到信号处理单元。处理音乐信息对应的信号:信号处理单元接收音乐采集装置发送的信号，通过处理该信号，得出针对该音乐信息的最优弹奏指法，并且将该指法按照弹奏顺序分组以程序编码的形式储存在信号处理单元；将第一组的程序编码以信号的方式发送到信息输出单
J Li ο给出初始的提示最优指法信息:信息输出单元接收信号，输出提示最优指法信息。例如，投影装置接收信号将其转化为投影的3D视觉信息，以不同颜色标示该组编码对应的琴键，即为提示的最优指法；例如，人体辅助装置接收信号将其转化为声音信息，直接提示用户用什么指法按键；人体辅助装置接收信号将其转化为压力信息，对手指施加压力阻碍用户按下与提示不一致的按键；例如，投影装置接收信号将其转化为投影的激光，以不同颜色标示该组编码对应的琴键，即为提示的最优指法；
具体地，所述步骤(3)的循环工作过程可以包括以下步骤:
采集信息:使用者按照提示的最优指法弹奏键盘乐器，信息采集单元采集使用者弹奏键盘乐器时人体部位的空间坐标信息和/或压力信息，并将该信息以信号方式输入到信号处理单元。若使用者在该循环过程中发出空间指令和/或语音指令，信息采集单元同样会采集该指令，并以信号方式到信号处理单元，并且返回到步骤(I)的设置步骤中。信号处理:信号处理单元接收信息采集单元发送的信号，对该信号进行处理，进一步分析进而得出使用者当前的指法；然后从程序编码中获得当前提示的最优指法，将使用者当前的实际按键信息与当前提示的最优指法进行比对，并根据比对结果做出判断:
若使用者当前的按键与当前提示的最优指法一致，则提示下一组指法，将下一组的程序编码以信号的方式发送到信息输出单元；并且发送确认信号到信息输出单元，信息输出单元接收该信号，会发出相应的提示信息告知使用者弹奏正确。若使用者当前的按键与当前提示的最优指法不一致，则仍然提示当前组指法，保持将当前组的程序编码以信号的方式发送到信息输出单元；并且发送报错信号到信息输出单元，信息输出单元接收该信号，会发出相应的提示信息告知使用者当前的哪些按键与当前提示的最优指法不一致。反馈信息:信息输出单元接收信号处理单元发送的信号，并将其转换为相应的提不信息进行输出。上述三步依次循环执行从而实现提示最优指法的功能。指法是有两个物理量决定的，一个是手指按压的位置(X，y)，另一个是手指按压的力度F。作为优选，所述的步骤(3)中的信号处理步骤中分析得出使用者当前指法的方法是:以采集到的人体部位的空间坐标信息(x，y，z)为基础，结合信息采集单元的采集时间间隔 At进行计算，对坐标值作时间t上的一阶导数或多阶导数，并且以上述坐标值，及其一阶导数或多阶导数为基础，进行处理得出手指按压的平面坐标信息(x，y)和手指按压的压力值F，通过分析对应的物理量得出使用者当前的指法。作为优选所述的步骤(3)中的信号处理步骤中分析得出使用者当前指法的方法是:以人体部位的空间坐标信息(x，y，z)为基础进行计算得出手指按压的平面坐标信息(X，y)；以采集到的压力信息为基础直接得出手指按压的压力值F。所述的修正指法模式包括以下步骤:
(1)设置:采集使用者的操作指令，处理操作指令对应的信号，反馈操作信息；
(2)音乐信息的米集与处理:米集音乐信息，处理音乐信息对应的信号。(3)循环工作:依次循环执行采集信息、信号处理、反馈信息的步骤；
采集使用者的操作指令:使用者发出空间指令和/或语音指令，信息处理单元采集上述指令对应信息，以信号方式发送到信号处理单元。
处理操作指令对应的信号:信号处理单元接收信号并处理，发送经过处理的信号到信息输出单元。反馈操作信息:信息输出单元接收信号并且反馈与操作方式相应的提示信息。具体地，所述步骤⑵的音乐信息的采集与处理过程可以包括以下步骤:
采集音乐信息:信息处理单元中的音乐采集装置采集音乐信息，将音乐信息转换为信
号，发送到信号处理单元。处理音乐信息对应的信号:信号处理单元接收音乐采集装置发送的信号，通过处理该信号，将该音乐信息转换为标准乐谱，并且将该标准乐谱按照弹奏顺序分组以程序编码的形式储存在信号处理单元；将第一组标准乐谱对应的程序编码作为使用者按键的比对参照。具体地，所述步骤(3)的循环工作过程可以包括以下步骤:
采集信息:使用者弹奏键盘乐器，信息采集单元采集使用者弹奏键盘乐器时人体部位的空间坐标信息和/或压力信息，并将该信息以信号方式输入到信号处理单元。若使用者在该循环过程中发出空间指令和/或语音指令，信息采集单元同样会采集该指令，并以信号方式到信号处理单元，并且返回到步骤(I)的设置步骤中。信号处理:信号处理单元接收信息采集单元发送的信号，对该信号进行处理，进一步分析进而得出使用者当前的指法；然后从程序编码中获得当前的标准乐谱，将使用者当前的实际按键信息与当前的标准乐谱进行比对，并根据比对结果做出判断:
若使用者当前的按键与当前的标准乐谱一致，则切换下一组标准乐谱对应的程序编码作为使用者下一组按键的比对参照；并且发送确认信号到信息输出单元，信息输出单元接收该信号，会发出相应的提示信息告知使用者弹奏正确。若使用者当前的按键与当前的标准乐谱不一致，则仍然以当前组标准乐谱对应的程序编码作为使用者下一组按键的比对参照；并且发送报错信号到信息输出单元，信息输出单元接收该信号，会发出相应的提示信息告知使用者哪些键弹错了和正确的按键位置。反馈信息:信息输出单元接收信号处理单元发送的信号，并将其转换为相应的提不信息进行输出。上述三步依次循环执行从而实现修正指法的功能。所述的评价模式包括以下步骤:
(1)设置:采集使用者的操作指令，处理操作指令对应的信号，反馈操作信息；
(2)音乐信息的米集与处理:米集音乐信息，处理音乐信息对应的信号。(3)循环工作:依次循环执行采集信息、信号处理、反馈信息的步骤；
采集使用者的操作指令:使用者发出空间指令和/或语音指令，信息处理单元采集上述指令对应信息，以信号方式发送到信号处理单元。处理操作指令对应的信号:信号处理单元接收信号并处理，发送经过处理的信号到信息输出单元。反馈操作信息:信息输出单元接收信号并且反馈与操作方式相应的提示信息。具体地，所述步骤(2)的音乐信息的采集与处理过程可以包括以下步骤:
采集音乐信息:信息处理单元中的音乐采集装置采集音乐信息，将音乐信息转换为信
号，发送到信号处理单元。
处理音乐信息对应的信号:信号处理单元接收音乐采集装置发送的信号，通过处理该信号，将该音乐信息转换为标准乐谱，并且将该标准乐谱按照弹奏顺序分组以程序编码的形式储存在信号处理单元；将第一组标准乐谱对应的程序编码作为使用者按键的比对参照。具体地，所述步骤(3)的循环工作过程可以包括以下步骤:
采集信息:使用者弹奏键盘乐器，信息采集单元采集使用者弹奏键盘乐器时人体部位的空间坐标信息和/或压力信息，并将该信息以信号方式输入到信号处理单元。若使用者在该循环过程中发出空间指令和/或语音指令，信息采集单元同样会采集该指令，并以信号方式到信号处理单元，并且返回到步骤(I)的设置步骤中。信号处理:信号处理单元接收信息采集单元发送的信号，对该信号进行处理，进一步分析进而得出使用者当前的指法并将该指法以程序编码的方式储存在信号处理单元；切换下一组标准乐谱对应的程序编码作为使用者下一组按键的比对参照；然后从程序编码中获得当前的标准乐谱，将使用者当前的实际按键信息与当前的标准乐谱进行比对，结合储存在信号处理单元内部的评价系统作出实时的评价，发送相应的评价信息到信息输出单
J Li ο若使用者弹完当前曲目后，即作为对比参照的标准乐谱对应的程序编码已经切换到结束部分。将当前曲目标准乐谱对应的程序编码和储存在信号处理单元的使用者当前曲目的弹奏指法对应的程序编码作比对，结合储存在信号处理单元内部的评价系统做出对使用者弹奏当前曲目的完整评价，发送相应的评价信息到信息输出单元。反馈信息:信息输出单元接收信号处理单元发送的信号，并将其转换为相应的提不信息进行输出。上述三步依次循环执行从而实现评价指法的功能。所述的教学模式是通过在信号处理单元内部内置教学系统和/或通过音乐采集装置导入教学系统进行教学，在弹奏过程中通过提示最优指法模式、修正指法模式和评价模式中的任意一种或任意组合，对使用者进行教学。在所述的教学系统内，使用者可以选择一些现成的乐谱练习，也可以让钢琴自动按照使用者当前水平提供合适的练习乐谱。在弹奏过程中以提示最优指法模式对使用者进行指示或以修正指法模式对使用者进行纠错。本发明的方法可以实现对对工作模式的切换，例如，当前示教方法采用的是提示最优指法模式，使用者通过发出操作指令，经过信号处理单元处理，改变工作模式为修正指法模式，从而实现工作模式的切换。工作模式的切换在步骤(I)设置步骤中完成。本发明的有益效果是:
1.本发明通过多种方式采集音乐信号，如通过扫描乐谱、录音、摄像或者采用已有的标准音频格式文件的方式采集音乐信号；
2.本发明的系统可应用于各种键盘类乐器，应用范围广；
3.本发明的系统体积小，便于携带，不需要安装在键盘乐器上，不会改变键盘乐器的本身结构，影响发音效果；
4.本发明提供的方法简单，容易操作，能满足不同层次使用者的需要，具有很好的适用性，利于普及；
本发明提供多种工作模式，具有提示、教学、纠错、评价的功能，有利于提升使用者的演奏水平，适用于不同层次的使用者，具有广阔的应用前景。
图1是本发明的键盘乐器示教系统的系统组成方框 图2是本发明的键盘乐器示教系统的结构组成示意 图3是实施例1的系统组成方框 图4是本发明的摄像装置采集信息示意 图5是本发明的提示最优指法模式工作流程 图6是本发明的修正指法模式工作流程 图7是本发明的评价模式工作流程图。；
图8是实施例2的系统组成方框 图9是实施例3的系统组成方框图。其中:1为图像采集装置，2为人体辅助装置，3为投影装置，4为信号处理单元，5为音乐采集装置，6为钢琴，7为琴键，8是手指。
具体实施例方式下面根据附图和实施例详细说明本发明。如图1和图2所示，本发明的键盘乐器示教系统包括信息采集单元，信号处理单元和信息输出单元。所述的信息采集单元用于采集外界信息，并将采集到的信息以信号方式发送到信号处理单元。所述的外界信息包括音乐信息，人体部位的空间坐标信息，压力信息，声音信肩、O所述的信号处理单元用于接收信息采集单元发送的信号，并且进行处理，将处理后的信号发送到信号输出单元；
所述的信息输出单元用于接收信号处理单元发送的信号，并将信号转换为相应的提示信息。所述的提不信息包括视觉信息，压力信息，声音信息。所述的信息采集单元组成有以下三种:
(1)音乐采集装置和图像采集装置；
(2)音乐采集装置和人体辅助装置；
(3)音乐采集装置、图像采集装置和人体辅助装置；
所述的信息输出单元组成有以下两种:
(1)投影装置；
(2)投影装置，人体辅助装置；
本发明的键盘乐器示教系统包括以下几种组成方式:
实施例1
本发明的系统组成方框图如图3所示。以用手指弹奏钢琴为例，通过图像的方式识别指法和接收操作指令，以投影出图像的方式进行示教，可以使用如下方案:
本发明的系统包括信息采集单元，信号处理单元和信息输出单元。
信息采集单元由音乐采集装置和图像采集装置组成。音乐采集装置用于采集音乐信息，图像采集装置用于采集人体部位的空间坐标信息。图像采集装置采集信息的示意图如图4所示。信息输出单元为投影装置。投影装置用于输出提示的视觉信息。所述的信息采集单元采集音乐信息、人体部位的空间坐标信息，所述的信息输出单元输出提示的视觉信息。系统工作时投影装置直接将操作界面的图像投影到墙上，使用者需要进行工作模式的选择或切换的时候，可直接在投影出来的操作界面上进行操作，发送操作指令到系统，实现工作模式的选择或切换。就所述的提示最优指法而言，本发明的系统可以实现如下效果:
使用者在弹奏乐器的过程中，系统根据使用者所弹曲目进行提示，具体为投影出的图像上显示提示最优指法信息。同时系统识别使用者的弹奏指法，判断是否与提示最优指法一致，并且根据判断提示相应的信息到投影出来的图像上。本发明的提示最优指法模式工作流程图如图5所示；
所述的提示最优指法模式包括以下步骤:
(1)设置:采集使用者的操作指令，处理操作指令对应的信号，反馈操作信息；
(2)音乐信息的采集与处理:采集音乐信息，处理音乐信息对应的信号，给出初始的提不最优指法彳目息
(3)循环工作:依次循环执行采集信息、信号处理、反馈信息的步骤；
具体地，所述步骤(I)的设置过程可以包括以下步骤:
采集使用者的操作指令:使用者发出空间指令，信息处理单元采集上述指令对应信息，以信号方式发送到信号处理单元。处理操作指令对应的信号:信号处理单元接收信号并处理，发送经过处理的信号到信息输出单元。反馈操作信息:信息输出单元接收信号并且反馈与操作方式相应的提示信息。具体地，所述步骤(2)的音乐信息的采集与处理过程可以包括以下步骤:
采集音乐信息:信息处理单元中的音乐采集装置采集音乐信息，将音乐信息转换为信
号，发送到信号处理单元。处理音乐信息对应的信号:信号处理单元接收音乐采集装置发送的信号，通过处理该信号，得出针对该音乐信息的最优弹奏指法，并且将该指法按照弹奏顺序分组以程序编码的形式储存在信号处理单元；将第一组的程序编码以信号的方式发送到信息输出单
J Li ο给出初始的提示最优指法信息:信息输出单元接收信号，输出提示最优指法信息。具体地，所述步骤(3)的循环工作过程可以包括以下步骤:
采集信息:使用者按照提示的最优指法弹奏键盘乐器，信息采集单元采集使用者弹奏键盘乐器时人体部位的空间坐标信息，并将该信息以信号方式输入到信号处理单元。若使用者在该循环过程中发出空间指令，信息采集单元同样会采集该指令，并以信号方式到信号处理单元，并且返回到步骤(I)的设置步骤中。信号处理:信号处理单元接收信息采集单元发送的信号，对该信号进行处理，进一步分析进而得出使用者当前的指法；然后从程序编码中获得当前提示的最优指法，将使用者当前的实际按键信息与当前提示的最优指法进行比对，并根据比对结果做出判断:
若使用者当前的按键与当前提示的最优指法一致，则提示下一组指法，将下一组的程序编码以信号的方式发送到信息输出单元；并且发送确认信号到信息输出单元，信息输出单元接收该信号，会发出相应的提示信息告知使用者弹奏正确。若使用者当前的按键与当前提示的最优指法不一致，则仍然提示当前组指法，保持将当前组的程序编码以信号的方式发送到信息输出单元；并且发送报错信号到信息输出单元，信息输出单元接收该信号，会发出相应的提示信息告知使用者当前的哪些按键与当前提示的最优指法不一致。反馈信息:信息输出单元接收信号处理单元发送的信号，并将其转换为相应的提不信息进行输出。上述三步依次循环执行从而实现提示最优指法的功能。
指法是有两个物理量决定的，一个是手指按压的位置(X，y)，另一个是手指按压的力度F。所述的步骤(3)中的信号处理步骤中分析得出使用者当前指法的方法是:以采集到的人体部位的空间坐标信息(x，y，z)为基础，结合信息采集单元的采集时间间隔d进行计算，对坐标值作时间t上的一阶导数或多阶导数，并且以上述坐标值，及其一阶导数或多阶导数为基础，进行处理得出手指按压的平面坐标信息(x，y)和手指按压的压力值F，通过分析对应的物理量得出使用者当前的指法。具体地，信号处理单元根据手指的空间坐标信息物理量中的高度坐标z和采集时间间隔At计算出手指按压的压力值F。首先计算出当前时刻手指的按压速度V，利用公式
v = # = fi>可算出手指的按压速度，其中表示手指的当前高度坐标值表亍 dt AiVziI
手指的前一时刻的高度坐标值。之后根据手指按压速度V和采集时间间隔d计算出手指按压的压力值F。利用公
式3 = # = ^^，F=ma可算出手指按压的压力值F。其中表示手指的当前按压速度，
di m
I1表示手指的前一时刻的按压速度，a表示手指当前的按压加速度，m代表琴键的质量，m
根据实际琴键的质量进行预设。手指按压的平面坐标信息(X，y)可直接获得。就所述的修正指法模式而言，本发明的系统可以实现如下效果:
使用者在弹奏乐器的过程中，识系统别使用者的弹奏指法，并将该指法与使用者所弹曲目进行比对，判断是否弹奏有误，并且根据判断提示相应的信息到投影出来的图像上。本发明的修正指法模式工作流程图如图6所示；
所述的修正指法模式包括以下步骤:
(1)设置:采集使用者的操作指令，处理操作指令对应的信号，反馈操作信息；
(2)音乐信息的米集与处理:米集音乐信息，处理音乐信息对应的信号。(3)循环工作:依次循环执行采集信息、信号处理、反馈信息的步骤； 采集使用者的操作指令:使用者发出空间指令，信息处理单元采集上述指令对应信息，以信号方式发送到信号处理单元。处理操作指令对应的信号:信号处理单元接收信号并处理，发送经过处理的信号到信息输出单元。反馈操作信息:信息输出单元接收信号并且反馈与操作方式相应的提示信息。具体地，所述步骤(2)的音乐信息的采集与处理过程可以包括以下步骤:
采集音乐信息:信息处理单元中的音乐采集装置采集音乐信息，将音乐信息转换为信
号，发送到信号处理单元。处理音乐信息对应的信号:信号处理单元接收音乐采集装置发送的信号，通过处理该信号，将该音乐信息转换为标准乐谱，并且将该标准乐谱按照弹奏顺序分组以程序编码的形式储存在信号处理单元；将第一组标准乐谱对应的程序编码作为使用者按键的比对参照。具体地，所述步骤(3)的循环工作过程可以包括以下步骤:
采集信息:使用者弹奏键盘乐器，信息采集单元采集使用者弹奏键盘乐器时人体部位的空间坐标信息，并将该信息以信号方式输入到信号处理单元。若使用者在该循环过程中发出空间指令和/或语音指令，信息采集单元同样会采集该指令，并以信号方式到信号处理单元，并且返回到步骤(I)的设置步骤中。信号处理:信号处理单元接收信息采集单元发送的信号，对该信号进行处理，进一步分析进而得出使用者当前的指法；然后从程序编码中获得当前的标准乐谱，将使用者当前的实际按键信息与当前的标准乐谱进行比对，并根据比对结果做出判断:
若使用者当前的按键与当前的标准乐谱一致，则切换下一组标准乐谱对应的程序编码作为使用者下一组按键的比对参照；并且发送确认信号到信息输出单元，信息输出单元接收该信号，会发出相应的提示信息告知使用者弹奏正确。若使用者当前的按键与当前的标准乐谱不一致，则仍然以当前组标准乐谱对应的程序编码作为使用者下一组按键的比对参照；并且发送报错信号到信息输出单元，信息输出单元接收该信号，会发出相应的提示信息告知使用者哪些键弹错了和正确的按键位置。反馈信息:信息输出单元接收信号处理单元发送的信号，并将其转换为相应的提不信息进行输出。上述三步依次循环执行从而实现修正指法的功能。就所述的评价指法模式而言，本发明的系统可以实现如下效果:
使用者在弹奏乐器的过程中，系统识别使用者的弹奏指法，将该指法与使用者所弹曲目进行比对，并且作出实时的评价，将评价的信息到投影出来的图像上，使用者当前曲目弹奏完毕后，系统做出总的评价，将评价的信息到投影出来的图像上。本发明的评价模式工作流程图如图7所示；
所述的评价模式包括以下步骤:
(1)设置:采集使用者的操作指令，处理操作指令对应的信号，反馈操作信息；
(2)音乐信息的米集与处理:米集音乐信息，处理音乐信息对应的信号。(3)循环工作:依次循环执行采集信息、信号处理、反馈信息的步骤；
采集使用者的操作指令:使用者发出空间指令和/或语音指令，信息处理单元采集上述指令对应信息，以信号方式发送到信号处理单元。处理操作指令对应的信号:信号处理单元接收信号并处理，发送经过处理的信号到信息输出单元。反馈操作信息:信息输出单元接收信号并且反馈与操作方式相应的提示信息。具体地，所述步骤(2)的音乐信息的采集与处理过程可以包括以下步骤:
采集音乐信息:信息处理单元中的音乐采集装置采集音乐信息，将音乐信息转换为信
号，发送到信号处理单元。处理音乐信息对应的信号:信号处理单元接收音乐采集装置发送的信号，通过处理该信号，将该音乐信息转换为标准乐谱，并且将该标准乐谱按照弹奏顺序分组以程序编码的形式储存在信号处理单元；将第一组标准乐谱对应的程序编码作为使用者按键的比对参照。具体地，所述步骤(3)的循环工作过程可以包括以下步骤:
采集信息:使用者弹奏键盘乐器，信息采集单元采集使用者弹奏键盘乐器时人体部位的空间坐标信息和/或压力信息，并将该信息以信号方式输入到信号处理单元。若使用者在该循环过程中发出空间指令和/或语音指令，信息采集单元同样会采集该指令，并以信号方式到信号处理单元，并且返回到步骤(I)的设置步骤中。信号处理:信号处理单元接收信息采集单元发送的信号，对该信号进行处理，进一步分析进而得出使用者当前的指法并将该指法以程序编码的方式储存在信号处理单元；切换下一组标准乐谱对应的程序编码作为使用者下一组按键的比对参照；然后从程序编码中获得当前的标准乐谱，将使用者当前的实际按键信息与当前的标准乐谱进行比对，结合储存在信号处理单元内部的评价系统作出实时的评价，发送相应的评价信息到信息输出单
J Li ο若使用者弹完当前曲目后，即作为对比参照的标准乐谱对应的程序编码已经切换到结束部分。将当前曲目标准乐谱对应的程序编码和储存在信号处理单元的使用者当前曲目的弹奏指法对应的程序编码作比对，结合储存在信号处理单元内部的评价系统做出对使用者弹奏当前曲目的完整评价，发送相应的评价信息到信息输出单元。反馈信息:信息输出单元接收信号处理单元发送的信号，并将其转换为相应的提不信息进行输出。上述三步依次循环执行从而实现评价指法的功能。实施例2
以用手指弹奏钢琴为例，通过图像的方式识别指法和接收操作指令，以声音的方式接收操作指令，以投影出图像，发出声音，对手指施加压力的方式进行示教，可以使用如下方案:
本发明的系统组成方框图如图8所示。本发明的键盘乐器示教系统包括信息采集单元，信号处理单元和信息输出单元。信息采集单元包括音乐采集装置和图像采集装置。信息输出单元为投影装置，人体辅助装置，其中人体辅助装置的信息输出模块包括声音发生器和压力发生器。所述的信息采集单元采集音乐信息、人体部位的空间坐标信息，所述的信息输出单元输出提示的视觉信息、提示的声音信息和提示的压力信息。系统工作时投影装置直接将操作界面的图像投影到墙上，使用者需要进行工作模式的选择或切换的时候，可直接在投影出来的操作界面上进行操作，发送操作指令到系统，实现工作模式的选择或切换。就所述的提示最优指法而言，本发明的系统可以实现如下效果:
使用者在弹奏乐器的过程中，系统根据使用者所弹曲目进行提示，具体为:投影装置投影出的图像上显示提示最优指法信息；人体辅助装置对手指施加压力阻碍用户按下与提示不一致的按键并且发出声音直接提示用户用什么指法按键。系统同时识别使用者的弹奏指法，判断是否与提示一致，并且根据判断提示相应的信息到投影出来的图像上，并发出声音提示。就所述的修正指法模式而言，本发明的系统可以实现如下效果:
使用者在弹奏乐器的过程中，识系统别使用者的弹奏指法，并将该指法与使用者所弹曲目进行比对，判断是否弹奏有误，并且根据判断提示相应的信息到投影出来的图像上，并发出声音提不。就所述的评价指法模式而言，本发明的系统可以实现如下效果:
使用者在弹奏乐器的过程中，系统识别使用者的弹奏指法，将该指法与使用者所弹曲目进行比对，并且作出实时的评价，将评价的信息到投影出来的图像上并发出声音提示。使用者当前曲目弹奏完毕后，系统做出总的评价，将评价的信息到投影出来的图像上，并发出
声音提不。若使用者需要进行工作模式的切换的时候，可直接在投影出来的图像上进行操作，发送操作指令到系统，实现工作模式的切换。实施例3
以用手指弹奏钢琴为例，通过图像的方式识别指法和接收操作指令，以投影出图像，发出声音，对手指施加压力的方式进行示教，可以使用如下方案:
本发明的系统组成方框图如图9所示。系统包括信息采集单元，信号处理单元和信息输出单元。信息采集单元包括音乐采集装置、图像采集装置和人体辅助装置。其中人体辅助装置的信息采集模块包括声音传感器和压力传感器。信息输出单元为投影装置，人体辅助装置。其中人体辅助装置的信息输出模块包括声音发生器和压力发生器。此时信息采集单元可以采集到音乐信息，人体部位的空间坐标信息，声音信息，压力信息。信息输出单兀输出提不的视觉信息，提不的声音信息和提不的压力信息。系统工作时投影装置直接将操作界面的图像投影到墙上，使用者需要进行工作模式的选择或切换的时候，可直接在投影出来的操作界面上进行操作，发送操作指令到系统，实现工作模式的选择或切换。也可以通过发出声音直接控制系统进行工作模式的选择或切换。就所述的提示最优指法而言，本发明的系统可以实现如下效果:
使用者在弹奏乐器的过程中，系统根据使用者所弹曲目进行提示，具体为:投影装置投影出的图像上显示提示最优指法信息；人体辅助装置对手指施加压力阻碍用户按下与提示不一致的按键并且发出声音直接提示用户用什么指法按键。系统同时识别使用者的弹奏指法，判断是否与提示一致，并且根据判断提示相应的信息到投影出来的图像上，并发出声音提示。所述的识别使用者的弹奏指法的方法是:以人体部位的平面空间坐标信息为基础直接得出手指按压的平面坐标信息(x，y);以采集到的压力信息为基础直接得出手指按压的压力值F。就所述的修正指法模式而言，本发明的系统可以实现如下效果:
使用者在弹奏乐器的过程中，识系统别使用者的弹奏指法，并将该指法与使用者所弹曲目进行比对，判断是否弹奏有误，并且根据判断提示相应的信息到投影出来的图像上，并发出声音提不。上述的工作模式仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
权利要求
1.一种键盘乐器示教系统，其特征在于:所述的系统包括信息采集单元，信号处理单元和信息输出单元，其中: 所述的信息采集单元用于采集外界信息，并将采集到的信息以信号方式发送到信号处理单元； 所述的外界信息包括音乐信息，人体部位的空间坐标信息，压力信息； 所述的信号处理单元用于接收信息采集单元发送的信号，并且进行处理，将处理后的信号发送到信号输出单元； 所述的信息输出单元用于接收信号处理单元发送的信号，并将信号转换为相应的提示信息； 所述的提示信息包括视觉信息，压力信息，声音信息。
2.根据权利要求1所述的键盘乐器示教系统，其特征在于:所述的信息采集单元包含音乐采集装置，还包含图像采集装置和/或人体辅助装置。
3.根据权利要求1所述的键盘乐器示教系统，其特征在于:所述的信息输出单元是投影装置或是投影装置和人体辅助装置。
4.根据权利要求1所述的键盘乐器示教系统，其特征在于:所述的键盘乐器是有固定排列顺序的琴键、并且每个琴键有固定音高的乐器，包括钢琴、管风琴、手风琴或电子琴。
5.根据权利要求1-4任一项所述的所述的键盘乐器示教系统，其特征在于:所述的音乐采集装置是能够采集音乐信息，将采集到的音乐信息转换为信号，并将该信号发送到信号处理单元的装置，具有摄像功能、录音功能、扫描功能和通信功能，包括以上功能的台式电脑、笔记本电脑或移动智能终端。
6.根据权利要求1-4任一项所述的所述的键盘乐器示教系统，其特征在于:所述的图像采集装置用于将人体图像信息转换为信号，并发送到信号处理单元，包括但不限于具有图像采集功能的台式电脑、笔记本电脑或移动智能终端。
7.根据权利要求1-4任一项所述的所述的键盘乐器示教系统，其特征在于:所述的投影装置是一种能够将电信号转换为投影出来的视觉信息的一种装置，包括激光仪，DLP投影机，3D投影仪，2D投影仪，具有投影功能的台式电脑、笔记本电脑或移动智能终端。
8.根据权利要求1-7任一项所述的所述的键盘乐器示教系统，其特征在于:所述的移动智能终端为能够捕获外部信息，能进行计算、分析和处理，并在不同终端之间能够进行信息传输的便携式设备。
9.根据权利要求1-8所述的键盘乐器示教系统，其特征在于:所述的系统具有多种工作模式，所述的工作模式包括提示最优指法模式，修正指法模式，评价模式，教学模式。
10.一种键盘乐器示教系统的示教方法，其特征在于包括以下步骤: (1)采集信息:图像采集装置采集人体部位的空间坐标信息，将该信息以信号方式输入到信号处理单元；人体辅助装置采集人体部位的空间坐标信息，压力信息；音乐采集装置采集音乐信息，将采集到的音乐信息转换为信号，并将该信号发送到信号处理单元； (2)信号处理:信号处理单元接收从人体辅助装置、图像采集装置和音乐采集装置发送信号，对该信号进行处理，将处理后的信号发送到人体辅助装置和投影装置； (3)反馈信息:人体辅助装置接收信号处理单元发送的信号并将其转换为声音信息，压力信息；投影装置接收信号处理单元发送的信号并将其转换为视觉信息。
全文摘要
本发明提供一种键盘乐器示教系统和示教方法，包括信息采集单元，信号处理单元和信息输出单元。本发明的系统有多种工作模式，包括提示最优指法模式，修正指法模式，评价模式，教学模式。多种工作模式供使用者选择，具有提示指法，纠正指法，评价，演示教学的功能。本发明的系统广泛应用于各种键盘类乐器，包括钢琴、电子琴、手风琴、管风琴等键盘乐器。本系统具有强大的示教功能，使用方法简单、灵活，具有非常广阔的应用前景。
文档编号G09B15/08GK103150940SQ201310086709
公开日2013年6月12日 申请日期2013年3月17日 优先权日2013年3月17日
发明者孟濬, 高恩博, 陈啸, 刘琼 申请人:浙江大学