交叉引用信息
本申请要求于2016年10月11日递交的申请号为pct/cn2016/101794的国际申请的优先权，该申请的所有内容都作为引用被包含于此。
本申请涉及一种智能钢琴系统，尤其涉及一种应用于智能钢琴的智能检测和反馈系统及其方法。
背景技术：
钢琴(例如，声学钢琴)是一种使用键盘来演奏的乐器。钢琴可以包括保护壳、音板、金属弦、音锤、琴键(例如，白键和黑键)和踏板。琴键可以与音锤机械连接。当演奏者按下声学钢琴的琴键，音锤就会敲击金属弦，然后，这些金属弦就会在各自的谐振频率下振动。这些振动会传到音板，然后通过将声能耦合到空气中实现放大。即使演奏者释放了琴键，依然可以通过一个或多个踏板的作用来维持钢琴发出的音符。
作为世界上最受欢迎的乐器之一，如今有众多的人弹奏和学习钢琴。然而，作为一个钢琴学习者(特别是初学者)，会发现学习指法、手势、踏板踩踏技巧和其他钢琴技巧是有困难的。因此，就需要提供一种智能钢琴检测和反馈系统和方法以用于辅助人们学习钢琴。
技术实现要素：
本申请一方面提供一种智能乐器系统，可以通过自动演奏、电子音源、视频的方式回放用户弹奏练习的曲子。该系统包括：传感器，用于获取用户的弹奏数据，所述传感器包括第一传感器，所述第一传感器用于获取用户第一弹奏数据，所述弹奏数据包括第一弹奏数据，所述第一弹奏数据反映了该用户对一个乐器的操作；以及处理器，与所述传感器相连接。所述处理器可以比较所述弹奏数据和参考乐曲数据，以生成比较结果，以及基于所述比较结果生成反馈结果。
在一些实施例中，所述传感器进一步包括第二传感器。该第二传感器用于获取第二弹奏数据。所述第二弹奏数据与用户的手势、用户的身体特征、或者用户的脑电波中的至少一个相关，其中，所述弹奏数据进一步包括所述第二弹奏数据。
在一些实施例中，所述第二传感器包括以下至少一个：指环，用于佩戴在所述用户的至少一个手指上，并且测量该手指的位置、动作或者力度中的至少一个；或相机，用于获取所述用户手势的图像。
在一些实施例中，所述第二传感器包括用于测量所述用户脑电波的脑电波监测器。
在一些实施例中，所述处理器可以进一步处理所述弹奏数据，以生成处理后的弹奏数据；以及将所述处理后的弹奏数据和所述参考乐曲数据进行比较，以生成所述比较结果。
在一些实施例中，所述处理后的弹奏数据包括用户弹奏的已奏音符。所述处理器可以进一步基于所述参考乐曲数据，确定应该被弹奏的参考音符。所述处理器可以确定所述已奏音符与所述参考音符是否一致；当所述已奏音符与所述参考音符不一致时，生成用于指示错误发生的提醒。
在一些实施例中，为了生成所述反馈结果，所述处理器可以进一步获取至少一个设置，其中，所述设置指示弹奏所述乐器的难度。所述处理器可以基于所述比较结果和所述设置，生成所述反馈结果。
在一些实施例中，所述设置包括以下至少一个：是否检测或忽略所述乐曲数据中的特定标记，其中，所述特定标记指示一个装饰音或者指示一个重复记号；当第一音符的错误弹奏次数到达一个预设次数时，是否跳过所述第一音符；当弹奏第二音符发生错误，但是，所述第二音符的相邻音符弹奏正确时，是否发送给用户提醒，其中，所述相邻音符在所述乐曲数据中与所述第二音符的距离在一个预设的范围之内；或弹奏速度。
在一些实施例中，所述处理器可以进一步从所述用户的历史弹奏数据中获取历史反馈结果；并基于所述历史反馈结果，生成指示所述历史弹奏数据特征的统计结果；以及基于所述统计结果，为所述用户确定弹奏指导。
在一些实施例中，所述乐器包括至少一个琴键或者踏板，其中，所述第一弹奏数据包括以下至少一种：琴键标识信息；按压琴键的时间信息和力度信息；按压多个琴键的顺序信息；踩踏踏板的时间信息和力度信息；琴键产生的音符信息；或踏板运动产生的音符信息。
本申请的另一方面提供了一种执行乐器系统的方法。该方法包括：通过多个传感器获取用户的弹奏数据，所述弹奏数据包括从所述多个传感器中的第一传感器获得的显示对一个乐器的操作的第一弹奏数据，其中所述多个传感器包括所述第一传感器；通过一个处理器，比较所述弹奏数据和参考乐曲数据以生成比较结果；以及通过所述处理器，基于所述比较结果生成反馈结果。
在一些实施例中，所述方法进一步包括：通过所述处理器，处理所述弹奏数据以生成处理后的弹奏数据；以及通过所述处理器，将所述处理后的弹奏数据和所述参考乐曲数据进行比较，以生成所述比较结果。
在一些实施例中，所述处理后的弹奏数据包括用户弹奏的已奏音符，所述方法进一步包括：通过所述处理器，基于所述参考乐曲数据确定应该被弹奏的参考音符；和通过所述处理器，确定所述已奏音符与所述参考音符是否一
致；以及当所述已奏音符与所述参考音符不一致时，通过所述处理器，生成用于指示错误发生的提醒。
在一些实施例中，为了生成所述反馈结果，所述方法进一步包括：通过所述处理器，获取至少一个设置，其中，所述设置指示弹奏所述乐器的难度；以及通过所述处理器，基于所述比较结果和所述设置，生成所述反馈。
在一些实施例中，所述方法进一步包括：通过所述处理器，从用户的历史弹奏数据中获取历史反馈结果；通过所述处理器，基于所述历史反馈结果，生成指示所述历史弹奏数据特征的统计结果；以及通过所述处理器，基于所述统计结果，为所述用户确定弹奏指导。
附图说明
本申请将进一步结合一些示意性的实施例进行描述。这些示意性的实施例会结合附图进行详细描述。这些示意性的实施例是非限制性的实施例，其中，在各图中，相似的标号表示相似的结构。
图1是根据本申请的一些实施例所示的一种智能检测和反馈系统100的示意性框图；
图2是根据本申请的一些实施例所示的一种智能钢琴系统的示意性框图；
图3是根据本申请的一些实施例所示的一种处理器104中的数据分析单元205的示意性框图；
图4是根据本申请的一些实施例所示的一种智能检测和反馈系统中反馈模块的示意性框图；
图5a是根据本申请的一些实施例所示的一种给智能钢琴用户发送反馈内容的示意性流程图；
图5b是根据本申请的一些实施例所示的一种处理信号和生成反馈内容的示意性流程图；
图6是本申请的一种实施例的示意图；
图7a和图7b是本申请的一种实施例的示意图；
图8是根据本申请的一些实施例所示的检测与用户弹奏信息相关的用户信息的示意图；
图9a和图9b是根据本申请的一些实施例所示的检测与用户弹奏信息相关的用户信息的两个示意图；
图10是根据本申请的一些实施例所示的智能检测和反馈系统的处理过程的示意性流程图；
图11是根据本申请的一些实施例所示的一种智能检测和反馈系统的处理流程示意图；
图12是根据本申请的一些实施例所示的另一种智能检测和反馈系统的处理流程示意图。
具体实施方式
为了更清楚地说明本申请的主体，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见的，下面描述中的附图仅仅是本申请的一些示例或者实施例，且仅用于说明本申请。主体可以是各种不同的形式，所以权利要求中的主体是不被任何前述实施例所限制的主体。而且，合理的范围更宽的权利要求主体是本申请所期望的。例如，主体可以是方法、设备、部件或者系统。以下描述的细节并不是为了限制权利要求的范围。
在整个说明书和权利要求中，用词可能有轻微的暗示非文中含义的意思。同样的，文中所采用的“在某个实施例中”并不一定指同一个实施例，且“在另一个实施例中”也并不一定指一个不同的实施例。这只是为了说明，例如，被要求的主体包括实施例中的部分或者全部。
一般来说，文中所用术语至少可以部分理解为上下文中的意思。例如，术语，如“和”、“或”或者“和/或”，可能包含多种含义，且至少部分取决于上下文的意思。通常情况下，“或”如果用来关联一个列表，如a、b或c，可以指a、b和c，这里用的是包含性的意思，也可以指a、b或c，这里用的是排他性的意思。另外，术语“一个或多个”，含义至少部分的取决于上下文，可以用于描述任何单数个特征、结构或者特点，或者描述复数个特征、结构或者特点的组合。同样的，术语，例如“一个”、“该”、“这些”，至少部分的根据上下文可以理解为表达单数的用法或者表达复数的用法。另外，术语“基于”，至少部分的根据上下文，可以理解为不一定为了表达一系列排他性的因素，并且可能允许其他没有在描述中出现的因素存在。
图1是根据本申请的一些实施例所示的一种示例性的智能检测和反馈系统100的示意图。该智能检测和反馈系统100可以和一个乐器相连。所述乐器可以包括但不限于键盘乐器、打击乐器、弦乐器等，或是以上几种的结合。例如，键盘乐器可以包括但不限于钢琴、风琴、键盘式手风琴和/或电子键盘。打击乐器可以包括但不限于木琴、钟、成套鼓和/或鼓。弦乐器可以包括但不限于小提琴、竖琴、吉他、电吉他和/或贝斯。在一些实施例中，所述乐器还可以包括智能钢琴。
智能检测和反馈系统100可以获取和处理用户弹奏数据，并且基于用户弹奏生成反馈内容。如图所示，该智能检测和反馈系统100可以包括一个识别模块101、一个检测模块102、一个数据库103、一个处理器104和一个反馈模块105。
在这里，不同模块可以通过多种方式被执行，可以是硬件、软件或者不同的软硬件结合。例如，一个模块的所有或者部分都可以通过指令处理器的处理电路被执行，例如，中央处理单元(cpu)、单片机、微处理器；或者专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、其他电子元件；或者包括离散逻辑或其他电路元件的电路、包括模拟电路部件、数字电路部件或两者兼有；或其任意组合。该电路可以包括分离互连的硬件部分，或者可以集成在单个集成电路芯片上、分布在多个集成电路芯片中、或是在通用封装中的多个集成电路芯片的多芯片模块(mcm)中实现。
识别模块101可以用于识别访问该智能检测和反馈系统100的用户。该用户可以是学生、老师或者是使用该智能检测和反馈系统100的音乐家。在一些实施例中，用户可以在该智能检测和反馈系统100中有一个注册账号，并且将他/她的个人信息存在账号中。因此，当用户使用该智能检测和反馈系统100时，该识别模块101可以识别该用户。
在一些实施例中，对于不同的用户，该智能检测和反馈系统100可以根据识别模块101识别用户身份。该智能检测和反馈系统100可以建立一个个人信息数据库，并且对于每一个独立的用户都生成一个个性化的反馈内容。在一些实施例中，用户可以使用不具有识别模块101的智能检测和反馈系统100。
识别模块101可以通过各种方式识别用户。在一些实施例中，用户可以使用手机或者其他智能终端来扫描二维码以登入该智能检测和反馈系统100。在一些实施例中，用户可以拥有进入该智能检测和反馈系统100的用户专用门户认证数据。例如，通过浏览与该智能检测和反馈系统100相连接的网页并且在网页上输入用户账号(id)和密码。在一些实施例中，该智能检测和反馈系统100可以包括一个或多个指纹扫描装置，并且存入各个用户的指纹信息，这样，用户就可以通过他/她的指纹登入该系统。类似地，该智能检测和反馈系统100也可以包括一个或多个面部识别装置或条码扫描器。该系统就可以通过面部识别或者扫描条码的方式来识别用户身份。该智能检测和反馈系统100可以包括任何可以用于识别用户身份的硬件或者软件。在一些实施例中，用户可以通过与该智能软件的可能检测和反馈系统100相连接的远程服务器来登入该系统，并获得用户弹奏数据。
检测模块102可以用于检测与用户弹奏相关的信息。该信息可以和评估用户弹奏相关，或是可以用于评估用户弹奏情况。该信息可以包括生理信息、物理信息等或其的任意组合。例如，生理信息可以包括用户的情感、态度等或任何可能与用户弹奏情况相关的生理信息。物理信息可以包括但不限于速度、压力、位置、力量、手势、声音等或其任意组合。例如，当乐器包括一个或多个键或弦时，该物理信息还可以包括但不限于在弹奏中被乐器中按压的一个或多个键或弦的信息、按压键或者弦的力度、按压键或者弦的时间信息(例如，对应于乐器的某个键处于某一位置时的时刻、或者对应于与乐器中某根弦的某个振动状态的时刻)、乐器的键或者弦被演奏的顺序、根据乐器的键/踏板或弦的运动产生的时间信息和音符信息。在一些实施例中，用户信息可以包括但不限于学习风格信息、学习接受程度、学习速度、用户弹奏习惯、音乐技能水平、喜好、经验、能力等。检测模块102可以包括任何可以收集用户信息、处理用户信息、基于用户信息生成信号、发送信号至数据库103和/或处理器104、或其他任何功能的合适的器件。
检测模块102可以包括一个或多个用于检测用户物理信息的物理信号装置、一个或多个用于检测用户生理信息的生理信号装置、一个或多个智能附件或其他可以获取用户信息的检测装置。
物理信号装置可以用于获取物理信息，例如，演奏速度、琴键压力或者琴弦的振动、琴键或琴弦的位置、用户手势、声音等或其任意组合。物理信号装置可以包括一个或多个传感器、相机、麦克风或者其他类似的可以获取物理信息的装置。
传感器可以包括但不限于加速度检测器、力敏电阻(fsr)、声纳、红外(ir)传感器、光传感器、惯性测量单元(imu)传感器、航姿参考系统(ahrs)传感器、温度传感器、导电橡胶或通用的运动或方向传感器。在一些实施例中，传感器可能是声音(体积、功率、或者频率)测量装置。
麦克风可能包括任何可以检测声音并且可以把声音信号转换成电信号的装置。麦克风可以是电动式的(动圈式、带式)、电容式的(直流极化式)、压电式的(晶体式、陶瓷式)、电磁式的、碳粒式的、半导体式的等或其任意组合。在一些实施例中，麦克风可以是微型机电系统(mems)麦克风。
相机可以包括任何可以获取图像并且可以将图像转换成电信号的合适的装置。相机可以包括但不限于视频光度计、红外扫描仪、摄像机等。
生理信号装置可以用于检测和/或获取生理信息，例如用户情感、态度或其他生理信息。生理心理可以通过获取脑电波、心跳、微表情、血压、脉搏等或其任意组合来评估。
智能附件可以包括任何可以获取物理信息、生理信息、或其他用户信息的合适装置。例如，所述智能附件可以包括智能腕带、智能指环、智能手表、手机、智能手套、智能眼镜等或其任意组合。在一些实施例中，智能附件可以用作加速度检测器、力敏电阻(fsr)、声纳、红外(ir)传感器、光传感器、惯性测量单元(imu)传感器、航姿参考系统(ahrs)传感器、温度传感器、导电橡胶、或通用的运动或方向传感器等或其任意组合。
在一些实施例中，检测模块102也可以处理、传输信息，以及显示反馈内容。
检测模块102可以通过无线或有线的方式与数据库和处理器104相连接。例如，检测模块104可以通过蓝牙将信息发送给处理器104。
数据库103可以用于存储信息，例如数据、程序、指令等或其任意组合。这些信息可以由识别模块101、检测模块102、处理器104和/或反馈模块105提供。
在一些实施例中，数据库103可以用于存储从检测模块102获取的用户信息。在一些实施例中，数据库103可以用于存储关于乐曲数据的信息，例如乐谱、音乐教学视频、音乐家的弹奏数据、由处理器104基于用户弹奏数据而自动生成的标准弹奏数据等。在一些实施例中，数据库103可以用于存储当智能检测与反馈系统100处在工作情况下时产生的数据。在一些实施例中，数据库103可以用于存储一些用户设置的参数，例如，表明一个特殊标记是否应该被检测的参数。所述特殊标记可以包括装饰音、重复记号等。装饰音可以包括倚音、波音、颤音、滑音、回音、连音等或其任意组合。所述参数也可以包括指示当一个音符已经连续多次被检测被弹错时是否跳过这个音符的参数。例如，弹错次数可以为1次到5次、6次到10次。参数还可以包括指示用户设置的弹奏速度的参数、指示快速弹奏时，邻音演奏正确的情况下是否忽视一个音符的错误弹奏的参数、指示用户是否可以停下弹奏和/或回到之前错误弹奏的段落的参数等或其任意组合。
数据库103可以是任何存储设备。数据库103可以是本地的或者远程的。数据库103可以包括但不限于层次数据库、网络数据库、关系数据库等或其任意组合。数据库103可以是用电能存储信息的存储设备，例如，各种存储器、随机存取存储器(ram)、只读存储器(rom)等。随机存取存储器(ram)可以包括但不限于十进制计数器、延迟线存储器、williams管、动态随机存取存储器(dram)、静态随机存取存储器(sram)、晶闸管随机存取存储器(t-ram)、零电容随机存取存储器(z-ram)等或其任意组合。只读存储器(rom)可以包括但不限于只读磁泡存储器、磁扣线存储器、存储器薄膜、磁板线存储器、磁芯存储器、磁鼓存储器、光驱、硬盘、磁带、非易失性存储器(nvram)、相变存储器、快闪存储器、电子可擦除重写只读存储器、可擦除可编程只读存储器、可编程只读存储器、与一个或多个存储器结合的屏蔽堆读取设备、浮动连接门随机存取存储器、纳米随机存取存储器、赛道内存、可变电阻存储器、可编程金属化单元等或其任意组合。数据库103可以是用磁能存储信息的存储设备，例如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、u盘、闪存设备等或其任意组合。数据库103可以是用光存储信息的存储设备，例如，cd、dvd等或其任意组合。数据库103可以是随机存取存储器、串行存储器、只读存储器等或其任意组合。数据库103可以是非永久存储器，也可以是永久存储器。以上提及的存储设备都只是用以举例说明，实际工作环境中的数据库103并不限于此。
处理器104可以用于处理和分析信息，并且生成反馈内容。该信息可以是从识别模块101、检测模块102、数据库103、反馈模块105或者其他存储信息的设备中获取的。处理器104可以是计算装置并且可以包括与识别模块101、检测模块102、数据库103、反馈模块105或任何可以接收或传输信息的设备进行连接或通信的附加功能。
在一些实施例中，当用户弹奏一段乐曲时，处理器104可以从相机中获取图像信息，识别该图像，提取用户手势信息，并且输出关于正确手势的提示信息。在一些实施例中，处理器104可以包括评价显示在屏幕上的乐谱的功能。
在一些实施例中，处理器104可以是与乐器相分离的。在这些实施例中，处理器104可以和乐器进行通信，例如，通过短距离通信(例如，蓝牙)、无线连接(例如，wi-fi)、有线连接(例如，通用串行总线usb)、或者通过其他连接方式。
在一些实施例中，处理器104可以与乐器集成为一个单元。在一些实施例中，处理器104可以是一个计算装置。该计算装置可以通过在通用计算机上安装软件来作为处理器。例如，处理器104可以是一个平板计算机系统。该平板计算机系统装配了可以实现处理和分析信息并且生成反馈内容的功能的软件。
在一些实施例中，处理器104可以和远程服务器通信。该服务器可以是基于云计算的服务器。该服务器可以有检索、处理、分析和存储信息的功能。处理器104可以从该服务器上获取信息。
反馈模块105可以用于展示和用户弹奏情况相关的反馈内容。反馈内容可以包括在用户弹奏乐曲的时候实时地通知和/或提示用户弹奏情况和参考弹奏之间的区别。例如，提示内容可以包括音频、视频、图像、文本、图形、电击信号、振动等形式或其任意组合。反馈模块105可以从处理器104获取信息，并且通过无线或有线连接的方式与数据库103进行通信。
反馈模块105可以包括但不限于显示设备、打印设备、绘图仪、图像输出系统、语音输出系统、磁记录设备等，或者其他可以展示、提示、建议、提醒或教导用户弹奏的设备。在一些实施例中，反馈模块105可以同时在，例如，台式电脑、笔记本电脑、智能手机、平板电脑、个人数字助理(pda)上展示输入和输出。。
在一些实施例中，反馈模块105可以包括一个或多个显示设备。该显示设备可以显示与用户弹奏情况、弹奏的乐曲、该乐曲的其他弹奏方式和/或其他信息相关的内容。在一些实施例中，显示设备的显示屏的尺寸可以和钢琴键盘的尺寸相适应。显示屏上可以显示有虚拟键盘。虚拟键盘可以包括多个和钢琴真实琴键对应的虚拟琴键。在一些实施例中，虚拟琴键的个数和实际琴键的个数可以是相同的。对于真实琴键上的一个或多个操作相关的信息可以显示在部分屏幕上，包括显示在对应的虚拟琴键上。该信息可以包括，例如，和按压和/或释放真实琴键相关的时间信息、施加在真实琴键上的力度、音符持续时间、音符值等。在一些实施例中，在弹奏过程中，不同种类的信息可以显示在显示屏上。
在一些实施例中，反馈模块105可以展示如何演奏一个音符、一组音符或乐谱中的一段、展示一个五线谱、或指出用户在弹奏乐器中的弹奏错误。
在一些实施例中，反馈模块105可以提供给用户一个阶段性的总结。该阶段性的总结可以包括关于用户在一个时期内的学习经历，例如，习惯性错误(例如由于用户习惯而引起的错误)、建议、评价、个性化课程、用户心理状态或是其他与用户弹奏情况相关的信息。习惯性错误可以包括但不限于音符错误、按下琴键/踩踏踏板的时间错误等或其任意组合。音符错误可以指用户弹奏了一个错误的音符。例如，用户应该弹奏“音符a”，但是用户弹奏了“音符b”。再例如，用户错误的弹奏了装饰音。在一些实施例中，用户在弹奏颤音时可能交替弹奏两个特定音符数次。如果用户交替弹奏两个音符的次数没有超过乐谱指定的次数，那么，处理器104可以认为用户错误弹奏了这个颤音。在一些实施例中，波音可能需要通过单次快速从一个特定主音移动到上面或下面的邻音来完成弹奏。如果用户在弹奏中进入了错误的邻音，那么，处理器104可以认为用户错误弹奏了这个波音。时间错误可以指用户虽然弹奏了正确的音符但是音符的时长是错误的、和/或用户虽然弹奏了正确的音符但是各音符间的间隔是错误的。例如，用户应该弹奏一个音符8个节拍，但是用户只弹奏了4个节拍。因此，反馈模块105可以给用户(例如，演奏者、学习钢琴的学生等)提供可视化的并且个性化的钢琴学习经验。
不同的模块之间可以通过无线或者有线连接的方式实现直接的或者间接连接或通信。无线连接的方式可以包括蓝牙、wlan、wi-fi、zigbee、z-wave、enocean、红外数据协议(irda)、超宽带(uwb)、近场通信(nfc)、移动网络(2g、3g或4g信号)、vpn、网络共享等或其任意组合。通信协议可以是传输控制协议(tcp)、用户数据报协议(udp)、互联网协议(tp)、超文本传输协议(http)、文件传输协议(ftp)、简单邮件传输协议(smtp)，邮局协议3(pop3)等或其任意组合。有线连接可以包括但不限于rs-232、can、tcp/ip、光纤等或其任意组合。
以上描述的智能检测和反馈系统的组成部分并不是详尽的，且不构成对本申请的限制。本领域普通技术人员可以做出的许多其他的变化、替代和修改，这些变化、替代和修改都在本申请披露的范围内。在一些实施例中，处理器104可以和反馈模块105集成为一个单元。这些变化仍然在本申请的披露的范围内。
图2是根据本申请的一些实施例所示的一种示例性的智能钢琴的示意图。如图2所示，该智能钢琴系统可以包括钢琴200、处理器104、反馈模块210和外接组件209。处理器104可以和云数据库208建立连接。处理器104可以进一步包括信号获取引擎201、存储设备202、外接输入引擎203、控制器204、声音引擎206和自动弹奏引擎207。控制器204可以进一步包括数据分析单元205。在不丧失通用性的情况下可以在处理器104中增加或者减少一些组件。例如，两个或多个模块可以组合成一个模块，或者其中一个模块可以被分成两个或多个模块。在一些实施例中，一个或多个模块可以存在于在不同的计算设备中，例如，台式电脑、笔记本电脑、移动电话、平板电脑、可穿戴计算设备等。在一些实施例中，处理器104的一个或多个部分可以与钢琴200集成在一起。
钢琴200可以是声学钢琴、电学钢琴、电子钢琴、数字钢琴和/或任何有键盘的乐器。声学钢琴可以包括大钢琴、直立钢琴、方形钢琴、专用钢琴(如玩具钢琴、准备好的钢琴等)等。
信号获取引擎201可以用于根据一个或多个集成在钢琴中的传感器获取用户的弹奏信息(也称为“第一弹奏数据”)。第一弹奏数据可以包括但不限于在用户弹奏中被按压的钢琴200的多个琴键的信息、琴键按压的力度信息、弹奏装饰音(例如，倚音、波音、颤音、回音等)的准确度信息、多个琴键被按压的相关时间信息(例如，特定琴键的弹奏时刻、两个琴键或一个琴键的两次按压之间的时间间隔)、多个琴键的按压顺序、用户踩踏钢琴200的一个或多个踏板的时间信息、或钢琴200的琴键和/或踏板被按压和/或踩踏产生的音符等。第一弹奏数据可以通过一个或多个集成在钢琴上的传感器获取。第一弹奏数据可以基于从传感器获取的琴键信号和/或踏板信号来生成。在一些实施例中，琴键信号和踏板信号可以是电信号。所述电信号可以通过多个电流值、多个压力值等或以上的任意组合来表现。当用户将手放在琴键上和/或将脚放在踏板上，第一弹奏数据就可以被记录。第一弹奏数据可以存储在存储设备202或者其他存储设备中。当用户没有将手放在键盘上时，第一弹奏数据也可以被获取。用户弹奏信息(例如，用户弹奏数据)也可以通过外接输入引擎203获取。在一些实施例中，信号获取引擎201可以获取一些由用户设置的参数。这些参数可以包括表明在用户弹奏时一个特殊标记是否应该被检测的参数、指示当一个音符已经连续多次被检测出弹错(例如，弹错次数为1次到5次、为6次到10次)时是否跳过这个音符的参数等或其任意组合。
存储设备202可以包括适用于存储数据的任何设备。数据可以由信号获取引擎201、外接输入引擎203、控制器204等或其任意组合提供。在存储引擎中，存储的数据类型可以包括由信号获取引擎201获取的琴键信号和踏板信号、通过信号获取引擎201生成的第一弹奏数据、由外接输入引擎203生成的第二弹奏数据(这里的第二弹奏数据可以是由多个外接组件获取的用户的手势、面部表情、情绪等或其任意组合)和/或任何其他类型的可在本申请的智能钢琴中实施的数据。存储设备202可以包括一个或多个组件。在一些实施例中，存储设备202可以包括硬盘驱动器、固态驱动器、可移动存储驱动器(例如，闪存磁盘驱动器、光盘驱动器等)、数字视频记录器等或其任意组合。
外接输入引擎203可以用于连接智能钢琴系统和多个外接组件209。在这里，外接组件209可以包括相机、指环、手套、或是其他具有传感器的可穿戴设备等或其任意组合。外接输入引擎203可以获取第二弹奏数据并且进一步将该数据发送至存储设备202。第二弹奏数据的类型可以根据作为和外接输入引擎203相连接的外接组件209的传感器决定。例如，如果外接组件209包括一个或多个摄像头，第二弹奏数据可以包括与弹奏钢琴的手势、弹奏钢琴时的面部表情、身体的姿势等或是以上任意的组合相关的图像和/或视频。在一些实施例中，外接组件209可以包括装配有多个传感器的多个穿戴设备，该传感器用于检测用户在弹奏钢琴时的弹奏数据的。例如，外接组件209可以包括具有至少一个传感器的多个指环。这些指环可以佩戴在手指的关节处，或其他任何可以反映手指实际动作的位置。当按压智能钢琴的琴键时，指环上的传感器就可以在按压过程中记录手指的位置信息、加速度信息、力度信息等或其任意组合。这些记录的信息可以被发送到外接输入引擎203并且还进一步存储在存储设备202中。在一些实施例中，第二弹奏数据也可以包括在弹奏钢琴过程中用户的脑电波。例如，用户可以佩戴一个具有脑电波检测装置的头盔。这些脑电波信息可以被发送到外接输入引擎203来进行进一步的分析。
控制器204可以用于生成针对智能钢琴系统的指令。例如，控制器204可以生成指令来指示处理器104中的一个或多个部件来执行一些功能，例如，生成信号、接收数据、处理数据、存储数据、发送数据、显示内容(例如，显示视频内容和/或图像、播放声频内容等)。控制器204可以处理由信号获取引擎201、存储设备202、外接输入引擎203或者智能钢琴其他部分提供的数据。
控制器204可以包括基于处理器和/或微处理器的单元。例如，处理器可以包括单片机、精简指令集计算机(risc)、特定应用集成电路(asic)、应用程序特定的指令集处理器(asip)、中央处理单元(cpu)、图形处理单元(gpu)、物理处理单元(ppu)、微控制器、数字信号处理器(dsp)、现场可编程门阵列(fpga)，精简指令集计算(risc)处理器(arm)、或其他能够执行类似功能的电路和/或处理器或其任意组合。
控制器204可以进一步包括一个或多个数据分析单元205。数据分析单元205可以用于分析第一弹奏数据和/或第二弹奏数据，以及一些作为默认值预设的并且存储在存储设备202中的数据。例如，数据分析单元205可以处理第一弹奏数据来确定应该弹奏哪个音符并且该音符应该在何时被弹奏。再例如，外接组件209检测到的手势信息可以被发送到外接输入引擎203，然后与存储设备202中的手势信息进行比对。关于数据分析单元205的其他详细内容会在本申请的其他地方进行描述，例如，在图3的相关描述中。
声音引擎206可以包括任何可以生成音频内容的设备。该音频内容可以是声学声音或者电学声音。声音引擎206可以包括，例如，一个或多个合成器、音序器、音频编解码器、信号处理器、扬声器等。声学声音可以由钢琴200的声学部分生成，例如琴键、踏板、音锤、金属弦和/或钢琴200中任何可以生成声学声音的部件。
在一些实施例中，声音引擎206可以使用一个或多个合成器、音序器、音频编解码器、数字处理器和/或任何其他可以产生电学声音等音频内容的设备来生成音频内容。该音频内容可以通过使用一个或多个扬声器或任何其他设备进行播放以产生电学声音。声音引擎206可以对电学声音进行多种不同的变化。例如，电学声音可以通过用户的指令进行替换或者改变。
电学声音可以和声学声音同时播放，也可以单独进行播放。在声学声音播放的时候，电学声音也可以不间断的播放。例如，在一次弹奏中，当用户选择一个或多个音符时，就可以触发电学声音。一旦一个或多个选定的音符被弹奏时，电学声音就可能停止。
在一些实施例中，声音引擎206可以根据由外接输入引擎203、存储设备202和/或其他设备提供的乐曲数据来产生声音。仅作为示例，智能钢琴系统可以从个人电脑或用户的智能手机中获取乐曲数据。然后，该乐曲数据可以被转换成可以被声音引擎206识别的形式。
自动弹奏引擎207可以用于自动演奏乐曲数据。该乐曲数据可以从存储设备202和/或其他设备获取。仅作为示例，该乐曲数据可以根据用户弹奏生成并且存储在存储设备202中。示例性的乐曲数据可以包括音乐原稿、一个或多个音符、按下一个或多个按键的时间、踩踏一个或多个踏板的时间、按下一个或多个按键的顺序、踩踏一个或多个踏板的顺序等。自动弹奏引擎207可以基于乐曲数据生成声音和/或图像。仅作为示例，在用户弹奏完音符并且将这些音符作为乐曲数据存储在智能钢琴系统的存储设备202中后，自动弹奏引擎207可以自动获取乐曲数据。自动弹奏引擎207还可以将该乐曲数据和生成声音的指令提供给声音引擎206。然后，声音引擎206可以据此生成声音。
反馈模块210可以用作控制器205和外接组件209的连接。控制器205可以生成用户可读的信息信号并且将该信号发送至反馈模块210。在这里，用户可读信息信号可以包括声音、图像、振动、电脉冲等或其任意组合。用户可读信息信号的类型可以根据外接组件209的类型来确定。例如，外接组件209可以包括一个或多个相机、一个或多个显示屏等。手势的图像或其他用户姿势信息可以通过相机被检测到。然后，该图像数据可以被发送到处理器104进行处理。在处理完成后，反馈模块210可以接收一个与之前检测到的图像相关的信号，并且进一步将该信号发送到一个或多个显示屏。在一些实施例中，外接组件209可以包括一个或多个装配有传感器和振动装置的指环。指环上的一个或多个传感器可以检测在弹奏过程中的手势。然后，与手势相关的信号可以被记录并且发送给处理器104进行处理。在完成处理后，反馈模块210可以收到一个与之前检测到的手势信号相关的振动信号，并且将该信号发送至振动设备。振动设备可以根据振动信号发出振动。
根据本申请的一些实施例，处理器104可以和云数据库208相连。存储设备202可以从云数据库208下载数据和/或上传数据至云数据库208。存储设备202下载的数据可以包括但不限于用户以往弹奏的历史记录、其他用户的弹奏记录等。在一些实施例中，如果存储设备202从信息获取引擎201、外接输入引擎203或控制器204接收数据，则存储设备202可以向云数据库208发送一个数据备份。在一些实施例中，声音引擎206可以从云数据库208接收信息。例如，如果用户请求没有存储在存储设备202中的音符，声音引擎206就可以根据云数据库208的音符生成声音信息。控制器204可以从云数据库208接收信息。在一些实施例中，当智能钢琴系统配置了新型的外接组件，控制器204则可以通过从云数据库208下载相关指令来生成控制指令。这里所提到的新型的外接组件209是指不能适用于处理器104中存储的或生成的控制指令的设备。在一些实施例中，自动弹奏引擎207可以从云数据库208下载自动弹奏信息。自动弹奏信息可以包括按压智能钢琴琴键的时间、按压琴键的顺序、按压琴键的力度、按压多个琴键的时间间隔等，或其任意组合。
在一些实施例中，信号获取引擎201、存储设备202、外接输入引擎203、声音引擎206、控制器204和自动弹奏引擎207可以包括和/或可以是任何通用设备(例如，计算机)或特殊用途设备(例如，客户端、服务器)和/或其他任何合适的设备。这些通用设备或者特殊用途设备可以包括任何合适的设备，例如，硬件处理器(可以是微处理器、数字信号处理器、控制器和/或任何其他合适的硬件处理器)、内存、通信接口、显示控制器、输入设备和/或任何其他合适的组件。例如，信号获取引擎201、存储设备202、外接输入设备203、声音引擎206、控制器204和/或自动弹奏引擎207可以是或包括个人电脑、平板电脑、可穿戴计算机、多媒体终端、移动电话、游戏机、机顶盒、电视和/或任何其他合适的设备。信号获取引擎201、存储设备202、外接输入设备203、声音引擎206、控制器204和自动弹奏引擎207还可以包括一个存储设备。该存储设备中可以包括硬盘驱动器、固态存储设备、可移动存储设备和/或任何其它合适的存储设备。信号获取引擎201、存储设备202、外接输入设备203、声音引擎206、控制器204和自动弹奏引擎207可以设置在任何合适的位置上。信号获取引擎201、存储设备202、外接输入设备203、声音引擎206、控制器204和自动弹奏引擎207可以作为独立设备，或与处理器104的一个或多个部件集成在一起。
以上披露的智能钢琴系统的组成部分并没有详尽描述，且不构成对本申请的限制。本领域普通技术人员可以做出的许多其他的变化、替代和修改都在本申请披露的范围内。
图3是根据本申请的一些实施例所示的处理器104中的示例性的数据分析单元205的示意图。数据分析单元205可以包括但不限于生理信息处理器301、物理信息处理器302。数据分析单元205可以处理、分析、计算、检索、存储和传输数据。在一些实施例中，数据分析单元205也可以包括一个或多个存储设备。生理信息处理器301、物理信息处理器302可以和信息获取引擎201、存储设备202、外接输入引擎203、控制器204、声音引擎206、自动弹奏设备207和反馈模块105通过有线或无线的方式进行连接。
生理信号处理器301可以用于处理、分析、计算、检索、存储和传输生理信号。所述生理信号可以包括用户情感、态度等、或是任何与用户弹奏情况相关的生理信号。在一些实施例中，该生理信号可以包括脑电波、心率、微表情、血压、脉搏等或其任意组合。这些生理信号可以用于评估与用户弹奏情况相关的用户心理状态。
物理信息处理器302可以用于处理、分析、计算、检索、存储和传输物理信号，例如演奏速度、按键力度、用户位置、手势、声音等或其任意组合。
生理信息处理器301和物理信息处理器302可以是任何市售的或企业订制的、应用的、个性化的和/或嵌入式微处理器、微控制器、数字信号处理器等。生理信号处理器301和物理信号处理器302可以是本地的或远程的。
以上对于数据分析单元205的组成部件的描述并没有详尽，且不构成对本申请的限制。本领域普通技术人员可以做出的许多其他的变化、替代和修改都在本申请披露的范围内。在一些实施例中，生理信号处理器301和物理信号处理器302可以集成在一个单元中。这些变化都在本申请的披露范围内。
图4是根据本申请的一些实施例所示的智能检测和处理系统中的示例性的反馈模块的示意图。反馈模块105可以包括但不限于实时输出单元401、阶段性输出单元402、显示设备403。在一些实施例中，反馈模块105可以包括一个存储设备。实时输出单元401、阶段性输出单元402和显示设备403可以通过有线或无线的方式互相连接。
实时输出单元401可以用于输出实时的或基本实时的反馈内容到显示设备403和/或外接组件209。
实时反馈内容可以包括用户弹奏乐曲的任何信息，例如，乐谱、弹奏视频、错误音符提醒、情感、指法、手势等或其任意组合。例如，反馈内容可以包括可以在屏幕上显示的可视化内容，例如，关于反馈的文字描述、一个分数，或者图像信息(例如进度条)。该可视化的反馈内容可以展示该用户弹奏情况相较于参考性演奏的准确度。可视化的反馈内容可以反映用户在一定时间段内的弹奏的准确度或是总的准确度。反馈内容可以是触觉内容。例如，通过一个可穿戴设备，比如指环，当用户弹奏的音符或者节奏与参考性演奏有超过阈值的差异时，实时输出单元401可以向用户的手指或用户手的位置输出电击或振动来通知和/或提醒用户。在一些实施例中，实时输出单元401可以用于输出点电击、振动到外接组件209，从而通过外接组件209提醒用户弹奏发生错误。
阶段性输出单元402可以用于输出阶段性反馈内容到显示设备403和外接组件209。
阶段性输出内容可以是一个时间段内的阶段性总结。阶段性总结可以包括用户在一个时间段内的学习经验的相关信息，例如学习风格、学习接受能力、学习速度、习惯错误、建议、评价、技能水平、用户心理状态、或与用户弹奏相关的任何信息。在一些实施例中，所述时间段可以是用户弹奏完一定长度的乐谱的时间长度、完成一个课程的时间长度、一周、一个月等。
在一些实施例中，阶段性输出单元402可以用于根据用户弹奏情况输出针对于该用户的个性化培训方案。
在一些实施例中，实时输出单元401和阶段性输出单元402可以向数据库102、云数据库208或其他可以存储信息的存储设备输出反馈内容。
显示设备403可以用于向用户展示反馈内容。
显示设备403可以是用于向用户展示反馈内容的设备。显示设备403可以包括但不限于打印设备、绘图仪、图像输出系统、语音输出系统、磁记录设备等或其任意组合。
在一些实施例中，显示设备403可以是一个智能终端，例如，台式电脑、笔记本电脑、智能手机、平板电脑、个人数字助理(pda)等、或是任何可以接收反馈内容的设备。在一些实施例中，显示设备403可以是可显示音频、图像、文本等或其任意组合的多媒体显示设备。
在一些实施例中，显示设备403可以执行检测模块102的一些功能。例如，麦克风可以用于音频输出或者音频输入。
以上对于反馈模块105的组成部件的描述并不是详尽的，且不构成对本申请的限制。本领域普通技术人员可以做出的许多其他的变化、替代和修改都在本申请披露的范围内。在一些实施例中，实时输出单元401可以和阶段性输出单元402集成为一个单元。在一些实施例中，反馈模块105可以配置有一个处理器来处理输出的信号。在一些实施例中，实时输出单元401和阶段性输出单元402可以被控制器204所控制。这些变化都在本申请所披露的范围之内。
图5a是一种为图1-4中所描述的智能钢琴系统的用户发送反馈内容的方法的示意性流程图。该方法可以通过图1-4所描述的智能钢琴系统来实现。例如，该方法可以作为存储在智能钢琴系统的非临时性存储介质中的一组指令集来实现。当智能钢琴系统100的处理装置104执行该指令集时，该指令集可以指示处理设备104执行下列步骤。
在步骤501，智能钢琴系统可以检测和/或获取与用户弹奏情况相关的用户信息。
该用户信息可以包括第一弹奏数据和第二弹奏数据(如，参见图1-4的相关描述)等或其任意组合。
如果用户信息是被智能钢琴200中配置的传感器检测和/或获取到的，并且被传输到信号获取引擎201中，该用户信息可以被视作为第一弹奏数据。如果用户信息是被外接组件209中配置的传感器检测和/或获取到的，那么，该用户信息可以被视作为第二弹奏数据。
在一些实施例中，用户信息可以包括用户的身份信息。例如，在进入智能钢琴系统时，用户会被要求通过输入设备(例如，键盘、远程控制器、触摸板等或其任意组合)输入id和/或密码。弹奏数据可以是与用户姿势、手势、脸部表情、情感、脑电波图像等或其任意组合相关的数据。与用户弹奏情况相关的用户信息可以用于评估用户弹奏情况。例如，如果用户弹奏过程中的手势和存储在存储设备202中的手势是相似的，那么该用户的弹奏可以被认为是正确的。再例如，如果用户在弹奏过程中的面部表情一直很专注，那么该用户可以被认为是在享受弹奏。在一些实施例中，对于用户的弹奏情况的检测与用户弹奏可以是同时进行的。例如，一些用户信息(例如，用户手势)可以实时地进行检测。对于这种类型的用户信息的评估可能需要弹奏过程中的完整数据。在一些实施例中，对于用户的弹奏情况的检测可以具有一定的间隔。例如，一些类型的用户信息可以不需要时刻被检测。这类信息可以包括面部表情、脑电波、体态等或其任意组合。这类信息可以每间隔一定时间段检测一次(例如，每秒检测一次)。该时间间隔可以由用户预先设置或者是一个默认值。
根据本申请的一些实施例，用户信息还可以包括针对用户历史弹奏情况的历史反馈。
在步骤502，智能钢琴系统可以根据用户信息生成信号。
信号的类型可以包括电流值、电压值等或其任意组合。该信号可以通过装配有多个传感器的外接组件209来获取。信号的强度可以根据外接组件209中配置的相应传感器的类型来确定。例如，如果外接组件209是指配置有一个或多个传感器的用于记录相应手指的位置信息的指环，如果相应的手指按下琴键，信号强度可能增加。在一些实施例中，外接组件209可以是一个相机，由于相机一直在检测手指的活动，所以信号强度可能不变化。外接组件209还可以是一个配置有脑电波传感器的头盔。当用户在弹奏钢琴时，脑电波传感器可以感知、检测并且收集用户的脑电波。相应的，第二弹奏数据也会包括用户弹奏钢琴时的脑电波信息。
在步骤503，上述信号可以被发送至处理器104。
如图2所示，信号可以在外接组件209中生成并且被发送到处理器104的外接输入引擎203中。从外接组件209到外接输入引擎203的信息传输可以通过无线传输或者有线传输的方式。有线传输方式可以包括rs-232、can、tcp/ip、光纤等或其任意组合。无线传输可以包括蓝牙、wlan、wi-fi、zigbee、z-wave、enocean、红外数据协议(irda)、超宽带(uwb)、近场通信(nfc)、移动网络(2g、3g或4g传输等)、vpn、网络共享等或其任意组合。在一些实施例中，部分信号传输可以在弹奏中实时进行。例如，相机可以获取一系列连续的图像数据，并且该图像数据可能需要及时传输给处理器104。在一些实施例中，部分信号传输可能并不需要在弹奏中实时进行。例如，指环中的存储设备可以记录多个位置数据。在一定时间间隔的弹奏完成后，上述位置数据可以根据被记录的时间以一定顺序被发送到处理器104。
在步骤504，智能钢琴系统可以处理上述信号并生成相应的反馈内容。
如图2所示，上述信号可以被外接输入引擎203和/或信号获取引擎201接收，并且存储在存储设备202中。上述信号还可以进一步被发送到控制器204。在一些实施例中，部分信号可能并不需要被存储在存储设备202中，只需要直接发送给控制器204。上述信号可以被数据分析单元205分析。在处理完成后，控制器204可以生成反馈内容。根据反馈内容，反馈模块210可以生成一系列指令。根据之前检测到的弹奏数据的类型可以确定信号处理方法。仅作为示例，外接组件209可以包括一个相机。相机检测到的弹奏数据可以是反映弹奏中用户手势变化的一系列图像。这一系列图像可以被控制器204组合在一起来生成视频内容。在一些实施例中，外接组件209可以包括一个位置传感器。该位置传感器检测的第一弹奏数据可以是手指运动的时间和位置信息。处理方法可以是分析手指运动的时间和位置数据以生成与用户弹奏过程中相似的虚拟手。反馈内容可以是提醒用户的一些操作。示例性的反馈内容可以包括在显示屏上展示的图像和/或视频、振动设备的振动、电脉冲生成器生成的电脉冲等或其任意组合。反馈内容的类型可以由包括外接组件209内的多个提醒设备决定。在这里，提醒设备可以指生成用户可感知信号的设备。示例性的提醒设备可以包括显示屏、振动设备、电脉冲生成器等或其任意组合。例如，反馈内容可以是屏幕上显示的可视化内容，例如，一段描述性的文字、一个分数、图像信息(例如进度条)。该可视化的反馈内容可以显示该用户弹奏相较于参考演奏的准确度。参考演奏可以包括但不限于一个由处理器104基于乐谱而自动生成的标准化演奏、教师的演奏、专家的弹奏等。可视化的反馈内容可以反映用户在一定时间段之内的弹奏准确度，或者整体弹奏的准确度。反馈内容也可以是触觉的。例如，通过一个可穿戴设备，比如指环，当用户弹奏的音符或者节奏与参考演奏有超过阈值的差异时，实时输出单元401可以向用户一个手指或用户手的位置输出一个电击或振动来通知和/或提醒用户。
在一些实施例中，智能钢琴系统也可以处理多种针对用户历史弹奏情况的反馈信息。为此，数据分析单元205可以基于多个历史反馈信息分析用户的历史弹奏情况并且生成用户弹奏情况的统计结果。该结果可以反映用户在他/她弹奏过程中的特点。例如，数据分析单元205可以生成统计结果。该统计结果可以反映用户之前容易弹错的音符或者音符集合。这个结果可以被发送给用户来展示他/她在弹奏过程中的弱点并且提示他/她可以做出的改进。例如，用户弹奏的特点可以包括用户弹奏中出现的与参考演奏不符的概率大于预设值的音符或者音符集合。在另一些实施例中，统计结果同样可以反映用户弹奏特性随着时间的变化。例如，统计结果可以显示用户在一定音符和音符集合上的弹奏正确率的随时间的提升。因此，当统计结果发送给用户时，该用户可以知道他/她的弹奏进步了。在一些实施例中，该统计结果可以是文字报告的形式。
在步骤505，智能钢琴系统可以将反馈内容发送给用户。
在一些实施例中，反馈模块210生成的多个指令可以被发送给多个外接组件209来驱动外接组件209中相应的提醒设备。从反馈模块210到外接组件209的指令传输可以通过有线或者无线的方式进行。
当接收到上述指令时，外接组件209中相应的提醒设备可以生成用户可感知的信号。例如，上述指令可以是驱使显示屏展示一系列图像数据。上述指令可以是驱使振动设备和/或电脉冲生成器的脉冲信号。如果用户按压错误的琴键或者手势不正确，那么振动设备就会振动和/或电脉冲生成器可以生成电脉冲来提醒用户。
在一些实施例中，上述提醒设备可以包括增强实境设备，例如配置成显示虚拟教师的头显设备，其中该虚拟教师可以根据反馈来指导用户。当用户弹奏不正确时，如用户的弹奏与参考演奏不匹配，虚拟教师可以提醒和/或纠正用户弹奏。
需要注意的是，以上关于智能钢琴给用户发送反馈内容的方法的描述是示例性的，并不限制本申请保护的范围。本领域的普通技术人员可以做出的许多其他的变化、替代和修改都在本申请保护的范围内。例如，检测方法和/或反馈内容可以根据具体实施方案进行更改。再例如，本系统可以包含一些其他外接设备，相应的检测方法和/或反馈内容也可以相应的改变。在一些实施例中，处理器104在处理产生的信号之后可以不产生反馈内容。反馈内容可以在检测用户弹奏数据后直接生成。
图5b是根据本申请的一些实施例所示的处理来自于外接输入引擎203和/或信号获取引擎201的信号并且生成反馈内容的示意性流程图。信号获取引擎201可以接收来自于钢琴200的包括第一弹奏数据的信号(这里称为“第一信号”)。外接输入引擎203可以接收来自于外接组件209的包括第二弹奏数据的信号(这里称为“第二信号”)。控制器204可以接收来自于信号获取引擎201和/或外接输入引擎203的第一和/或第二信号。反馈内容可以基于第一信号或第二信号中的一个而生成。在一些实施例中，反馈内容可以同时基于第一信号和第二信号而生成。
在步骤506，控制器204可以通过比较从信号获取引擎201接收到的第一信号和乐曲数据而得到第一比较结果。
来自于信号获取引擎201的第一信号可以包括钢琴相关信息，例如，琴键标识信息、按键时间信息、多个按键的顺序信息、踩踏板的时间信息、琴键产生的音符信息、踏板运动产生的音符信息、琴键/踏板运动产生的节奏信息等或其任意组合。在一些实施例中，来自于信号获取引擎201的第一信号可以包括用户按下琴键的时间信息。相应的乐曲数据可以包括按键的标准时间信息。在这一步骤中，第一信号中的时间信息也可以用于与乐曲数据中的相关时间信息进行比较。
在步骤507中，控制器204可以获取第一比较结果以生成反馈内容。
例如，如果从信号获取引擎201传输来的信号中的时间信息和标准时间信息相符或者基本相符(例如，第一弹奏数据的时间信息和预先存储的标准时间信息的差异小于一定值)，那么可以认为比较结果中包含正确的时间信息。如果该时间信息和标准时间信息不符，则可以认为比较结果中包含不正确的时间信息。反馈内容会基于比较结果而生成。例如，如果比较结果中包含正确的时间信息，那么可以不向用户发送提醒，或者会在屏幕上显示正确演奏的符号。如果比较结果中包含不正确的时间信息，则可以生成提醒信息并且通过提醒设备发送给用户。在一些实施例中，反馈内容可以包括在用户弹奏出现错误时发出的一个实时提醒或者基本实时提醒，或是一个报告。反馈内容可以是音频内容、视频内容、图像、文本、图形、点击、振动等或其任意组合。
在步骤508，控制器204可以根据从外接输入引擎203发送来的第二信号来校准生成的反馈内容。在一些实施例中，因为琴键机械运动的延迟或是信号获取引擎201处理的延迟，从信号获取引擎201发送来的信号中的时间信息可能不会准确表示按键时间信息。因此，反馈内容需要被校正。在一些实施例中，相机可以用于检测弹奏过程中的琴键按压情况。琴键按压的时间信息可以通过相机被记录下来，并且，进一步地可以通过外接输入引擎203传输到控制器204。从外接输入引擎203传输来的时间信息可以和从信号获取引擎201传输来的时间信息以及标准时间信息进行比较。控制器204可以根据该比较情况获取和/或生成第二比较结果。在一些实施例中，反馈内容可以根据第二比较结果进行校正。例如，用户弹奏的时间信息的均值可以根据从外接输入引擎203和信号获取引擎201发送来的时间信息进行计算。用户弹奏的时间信息的均值可以和标准时间信息进行比较以评估琴键按压的准确与否。
需要注意的是，以上描述仅是示例性的，并不限制本申请保护的范围。本领域的普通技术人员可以做出的许多其他的变化、替代和修改都在本申请披露的范围内。在一些实施例中，可以先比较外接输入引擎203发送来的信号和标准时间信号。并且从信号获取引擎201中发送来的信号可以用于校正反馈内容。这些都在本申请的保护范围内。
图6是本申请的一个实施例。如图所示，用户在弹奏智能钢琴603。
智能钢琴603可以包括一个显示屏。相对于智能钢琴系统，显示屏和相机600就是外接组件209。显示屏可以垂直设置在智能钢琴603的键盘的上方。在一些实施例中，显示屏可以从前述的垂直位置调节到一个特定的角度来面对用户。具体角度的可以取决于用户的身高和/或坐姿。例如，高一些的用户可以将智能钢琴603的显示屏调节到一个相对较大的角度来面向自己，而矮一些的用户可以将智能钢琴603的显示屏调节到一个相对较小的角度。智能钢琴603可以包含一个相机600。相机600可以被设置在显示屏的上端或者中部。在这种情况下，相机600可以从上面拍摄到键盘和/或用户的手势。在一些实施例中，相机600可以被设置在显示器600的一边或智能钢琴的一边。在这种情况下，相机600可以从侧边拍摄到键盘和/或用户的手势。相机600的视角可以根据用户进行调整。例如，如图所示，相机600可以转向不同方向。通过转动相机600，可以得到第一视角601和第二视角602。第一视角601可以监视键盘和用户手势。第二视角602可以监视用户面部表情。相机的方位可以根据用户的需要进行调节。例如，当用户想记录弹奏时的手势，视角就会被调节成第一视角601。在一些实施例中，设置在智能钢琴603上的相机600可能有多个。一个相机600可以以第一视角601被设置在第一位置。另一个相机600可以以第二视角602被设置在第二位置。多个相机600可以用于同时记录用户手势和/或面部表情，或根据处理器104的指令分别对用户手势和/或面部表情进行记录。
在该实施例中，外接组件209可以包括至少一个显示屏和至少一个相机600。相机600可以监测用户弹奏情况相关的用户信息。用户信息可以包括手势、面部表情、体态等或其任意组合。根据用户信息生成的信号可以是多个图像数据和/或视频数据。图像和/或视频数据可以被发送至智能钢琴的处理器104。图像和/或视频数据可以在处理器104中被处理。对图像或视频的处理可以包括图像和/或视频重建、图像和/或视频切割等或其任意组合。然后，处理器104可以根据处理后的图像和/或视频数据生成反馈内容。反馈内容可以是显示在智能钢琴603上的多个处理后的图像和/或视频。
图7a和图7b披露了外接组件209的一个实施例。
在一些实施例中，外接组件209可以是多个指环700。每个指环包括一个或多个传感器和/或提醒设备以用于测量指环的移动和位置或产生提醒信息。多个指环700中的每一个指环可以分别戴在用户的指关节上。每个指关节的位置和移动信息可以被指环700记录，并且，进一步可以用于重建用户手势。在一些实施例中，指环700可以被戴在用户的指尖上。配置在指环上的传感器可以检测按键的速度并且进一步计算相应的按键力度。
图7a是本申请的一些实施例所示的一个示意性指环700的配置结构图。指环700可以包括一个或多个微处理器701、一个或多个加速度传感器702、一个或多个位置传感器703、一个或多个提醒单元704、一个或多个存储器705、一个或多个通讯单元706、一个或多个供电单元707。
微处理器701可以通过数据总线等和其他设备相连。例如，该微处理器可以包括单片机、精简指令集计算机(risc)、特定应用集成电路(asic)、应用程序特定指令集处理器(asip)、中央处理单元(cpu)、图形处理单元(gpu)、物理处理单元(ppu)、微控制器、数字信号处理器(dsp)、现场可编程门阵列(fpga)、精简指令集计算机(risc)机(arm)等或其任意组合。
加速度传感器702可以包括陀螺仪、霍尔传感器、磁场传感器等或其任意组合。手指的加速度数据可以体现相应手指的运动。手指的加速度数据可以进一步用于计算手指的按压力度。
位置传感器703可以包括光传感器、电传感器、光电传感器等或其任意组合。位置传感器可以记录特定时刻的手指位置。指环的位置可以是相对于地面或是智能钢琴的绝对位置，或是相对于另一个指环的相对位置。
提醒单元704可以包括以上描述的提醒设备，例如，显示屏、振动设备、电脉冲生成器、led、麦克风等或其任意组合。提醒单元704可以被微处理器701发出的指令所驱动。
存储器705可以包括任何可以存储数据的设备。传感器检测到的用户弹奏数据可以被临时存储在存储器705中，然后被发送到微处理器701。微处理器701生成的指令也可以被临时存储在存储器705中，然后被发送到提醒单元704。
通讯单元706可以用于建立指环700和智能钢琴之间信号的传输通道。该传输可以通过无线或者有线的方式实现。
供电单元707可以用于为指环700的其他部件提供电能。
在一些实施例中，加速度传感器702和/或位置传感器703可以相应检测到加速度数据和/或位置数据。加速度数据和位置数据可以是和用户弹奏相关的用户信息。微处理器701可以处理这些数据并且生成一些相应的信号。然后，这些信号可以被发送到通讯单元706以便能进一步发送到智能钢琴的处理器104。通讯单元706可以建立外接输入引擎203和处理器104之间信号的传输通道。通讯单元706可以从智能钢琴的反馈模块210接收一个指令，然后，该指令可以被直接发送到提醒单元704，或者通过微处理器701被发送到提醒单元704。该指令可以驱动提醒单元704中相应的提醒设备。
图8是根据本申请的一些实施例所示的检测与用户弹奏情况相关的用户信息的示意图。外接组件209可以包括相机801和多个指环803。相机可以被设置在智能钢琴的顶部，或者任意可以同时监视键盘802和用户手部的一个位置上。指环803可以包括指环700中的部分部件或者全部部件。指环803展现的一些特点可以被相机检测到。例如，这些特点可以包括颜色、形状、尺寸等或其任意组合。在一些实施例中，佩戴在不同手指上的指环803可以有不同的颜色。相机801可以检测到指环803的不同颜色。当用户按压键盘802，彩色指环803的移动可以展现相应手指的动作。这些关于手指动作的数据会被相机801检测到并且进一步被发送到智能钢琴处理器104。
图9a和图9b是两个示例性的检测与用户弹奏情况相关的用户信息的实施例。这两幅图表示的是通过传感器检测钢琴琴键运动的机制。传感器集成在智能钢琴上以检测相关信息。如图所示，智能钢琴中有一个或多个传感器900。传感器900(例如，一个光电传感器)可以包括发光元件902和光检测元件903。例如，发光元件902可以包括可见光二极管、红外发光二极管、激光二极管(ld)、光电池等。例如，光检测元件903可以包括光电管、有源像素传感器(aps)、电荷耦合器件(ccd)、气体电离探测器、光敏电阻、光敏三极管等。发光元件902可产生不同波长的光。例如，发光元件902可产生可见光、红外光、紫外(uv)光等。在一些实施例中，发光元件902发出的一束光的波长可以由一个或多个电机使用脉宽调制(pwm)机制来控制。光检测元件903可以用于接受光并将其转换为电信号(例如，电流信号、电压信号等)。
如图9a所示，在一些实施例中，发光元件902和光检测元件903可以被放置在琴键901下方。在一些实施例中，可以将不透明的遮挡物，如板904，装配到琴键901的表面。不透明板904可以部分或者完全阻止光检测元件903接收由发光元件902发出的光。不透明板904可以设置在琴键901的下表面(例如，琴键901的底部)。在一些实施例中，发光元件902可以持续不断地向光检测元件903发出光。在一些实施例中，发光元件902也可以间断地向光检测元件903发出光。例如，相邻两次光束发出的时间之间有一个或多个时间间隔。该一个或多个时间间隔可以基于用户按键的速度来设置。
在一些实施例中，发光元件902可以发出光束905。当琴键901没有被按下时，琴键901可以在一个较高的位置，称为顶端。当用户按下琴键901，琴键901可以从顶端向下移动。当琴键901不能再向下移动时，琴键901到达底端。不透明板904可以和琴键901一起向下并且阻断光束905的传播。光检测元件903可以检测到的光的量就会有所变化。例如，当琴键901向底端移动时，光检测元件903检测到的光的量就可能变少。再例如，当琴键901移动到顶端时，光检测单元903检测到的光的量就可能增加。光检测元件903可以确定在整个过程中接收到的光的量并且将这个信息转换为一个或多个信号(例如，一个或多个琴键信号)。
如图9b所示，在一些实施例中，不透明板904在智能钢琴系统中可以被省略。例如，发光元件902和光检测元件903可以放置在琴键901的上方或者下方，并且发光元件902发射的光束可以不是以线性的方式到达光检测元件903。发光元件902发出的光束911可能被投射到琴键901上。光束911一旦接触到琴键901的表面就可以被反射(例如，在上表面、下表面进行反射)。然后反射光束913可以到达光检测元件903并且被光检测元件903接收。当用户按下琴键901时，琴键901可以从顶端向底端移动。从发光元件902到光检测元件903的光传播距离可以根据琴键901的运动而改变。光检测元件903可以确定光发出和光接收的时间以记录光传播距离的改变。距离的改变可以被转换为一个或多个可以被光检测元件903检测到的电信号。因此，琴键901的运动可以被传感器900所记录。
以上披露的发光元件和光检测元件仅是示例性的，不构成对本申请的限制。本领域普通技术人员可以做出的许多其他的变化、替代和修改都在本申请披露的范围内。
图10是智能检测和反馈过程的示意性流程图。该过程通过智能钢琴系统100中的非临时性存储媒介里面的一组指令来执行。当智能钢琴系统100中的处理器104执行这一组指令时，该指令可以指示处理器104来执行以下步骤。
在步骤1001中，处理器104可以获取与用户弹奏一段乐曲的情况相关的弹奏数据。该弹奏数据可以包括弹奏中琴键的运动、踏板的运动、琴键的位置、琴键运动的时间信息(例如，按压琴键的时刻、释放琴键的时刻、琴键处于特定位置对应的时刻)、按压琴键力度、运动过程中的琴键速度、一组琴键或者一个琴键需要按压的次数、踩踏板的时间和一组踏板或者一个踏板需要踩踏的次数等。该弹奏数据可以通过信号获取引擎201和/或外接输入引擎203来获得。信号获取引擎201和/或外接输入引擎203可以和检测模块102以及数据库103通过无线或者有线的方式连接。
在一些实施例中，该弹奏数据还可以包括用户情感数据、态度数据等。情感数据可以用于评估用户进行弹奏过程中的情感状况的。态度数据可以用于评估用户对于乐器的弹奏热情。
在一些实施例中，处理器104可以用于获取与用户弹奏相关的用户信息，例如，用户弹奏习惯、音乐技巧水平、喜好、经验、能力等。用户信息可以用于评估用户弹奏情况。用户信息可以被存储在数据库103中。用户信息可以被存储在云数据库208中。
在步骤1002中，处理器104可以获取一段乐曲数据作为参考弹奏数据。乐曲数据可以从数据库103、外接输入引擎203、存储设备202、云数据库208、一个服务器和/或任何可以提供乐曲数据的设备中获得。乐曲数据可以包括一段音乐的任何信息，例如乐谱、音乐家信息、钢琴教学视频、钢琴教学参考、指法、音乐家演奏等。乐曲数据可以是音频文件、图像、文本、视频等，或其任何组合。
在一些实施例中，用户(例如，钢琴的一个弹奏者/用户)可以识别一段乐曲。例如，智能检测和反馈系统100可以提示用户从乐谱片段列表中选取一个乐谱和/或提供一段乐曲的信息(例如，通过提供一个或多个用户界面)。再例如，智能检测和反馈系统100可以通过启动乐曲数据的下载和/或从存储乐曲数据的设备中提取乐曲数据来检索和识别乐曲数据(例如乐谱)。在一些实施例中，可以根据与乐曲弹奏相关的音频内容(例如，使用合适的音频匹配、指法和处理技术)来识别乐曲。
在一些实施例中，处理器104可以在数据库103、云数据库208、存储设备202、网页等中执行检索乐曲数据的功能。
在一些实施例中，处理器104可以执行分析弹奏数据的功能。例如，关于用户弹奏的图像数据可以用于识别图像并且从中提取特征数据，例如用户的微表情、用户体态、用户指法或任何在图像上能显示的且与弹奏相关的特征。
在步骤1003中，可将乐曲数据(例如，参考乐曲数据)和弹奏数据进行比较。在一些实施例中，处理器104可以比较弹奏数据中的多个音符和标准乐曲数据中的多个音符。标准乐曲数据可以通过处理乐曲数据得来。对每一个音符的匹配来说，每个标准音符可以和一个弹奏音符中进行匹配以形成一个匹配对，除非一个对应的弹奏的音符被识别为丢失。对于每一个音符的匹配，处理器104可以分析音符偏差。每个音符偏差可以通过基于标准音符和与之匹配的弹奏音符而计算得到。对于每一个音符的匹配，处理器104可以分析弹奏数据和乐曲数据之间的整体弹奏差异。在一些实施例中，整体弹奏差异可以是与多个琴键按压时间相关的时间差异(例如，特定琴键的按压时间差异、两个琴键或者一个琴键的两次按压时间之间的间隔差异)、多个琴键运动之间的顺序差异、用户踩踏一个或多个踏板的时间差异、弹奏乐谱的速度差异等或其任意组合。
在步骤1004中，处理器104可以评估用户的弹奏情况以生成反馈内容(也就是反馈结果)。处理器104可以基于对乐曲数据和弹奏数据的比较来评估用户弹奏情况。在一些实施例中，处理器104可以基于用户信息进行评估。
在一些实施例中，反馈内容可以包括需要再次学习专家的弹奏样本、需要在特定音符上付出更多练习等。在一些实施例中，反馈内容会可以从云存储设备、服务器和/或其他可以提供建议的设备上提供。例如，该建议可以存储在以任何可能的错误为索引的云存储设备中。每个错误可以指向一个或多个建议。在一些实施例中，该建议可以来自于一个或多个实时专家数据库。每个实时专家数据库可以和一个或多个专家相连。这些专家在接收到一个或多个错误后可以提供相应的建议。智能检测和反馈系统可以向实时专家数据库提供错误并且从这些数据库中抽取建议。在一些实施例中，该建议可以根据智能检测和反馈系统中记录的历史错误生成。例如，如果一个错误发生的次数超过了一个阈值，那么智能检测和反馈系统可以为用户提供建议以促使该用户注意该错误。
在一些实施例中，在用户弹奏乐器之前，他/她可以调节一些设置来增加或降低弹奏难度。在一些实施例中，在用户完成一个乐谱的弹奏后，他/她可以调节一些设置以评估他/她的弹奏情况。在一些实施例中，该设置可以包括检测或跳过装饰音和/或重复记号。例如，如果在用户弹奏前设置跳过重复记号，他/她可以只弹奏除了重复记号外的其他音符，并且这样的弹奏并不会影响评估结果。再例如，如果装饰音和/或重复记号被设置为不影响评估结果，那么不论他/她是否弹奏装饰音和/或根据重复记号进行弹奏，或者不管他/她弹奏装饰音和/或根据重复记号进行弹奏是否正确，评估结果都不会受影响。在一些实施例中，该设置还可以包括错误弹奏一个特定音符超过预定次数时，该音符是否被跳过。预定次数可以是从1到10或者超过10的一个合适的值。在一些实施例中，预定次数可以为5。
上述设置还可以包括弹奏速度(如与参考速度相比的按压琴键的速度)。例如，当用户不熟悉这个乐谱时，用户可以选择一个较慢的弹奏速度。在一些实施例中，当用户以相对快的速度来弹奏乐谱时(例如，比参考速度快的速度)，并且此时一个音符弹奏错误但是该音符的邻音(例如，该音符前面的一些音符、该音符后面的一些音符、该音符前后的一些音符)都弹奏正确，智能检测和反馈系统100可以不阻止该用户继续弹奏接下来的乐谱。
在一些实施例中，用户可以选择在弹奏中暂停弹奏。例如，如果用户在弹奏乐曲过程中出现错误(在弹奏某一节时出现错误)，他/她可以选择重弹这一节而不是继续弹下一节。再例如，如果智能检测和反馈系统100中的传感器和外接设备检测到用户暂停了一段时间(例如，超过1分钟)，系统中的处理器104可以意识到用户可能忙于其他事务，并且评估结果不会受到影响。在一些实施例中，当用户在弹奏的过程中，屏幕上的光标可以相应随着弹奏的进行而移动。光标可以表示用户弹奏到了乐曲的哪个位置。当用户停下弹奏时，光标可以停在相应位置。
在步骤1005中，处理器104可以将反馈结果发送给反馈模块105。
反馈内容可以包括音频内容、视频内容、图像、文本、图形、电击、振动等或其任意组合。在一些实施例中，反馈模块105可以展示如何弹奏一个音符、一组音符、一个乐谱的一部分、指示一个音乐记号、或者指出用户弹奏过程中的错误。在一些实施例中，在弹奏时和/或弹奏完一段预定长度的乐曲后，处理器104可以通过反馈模块105将反馈内容及时地发送给用户。处理器104还可以将反馈内容发送给数据库以进行存储。
在一些实施例中，反馈内容也可以包括不同用户针对同一乐谱的弹奏记录之间的区别。例如，不同用户弹奏同一音符和/或同一段落之间的比较结果。
处理器104可以通过无线或者有线的方式将结果发送到反馈模块105。无线连接可以是蓝牙、wlan、wi-fi、zigbee、z-wave、enocean、红外数据协议(irda)、超宽带(uwb)、近场通信(nfc)、移动网络(2g、3g或4g信号等)、vpn、网络共享等或其任意组合。
需要注意的是，每个流程都可以被计算机程序指令执行。以上披露的计算机指令可以通过一个通用计算机、特殊用途计算机和/或其他可以生成指令的程序数据处理设备生成，并且通过计算的控制器和/或其他程序数据处理设备来执行，生成可以执行该流程的方法。
以上披露的过程仅是示例性的，并不构成对本申请的限制。本领域普通技术人员可以做出的许多其他的变化、替代和修改都在本申请披露的范围内。在一些实施例中，检测模块101可以包括用于处理数据的微处理器。在一些实施例中，不同的模块可以互相组合，这些仍在该申请的保护范围内。
在一些实施例中，智能钢琴和反馈系统可以包括三种运行模式。在第一种模式可以要求用户弹奏的音符信息与参考乐曲的音符信息相符，但不考虑弹奏速度(即不对弹奏的时间信息与参考乐曲的时间信息进行比较)。第二种模式可以要求比较用户弹奏的时间信息与参考乐曲的弹奏时间信息相符，但是不要求弹奏的音符与参考乐曲的音符相符。第三种模式可以既要求与参考乐曲相符的时间信息又要求相符的音符信息。
图11是智能检测与反馈系统执行过程的一个示例性流程图。该过程可以通过智能钢琴系统100中的非临时性存储介质中的一组指令来执行。当智能钢琴系统100的处理器104执行该组指令时，这组指令可以指示处理器104来执行程序中的下列步骤。
在步骤1101中，弹奏数据可以通过至少一个传感器获得。
弹奏数据可以包括音符信息和时间信息。用户弹奏的音符信息可以是关于至少一个琴键或踏板的信息(例如，琴键标识信息)、一系列按压琴键的顺序信息、按压琴键的力度信息、踩踏板的力度信息等或其任意组合。时间信息可以包括弹奏速度，例如，按压琴键的时间、释放琴键的时间、踩踏板的时间、两个键的按压时间间隔或者一个键的两次按压之间的时间间隔、两个踏板的踩踏时间间隔或者一个踏板的两次踩踏之间的时间间隔等或其任意组合。
传感器可能包括但不限于加速度传感器、力敏电阻(fsr)、声纳、红外(ir)传感器、光传感器、惯性测量单元(imu)传感器、航姿参考系统(ahrs)传感器、温度传感器、通用运动或定位传感器。在一些实施例中，传感器可以是声音(或体积、功率、频率)测量装置。
在一些实施例中，压力传感器可以装配在键盘下方并且通过无线或者有线的方式和处理器104连接。当用户触碰键盘时，琴键上的压力就可以被压力传感器检测到。压力传感器可以捕捉压力值并且生成压力信号。信号获取引擎201和/或外接输入引擎203获取了压力信号后就可以将压力信号发送给控制器204和数据分析单元205。
在一些实施例中，传感器可以配置在智能配件上，例如智能指环、智能腕带、智能手套、智能眼镜等。
在步骤1102中，弹奏数据可以被发送给一个处理器。在一些实施例中，该处理器可以配置在检测模块101上。在一些实施例中，该处理器可以配置在处理器104上。传感器可以通过无线的方式与该处理器相连接，例如蓝牙、wlan、wi-fi、zigbee、z-wave、enocean、红外数据协议(irda)、超宽带(uwb)、近场通信(nfc)、移动网络(2g、3g或4g信号等)、vpn、网络共享等或其任意组合。
在步骤1103中，处理器可以将弹奏数据和乐曲数据进行比较(例如，参考乐谱数据)。
在一些实施例中，在和乐曲数据进行比较前，弹奏数据可以在数据分析单元205中被分析。在一些实施例中，图像传感器可以获取用户弹奏时的手指位置图像。图像传感器可以将光学信号转化为电信号，并且将电信号发送至数据分析单元205。数据分析单元205可以识别图像并且提取在键盘上的手指位置信息。
数据分析单元205也可以从数据库102获取乐谱数据。
乐谱数据可以显示应该弹奏的音符以及这些音符应该在何时被弹奏。在一些实施例中，用户可以通过数据库102检索乐谱。在一些实施例中，用户从网页上检索到乐谱后，可以通过语音控制下载乐谱。在一些实施例中，乐谱可以被处理生成参考弹奏数据。这些参考弹奏数据可以指可以作为参考的弹奏该乐谱的标准方式。例如，乐谱可以显示用户应该用第一根手指弹奏一个全音符(参考弹奏数据)。处理器104可以将弹奏数据和参考弹奏数据进行比较来确定是否有错误产生。在一些实施例中，步骤1101中获取的弹奏数据可以被处理从而生成处理后的弹奏数据。处理后的弹奏数据可以包括应该弹奏的音符、这些音符应该在何时被弹奏等。
在一些实施例中，反馈模块105可以在屏幕上显示待弹奏的乐谱和一个虚拟的键盘。虚拟键盘的相关动作可以根据乐谱确定。
在步骤1104和1105中，如果弹奏数据和乐谱相符，处理器104可以不生成信号来阻止用户弹奏乐谱。
在一些实施例中，压力传感器可以获取琴键的运动并确定用户弹奏的音符。例如，处理器104可以根据乐谱确定应该弹奏的音符并且和已经弹奏的音符进行比较。如果弹奏的音符和乐谱相一致，系统可以允许用户弹奏下一个音符。如果弹奏的音符和乐谱不一致，那么系统可以发出一个提醒以阻止用户弹奏下一个音符，直到用户弹奏了正确的音符为止。提醒的方式可以包括电击、振动、信号灯、一段声音等或其任意组合。再例如，如果用户弹奏音符的时间和应该弹奏音符的时间相符，系统可以允许用户继续弹奏乐谱并且不产生任何提示，如果不相符，系统可以阻止用户弹奏下面的乐谱，或者发出一个关于弹奏时间错误的提醒。
在一些实施例中，智能检测和反馈系统100可以实施错误检测模式和/或包含错误检测模块。例如，错误检测模式和/或模块可以检测弹奏信息中的错误。弹奏信息中的错误可以主要包括对一个或多个琴键和/或踏板的操作时间错误、对一个或多个琴键/踏板的操作顺序错误、对一个或多个琴键和/或踏板的操作力度不合适等。如果用户在弹奏一段乐谱时出现错误，系统100可以实时检测错误并且阻碍用户继续弹奏下一段乐谱。智能检测和反馈系统100也可以给用户提供建议。建议可以基于弹奏过程中发生的错误来确定。例如，该建议可以包括学习一段专家或者老师的示范弹奏、在特定的音符或者小节上付出更多的努力等。
在一些实施例中，系统可以包含在乐器上配置的外接设备，以便在用户弹奏错误的音符时可以阻止乐器工作。在一些实施例中，系统可以通过外接设备提供提醒来提示用户，例如，电击、振动、信号灯、一段声音等或其任意组合。在一些实施例中，系统可以在界面上显示错误或者通过声音来提示用户应该弹奏哪个音符。
图12是根据本申请的一些实施例所示的另一种智能检测和反馈系统的处理方法的示意性流程图。该过程可以通过智能检测和反馈系统100中的非临时性存储介质中的一系列指令来执行。当智能检测和反馈系统100的处理器104执行这一系列指令时，这一系列指令可以指示处理器104来实现以下步骤。
在步骤1201中，处理器104可以指示至少一个传感器来获取和/或检测用户弹奏数据。
传感器和步骤1101中的传感器类似。步骤1201中获取的弹奏数据可以包括音符信息和时间信息。用户弹奏的音符信息可以是关于至少一个琴键或踏板的信息，例如，琴键标识信息、一系列按压琴键的顺序信息、按压琴键的力度信息、踩踏板的力度信息等或其任意组合。时间信息可以包括弹奏速度，例如，按压琴键的时间、释放琴键的时间、踩踏板的时间、两个键的按压时间间隔或者一个键的两次按压之间的时间间隔、两个踏板的踩踏时间间隔或者一个踏板的两次踩踏之间的时间间隔等或其任意组合。
在步骤1202中，弹奏数据可以被发送给处理器，例如处理器104。
在一些实施例中，处理器，例如处理器104，可以被配置在检测模块101中。传感器可以通过一些方式和处理器相连接，例如，无线蓝牙、wlan、wi-fi、zigbee、z-wave、enocean、红外数据协议(irda)、超宽带(uwb)、近场通信(nfc)、移动网络(2g、3g或4g信号)、vpn、网络共享等或其任意组合。
在步骤1203中，处理器104可以将弹奏数据中的音符信息和乐曲(也在此被称作参考乐曲)进行比较。
在一些实施例中，可以从数据库102中检索到参考乐曲。在一些实施例中，可以从网页上检索到参考乐曲。
在一些实施例中，在将音符信息和参考乐曲进行比较之前，数据分析单元205可以分析并且提取音符信息。在一些实施例中，光传感器可以用于获取用户在弹奏一首乐曲时的键盘上手指位置的图像。光传感器可以将光信号转换成电信信号，并且将电信号发送给数据分析单元205。数据分析单元205可以识别图像并且抓取键盘上的手指位置。数据分析单元205也可以从数据库102获取一个乐曲。
在一些实施例中，反馈模块105可以在屏幕上显示乐曲和一个虚拟键盘。虚拟键盘的相关动作是根据乐曲确定的。
在步骤1204中，处理器104可以确定音符信息是否和参考乐曲相符。
如果音符信息和参考乐曲相符(例如，音符信息和乐曲的相似度大于一个阈值)，那么该过程可以前往步骤1205。在一些实施例中，如果音符信息和参考乐曲不相符(例如，音符信息和乐曲的相似度等于或小于一个阈值)，系统100可以记录音符信息和参考乐曲之间的不同，并且系统会允许用户继续弹奏乐曲。在一些实施例中，如果音符信息和参考乐曲不符，系统100可以会发出一个提醒以阻止用户继续弹奏下一个音符，并且持续检测琴键和/或踏板的动作。在一些实施例中，系统100可以在乐器中配置有外接设备以便在用户弹奏错误的音符时可以阻止乐器工作。在一些实施例中，系统100可以通过电击、振动、信号灯、音频内容、视频内容、图像、文本、图形等或其任意组合来提醒用户。在一些实施例中，系统100可以在屏幕上显示错误或者通过声音来提示用户需要弹奏哪个音符。
在步骤1205中，处理器104可以将弹奏数据的时间信息和参考乐曲进行比较。
在一些实施例中，智能检测和反馈系统100中的传感器可以获取琴键的运动信息并且确定用户弹奏特定音符的时间点(这里也称作“第一时间点”)。处理器104可以根据参考乐曲确定理论弹奏该特定音符的时间点(这里也称作“第二时间点”)。处理器104可以将第一时间点和第二时间点进行比较。
在一些实施例中，在将时间信息和乐曲中的时间信息进行比较之前，数据分析单元205可以分析并提取时间信息。在一些实施例中，弹奏数据可以通过信息获取引擎201和/或外接输入引擎203来获得，并且被发送至控制器204和数据分析单元205。数据分析单元205可以分析弹奏数据并且抽取特定的时间信息。
在步骤1206中，处理器104可以确定用户是否弹奏完成了一定长度的参考乐曲。
特定长度的参考乐曲可以是一组音符，例如，一段音符、一节音符、一章音符等。如果用户没有完成参考乐曲的一定长度，那么该用户可以继续弹奏剩下的音符。
如果用户已经弹奏完成特定长度的参考乐曲，系统100可以在步骤1207中输出反馈内容。反馈内容可以由反馈模块105提供。在一些实施例中，反馈内容可以包括用于通知和/或提醒用户的关于用户弹奏情况和参考演奏的区别的信息。参考演奏可以包括但不限于由处理器104基于参考乐曲而生成的标准化演奏、教师的演奏等。在一些实施例中，反馈内容也可以包括用户当前弹奏和该用户自己的历史弹奏记录之间的比较、用户当前弹奏和其他用户的历史弹奏记录之间的比较等。比较的内容可以包括用户容易弹错的音符类型、用户容易弹错的节奏类型等或其任意组合。在一些实施例中，反馈内容可以以音频内容、视频内容、图像、文本、图形、电击、振动等或其任意组合的形式来显示。
在一些实施例中，反馈模块105可以在屏幕上显示参考乐曲和一个虚拟键盘。虚拟键盘的相关动作可以根据乐曲确定。在一些实施例中，检测模块102可以持续检测用户的弹奏。如果用户停下了一定时间，虚拟琴键可以停留在当前位置上直到用户再次开始弹奏。该时间长度可以是5秒、1分钟等。该时间长度可以由用户设置或保持默认值。
通过反馈内容，智能检测和反馈系统100可以通知用户应该在哪些错误上付出更多努力，或是其他建议，以便用户弹奏下一段特定长度的乐曲时能够提升自己的弹奏水平。
需要注意的是，以上对于智能检测和反馈系统的处理的描述，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对实施上述方法和系统的应用领域形式和细节上的各种修正和改变。然而，这些修正和改变仍然在本申请的保护范围之内。
需要注意的是，所有这些以及类似的术语都要与适当的物理量联系起来，且仅仅是运用于这些量的方便描述的标签。除非另有明确规定的，申请中采用以下词，诸如“发送”、“接收”、“生成”、“提供”、“计算”、“执行”、“存储”、“确定”、“获取”、“校正”、“记录”等指的是电脑系统或其它类似电子计算设备的动作和过程，此处所述的电脑系统的过程是对表现为电脑系统中的存储器或者寄存器中的物理量的数据进行操作和转化，使得它们变成同样展示在电脑系统的存储器、寄存器或者其他的数据存储、传输和显示设备中的类似的其他数据。
本申请中所采用的词语“第一”、“第二”、“第三”、“第四”等是用于区分不同元素的标签，并不一定有与它们的指定序数相关的序数意义。
在一些实施例中，任何合适的计算机可读介质都可以用于存储那些用于执行本申请中所述过程的指令。例如，在一些实施例中，计算机可读介质可以是临时性的或者非临时性的。例如，非临时性的计算机可读介质可以包括例如磁介质(如硬盘、软盘等)、光介质(如光盘、数字视频光盘、bluray光盘等)、半导体介质(如闪存、电可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)等)等任何在传播过程中所记录的数据不会稍纵即逝或者介质缺乏持久性的有形介质。再例如，临时性的计算机可读介质包括网络上的信号、连接器、导体、光纤、电路等任何在传输中没有持久性的无形介质。
需要注意的是，上述描写的智能钢琴系统中的钢琴，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对实施上述方法和系统的应用领域形式和细节上的各种修正和改变。然而，这些修正和改变仍然在本申请的保护范围之内。
此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。