本发明涉及用于在音乐作品练习中使用的音乐演奏辅助装置和方法。
背景技术：
在音乐教育中，关键且重要的是掌握音阶。由此，存在以前公知的用于掌握音阶的方法，其使用音乐板(musicboard)，该音乐板设有：模拟键盘的键盘部分；和模拟五线谱的五线谱记谱部分。音乐板构造为不仅通过在键盘部分上点亮在键盘乐器上被按压的每一个琴键而且还通过在五线谱记谱部分上点亮具有与被按压琴键对应的音高的音符来允许用户掌握音阶(见下方的专利文献1)。
然而，因为音乐板是用于辅助音阶学习的训练物品，所以其构造为仅仅显示琴键和与琴键对应的音高在五线谱上位置的对应关系；换句话说，其并不能与音乐作品的演奏关联。使用这种音乐板来反复练习音乐演奏对于用户来说不会有太多乐趣。进一步地，通过使用音乐板进行练习，用户无法按预期正确掌握音乐作品的演奏和掌握如何阅读乐谱。
进一步地，电子键盘乐器等中的演奏引导功能已经出现，被称为用于掌握音乐作品演奏的方法。演奏引导功能被设计为点亮要被按压以演奏音乐作品的琴键并在显示部分上显示音符和手指弹奏。然而，这样的演奏引导功能设定为根据预定再现节拍或响应于琴键按压操作而提前显示要练习的音乐作品。即，仅基于音乐作品的进程而针对当前要执行的位置来执行要被按压的琴键的点亮和要演奏的音符的显示，即仅用于音乐作品的特定部分。
现有技术文献:
专利文献
专利文献1：日本实用新型公开no.sho-63-4226
非专利文献
非专利文献1：yamaha公司在2012年公开的“instructionmanualofyamahaportatoneezj220,joyfullessonwithgoodsound”
技术实现要素：
有鉴于现有技术的前述问题，本发明的目标是提供一种改进的演奏辅助装置和方法，其可提高音乐作品的学习效果。
根据本发明，提供一种改进的演奏辅助装置，其包括：显示装置，其基于乐谱数据显示乐谱图像，用于显示出表示构成音乐作品的各种声音的音符被沿时间轴线和音高轴线布置的乐谱图像；获取部分，其获取表示一个或多个音高的音高信息；识别部分，其从包括在乐谱图像中的音符识别出与通过已获取音高信息表示的一个或多个音高中的任何一个相匹配的每一个音符；和显示控制部分，其在任何音符已经被识别部分识别为与通过已获取音高信息表示的一个或多个音高中的任何一个相匹配时，改变已识别音符的显示样式，且所述显示控制部分在没有音符被识别部分识别为与通过已获取音高信息表示的一个或多个音高中的任何一个相匹配时，改变乐谱图像中的除了音符的那部分的显示样式。
通过上述构造，本发明的演奏辅助装置可将从显示装置上显示的乐谱图像中的音符中已经被识别部分识别为与已获取音高信息匹配的每一个音符的显示样式进行改变。由此，用户可得知或识别乐谱图像中的哪个音符对应于已获取音高信息。进一步地，在与音高信息的一个或多个音高中的任何一个匹配的任何音符不存在于乐谱图像时，改变乐谱图像中的除了所述音符的那部分的显示样式。通过这种显示样式改变，本发明可让用户得知与通过音高信息表示的一个或多个音高中的任何一个匹配的任何音符不存在于乐谱图像中。由此，用户可视觉地识别或确定乐谱图像中各音符和已获取音高信息之间的对应关系，且因此允许用户非常顺利地进行音乐作品的演奏练习。进而，用户可容易地且有效地阅读或掌握乐谱上示出的各音符的音高，而不需要准确地阅读乐谱图像，此外，因为本发明构造为视觉展现乐谱图像中各音符和已获取音高信息之间的对应关系，所以与上述常规公知演奏引导功能(其中音乐作品中的要被练习的位置(要练习位置)自动前进)相比，允许用户容易地对音乐作品的任何期望部分进行部分演奏练习。
在已获取音高信息表示多个音高的情况下，改变与多个音高对应的每一个音符的显示样式。由此，用户可容易地识别或掌握经常发生在音乐作品中的旋律中的具体演奏模式、振奏部分、互相相似的演奏模式、和弦部分、分解和弦、分解和弦类的部分等。这种结构可有助于音乐作品的部分练习和音乐作品中具体模式的集中练习，且有助于理解音乐作品的构成(例如在音乐作品中在何处以及如何配置振奏模式以及和弦)。进一步地，本发明的上述结构允许用户例如容易地识别旋律中的经过音并掌握旋律线(例如旋律是泛音旋律还是非泛音旋律，还是半音旋律)。本发明的这些优点对增强音乐作品演奏学习的效率和效果来说有极大的贡献。
进而，本发明可以构造并实施为方法发明和程序发明。
以上述方式构造的本发明的演奏辅助装置实现优越且有利的优点，其可通过使用新颖的演奏辅助功能而极大地提高音乐作品的演奏学习的效果，该演奏辅助功能将乐谱图像中各音符与音高信息之间的对应关系进行视觉呈现。
附图说明
图1是解释本发明演奏辅助装置的原理构造的方块图；
图2是具有应用了图1所示演奏辅助装置的电子键盘乐器的电子硬件设置的方块图；
图3是显示了在图2所示的电子键盘乐器中执行的主要处理的例子的流程图；
图4是显示了演奏辅助模式设定处理的例子的流程图；
图5是显示了显示装置上显示的五线谱的例子的图表；
图6是显示了音符寄存器的示例性构造的图；
图7是显示了演奏辅助模式下琴键按压处理的例子的流程图；
图8是显示了琴键按压寄存器的示例性构造的图；
图9是显示了五线谱上显示的音符显示样式改变的修改例的图；
图10的(a)和(b)是对应于音高信息的五线谱上的位置的显示样式改变的视图说明；
图11是显示了乐谱图像的例子的图，其中五线谱上与多个音高对应的多个音符和位置的显示样式已经被改变；
图12是显示了演奏辅助模式下琴键释放处理的例子的流程图；
图13是显示了琴键释放寄存器的示例性构造的图；
图14是显示了演奏辅助模式下琴键按压处理的另一例子的流程图；
图15是显示了琴键按压历史寄存器的示例性构造的图；和
图16是显示了五线谱上连击显示的例子的图。
具体实施方式
在后文中，将参考附随的附图详细描述本发明的实施例。
图1显示了根据本发明实施例的演奏辅助装置的示例性原理构造。演奏辅助装置100包括：显示部分102，基于用于显示乐谱图像的乐谱数据而显示乐谱图像，其中表示构成音乐作品的各个音符布置在时间轴线和音高轴线上；获取部分104，获取表示一个或多个音高的音高信息；识别部分，从包括在乐谱图像中的音符识别出与通过已获取音高信息表示的音高相匹配的音符；和显示控制部分108，在存在与通过已获取音高信息表示的音高匹配的一个或多个音符时，改变与通过已获取音高信息表示的音高匹配的所有音符的显示样式，且在不存在与通过已获取音高信息表示的音高匹配的音符时，改变乐谱图像中的除了音符的那部分的显示样式。
演奏辅助装置100在显示部分102上显示音乐作品的乐谱图像。用户例如操作连接到获取部分104的键盘(未示出)，同时观察所显示的乐谱图像。演奏辅助装置100通过获取部分104获取表示被用户按压的每一个琴键的音高的音高信息。随后，演奏辅助装置100从显示在显示部分102上的乐谱图像中的各个音符识别出与已获取音高匹配的音符。随后，识别部分106改变与已获取音高匹配的音符的显示样式或改变乐谱图像中的除了音符的那部分的显示样式。以这种方式，用户可通过视觉确定乐谱图像中的音符和音高信息之间的对应关系。由此，用户可顺利地进行音乐作品的演奏练习。
图2显示了应用了图1的演奏辅助装置100的电子键盘乐器的电子硬件设置。在图2中，电子键盘乐器200包括：微处理器单元(cpu)1；只读存储器(rom)2；随机存取存储器(ram)3；演奏操作检测电路4；设定操作检测电路5；显示装置6；乐音产生器电路7；外部存储装置8；外围设备接口(外围设备i/f)9；midi接口(midii/f)11；和通信接口(通信i/f)11。cpu1经由通信总线12连接到各部件2到11，使得各种数据和控制信号可在cpu1和各部件2到11之间通信。
cpu1通过执行rom2或ram3中存储的各种程序来控制电子键盘乐器200的总体操作或工作情况。rom2和ram3不仅存储要被cpu1执行的各种程序、各种数据等，而且还用作要被cpu1执行的一个程序的加载区域，和用作要被cpu1执行的多个程序的加载区域，和用于cpu1的工作区域。外部存储装置8包括硬盘；fd(柔性盘或软盘(注册商标))、cd(光盘)、dvd(数字多用盘)、如闪存这样的半导体存储器和/或类似存储器。rom2、ram3或外部存储装置8能存储多个音乐作品的乐谱数据。
操作为用于输入音高信息的演奏操作器单元13连接到演奏操作检测电路4。演奏操作检测电路4检测演奏操作器单元13的操作事件并将与检测到的操作事件对应的检测信号输出到通信总线12。基于检测信号，cpu1产生演奏信息，其例如是midi(乐器数字接口)格式。演奏操作器单元13例如包括具有多个琴键的键盘。在这种情况下，响应于琴键按压操作产生包括乐音产生指令和指定了音高的音高信息的琴键按压事件，且响应于琴键释放操作产生包括乐音消音指令和指定了音高的音高信息的琴键释放事件。
进一步地，操作为用于输入各种信息的设定操作器单元14连接到设定操作检测电路5。设定操作器单元14包括用于做出各种设定(例如后文描述的“演奏辅助功能”的on/off切换、音色设定和音乐作品选择)的一组切换器。设定操作检测电路5检测设定操作器单元14的操作事件并将对应于所检测操作事件的检测信号输出到通信总线12。
例如包括液晶显示器的显示装置6基于经由通信总线12从cpu1接收的显示控制信号而显示各种信息。cpu1能基于乐谱数据在显示装置6上显示乐谱图像。
进一步地，音响系统15连接到乐音产生器电路7。乐音产生器电路7以电子方式基于通过cpu1产生的演奏信息产生乐音信号。乐音产生器电路7可以是使用任何常规公知的乐音合成技术构造的乐音产生器电路，例如fm乐音产生器、pcm乐音产生器或物理模型乐音产生器。进一步地，乐音产生器电路7可以包含硬件乐音产生器装置、或通过cpu1或dsp(数字信号处理器处理器)执行的软件处理。音响系统15包括数字-模拟转换器、放大器、扬声器等，且让通过乐音产生器电路7产生的乐音信号可听地重现或发出声音。
进一步地，电子键盘乐器200能经由外围设备i/f9(如usb或ieee1394i/f)、外围设备16(例如平板终端(例如ipad(注册商标)))、便携终端(如便携电话或pda)和/或以有线或无线方式连接的个人计算机而与之连接。应注意，在本说明书中，术语“便携终端”和术语“外围设备”可互换地使用。此外，电子键盘乐器200可经由midii/f10以有线或无线的方式与其他midi设备17连接。进而，电子键盘乐器200可经由通信i/f11通信地与存在于通信网络18上的服伺计算机等连接。
在电子键盘乐器200中，本发明的演奏辅助装置100的一个实施例配置为基于存储在rom2、ram3或外部存储装置8中的乐谱数据在显示装置6上显示音乐作品的乐谱图像(图1的显示部分102的功能)，并通过演奏操作检测电路4和演奏操作器单元13获取音高信息(图1的获取部分104的功能)，且cpu1配置为执行与图1的识别部分106和显示控制部分108对应的操作(即随后描述的图7的步骤s17、s18、s21和s22)。
图3是显示了电子键盘乐器200中执行的主要处理的例子的流程图。该主要处理响应于电子键盘乐器200的通电而开始。在步骤s1，cpu1开始各种控制程序的执行并执行初始设定，例如用于将初始值设定到各个寄存器中。在接下来的步骤s2，cpu1通过扫描属于演奏操作器单元13和设定操作器单元14的所有操作器而检测操作事件。在检测到任何操作事件时，cpu1执行步骤s3的和步骤s3之后的操作。
在已经检测到设定操作器单元14的任何操作事件(在步骤s3判断为“否”)时，cpu1判断设定操作器单元14的已操作操作器是否是演奏辅助(即performanceassistance)设定操作器(下文，“演奏辅助”将被简单地称为“pa”)。pa设定操作器是用于在“pa模式”的on和off状态之间进行切换的操作器。在pa设定操作器已经被操作(在步骤s7判断为“是”)时，cpu1在步骤s8执行“pa设定处理”，将在后文详细描述。在设定操作器单元14的除了pa设定操作器以外的任何其他设定操作器已经被操作(在步骤s7判断为“否”)时，cpu1在步骤s9执行与已操作的设定操作器对应的处理(在附图中的“其他处理”中的任何一个)。在附图中的其他处理例如包括音色设定处理、音效参数设定处理、对应于选择音乐作品(作为要被显示的乐谱图像的显示目标)的操作的音乐作品选择处理。
图4显示了在步骤s8的上述pa设定处理的例子。在步骤s10，cpu1将pa模式标志的值反转(在附图中的“pa”)。pa模式标志在pa模式为on时取“1”的值，而在pa模式为off时其取“0”的值。通过上述步骤s10，pa模式在每次pa设定操作器被操作时在on状态和off状态之间切换。
在pa模式标志已经切换为“1”的值时，即在pa模式已经切换到on状态(在步骤s11判断为“是”)时，cpu1去往步骤s12，以基于音乐作品(其被选择作为要被显示的乐谱图像的显示目标)的乐谱数据在显示装置6上显示乐谱图像。例如，多个音乐作品的多组乐谱数据被预存储在rom2、ram3或外部存储装置8中。用户可选择多个音乐作品中的任何一个作为显示目标。cpu1从存储器2、3或8读出被选择作为显示目标的一个音乐作品的乐谱数据。可以在上述步骤s12时或在每次使用设定操作器单元14执行音乐作品选择操作时进行这种音乐作品被选择作为显示目标的操作。进一步地，这种音乐作品被选择作为显示目标的状态可以在pa模式关闭之后保持，使得由此被作为乐谱显示目标来保持的该被选择音乐作品的乐谱图像在下次pa模式开启时显示。应注意，这里要被使用的乐谱数据可以是预存储在外部连接的装置的乐谱数据，例如外围设备16，或在存在于通信网络18上的服伺计算机，而不是电子键盘乐器200中的存储器2、3或8中预存储的那些乐谱数据。cpu1从外部连接装置、通信网络18上的服伺计算机等获取被选择作为显示目标的音乐作品的乐谱数据，且随后基于已获取的乐谱数据在显示装置6上显示乐谱图像。
在本发明的一个实施例中，每一个乐谱图像包括五线谱，其中与构成音乐作品的各个乐音对应的音符布置在五条谱线上。图5显示了包括五线谱记谱(musicstaffnotation)的这种乐谱图像的例子。在五线谱记谱中，也如本领域公知的，水平(左右)方向代表时间轴线，而垂直(上下)方向代表音高轴线。五条线是五个一组的水平线，且这些水平线和水平线之间的空间(在下文称为“线间空间”)代表不同音高。每一个音符被置于线或线间空间上，代表相应的音高。线间空间还包括五条线中的最高线以外(紧邻的上方)的空间和最低线以外(紧邻的下方)的空间。应注意，在需要表达比五条线和线间空间上可表达的音高更高或更低的音高时，该音高的音符置于临时添加的线(即附加线)或线间空间上。应注意，在本说明书中，上述五条线将在下文中从最低的线向上被称为“第一线”、“第二线”、“第三线”、……，且上述线间空间在下文中从最低的线间空间向上被称为“第一线间空间”、“第二线间空间”……。进一步地，位于五条线下方的附加线在下文中从最靠近五条线的那个向下被称为“第一下附加线”、“第二下附加线”……，且位于五条线下方的线间空间在下文中从最靠近五条线的那个向下被称为“第一下线间空间”，“第二下线间空间”……。类似地，位于五条线上方的附加线在下文中从最靠近五条线的那个向上被称为“第一上附加线”、“第二上附加线”……，且位于五条线上方的线间空间在下文中从最靠近五条线的那个向上被称为“第一上线间空间”，“第二上线间空间”……。这样的五线谱以全音阶限定音高，且半音阶通过变音记号表达(调号和变音记法)。乐谱数据例如包括具有音符数据的数据，该音符数据设定了与构成音乐作品的乐音对应的每一个音符的音高和在时间轴线上位置，且该数据以基于音符数据的各个音符被绘制在五线谱上的方式配置。
一旦cpu1在上述步骤s12显示了乐谱图像，则其获取音高信息kc(其每一个都表示被显示的乐谱图像中的其中一个音符的音高)，并将已获取的音高信息kc存储在音符寄存器中。每一个都表示其中一个音符的音高的这种信息kc例如可基于包括在乐谱数据中的音符数据获得。图6显示了音符寄存器的例子。如图6所示，音符寄存器将显示在显示装置6上的、乐谱图像中包括或存在的所有音符(多个(z个)音符)的音高信息kc1、kc2、kc3……、kcz存储到相应寄存器no.nn(n＝1、2，…，z)的中，例如按音符出现的时间序列存储。例如，在乐谱图像(见图5)中首先出现的音符n1的音高信息作为“kc1”存储在寄存器no.nn＝1中，且乐谱图像(见图5)中最后出现的音符nz的音高信息(见图5)作为“kcz”存储在寄存器no.nn＝z中。在多个音符同时出现的情况下，如代表和弦的音符，音符寄存器按适当的顺序存储音高信息kc，例如音高的升序。
应注意，步骤s12处的乐谱图像显示操作和音高信息kc获得操作不仅可以响应于pa模式的启动而执行，且还可以在要显示新的乐谱图像时执行，例如在用户已经指示进行乐谱图像改变时执行。
另一方面，在pa模式标志已经切换为“0”的值时，即在pa模式已经切换为off状态(在步骤s11判断为“否”)时，cpu1去往步骤s13，以将电子键盘乐器200设定为在正常演奏模式下操作。正常演奏模式是防止随后描述的pa处理响应于演奏操作器单元13操作的而被执行的模式。在步骤s12或步骤s13之后，cpu1结束pa模式设定处理且随后返回到图3的步骤s2。
回到图3，在已经在上述步骤s2检测了演奏操作器单元13的任何操作事件时，即一个或多个琴键的琴键按压事件或琴键释放事件已经在步骤s2被检测到(在步骤s3判断为“是”)时，cpu1去往步骤s4，以基于检测到的琴键按压事件或琴键释放事件执行乐音产生处理和乐音消音处理。即，cpu1产生与琴键按压事件或琴键释放事件对应的演奏信息并将由此产生的演奏信息传送到乐音产生器电路7。随后，乐音产生器电路7基于产生的演奏信息产生乐音信号且经由音响系统15可听地产生或减弱对应于所产生乐音信号的乐音。
随后，在步骤s5，cpu1基于pa模式标志的当前值判断pa模式是on是还是off。如果pa模式为on(在步骤s5判断为“是”)，则cpu在步骤s6执行随后描述的pa处理并随后返回到步骤s2。另一方面，如果pa模式为off(在步骤s5判断为“否”)，则cpu1返回到步骤s2，而不执行步骤s6的pa处理。
图7是显示步骤s6的pa处理的流程图。首先，在步骤s14，cpu1判断琴键按压和琴键释放事件中哪一个是在步骤s2检测的琴键操作事件。在已经检测到一个或多个琴键按压事件(在步骤s14的“琴键按压”)时，cpu1在步骤s15将通过每一个琴键按压事件表示的音高信息kd存储在琴键按压寄存器中。图8显示了琴键按压寄存器的示例性构造。如图8所示，琴键按压寄存器将上述步骤s2检测的各个琴键按压事件的音高信息kd(kd1，kd2，kd3，…存储到相应的寄存器no.j(m＝1、2，3，…)中。在已经基本上同时检测到三个琴键的琴键按压事件时，例如，cpu1将其中一个按压事件的音高信息kd1存储到寄存器no.j(1)中，且将按压事件中另一的音高信息kd2存储在寄存器no.j(2)中，和将再一按压事件的音高信息kd3存储在寄存器no.j(3)中。
在步骤s16，cpu1将与音符寄存器的寄存器no.nn＝1对应的音符n1和与琴键按压寄存器的寄存器no.j(m)＝1对应的琴键按压事件j(1)设定为处理目标。在随后的步骤s17中，cpu1将设定为处理目标的音高信息kc1(即要被处理的音高信息kc1)和设定为处理目标的音高信息kd1(即要被处理的音高信息kd1)进行比较，且如果所比较的两个音高信息kc1和kd1彼此匹配(在步骤s17判断为“是”)，则cpu1改变设定为处理目标的音符n1(即要被处理音符)的显示样式。改变音符的显示样式(音符显示样式)在这里意味着使得显示在显示装置6上的乐谱图像中的该音符的显示样式与正常显示样式不同，且这里，音符显示样式可以以任何各种常规公知的方式改变。更具体地，例如通过改变音符图像的显示颜色、彩度、透明度和/或等等方面，让音符图像闪烁，改变图像的闪烁周期，和/或类似手段来改变音符显示样式。可以改变整个音符图像的显示样式，或可以改变一部分音符图像的显示样式，例如仅改变音符图像的音符头(换句话说，显示样式可以是在音符头和音符杆之间存在差异)。替换地，可以改变音符图像附近的部分的显示样式，例如通过在音符头周围的部分模糊地增加颜色。如果经比较的两个音高信息kc1和kd1彼此不匹配(在步骤s17判断为“否”)，则cpu1前进到步骤s19，而不执行步骤s18的操作。
在步骤s19，cpu1切换为表示接下来的或新的要被处理的音符的寄存器no.n(n+1)，并对新的要被处理音符n(n+1)执行步骤s17到s19的操作。例如，如果之前的或前一个的要被处理的音符为n1，则对应于寄存器no.nn＝2的音符n2被设定为新的要被处理音符。随后，cpu1重复步骤s17到s19的操作，同时响应于在步骤s20的“否”判断而返回到步骤s17，直到对乐谱图像中出现的所有z个音符均完成步骤s17到s19的操作。一旦在步骤s20的判断变为“是”，则cpu1前进到步骤s21。
图9显示了音符显示样式改变的修改例，其具体显示了一种状态，其中响应于被分配音高“g”的琴键上的按压操作而已经改变了乐谱图像中显示的各音符中音高为“g”的所有音符n1、n2、n4和n7的显示样式。即，音符n1、n2、n4、和n7的显示样式改变为与以正常显示样式显示的音符n3、n5、n6、和n8的显示样式不同。在图9和11所示的例子中，显示样式已改变的四分音符和八分音符每一个显示为具有中间带白点的音符头(黑色)，而显示样式已改变的二分音符每一个显示为具有中间带黑点的音符头(白色)。
回过来参见图7，在步骤s21，cpu1检查存储在音符寄存器中的所有音高信息“kc1”，“kc2”，“kc3”，…，“kcz”，并判断乐谱图像中的音符是否都不与要被处理的音高信息kd1对应或匹配。如果乐谱图像中没有音符能与要被处理的音高信息kd1匹配(在步骤s21判断为“是”)，则cpu1去往步骤s22，以改变五线谱上的与要被处理的音高信息kd1对应的位置的显示样式。“五线谱上的与要被处理的音高信息对应的位置”是指代表音高信息所表示的音高的线或线间空间的位置。在一些情况下，“五线谱上的与要被处理音高信息对应的位置”是指附加线的位置。即，在音高信息kd1指示比五条线和线间空间上可表达的多个音高更低或更高的音高的情况下，用于表示音高信息kd1的必要的一个或多个附加线被临时添加，而且对应于音高信息kd1的附加线或线间空间的显示样式也改变。这里，改变五线谱上的与音高信息对应的位置的显示样式是指，使得与音高信息对应的线或线间空间的显示样式与正常显示样式不同。线或线间空间的这种显示样式改变可以以任何各种常规公知的方式实现，例如通过改变线或线间空间的显示颜色、彩度、透明度和/或等等方面，如在上述音符显示样式改变中所述的那样。另一方面，如果乐谱图像中有任一个音符与要被处理的音高信息kd1对应(在步骤s21处判断为“否”)，则cpu1前进到步骤s23，而不执行步骤s22的操作。
图10的(a)和(b)是五线谱上位置的显示样式改变的示意图。更具体地，图10的(a)显示了已经响应于在分配了音高“g”的琴键上执行的琴键按压操作而改变了与音高“g”对应的第二线l1的显示样式的状态。在图10的(a)中，正常显示样式的线通过实线显示，而显示样式改变的第二线l1通过虚线显示。进一步地，图10的(b)显示了已经响应于在分配了音高“a”的琴键上执行的琴键按压操作而改变了对应于音高“a”的第二线间空间的显示样式的状态。在图10的(b)中，显示样式已经改变的第二线间空间通过阴影线显示。
进一步地，在步骤s23，cpu1将设定为处理目标的寄存器no.j(m)的音高信息进行重设。在接下来的步骤s24，cpu1将表示要被处理的或应该变为下一个处理目标的琴键按压事件的寄存器no.j(m)改变为j(m+1)。例如，如果前一处理目标是j(1)，则j(2)被设定为下一个或新的处理目标。随后，cpu1对由此设定为新的处理目标的音高信息kdm+1执行步骤s16到s24的操作。随后，cpu1对上述步骤s2检测的所有琴键按压事件重复步骤s16到s24的操作，即直到针对基本同时被用户按压的所有琴键完成步骤s16到s24的操作(即直到在步骤s25判断为“是”)。如果音高信息kdm+1没有被存储在应该变为下一个处理目标的寄存器no.j(m+1)中(在步骤s25判断为“否”)，则cpu1判定已经对所有检测到的琴键按压事件完成了步骤s16到s24的操作且随后返回到图3的步骤s2。
通过图7的上述处理，cpu1从包括在显示装置6上显示的乐谱图像中的音符识别出与检测到的一个或多个琴键按压事件j(m)的音高信息kdm匹配的每一个音符(上述步骤s17和s21)，且改变与通过音高信息kdm表示的音高匹配的所有音符的显示样式(上述步骤s18)。还有，对于没有音符能与音高信息kdm表示的音高匹配的每一个音高信息kdm，cpu1改变五线谱上的与要被处理音高信息kdm对应的位置的显示样式(上述步骤s22)。通过包括在乐谱图像中的各个音符和各个被按压琴键的音高之间的对应关系的视觉呈现，允许用户仅仅通过执行琴键按压操作即可容易地确定与用户按压的琴键对应的音符处于乐谱图像中的何处，被按压的琴键是否对应于他或她的期望的音符，以及哪些音高不存在于相关音乐作品中。
作为上述步骤s22的操作的另一例子，cpu1改变与要被处理的音高信息kdm对应的音高轴线位置的显示样式。由此，甚至在乐谱图像不是五线谱形式的情况下，例如，用户可仅通过音高轴线上的显示样式被改变的位置而视觉地确定与被按压琴键的音高对应的音高轴线上的位置。
作为上述步骤s22的另一例子，如果乐谱图像中没有音符对应于要被处理的音高信息kdm表示的音高，则与乐谱图像的音符相比，cpu1可以改变另一部分的显示样式(即乐谱图像中的除了音符的那部分乐谱图像)。乐谱图像中的除了音符的这种另一部分例如包括乐谱图像的整个五线谱面(staffsection)或背景部分(显示在图5的50)。改变乐谱图像中的除了音符的另一部分的显示样式可通知用户乐谱图像中不存在与被按压琴键对应的音符。作为上述步骤s22的另一例子，cpu1可以改变乐谱图像中的除了音符的其他部分中的、与要被处理音高信息对应的特定部分的显示样式。也是在这种情况下，cpu1可通知用户在乐谱图像中不存在对应于被按压琴键的音符。还应注意，在使用添加的附加线表示音高信息kdm的音高的情况下，在步骤s22，cpu1改变与表示音高信息kdm的所添加附加线或线间空间对应的部分的显示样式。进一步地，在一个或多个附加线被添加以表示音高信息kdm时，在步骤s22，cpu1可以以不同于正常显示样式的显示样式来显示并非代表音高信息kdm的一个或多个附加线或线间空间的、其他附加线和/或线间空间。在通过第二下附加线表示音高信息kdm的情况下，例如在五条线下方添加两条附加线。在这种情况下，在步骤s22，cpu1不仅以不同于正常附加线显示样式的显示样式来显示第一下附加线，例如通过以比正常显示颜色更模糊的颜色显示第一下附加线，而且还改变与表示音高信息kdm的第二下附加线对应的部分的显示样式。以此方式，在乐谱图像中没有与音高信息kdm表示的音高匹配的音符时与音高信息kdm表示的音高对应的部分的显示样式被改变的情况下，用户可直观地得知所表示音高的位置与五条线的最高或最低线相距多远。
图11显示了通过图7的处理已经改变了乐谱图像中五线谱上的多个音符和位置的显示样式的状态的例子。更具体地，在图11所示的例子中，响应于用户在多个琴键上执行的按压操作，音高“c”、“e”和“g”表示的所有音符的显示样式和与音高“b”对应的五线谱上的位置的显示样式已经被改变。通过以上述方式改变显示样式的、具有多个音高的各个音符，用户可容易地认知或掌握例如分解和弦、经常发生的演奏模式(performancepattern)、振奏部分(repetitiveportion)、彼此相似的演奏模式等，这可由此有助于用户的对音乐作品的任何期望部分进行部分练习和集中练习。进一步地，用户可容易地掌握旋律线等，而不需要阅读乐谱以解释音乐作品的麻烦。这种优点可极大地有助于加强音乐作品演奏学习的效率和有效性。
另一方面，在已经在pa模式下执行琴键释放操作(图7中步骤s14的“琴键释放”)时，cpu1在pa模式下执行琴键释放处理。图12是pa模式下琴键释放处理的例子的流程图。在图12的步骤s26，cpu1在琴键释放寄存器中存储被每一个检测到的琴键释放事件表示的音高信息kd。图13显示了琴键释放寄存器的示例性构造。如图13所示，琴键释放寄存器将在上述步骤s2检测的琴键释放事件的音高信息kd(＝kd1，kd2，kd3，…)存储到相应寄存器no.jj(m＝1、2，3，…)中。
在接下来的步骤s27，cpu1将与音符寄存器的寄存器no.nn＝1对应的音符n1和与琴键释放寄存器的寄存器no.jj(m)＝1对应的琴键释放事件jj(1)设定为处理目标(要被处理的音符和要被处理的琴键释放事件)。在随后的步骤s28，cpu1将音符n1的音高信息kc1与琴键释放事件jj(1)的音高信息kd1比较，且如果经比较的两个音高信息kc1和kd1彼此匹配(在步骤s28判断为“是”)，则在步骤s29，cpu1将音符n1的显示样式变回正常显示样式。另一方面，如果经比较的两个音高信息kc1和kd1彼此不匹配(在步骤s28判断为“否”)，则cpu1前进到步骤s30，而不执行步骤s29的操作。在步骤s30，cpu1切换到表示下一个或新的要被处理的音符的寄存器no.n(n+1)并在对新的要被处理音符n(n+1)执行步骤s28到s30的操作。随后，cpu1重复步骤s28到s30的操作，直到对乐谱图像中出现的所有z个音符完成步骤s28到s30的操作(即直到在步骤s31判断为“否”)。
随后，在步骤s32，cpu1检查存储在音符寄存器中的所有音高信息“kc1”，“kc2”，“kc3”，…，“kcz”，并判断乐谱图像中的音符是否都不与要被处理的音高信息kd1对应。如果乐谱图像中没有音符能与要被处理的音高信息kd1对应(在步骤s32判断为“是”)，则cpu1去往步骤s33，以将五线谱上的与要被处理的音高信息kd1对应的位置的显示样式变回正常显示样式。另一方面，如果乐谱图像中有任一音符与要被处理音高信息kd1对应(在步骤s32处判断为“否”)，则cpu1前进到步骤s34，而不执行步骤s33的。
在步骤s34，cpu1重设表示要被处理的琴键释放事件的寄存器no.jj(m)的音高信息。在接下来的步骤s35，cpu将表示应该变为处理目标(即要被处理的琴键释放事件)的琴键释放事件的寄存器no.jj(m)改变为jj(m+1)，且随后对接下来的或新的要被处理音高信息kdm+1执行步骤s28到s35的操作。随后，cpu1对在步骤s2检测的所有琴键释放事件重复步骤s28到s35的操作，直到针对所有琴键释放事件完成步骤s28到s35的操作(即直到在步骤s36判断为“是”)。如果音高信息kdm+1未被存储在应该变为接下来的处理目标的寄存器jj(m+1)，则cpu1判定已经针对所有琴键释放事件完成了步骤s28到s35的操作并随后返回到图3的步骤s2。
通过图12的上述处理，cpu1可响应于琴键释放操作将五线谱上的通过琴键释放操作指定的音高的位置或音符的显示样式变回正常显示样式(上述步骤s29或s33)。
作为上述图7的步骤s18和s22做出的显示样式改变的修改例，cpu1可以将五线谱上的位置和音符的显示样式改变为能使得音高各有不同的显示样式。例如，一个八度中的十二个音阶的各个音高(音名)可以改变为不同显示样式(例如不同颜色)。具体说，在这种情况下，提前针对十二个音阶的乐音每一个确定对独特的改变后显示样式(changed-todisplaystyle)，且在上述步骤s18和s22，cpu1基于要被处理的琴键按压事件的音高信息kdm确定哪个改变后显示样式应被改变，并随后将五线谱上的相应位置或音符的显示样式改变为经确定的改变后显示样式。在这种情况下，不同八度的相同音阶的乐音(音名)以相同(改变后)显示样式显示(例如相同颜色)，而不管八度如何。不必说，不同音阶的乐音(音名)以不同显示样式显示(例如不同颜色)，而不管其八度如何。
作为图7所示的步骤s18和s22做出的显示样式改变的另一修改例，cpu1可以以使得各个八度区分开的显示样式改变五线谱上的音符和位置。例如，属于音高c2到b2的八度的十二个音名全部可以以相同或同样的显示样式显示(例如以给定的相同颜色显示)，且属于音高c3到b3的八度的十二个音名全部可以以另一同样显示样式(例如以另一相同颜色)。
作为另一修改例，cpu1在步骤s18可以在构成和弦或分解和弦的多个音符与其他音符之间将改变后显示样式区分开。在这种情况下，在步骤s18，cpu1确定通过要被处理的琴键按压事件的音高信息kdm表示的音高是构成和弦的音高还是构成分解和弦的音高，基于判断的结果确定改变后显示样式，且随后将相关音符的显示样式改变为由此确定的显示样式。更具体地，判断通过要被处理的琴键按压事件的音高信息kdm表示的音高是构成和弦的音高还是构成分解和弦的音高，例如通过提前识别构成和弦或分解和弦的音符并随后在步骤s18判断要被处理的音符是否是构成和弦或分解和弦的音符中的任何一个。由此，和弦或分解和弦可以与乐谱图像的其他部分区分开地清楚地显示在乐谱图像上。结果，可实现音乐作品演奏学习效果的显著增强。
作为另一修改例，改变后显示样式可以用于将通过音高信息表示的音高具有本位音的情况和通过音高信息表示的音高具有变音记号音(accidentalnote)的情况区分开。在这种情况下，用于本位音的改变后显示样式和用于变音记号音的改变后显示样式被提前确定，且在步骤s18和s22，cpu1基于要被处理的琴键按压事件的音高信息kdm判断本位音和变音记号音的音高中的哪一个是通过音高信息表示的音高，且随后基于这样的判断，判断用于本位音的显示样式和用于变音记号音的显示样式中的哪一个是要做出显示样式改变的显示样式，且随后将五线谱上的相应音符或位置的显示样式改变为由此确定的显示样式。如上所述将对应于白键的本位音和对应于黑键的变音记号音之间的显示样式区分开可有效地有助于阅读包括变音记号(例如升号和降号)的音乐作品的乐谱。
进一步地，在用户对赋予特定音符的变音记号进行错误处理时，例如在针对乐谱上按变音记号(调号或变音记号标志)应升或降半音的音符，用户错误地按下了具有本位音音高的琴键而没有将本位音音高移半音时，例如，cpu1可以将该音符改变为与上述步骤s18中应变成的“音符显示样式”不同的显示样式。例如，在要被处理的音符的音高kcm或琴键按压事件的音高信息kdm具有变音记号音时，且如果像在步骤s17确定的那样，音高kcm和音高kdm(即通过音高信息kcm和kdm表示的音高)彼此不匹配，则cpu进一步判断具有音高kcm和kdm的本位音的音名是否彼此匹配。如果音高kcm和kdm彼此不匹配但是本位音的音名彼此匹配，则可判定已经对变音记号做出了错误的用户琴键按压。如果具有音高kcm和kdm的本位音的音名彼此匹配，则cpu1可以将要被处理的音符的显示样式改变为与上述步骤s18形成的音符显示样式不同的另一显示样式。例如，在相关音符用“c#”表示且音高信息kdm用“c#”表示时，随后cpu1将“c#”音符改变为另一显示样式。这种配置可通知用户以表明，已经针对变音记号做出了错误的用户琴键按压，这对乐谱上具有变音记号(调号和变音记号标志)的音乐作品的练习是非常有效的。作为替换例，在要被处理的音符具有变音记号标志的情况下和在音高信息kcm和kdm的音高信息所表示的音高彼此不匹配的情况下，cpu1可以进一步在步骤s17且针对变音记号标志的效果产生影响的时间轴范围内的每一个音符判断具有音高kcm和kdm的本位音在其音名方面是否彼此匹配。即，在本说明书中，“与音高信息表示的音高匹配的音符”还包括“其本位音的音名与对应于音高信息kdm的本位音的音名相匹配的音符”，即具有变音记号的音符已经被判定为在半音的容差(tolerance)内与音高信息kdm表示的音高匹配。
作为通过上述图7的步骤s18和s22做出的显示样式改变的另一修改例，取决于五线谱上音符或位置是否对应于相关音乐作品的音阶(或与该音阶一致)，cpu1可以将五线谱上相应的音符或位置的显示样式改变为不同显示样式。例如，在步骤s18改变与当前琴键按压对应的乐谱上音符的显示样式时，cpu1可以判断相关音符是否是音乐作品的音阶音符且随后改变音符的显示样式，其方式因音符是否是音阶音符而不同(例如通过改变颜色或亮度或闪光的存在/不存在)。这种配置可通过视觉显示用户的琴键按压是否按音乐作品的音阶演奏(例如按音阶进行即兴演奏)。进一步地，作为上述配置的修改例，显示样式改变可以以针对各音阶每一个进行区分的方式实施(例如通过改变颜色、或亮度、或闪动或闪烁的存在/不存在)。即，可适当使用将各音阶进行区分的任何一种显示风格改变方式。例如，在c大调音阶的情况下，在当前琴键按压与乐谱上任何一个音符匹配时可以用蓝色显示音符，在当前琴键按压不匹配乐谱上任何一个音符但是与音乐作品的音阶对应(或一致)时可以用蓝色显示五线谱上的位置。进一步地，在f大调音阶的情况下，在当前琴键按压对应于乐谱上任何一个音符时可以用红色显示音符，和在当前琴键按压不对应于乐谱上任何一个音符但是与音乐作品的音阶一致时可以用红色显示五线谱上的位置。
作为通过上述图7的步骤s18和s22做出的显示样式改变的另一修改例，cpu1可以将五线谱上音符和位置的显示样式改变为将已经执行的琴键按压操作的时间点(即琴键按压时刻)进行区分的显示样式。即，cpu1可以将通过多个(n个)之前琴键按压指定的多个音高的信息存储在合适的存储器(例如rom2)中且随后将五线谱上的与通过该多个(n个)之前琴键按压指定的多个音高对应的音符和/或位置的显示样式改变为互相不同的显示样式。例如，在用户已经连续按压了音高“c”、“e”和“g”的三个琴键时，将五线谱上的与音高“c”、“e”和“g”对应的音符和/或位置的显示样式改变为各自不同显示样式。在这种情况下，可以提前针对多个(n个)之前琴键按压按时间序列确定改变后显示样式，且在上述步骤s18和s22，cpu1按琴键按压的时间序列确定改变后显示样式并将五线谱上的具有要被处理的音高的音符和/或位置改变为由此确定的改变后显示样式。
进一步地，在本发明的一个实施例中，例如可以在从琴键释放事件的检测时刻流逝预定时间段时(而不是在针对图12如上所述的琴键释放事件检测时)，执行在图12中的步骤s26到s36的用于将音符等的显示样式变回正常显示样式的操作。作为替换例，可以在从音符等的显示样式被改变时(即从琴键按压事件检测时刻)流逝预定时间段时，执行用于将音符等的显示样式变回正常显示样式的操作。
在图2到12所示的实施例中，假定单个音乐作品的整个乐谱图像被显示在显示装置6的一个画面上。但是，作为替换例，单个音乐作品的乐谱图像的仅一部分可以被显示在显示装置6的一个画面上。即，在本说明书中，术语“乐谱图像”不仅是指音乐作品的乐谱图像的全部而且还是指其一部分。例如，在音乐作品的乐谱图像包括多页的情况下，在上述步骤s12，cpu1显示多页中一页的乐谱图像。在这种情况下，在将各音符nn的音高信息kc存储在音符寄存器中时，cpu1提前指定寄存器no.nn，其存储要被显示在显示装置6的一个画面上的该一页的乐谱图像中最后出现的音符nl的音高，或cpu1仅将显示在该一个画面上的该一页的乐谱图像中音符的音高信息存储在音符寄存器中。随后，在步骤s20和s31，cpu1基于音符寄存器中存储的数据检查是否已经针对直到该一页乐谱图像中的最后音符nl全部完成了该处理，以由此判断该一页乐谱图像中的所有音符是否已经被处理。随后，在步骤s18和s22，cpu1改变该一页乐谱图像上音符和/或位置的显示样式。即，cpu1从包括在目前正被显示的那部分乐谱图像中的音符中识别与被按压琴键的音高对应的音符，并改变五线谱上的与被按压琴键的音高对应的所识别音符和/或位置的显示样式。
作为另一修改例，包括多页的乐谱图像中的两张相对的页可被显示在显示装置6的一个画面上。作为另一修改例，对乐谱图像一部分的上述显示可以包括，仅显示包括两段五线谱的大谱表中的一段五线谱，以按用户期望放大的尺寸显示乐谱的一部分等。进一步地，可以将五线谱上的与每一个被按压琴键的音高对应的显示样式以与乐谱追踪功能(score-followingfunction)互锁的关系改变，该乐谱追踪功能设计为在紧随用户演奏的同时在显示装置6上显示与当前正被用户执行的部分对应的乐谱图像部分。“与当前正被用户执行的部分对应的乐谱图像部分”例如是与当前正被用户执行的部分对应的乐谱图像的一行或一小节，或是指在当前被执行的部分之前和之后的多个(n个)音符。还应注意，乐谱追踪功能是公知的技术，例如在日本已公开专利申请no.2015-079183中公开。
进而，上述图7的步骤s17可以被如下修改。即，如果如步骤s17确定的，存在与被按压琴键的音高(要被处理的音高信息kdm)匹配的任何音符，则cpu1不仅可以改变匹配音符的显示样式而且还改变五线谱上与被按压琴键的音高对应的位置的显示样式。即，在这种情况下，一旦用户按下琴键，则不仅是与被按压琴键的音高匹配的音符的显示样式被改变，而且五线谱上与被按压琴键的音高对应的位置的显示样式也被改变。
作为上述图7的步骤s17的另一修改例，如果如在步骤s17确定的，存在与被按压琴键的音高(要被处理的音高信息kdm)匹配的任何音符，则cpu1可以改变五线谱上的与被按压琴键的音高对应的位置的显示样式，而不改变匹配音符的显示样式。即，甚至在存在与被按压琴键的音高(要被处理的音高信息kdm)匹配的任何音符时，处理可以配置为改变乐谱图像中的除了音符的另一部分的显示样式，而不改变匹配音符的显示样式。在这种情况下，通过如上改变五线谱上与被按压琴键的音高对应的位置的显示样式，用户可视觉地确定乐谱图像中的音符与被按压琴键的音高之间的对应关系。
进一步地，作为本发明的另一实施例，可以判断是否已经执行了与乐谱上音符时间序列(即时间序列的音符)匹配的琴键按压操作的正确时间序列(即正确时间序列的琴键按压操作)，且如果判断结果表明，正确时间序列的琴键按压操作已经被执行，则可以与乐谱上的时间序列音符相关地以特殊显示样式(其让这些音符突显)显示。图14是显示了这种实施例的流程图，其被描述为图7的修改例。与图7中相同的参考特征代表具有与图7所示步骤相同功能的步骤且由此将不在这里详细描述，以避免不必要的重复。图14的实施例进一步使用了图15所示的琴键按压历史缓冲区z。琴键按压历史缓冲区z在寄存器z(0)中存储了表示连续匹配数的变量i，且变量i的初始值为“0”。琴键按压历史缓冲区z中的多个寄存器z(-1)，z(-2)，z(-3)，…按时间序列的顺序存储音高信息kd(-1)，kd(-2)，kd(-3)，…，其与正确时间序列的琴键按压操作(其与乐谱上音符的时间序列匹配)对应。这些音高信息kd(-1)，kd(-2)，kd(-3)，…每一个的初始值为“0”。
在图14中，步骤s40到s43插入到步骤s18和s19之间，步骤s44、s45和s46插入到从步骤s21而来的“否”分支，且步骤s47插入到步骤s22和s23之间。一旦在步骤s17确定当前被处理的被按压琴键的音高信息与乐谱上的音符kcn匹配，则cpu1通过步骤s18的操作而前进到s40。在步骤s40，cpu1进一步判断当前存储在寄存器中的变量i的值是“0”还是预定最大值max(例如31)。如果在步骤s40确定变量i的值为“0”，则cpu1从步骤s40的“是”判断去往步骤s19。随后，一旦通过步骤s19和s20的操作在步骤s21判断“否”，则cpu1前进到步骤s44。在步骤s44，cpu1更新琴键按压历史缓冲区z的存储内容。更具体地，cpu1让变量i的值增1，并让寄存器z(-1)，z(-2)，z(-3)，…的各自存储内容顺次向下移(即移到接续紧邻的级或次序的寄存器)，使得当前被处理的音高信息kdm存储在最上位次的寄存器z(-1)；更具体地，寄存器z(-3)的存储内容移到下一位次的寄存器z(-4)，寄存器z(-2)的存储内容移到下一位次的寄存器z(-3)，寄存器z(-1)的存储内容移到下一位次的寄存器z(-2)，且当前被处理的音高信息kdm存储在新空出来的寄存器z(-1)。在所有寄存器z(-1)，z(-2)，z(-3)，…的存储内容为“0”时，仅当前被处理的音高信息kdm存储在寄存器z(-1)中。目前被处理的音高信息kdm已经存储在寄存器z(-1)中意味着，音高信息kdm匹配乐谱上的音符kcn。存储在寄存器z(-1)中的音高信息kdm在下文由kd(-1)表示。这意味着，在将要在接下来的场合对下一个或新的音高信息kdm执行处理时，刚好在新的音高信息kdm之前的音高信息kdm当前被存储在寄存器z(-1)中。类似地，存储在寄存器z(-2)，z(-3)，…中的音高信息在下文分别通过kd(-2)，kd(-3)，…表示。这意味着，在将要在接下来的场合对新的音高信息kdm执行处理时，之前的音高信息kdm(例如前第二个音高信息、前第三个音高信息、…被分别存储在寄存器z(-2)，z(-3)，…中。在步骤s44之后，cpu1执行如后所述的步骤s45和s46的操作，且随后其前进到步骤s23。
一旦变量i的值在步骤s44增加1，则如果在接下来的场合执行步骤s40的操作时变量i的值不是最大值max，则在步骤s40判断为“否”，使得cpu1去往步骤s41。在步骤s41，cpu1比较以下两项：1)音高序列，从乐谱上与当前值n对应的音符kcn到乐谱上在音符kcn之前且相差变量i值的另一音符kcn-i(该序列用“kcn-kcn-i”表示)；和2)当前音高信息kdm和音高信息kd(-1)-kd(-i)，其当前存储在从寄存器z(-1)到与变量i值对应的寄存器z(-i)的琴键按压历史缓冲区z中，以由此确定所有音高信息是否与音高序列匹配。即，如果在乐谱上存在包括与音高信息kdm和音高信息kd(-1)-kd(-i)的序列(对应于最近的(i+1)琴键按压操作)匹配的音高序列的一组音符，则在步骤s41判断为“是”。例如，如果按时间序列连续按压的琴键的音高为“c，e，g”且如果在乐谱上存在作为一组音符的具有“c，e，g”的时间序列音高序列，则步骤s41确定(做出“匹配”判断)被连续按压的琴键的音高与乐谱上存在的时间序列的音高序列匹配。由此，步骤s41用作确定部分，其确定通过已获取音高信息表示的多个时间序列的音高是否与包括在乐谱中的多个时间序列的音符相匹配。
接下来，在步骤s42，cpu1以特殊显示样式(为了方便下文称为“连击显示(combodisplay)”)在乐谱上显示已经在步骤s41确定为匹配的、具有音高序列“kcn-kcn-i”的一组音符(目的是使该组音符有区别(突显))。例如，如果在包括图9和10所示的旋律线的乐谱图像的情况下与第一和第二音符n1和n2关联地执行正确的琴键按压操作，则以特殊显示样式显示这两个音符n1和n2，即“连击显示”样式，如图16的(a)所示；和作为例子，特殊显示样式包括用虚线d1圈出音符n1和n2。步骤s42用作控制部分，其在步骤s41做出“匹配”的判断时，执行特殊显示，用于让乐谱图像中显示的多个时间序列的音符突显。
接下来，在步骤s43，cpu1将连击显示标志cbf设置为on状态且随后前进到步骤s19。此后，cpu1从步骤s19前进到步骤s20，使得其重复步骤s17到s20的操作，同时响应于步骤s20的“否”判断返回到步骤s17，直到针对乐谱图像中出现的所有z个音符完成该处理。在图16的(a)所示的例子中，与音符n2相关联地按压音高为“g”的琴键，且由此，通过步骤s18的操作改变与音高“g”对应的音符n1、n2、n4和n7的显示样式。
从步骤s20的“是”判断，cpu1去往步骤s21。一旦在步骤s21确定存在与当前琴键按压信息kdm(即在图16的(a)所示的例子中与音符n2对应的音高为“g”的被按压琴键)匹配的任何音符，则cpu1去往步骤s44，在该步骤更新琴键按压历史缓冲区z的存储内容。在图16的(a)所示的例子中，通过这种更新，表示音高“g”的信息存储在寄存器z(-1)中作为当前被处理的音高信息kdm，且表示音高“g”的信息存储在寄存器z(-2)中作为刚好之前的音高信息kd(-1)。
随后，在步骤s45，如果连击显示标志cbf为off状态，则除了寄存器z(-1)的内容外，cpu1清除琴键按压历史缓冲区z的存储内容和连击显示。但是，在图16的(a)所示的例子中，步骤s45的清除操作不执行，因为在步骤s43，连击显示标志已经设置为on状态。即，如果已经响应于当前琴键按压执行了连击显示，则连击显示被维持，且维持琴键按压历史缓冲区z的更新存储内容。在步骤s45之后，cpu1前进到步骤s46。cpu1在步骤s46将连击显示标志cbf重设为off状态且随后去往步骤s23。
即，通过上述处理，如果已经与第一和第二音符n1和n2相关联地连续执行了正确的琴键按压操作，则执行并维持图16的(a)所示的连击显示。
随后，一旦执行第三次琴键按压操作且如果这种的第三琴键按压操作是与第三音符n3对应的音高“c”的正确琴键按压，则cpu1比较以下两项：1)在n＝3时在乐谱上的kcn、kcn-1和kcn-2的音符序列(音高“c”，“g”和“g”)；和2)当前音高信息kdm和音高信息kd(-1)和kd(-2)(音高“c”，“g”和“g”)，且由此确定所有音高信息与乐谱上的音符序列匹配。响应于这种判断，在步骤s42执行图16的(b)所示的连击显示d2，且在步骤s43，连击显示标志cbf设置为on状态。此后，在步骤s44更新琴键按压历史缓冲区z的存储内容。即，通过上述处理，如果已经与第一、第二和第三音符n1、n2和n3相关联地连续执行了正确的琴键按压操作，则执行并维持图16的(b)所示的连击显示。
随后，一旦执行第四次琴键按压操作且如果这样的第四次琴键按压操作是存在于乐谱上的琴键(例如音高“f”的琴键)(尽管其不是对应与第四音符n4的正确琴键按压(音高“g”)，则通过步骤s18的操作改变乐谱上音符n8的显示样式，如图16的(c)所示的。还有，通过步骤s44和s45的操作，清除连击显示d2，仅通过当前被处理的音高信息kdm更新琴键按压历史缓冲区z的寄存器z(-1)的存储内容，且清除琴键按压历史缓冲区z的其他存储内容。即，因为连击显示标志cbf保持为off状态，所以在步骤s45清除连击显示和缓冲区z。
进一步地，在图16所示例子中，一旦执行第四次琴键按压操作且如果这样的第四次琴键按压操作不是与第四音符n4对应的正确琴键按压(音高“g”的)而是乐谱上不存在的琴键(例如音高“d”的琴键)，则在步骤s21判断为“是”，使得cpu1在步骤s22执行预定显示样式改变且随后前进到步骤s47。在步骤s47，cpu1清除一直在维持的连击显示d2，并清除所有缓冲区z和连击显示的内容。此后，cpu1前进到步骤s23。
以上述方式构造的图14的实施例可视觉显示用户按时间序列进行琴键按压操作的正确性且由此可极大地提高用户进行乐器演奏的动力。进一步地，因为图14的实施例可以可视地示出乐谱上在何处存在通过用户执行的时间序列音阶变化模式，所以可有助于用户了解相关音乐作品的构成。进而，根据图14的实施例，在乐谱的多个部分处存在相同音阶变化模式的情况下，在乐谱的多个部分处执行连击显示。由此，图14的实施例实现的优点是，如何将用户可能感兴趣的特征音阶变化模式置于乐谱上才能响应于用户的互动操作而进行可视显示。还应注意，在图14的实施例中，如果仅要执行连击显示，则步骤s18和/或步骤s22的操作可以省略。
作为本发明的另一实施例，本发明的演奏辅助装置100可以通过一系统实施，其中显示部分102、获取部分104、识别部分106和显示控制部分108中的至少一个的功能通过并非电子键盘乐器200的另一装置执行，且其中这种其他装置和电子键盘乐器200彼此协作。进一步地，在本发明中，(显示部分102、获取部分104、识别部分106和显示控制部分108的)功能可以以任何期望组合在多个装置之间或之中共享。
例如，乐谱图像可以显示在设置于外围设备16(例如ipad(注册商标)中的显示装置上，该外围设备经由外围设备i/f9连接到演奏辅助装置100。例如，在这种情况下，电子键盘乐器200执行获取部分104、识别部分106和显示控制部分108的功能，而外围设备16执行显示部分102的功能。电子键盘乐器200的cpu1在步骤s12将从存储器2、3或8读出的乐谱数据经由外围设备i/f9传递到外围设备16，例如ipad(registered商标)。外围设备i/f9在设置于其中的显示装置上基于从电子键盘乐器200接收的乐谱数据显示乐谱图像。电子键盘乐器200的cpu1执行一处理，用于响应于键盘上的操作(琴键操作)来改变五线谱上的与被按压琴键的音高对应的音符或位置的显示样式(见图7或12)，且随后将与该处理的结果对应的显示样式改变指令传递到外围设备16。基于从电子键盘乐器200接收的这种显示样式改变指令，外围设备16改变乐谱图像(其被显示在设置于其中的显示装置上)中的五线谱上的音符或位置的显示样式。应注意，在这种情况下，乐谱数据可以存储在设置于外围设备16(例如ipad(注册商标)中的存储器中。
作为本发明的另一实施例，电子键盘乐器200可以执行获取部分104的功能，而外围设备16(例如ipad(注册商标))可以执行显示部分102、获取部分104、识别部分106和显示控制部分108的功能。在这种情况下，电子键盘乐器200经由外围设备i/f9将与琴键操作对应的音高信息传递到便携终端(外围设备16)，例如ipad(注册商标)。基于从电子键盘乐器200接收的音高信息，外围设备16执行处理，以用于改变显示在设置于其中的显示装置上的乐谱图像中的音符或位置的显示样式。
作为本发明的另一实施例，用于输入音高信息的功能可以通过在外部连接到电子键盘乐器200的另一电子乐器(例如midi设备17)或外围设备16(例如ipad(注册商标))执行。在这种情况下，用户通过使用设置在midi设备17中的演奏操作器单元或通过使用显示在ipad(注册商标)等的显示装置上的gui操作器的图像而执行演奏操作。midi设备17或外围设备16响应于这种用户演奏操作产生音高信息。电子键盘乐器200获取通过midi设备17或外围设备16产生的音高信息并执行处理(识别部分106和显示控制部分108的功能)，用于基于已获取音高信息改变乐谱图像中五线谱上的音符或位置的显示样式。
还应注意，用于输入音高信息的演奏操作器单元不必限制为键盘类型。即，演奏操作器单元可以是任何期望类型，例如管乐器类型，所谓的风管合成器(windsynthesizer)，具有被用户击打的垫的垫类型，和吉他类型，只要其允许midi格式的演奏信息作为音高信息来输入即可。
进一步地，作为例子，通过包括多个互相协作装置的系统来实施演奏辅助装置100的上述实施例可以配置为，使得乐谱图像显示在外部连接到电子键盘乐器200的一个外围设备16的显示装置上，通过使用外部连接到电子键盘乐器200的另一外围设备16的显示装置上显示的gui操作器的图像来输入音高信息，且电子键盘乐器200执行处理，以用于基于已获取音高信息来改变乐谱图像中五线谱上的音符或位置的显示样式。
作为本发明的另一实施例，音高信息可以基于通过天然乐器(naturalmusicalinstrument)产生的音频信号的音高信息。即，执行获取部分104功能的装置(电子键盘乐器200、外围设备16、midi设备17等)接收通过天然乐器产生音频信号，对接收的音频信号执行公知的音高检测处理和声音(乐音)长度检测处理，基于预定音高检测和声音(乐音)长度检测处理产生具有例如midi格式的音高信息(音符事件信息)。出于该目的，可以采用任何期望的公知音高检测处理或技术，例如用于对基本上同时产生并包含在音频信号的多个乐音的相应音高进行提取的多乐音音高提取技术，该技术例如公开于日本已公开专利申请no.2008-058753。进一步地，天然乐器可以是任何类型的天然乐器，例如萨克斯管、吉他或原声钢琴。作为替换例，要被获取部分104接收的音频信号可以是具有用户发出的声音的信号。进而，作为额外的功能，可以基于从获取部分104接收的音频信号获得的音高信息(音符事件信息)形成乐谱。以此方式，可以以自由选择的方式或按用户的喜好形成他或她所演唱的音乐作品的乐谱。
进一步地，作为本发明的另一实施例，乐谱图像可以在显示装置6上激活的网络浏览器中显示。即，在这种情况下，电子键盘乐器200在显示装置6上激活网络浏览器，且其经由通信i/f11访问通信网络18上的服伺计算机并请求服伺计算机以显示期望音乐作品的乐谱图像。服伺计算机具有预存储在其中的多个音乐作品的乐谱数据并响应于来自乐器200的请求将任何乐谱数据传递到电子键盘乐器200。随后，电子键盘乐器200在网络浏览器中基于从服伺计算机接收的乐谱数据显示乐谱图像。随后，响应于键盘上的操作(键盘操作，例如琴键按压操作)，电子键盘乐器200的cpu1改变与被按压琴键对应的五线谱上的音符或位置的显示样式。在另一实施例中，服伺计算机可以执行识别部分106和显示控制部分108的功能。在这种情况下，电子键盘乐器200将对应于键盘操作的音高信息传递到服伺计算机。基于从电子键盘乐器200接收的音高信息，服伺计算机执行处理，以用于改变五线谱上的音符或位置的显示样式，并指示键盘乐器200执行与处理结果对应的五线谱上的显示样式改变。根据来自服伺计算机的这种指令，电子键盘乐器200改变在网络浏览器中显示的乐谱图像中的五线谱上的音符或位置的显示样式。
应注意，乐谱图像的显示(即显示部分102的功能)和对服伺计算机的访问可以例如通过外围设备16执行，外围设备例如是ipad(注册商标)或个人计算机，而不是通过电子键盘乐器200执行。
尽管已经如上详细描述了本发明的各种实施例，但是应该应理解，本发明不必限制为上述实施例，而是可以在权利要求、说明书和附图中公开的技术原理的范围内做出各种修改。
例如，本发明的乐谱图像并不限于仅五线谱类型的图像且可以是任何其他期望类型，例如和弦表类型、吉它谱类型或鼓谱，只要其是构成音乐作品的各个音符被置于或布置在时间轴线和音高轴线上的图像即可。应注意，和弦表是代表和弦的符号沿时间轴方向布置的乐谱。在和弦表的情况下，cpu1在步骤s16到s25改变和弦表中的与已获取和弦(例如通过用户执行的和弦)匹配的和弦符号的显示样式；如果没有与已获取和弦匹配的和弦符号，则在cpu改变和弦表的除了和弦符号的另一部分的显示样式，例如和弦表的背景部分。在要获取基于和弦演奏乐音代表的音频信号的音高信息的情况下，可以采用日本已公开专利申请no.2008-058753中公开的多乐音音高提取技术。进一步地，在五线谱类型等的乐谱图像中，针对儿童等，可以通过动物等的图片来表示构成音乐作品的各乐音的音符。
进而，在显示装置6上显示的乐谱图像可以在其合适部分(例如画面的下部部分)具有显示全音阶的各音名(例如“c-d-e-f-g-a-b”)、变音记号等的区域。该区域被配置为为使得其通常什么也不显示，但是在响应于琴键按压等已经获取音高信息时，其显示对应于已获取音高信息的音名。还应注意，改变乐谱图像中的除了音符的另一部分的显示样式”和“改变乐谱图像中的除了音符的其他部分中与音高信息对应的特定部分的显示样式”例如包括，用与存在匹配音符的情况下所采用的显示样式不同的另一显示样式而在该区域中显示显示音名或显示在该区域所显示的音名。
进而，可以通过不具有硬件演奏操作器单元的装置(即不是乐器的装置，例如ipad(注册商标)或个人计算机)实施本发明的演奏辅助装置100。而且，本发明的乐谱数据可以是数据，例如仅是图像数据，不具有如上所述的音符数据。在这种情况下，可以以一些合适的方式获取每一个音符的音高信息kc，例如通过基于乐谱数据分析乐谱。进一步地，在这种情况下，例如可以通过产生代表乐谱(其具有相关已改变部分的显示样式)的图像数据来执行音符等的显示样式的改变。
更多的，本发明不仅可以构造并实施为如上所述的装置或设备，而且可以实施为演奏辅助方法，其包括：步骤：在显示部分上基于乐谱数据显示乐谱图像，用于显示出表示构成音乐作品的各种乐音或声音的音符被沿时间轴线和音高轴线布置的乐谱图像；步骤：获取表示一个或多个音高的音高信息；步骤：从包括在乐谱图像中的音符识别出与通过已获取音高信息表示的一个或多个音高中的任何一个相匹配的每一个音符；和步骤：在任何音符已经被识别为与通过已获取音高信息表示的一个或多个音高中的任何一个相匹配时，改变已识别音符的显示样式，且在没有音符被识别为与通过已获取音高信息表示的一个或多个音高中的任何一个相匹配时，改变乐谱图像的除了所述音符的那部分的显示样式。
进而，本发明可以构造和实施为程序，用于使得计算机执行：步骤：在显示部分上基于乐谱数据显示乐谱图像，用于显示出表示构成音乐作品的各种乐音或声音的音符被沿时间轴线和音高轴线布置的乐谱图像；步骤：获取表示一个或多个音高的音高信息；步骤：从包括在乐谱图像中的音符识别出与通过已获取音高信息表示的一个或多个音高中的任何一个相匹配的每一个音符；和步骤：在任何音符已经被识别为与通过已获取音高信息表示的一个或多个音高中的任何一个相匹配时，改变已识别音符的显示样式，且在没有音符被识别为与通过已获取音高信息表示的一个或多个音高中的任何一个相匹配时，改变乐谱图像的除了音符的那部分的显示样式。