用于信息处理装置的方法、信息处理装置、以及图像显示系统与流程

1.本发明涉及一种用于信息处理装置的方法、信息处理装置、以及图像显示系统。


背景技术：

2.正在开发如下技术：解析演奏电子乐器而产生的midi(musical instrument digital interface，乐器数字接口)数据，制作并显示根据演奏而变化的运动图像、反映演奏的内容的静止图像(图画)的技术。
3.例如，参照日本特开2019-101168号公报。
4.乐器的练习非常辛苦，很多人中途厌倦而放弃。为了不仅使高手而且使刚入门乐器演奏的人们提高练习的欲望，使音乐演奏可视化并创造出视觉效果是有效的。
5.当伴随着演奏动态地生成/显示运动图像时，可以从新的观点欣赏音乐。


技术实现要素：

6.在使演奏可视化的技术的一例中，通过计算机生成在演奏中实时显示的运动图像(第一图像)、和演奏结束后显示的汇总的图像(第二图像：最终图画)。其中，如何决定显示最终图画的定时是困难的。在现状下，若从最后的音符终止(note off)起经过一定的时间(判定时间)，则判定为演奏结束，显示最终图画。然而，对于演奏不佳的孩子等来说，击键间隔可能较长，尽管还在持续演奏，但最终图画可能出现。
7.若在拼命演奏的中途出现最终图画，则会很失望。若为了避免这种情况而延长判定时间，则从结束演奏到最终图画出来需要时间，反而给用户带来压力。
8.为了如街头钢琴那样供不特定的大量用户演奏，期望能够根据演奏状况来适当地设定判定时间。
9.在本发明的一个实施方式中，信息处理装置的处理器基于第一演奏操作与第二演奏操作的间隔，决定在演奏的结束后输出的数据的输出定时。
10.根据本发明，例如，能够准确地判定演奏的结束，由此，能够进一步享受演奏。
附图说明
11.图1是表示实施方式的图像显示系统的一例的图。
12.图2是表示在键盘乐器组合了平板电脑的图像显示系统的一例的图。
13.图3是表示实施方式的数字键盘1的一例的框图。
14.图4是表示平板电脑3的一例的功能框图。
15.图5是表示平板电脑3的处理过程的一例的流程图。
16.图6是表示一个乐谱例的图。
17.图7是表示根据图6的乐谱例制作的第一图像的一例的图。
18.图8是表示根据图6的乐谱例制作的第二图像的一例的图。
19.图9是表示图5的步骤s4中的处理过程的一例的流程图。
20.图10是用于说明图9的步骤s42中的音符间隔的计算的图。
21.图11是表示与判定期间更新系数α的更新相关的处理过程的一例的流程图。
具体实施方式
22.以下，参照附图说明本发明的实施方式。
23.《结构》
24.图1是表示实施方式的图像显示系统的一例的示意图。图1所示的图像显示系统与用户(演奏者)的演奏相配合地实时地描绘图像(图画)。这种图像显示系统解析从能够将用户的演奏作为演奏数据(例如midi数据)输出的电子乐器等取得的演奏数据，并基于其结果生成图像。
25.在图1中，图像显示系统包括电子乐器、信息处理装置和显示器装置。
26.电子乐器根据用户的演奏生成演奏数据(例如midi数据)，将演奏数据输出到信息处理装置。信息处理装置解析接收到的演奏数据，生成图像数据。信息处理装置例如是平板电脑或个人计算机(pc)。显示器装置显示由信息处理装置生成的图像。
27.图2是表示在键盘乐器组合了平板电脑的图像显示系统的一例的图。该系统具备数字键盘1和能够与数字键盘1连接的平板电脑3。数字键盘1例如是电子钢琴、合成器、或者电子风琴等电子键盘乐器。
28.数字键盘1除了在键盘上排列的多个键10之外，还具备显示部14、操作部18和乐谱台ms。如图2所示，连接到数字键盘1的平板电脑3能够载置于乐谱台ms，用以显示乐谱或作为用户界面使用。
29.键10是演奏者用于指定音高的操作件。通过演奏者按压/释放键10，数字键盘1进行与指定的音高对应的音的发音以及消音。按键和离键是演奏操作的一例。能够将它们分别单独捕捉作为演奏操作，也可以以按键/离键的组合作为一个演奏操作。或者也可以仅捕捉按键作为单独的演奏操作进行计数，也可以仅捕捉离键作为演奏操作。例如，能够将成为产生演奏数据的契机的事件捕捉作为演奏操作。可以将产生演奏数据的行为的全部捕捉为演奏操作，或者也可以仅将产生某特定种类的演奏数据(音符触发(note on)、音符终止等)的行为作为演奏操作。
30.显示部14例如具备带触摸面板的液晶监视器(liquid crystal display：lcd)，进行伴随演奏者对操作部18的操作的消息的显示等。在显示部14具有触摸面板功能的情况下，显示部14能够承担操作部18的功能的一端。
31.操作部18具有用于供演奏者进行各种设定等的操作按钮、拨盘(dial)等。用户能够对操作按钮或拨盘等进行操作，进行音量调整等各种设定操作等。
32.图3是表示实施方式的数字键盘1的一例的框图。数字键盘1具备usb接口(i/f)11、ram(random access memory，随机存取存储器)12、rom(read only memory，只读存储器)13、显示部14、显示控制器15、led(light emitting diode，发光二极管)控制器16、键盘17、操作部18、键扫描器19、midi接口(i/f)20、系统总线21、cpu(central processing unit，中央处理单元)22、计时器23、音源24、数字/模拟(d/a)转换器25、混合器26、d/a转换器27、声音合成lsi28和放大器29。这里，音源24和声音合成lsi28例如被实现为dsp(digital signal processor，数字信号处理器)。
33.cpu22、音源24、声音合成lsi28、usb接口11、ram12、rom13、显示控制器15、led控制器16、键扫描器19和midi接口20与系统总线21连接。
34.cpu22是控制数字键盘1的处理器。即，cpu22将存储在rom13中的程序读出到作为工作存储器的ram12中并执行，实现数字键盘1的各种功能。cpu22按照从计时器23提供的时钟进行动作。时钟用于例如控制自动演奏、自动伴奏的序列。
35.rom13存储程序、各种设定数据、自动伴奏数据等。自动伴奏数据可以包括预设的节奏样式(rhythm pattern)、和弦进行、基础样式(base pattern)、或者助奏(obbligato)等旋律数据等。旋律数据可以包括各音的音高信息、各音的发音定时信息等。
36.各音的发音定时可以是各发音间的间隔时间，也可以是从自动演奏曲的开始时起的经过时间。时间的单位大多用tick。tick是在一般的定序器(sequencer)中使用的以乐曲的节拍(tempo)为基准的单位。例如，如果定序器的分辨率是480，则四分音符的时间的1/480是1tick。
37.自动伴奏数据不限于rom13，也可以存储在未图示的信息存储装置或信息存储介质中。自动伴奏数据的格式可以遵循midi用的文件格式。
38.显示控制器15是控制显示部14的显示状态的ic(integrated circuit，集成电路)。led控制器16例如是ic。led控制器16根据来自cpu22的指示使键盘17的键发光，对演奏者的演奏进行导航。
39.键扫描器19恒定地监视键盘17的按键/离键状态、操作部18的开关操作状态。而且，键扫描器19将键盘17、操作部18的状态传递给cpu22。
40.midi接口20将来自midi装置4等的外部装置的midi数据(演奏数据等)输入，或者将midi数据输出到外部装置。数字键盘1能够使用例如usb(universal serial bus)等的接口，与外部装置收发midi数据或乐曲文件。接收到的midi数据经由cpu22交付到音源24。音源24按照由midi数据指定的音色、音量(力度，velocity)、定时等鸣响声音。
41.此外，midi数据(midi消息)除了与键10对应的音高编号、音色编号等信息以外，还能够表示音符触发、音符终止这样的表示定时的信息、称为力度的强度信息、或者各种控制信息等与乐曲的演奏相关的所有信息。
42.音源24是例如遵循gm(general midi)标准的所谓gm音源。这种音源，通过提供作为包含在midi数据中的midi消息的程序变更(program change)能够变更音色。此外，如果提供控制变更(control change)就能够控制既定的效果(effect)。
43.音源24具有例如同时发出最大256音(voice)的能力。音源24例如从波形rom(未图示)读出乐音波形数据，作为数字乐音波形数据输出到d/a转换器211。d/a转换器211将数字乐音波形数据转换为模拟乐音波形信号。
44.当从cpu22将歌词的文本数据和与音高相关的信息作为歌声数据提供时，声音合成lsi28合成与其对应的歌声的声音数据，并输出到d/a转换器25。d/a转换器25将声音数据转换为模拟声音波形信号。
45.混合器26将模拟乐音波形信号和模拟声音波形信号混合，生成输出信号。该输出信号由放大器29放大，从扬声器或耳机输出等输出端子输出。
46.平板电脑3经由usb接口11与系统总线21连接。平板电脑3能够经由usb接口11取得通过演奏数字键盘1而产生的midi数据(演奏数据)。
47.此外，未图示的存储介质等也可以经由usb接口11与系统总线21连接。作为存储介质，例如可以举出usb存储器、软盘驱动器(fdd)、硬盘驱动器(hdd)、cd-rom驱动器和磁光盘(mo)驱动器等。在rom106中未存储程序的情况下，通过预先将程序存储在存储介质中并且将其读入ram105，能够使cpu111执行与将程序存储在rom106中的情况相同的动作。
48.图4是表示平板电脑3的一例的功能框图。平板电脑3是便携式信息处理装置，安装有用于生成并输出反映使用了数字键盘1的演奏的图像的应用程序。另外，平板电脑3也可以具备从数字键盘1接收midi数据并再现乐曲数据的定序器等。
49.平板电脑3主要具备操作部31、显示部32、通信部33、音输出部34、存储器35以及控制部36(cpu)。各部(操作部31、显示部32、通信部33、音输出部34、存储器35以及控制部36)通过总线37能够通信地连接，能够在各部间收发需要的数据。
50.操作部31例如包括用于进行电源的开启/关闭的电源开关等开关类。显示部32具备带触摸面板的液晶监视器，显示图像。显示部32还具有触摸面板功能，因此能够担负操作部31的一端。
51.通信部33具备用于与其他设备等之间进行通信的无线单元或有线单元。在实施方式中，例如经由usb电缆等与数字键盘1有线连接，由此平板电脑3能够在与数字键盘1之间收发各种数字数据。
52.音输出部34具备扬声器、耳机插口等，再现输出模拟的声音、乐音，或者输出音频信号。
53.控制部36具备cpu等处理器，负责平板电脑3的控制。控制部36的cpu按照存储器35中存储的控制程序或安装的应用程序，执行各种处理等。
54.存储器35具备rom40以及ram50。
55.rom40例如存储控制部36执行的程序41、各种数据表等。特别是，在实施方式中，将与演奏的结束的判定相关的判定期间t存储在rom40的存储区域42中。
56.ram50存储使程序41动作所需的数据。此外，ram50还作为控制部36所制作的数据、从数字键盘1送出的midi数据、以及用于使应用程序展开的临时存储区域等发挥功能。在实施方式中，ram50除了存储包含midi数据的演奏数据50a之外、还存储角色数据50b、第一图像数据50c、以及第二图像数据50d。
57.此外，在实施方式中，程序41具备音乐解析例程(routine)41a、第一图像制作例程41b、第二图像制作例程41c和输出控制例程41d。
58.音乐解析例程41a取得根据数字键盘1的演奏而依次生成的各演奏数据，作为演奏数据50a存储在ram50中。另外，音乐解析例程41a主要基于演奏数据50a中包含的音高数据进行音乐解析，进行乐曲的调性(tonality)、和弦种类、音名判定等。
59.此外，音乐解析的方法或者用于判定调性、和弦种类等的方法没有特别限定，例如能够使用日本专利第3211839号说明书等中公开的方法。
60.第一图像制作例程41b基于音乐解析的结果，生成在演奏中实时显示的运动图像数据。所制作的运动图像数据作为第一图像数据50c临时存储在ram50中，然后立即被读出并显示于显示部32。
61.第二图像制作例程41c基于音乐解析的结果，制作演奏的结束后作为汇总显示的静止图像。所制作的静止图像的运动图像数据作为第二图像数据50d被临时存储在ram50
中，然后在适当的定时被输出(读出)并显示于显示部32。
62.输出控制例程41d基于生成来自数字键盘1的各演奏数据的定时、或取得演奏数据的各定时的间隔，决定输出第二图像数据的定时。
63.《作用》
64.接着，说明上述结构的作用。在以下的说明中，设平板电脑3能够通信地连接到数字键盘1。另外，设用于使平板电脑3的显示部32(图4)显示图像的应用程序在平板电脑3中起动。
65.图5是表示平板电脑3的处理过程的一例的流程图。在图5中，平板电脑3的控制部36(cpu)等待来自数字键盘1的演奏数据的输入(步骤s1)。如果在步骤s1中有演奏数据的输入(是)，则控制部36执行演奏判定处理(步骤s2)。在步骤s2中，控制部36基于所取得的演奏数据，例如，对演奏的曲子的调(例如，c大调～b小调的24种)的判定、和弦种类(例如，major、minor、sus4、aug、dim、7th等)的判定、拍等进行判定。在此得到的判定结果反映在第一图像中。
66.图6是表示一个乐谱例的图。例如，当进行图6所示的演奏时，如图7所示，按do re mi fa
…
的顺序，依次配置花(1)、叶(2)、瓢虫(3)和蝴蝶(4)的角色，成为第一图像。当判定演奏的结束时，如图8所示，各角色被配置在例如螺旋状的轨道上，成为第二图像。
67.返回图5继续说明。控制部36基于演奏判定处理的结果生成第一图像，并输出到显示部32(步骤s3)。
68.接着，控制部36基于演奏判定处理的结果，进行更新判定期间t的处理(步骤s4)。
69.图9是表示步骤s4中的处理过程的一例的流程图。当步骤s4的判定期间更新处理被调用时，发生软中断。然后，控制部36首先在判定期间t设置初始值t0(步骤s41)。例如设定5秒作为初始值t0。接着，控制部36计算最近的音符间隔的最大值tmax(步骤s42)。即，在该步骤中，控制部36取得从最新的音符触发时刻回溯x个(例如4个)音的音符触发时刻，计算各自的时间间隔而求出其最大值tmax。
70.接着，控制部36比较判定期间t和tmax(步骤s43)，如果t比tmax小(t＜tmax)为假(false)(否)，即如果最近的音符间隔未超过判定期间t，则保持t＝t0不变(步骤s44)，处理过程返回到调用源(返回)。
71.另一方面，如果在步骤s43中(t＜tmax)为真(true)(是)，即如果最近的音符间隔超过判定期间t，则将tmax乘以判定期间更新系数α后的值代入t(步骤s45)，处理过程返回到调用源(返回)。这里，作为系数α的值，能够采用1.1，这相当于使判定期间t比默认值长。另外，系数α的值根据演奏的状况而被更新为不同的值。
72.返回图5继续说明。在步骤s1中没有演奏数据的输入的情况下(否)，或者当步骤s4结束时，控制部36进行结束判定(步骤s5)。在实施方式中，结束判定通过比较作为基准值的判定期间t和从最后的音符终止起的经过时间来进行。即，若从最后的音符终止起的经过时间比判定期间t长，则判定为演奏结束(是)。如果在步骤s5中为否，则处理过程再次返回步骤s1，直至判定为是。
73.演奏中重复步骤s1～步骤s5的处理，当最终演奏结束时，在步骤s5中为是。这样，控制部36制作反映所蓄积的演奏数据50a的解析结果的第二图像，并显示输出到显示部32(步骤s6)。
74.图10是用于说明图9的步骤s42中的音符间隔的计算的图。在实施方式中，“音符间隔”是指从前一个音符触发到下一个音符触发的期间。此时，在时间上有重叠的音(音符)作为一团音(音符)处理。
75.例如，在像和弦弹奏那样集中按压多个键的情况下，严格地说，各件的音符触发时刻大多稍微错开。如图10所示，即使以c、e、g为构成音的c和弦的c音、e音、g音稍微错开，如果错开量在既定值以内，则将它们成团，将音符触发、音符终止的产生分别计数为1次。例如，将一团中最初的音符的按键时刻设为音符触发，将最后的音的离键时刻设为音符终止。并且，将到下一个音符的音符触发为止设为音符间隔。一个音的音符触发如字面意思所示，能够作为该音的按键时刻进行计数。
76.图11是表示与作为决定第二图像数据的输出定时的基准值的判定期间更新系数α的更新相关的处理过程的一例的流程图。在图11中，控制部36对在从当前时间点起过去的几秒(例如8秒)期间的音符数n进行计数(步骤s7)，并与预先确定的阈值n1(例如5个)进行比较(步骤s8)。如果n大于阈值n1(是)，则将1.1代入α(步骤s10)。另一方面，如果n为阈值n1以下(否)，则将比1.1大的值、例如1.5代入α(步骤s9)。
77.若在步骤s8中判定在过去几秒期间的演奏中产生的音符数较少，这意味着很可能演奏不稳定或者正在缓慢地演奏。因此，在这种情况下，将α设置为较大的值，以使判定期间t变长。相反，如果过去几秒内的音符数较多，则将α设置为较小的值。
78.即，控制部36在设定期间内生成或取得的演奏数据的数量未达到阈值的情况下，与演奏数据的数量达到了阈值的情况相比，使第二图像数据的输出定时延迟。另外，阈值的等级不仅可以设定n1，也可以设定n1、n2、n3
…
这样的多个值，分为几个阶段使α逐渐变化。
79.＜效果＞
80.如上所述，在实施方式中，基于对演奏数据进行音乐解析的结果，在每次演奏时控制输出第二图像的定时。例如，在演奏节拍快的乐曲的情况下，与演奏节拍慢的乐曲的情况相比，在从演奏停止起较早的定时输出第二图像。相反，在新手以慢节奏缓慢弹奏的情况下，从演奏的停止到显示第二图像为止的时间变长。
81.由于这样，不是在固定的定时，而是能够在演奏结束后的良好的定时输出第二图像。即，能够不引起如下的扫兴的情况：虽然演奏没有结束但却出现了最终图画，或者相反，虽然演奏结束但最终图画却怎么也不出现。
82.即，根据实施方式，能够可靠地判定演奏的结束。因此，能够提供一种程序、电子设备、方法以及图像显示系统，其提高了使音乐演奏可视化的技术的体验价值，并且在不削减用户的练习欲望的情况下，进一步享受演奏乐器或练习乐器的乐趣。
83.另外，本发明不限定于上述实施方式。
84.＜变形例1＞
85.在某种程度上期待演奏的稳定性的情况下，在图9的步骤s42中也可以不使用最近的音符间隔的最大值，而使用平均值。
86.＜变形例2＞
87.作为步骤s42中的规定时间的更新判定的条件，也可以代替最近的音符间隔的最大值(或平均值)，而使用演奏的不稳定度的指标。作为指标，也可以使用非音乐的判定的结果、或者节拍的不稳定度等。
88.例如，在通过音乐解析无法判定和弦的情况(判定失败的情况)下，在无法判定和弦的次数超过规定数的情况下，或者，通过检测到相邻的白键的5个键以上的同时按压等、在大致同时的定时检测到的音高数据的组合、在一定的时间长度之间多次检测到的音高数据的组合等，能够判定演奏操作是非音乐性的。
89.例如，如果使用非音乐性判定，则对于判定期间t的更新，能够考虑“在最近的数拍(例如8拍)以内非音乐性判定发生指定次数(例如3次)以上的情况”这样的条件(条件a)。
90.可以取该条件a和步骤s42的“基于最近的音符间隔的运算值的判定(条件b)”的逻辑与(and)，在取真值的情况下更新判定期间t即可。
91.＜变形例3＞
92.更直接地，如果将乐曲的节拍设为演奏结束判定的条件，则考虑以下情况。即，通过控制部36，基于从数字键盘1取得的演奏数据，判定演奏的节拍。然后，在所判定的节拍是比第一节拍慢的第二节拍的情况下，决定第二图像数据的输出定时，使得在第二节拍的情况下所决定的输出定时比第一节拍的情况下所决定的输出定时晚。
93.＜变形例4＞
94.作为更直接的判定演奏结束的方式，还有确认演奏者的动作的方法。即，也可以设置能够检测演奏者的动作的相机等，例如通过判定从椅子站起的情况，不依赖于从最后的音符终止起经过的时间而显示最终图画(第二图像)。
95.即，在本实施例中，信息处理装置(显示装置)3的处理器36基于用户对电子乐器1的键盘17的第一演奏操作与第二演奏操作的间隔，决定在演奏结束后输出的数据的输出定时。作为一实施例，该间隔基于根据电子乐器1侧的第一演奏操作而在信息处理装置3侧取得的音符数据的取得定时、和根据电子乐器1侧的第一演奏操作后的第二演奏操作而在信息处理装置3侧取得的音符数据的取得定时来计算。即，第一演奏操作和第二演奏操作的间隔可以通过任何方法计算。