演奏控制方法以及演奏控制装置与流程

本发明涉及控制自动演奏的技术。

背景技术：

例如，如专利文献1所公开的那样，从过去开始提出了通过分析乐曲的演奏来估计在乐曲中当下被演奏的位置(以下称为“演奏位置”)的乐谱对准技术。

现有技术文献

专利文献

专利文献1：特开2015-79183号公报

技术实现要素：

发明要解决的课题

另一方面，从过去开始普及了利用表示乐曲的演奏内容的演奏数据来使键盘乐器等乐器发音的自动演奏技术。若将前述的演奏位置的估计结果应用到自动演奏中，则能够实现与演奏者对乐器的演奏(以下称为“实际演奏”)同步的自动演奏。然而，在将演奏位置的估计结果实际应用于自动演奏的场景中可能产生各种各样问题。例如，在乐曲中实际演奏的节奏急剧变化的部分中，实际上难以使自动演奏高精度地跟随上实际演奏。考虑到上述情况，本发明的目的在于解决在使自动演奏与实际演奏同步的情况下设想的各种各样的课题。

用于解决课题的手段

为了解决以上的课题，本发明的优选的方式涉及的演奏控制方法为：计算机通过分析演奏者进行的乐曲的演奏，估计所述乐曲的演奏位置；计算机使演奏装置执行自动演奏以使其与所述演奏位置的行进同步，所述自动演奏与用于指定所述乐曲的演奏内容的演奏数据对应；计算机根据与所述演奏数据独立的控制数据来控制所述演奏位置的行进与所述自动演奏的关系。

此外，本发明的优选的方式涉及的演奏控制装置具有：演奏分析部，通过分析演奏者进行的乐曲的演奏，估计所述乐曲的演奏位置；以及演奏控制部，使演奏装置执行自动演奏以使其与所述演奏位置的行进同步，所述自动演奏与用于指定所述乐曲的演奏内容的演奏数据对应，所述演奏控制部根据与所述演奏数据独立的控制数据来控制所述演奏位置的行进与所述自动演奏的关系。

附图说明

图1是本发明的第1实施方式涉及的自动演奏系统的结构图。

图2是乐曲文件的示意图。

图3是演奏图像的示意图。

图4是控制装置使演奏装置执行自动演奏的工作的流程图。

图5是乐曲文件的编辑画面的示意图。

图6是控制装置利用控制数据的工作的流程图。

图7是第2实施方式涉及的自动演奏系统的结构图。

具体实施方式

<第1实施方式>

图1是本发明的第1实施方式涉及的自动演奏系统100的结构图。自动演奏系统100是设置在多个演奏者p演奏乐器的音响大厅等空间中，并且与多个演奏者p对乐曲的演奏并行而执行乐曲的自动演奏的计算机系统。另外，虽然演奏者p典型为乐器的演奏者，但乐曲的歌唱者也可以是演奏者p。此外，实际上不负责乐器的演奏的相关人员(例如，主导乐曲的演奏的指挥者或音响监督)也可以包括在演奏者p中。如图1中所例示那样，第1实施方式的自动演奏系统100具有演奏控制装置10、演奏装置12、收音装置14和显示装置16。演奏控制装置10是控制自动演奏系统100的各要素的计算机系统，例如由个人计算机等信息处理装置实现。

演奏装置12在演奏控制装置10的控制下执行乐曲的自动演奏。第1实施方式的演奏装置12对构成乐曲的多个部分中的由多个演奏者p进行演奏的部分以外的部分执行自动演奏。例如，乐曲的主旋律的部分由多个演奏者p演奏，演奏装置12执行乐曲的伴奏的部分的自动演奏。

如图1所示那样，第1实施方式的演奏装置12是具有驱动部件122和发音部件124的自动演奏乐器(例如，自动演奏钢琴)。与自然乐器的键盘乐器同样地，发音部件124对于每一个键具有与键盘的各键的移位联动而使弦(发音体)进行发音的打弦部件。与任意的一个键对应的打弦部件具有能打弦的音槌、和将该键的移位传达至音锤的多个传达部件(例如，联动杆(whipen)、顶杆(jack)和震奏杆(repetitionlever))。驱动部件122通过驱动发音部件124来执行乐曲的自动演奏。具体地，驱动部件122包括使各键移位的多个驱动体(例如，螺线管等致动器)、和用于驱动各驱动体的驱动电路而构成。通过驱动部件22根据来自演奏控制装置10的指示来驱动发音部件124，从而实现乐曲的自动演奏。另外，演奏控制装置10也可以搭载在演奏装置12上。

如图1所示的那样，演奏控制装置10由具有控制装置22和存储装置24的计算机系统来实现。控制装置22例如是cpu(中央处理单元(centralprocessingunit))等处理电路，综合地控制构成自动演奏系统100的多个要素(演奏装置12、收音装置14以及显示装置16)。存储装置24例如由磁记录介质或半导体记录介质等公知的记录介质、或者多种记录介质的组合构成，存储由控制装置22执行的程序和控制装置22使用的各种数据。另外，也可以独立于自动演奏系统100而设置存储装置24(例如，云存储)，经由移动体通信网络或因特网等通信网而执行控制装置22对于存储装置24的写入以及读出。即，可以从自动演奏系统100中省略存储装置24。

本实施方式的存储装置24存储乐曲的乐曲文件f。乐曲文件f例如是遵照了midi(乐器数字接口(musicalinstrumentdigitalinterface))标准的格式的文件(smf：标准midi文件(standardmidifile))。如图2所例示的那样，第1实施方式的乐曲文件f是包含参考数据r、演奏数据d和控制数据c的一个文件。

参考数据r指定基于多个演奏者p的乐曲的演奏内容(例如，构成乐曲的主旋律的部分的音符串)。具体地，参考数据r是按时间序列将用于指定演奏内容(发音/消音)的指示数据和用于指定该指示数据的处理时间点的时间数据进行排列的midi格式的时间序列数据。另一方面，演奏数据d指定由演奏装置12进行的自动演奏的演奏内容(例如，构成乐曲的伴奏的部分的音符串)。与参考数据r同样地，演奏数据d按时间序列将用于指定演奏内容的指示数据和用于指定该指示数据的处理时间点的时间数据进行排列的midi格式的时间序列数据。参考数据r以及演奏数据d的各自中的指示数据指定音高和强度，并指示发音或消音等各种事件。此外，参考数据r以及演奏数据d的各自中的时间数据例如指示相互前后的指示数据的间隔。第1实施方式的演奏数据d还指定乐曲的节奏(演奏速度)。

控制数据c是用于控制与演奏数据d对应的演奏装置12的自动演奏的数据。控制数据c虽然与参考数据r和演奏数据d一起构成一个乐曲文件f，但其为独立于参考数据r和演奏数据d的数据。具体地，控制数据c能够与参考数据r和演奏数据d分开编辑。即，能够独立地编辑控制数据c而不影响参考数据r和演奏数据d的内容。例如，参考数据r、演奏数据d和控制数据c是一个乐曲文件f中的相互不同的midi通道的数据。若如上述那样控制数据c与参考数据r以及演奏数据d一起包含在一个乐曲文件f中的结构，则与控制数据c是独立于参考信息r以及演奏数据d的文件的结构相比，存在控制数据c的处理容易的优点。另外，之后说明控制数据c的具体内容。

图1的收音装置14生成将在多个演奏者p进行的乐器的演奏中被发音的声音(例如，乐器声音或歌声)进行收音后的音响信号a。音响信号a是表示声音的波形的信号。另外，也可以利用从电弦乐器等电子乐器输出的音响信号a。因此，能够省略收音装置14。另外，也可以通过对多个收音装置14生成的信号进行加算来生成音响信号a。

显示装置16在演奏控制装置10(控制装置22)的控制下显示各种图像。例如，液晶显示面板或投影仪是显示装置16的优选例。多个演奏者p能够随时与乐曲的演奏并行地用眼睛确认显示装置16显示的图像。

控制装置22通过执行存储在存储装置24中的程序从而实现用于实现乐曲的自动演奏的多个功能(演奏分析部32、演奏控制部34以及显示控制部36)。另外，也能够采用通过多个装置的集合(即系统)来实现控制装置22的功能的结构、或者专用的电子电路实现控制装置22的功能的一部分或全部的结构。此外，处于从设置了收音装置14、演奏装置12和显示装置16的音响大厅等空间分离的位置的服务器装置也可以实现控制装置22的一部分或全部的功能。

演奏分析部32估计乐曲中多个演奏者p当下正在演奏的位置(以下称为“演奏位置”)t。具体地，演奏分析部32通过分析由收音装置14生成的音响信号a来估计演奏位置t。基于演奏分析部32的演奏位置t的估计与多个演奏者p的演奏(实际演奏)并行地、实时地依次执行。例如，以规定的周期重复演奏位置t的估计。

第1实施方式的演奏分析器32通过将音响信号a表达的声音和乐曲文件f内的参考数据r表示的演奏内容(即，多个演奏者p负责的主旋律的部分的演奏内容)相互地进行对照从而估计演奏位置t。对于由演奏分析部32进行的演奏位置t的估计，能够任意地采用公知的音响分析技术(乐谱对准技术)。例如，能够将专利文献1中公开的分析技术用于演奏位置t的估计。此外，也可以将神经网络或多叉树等识别模型用于演奏位置t的估计。例如，将实际演奏中被发音的声音的特征量作为学习数据而事先执行识别模型的机器学习(例如，深度学习)。演奏分析部32通过将在实际执行自动演奏的场景中从音响信号a中提取的特征量应用到机器学习后的识别模型从而估计演奏位置t。

图1的演奏控制部34使演奏装置12执行与乐曲文件f内的演奏数据d对应的自动演奏。第1实施方式的演奏控制部34使演奏装置12执行自动演奏，以使与演奏分析部32估计的演奏位置t的行进(时间轴上的移动)同步。具体地，演奏控制部34向演奏装置12指示在乐曲中与演奏位置t对应的时间点演奏数据d所指定的演奏内容。即，演奏控制部34作为向演奏装置12依次提供演奏数据d所包含的各指示数据的音序器而发挥作用。

演奏装置12根据来自演奏控制部34的指示执行乐曲的自动演奏。随着实际演奏的行进，演奏位置t随时间经过而向乐曲内的后方移动，因此由演奏装置12进行的乐曲的自动演奏也随着演奏位置t的移动而行进。即，由演奏装置12进行的乐曲的自动演奏以与实际演奏相同的节奏被执行。如根据以上的说明而理解的那样，演奏控制部34指示演奏装置12执行自动演奏，以使在将乐曲的各音符的强度或乐句表现等音乐表现维持在由演奏数据d指定的内容的状态下自动演奏与实际演奏进行同步(即在时间上跟随)。因此，例如若使用表示当前已过世的过去的演奏者等特定的演奏者的演奏的演奏数据d，则能够通过自动演奏如实地再现该演奏者所特有的音乐表现，并且能够营造该演奏者与实际存在的多个演奏者p恰似在一起呼吸而协调地进行合奏的气氛。

另外，演奏控制部34通过演奏数据d内的指示数据的输出来向演奏装置12指示自动演奏后演奏装置12实际发音(例如，发音部件124的音锤进行打弦)为止，实际需要几百毫秒左右的时间。即，基于演奏装置12的实际的发音相对于来自演奏控制部34的指示可能产生延迟。因此，演奏控制部34也可以向演奏装置12指示乐曲中相对于由演奏分析部32估计的演奏位置t后方(未来)的时间点的演奏。

图1的显示控制部36使显示装置16显示在视觉上表现了演奏装置12的自动演奏的行进的图像(以下称为“演奏图像”)。具体地，显示控制部36通过生成表示演奏图像的图像数据并输出到显示装置16，从而使显示装置16显示演奏图像。第1实施方式的显示控制部36使显示装置16显示与由演奏装置12进行的自动演奏联动而动态地变化的动态图像作为演奏图像来。

图3是演奏图像g的显示例。如图3所例示的那样，演奏图像g是例如表现了在虚拟空间内演奏乐器的虚拟的演奏者(以下称为“虚拟演奏者”)h的动态图像。显示控制部36与由演奏装置12进行的自动演奏并行而使演奏图像g随时间经过而变化，以使在对于演奏装置12的发音或消音的指示(指示发音的指示数据的输出)的时间点，模拟由虚拟演奏者h进行的按键或松键。因此，用眼睛确认了显示装置16所显示的演奏图像g的各演奏者p能够根据虚拟演奏者h的动作在视觉上掌握演奏装置12将各音符进行发音的时间点。

图4是例示了控制装置22的工作的流程图。例如，以在规定的周期发生的中断为契机，与多个演奏者p进行的乐曲的实际演奏并行而执行图4的处理。若开始图4的处理，则控制装置22(演奏分析部32)通过分析从收音装置14提供的音响信号a来估计演奏位置t(sa1)。控制装置22(演奏控制部34)对演奏装置12指示与演奏位置t对应的自动演奏(sa2)。具体地，控制装置22使演奏装置12执行乐曲的自动演奏，以使与演奏分析部32所估计的演奏位置t的行进同步。控制装置22(显示控制部36)使显示装置16显示表现自动演奏的行进的演奏图像g，并使演奏图像g随着自动演奏的行进而变化。

如以上说明的那样，在第1实施方式中，执行由演奏装置12进行的自动演奏以与演奏位置t的行进同步，另一方面，在显示装置16中显示表示由演奏装置12进行的自动演奏的行进的演奏图像g。因此，各演奏者p能够在视觉上确认由演奏装置12进行的自动演奏的行进而将其反映到自身的演奏上。根据以上的结构，实现多个演奏者p进行的实际演奏与由演奏装置12进行的自动演奏相互进行作用的自然的合奏。即，各演奏者p能够以恰似实际正在与虚拟演奏者h一起进行合奏似的感觉来进行演奏。在第1实施方式中，特别地，由于在显示装置16上显示根据自动演奏的演奏内容而动态地变化的演奏图像g，因此存在多个演奏者p能够在视觉上或直观上掌握自动演奏的行进的优点。

以下详细说明乐曲文件f所包含的控制数据c。第1实施方式的演奏控制部34概略地根据乐曲文件f内的控制数据c而控制演奏位置t的行进与基于演奏装置12的自动演奏的关系。控制数据c是用于指定乐曲中作为控制对象的部分(以下称为“控制对象部分”)的数据。例如，任意的一个控制对象部分通过将乐曲的开始点作为起点的该部分的起始点的时刻和持续长度(或结束点的时刻)而指定。在乐曲内，一个以上的控制对象部分由控制数据c指定。

图5是在乐曲文件f的编辑者编辑乐曲文件f的情况下在显示装置16上显示的画面(以下称为“编辑画面”)的说明图。如图5例示的那样，编辑画面包含区域x1、区域x2和区域x3。在区域x1和x2的各自中设定时间轴(横轴)和音高轴(纵轴)。在区域x1中表示由参考数据r表示的主旋律的部分的音符串，在区域x2中表示由演奏数据d表示的伴奏的部分的音符串。编辑者能够通过对于区域x1的操作来指示参考数据r的编辑，并且通过对于操作区域x2的操作来指示演奏数据d的编辑。

另一方面，在区域x3中设定与区域x1和区域x2共同的时间轴(横轴)。编辑者能够通过对于区域x3的操作，将乐曲中任意一个以上的区间指定为控制对象部分q。控制数据c指定在区域x3中被指示的控制对象部分q。区域x1的参考数据r、区域x2的演奏数据d和区域x3的控制数据c各自能够相互独立地进行编辑。即，能够变更控制数据c而不变更参考数据r和演奏数据d。

图6是控制装置22使用控制数据c的处理的流程图。例如，在自动演奏开始后以规定的周期发生的中断为契机，与基于图4的处理的自动演奏并行而执行图6的处理。若开始图6的处理，则控制装置22(演奏控制部34)判定控制对象部分q是否已到达(sb1)。在控制对象部分q到达的情况下(sb1：是)，控制装置22执行与控制数据c对应的处理(sb2)。在控制对象部分q未到达的情况下(sb1：否)，不执行与控制数据c对应的处理。

第1实施方式的乐曲文件f包含用于控制由演奏装置12进行的自动演奏的节奏的控制数据c1作为控制数据c。控制数据c1是用于指示在乐曲内的控制对象部分q中的自动演奏的节奏的初始化的数据。具体地，在乐曲中由控制数据c1所指定的控制对象部分q中，第1实施方式的演奏控制部34将由演奏装置12进行的自动演奏的节奏初始化为由演奏数据d指定的规定值，并在控制对象部分q内保持该规定值(sb2)。另一方面，在控制对象部分q以外的区间中，如前述那样，演奏控制部34使自动演奏通过与多个演奏者p进行的实际演奏同等的节奏而进行。如根据以上的说明而理解的那样，在乐曲中控制对象部分q开始前通过与实际演奏同等的可变的节奏进行的自动演奏以控制对象部分q的到来为契机，被初始化为由演奏数据d所指定的标准的节奏。若控制对象部分q经过，则重新开始与实际演奏的演奏位置t对应的自动演奏的节奏的控制，自动演奏的节奏被设定为与实际演奏同等的可变的节奏。

例如事先生成控制数据c1，以使在乐曲中由多个演奏者p进行的实际演奏的节奏容易变化的地方被包含在控制对象部分q中。因此，能够降低与实际演奏的节奏联动而自动演奏的节奏不自然地变化的可能性，并且能够实现适当的节奏的自动演奏。

<第2实施方式>

说明本发明的第2实施方式。另外，在以下例示的各方式中，关于作用或功能与第1实施方式相同的要素，沿用在第1实施方式的说明中使用的符号，并且适当省略各自的详细说明。

第2实施方式的乐曲文件f包含用于控制由演奏装置12进行的自动演奏的节奏的控制数据c2作为控制数据c。控制数据c2是用于指示在乐曲内的控制对象部分q中的自动演奏的节奏的保持的数据。具体地，在乐曲中由控制数据c2指定的控制对象部分q中，第2实施方式的演奏控制部34将由演奏装置12进行的自动演奏的节奏维持在该控制对象部分q开始紧前的自动演奏的节奏(sb2)。即，在控制对象部分q中，与第1实施方式同样地，即使实际演奏的节奏发生变化，自动演奏的节奏也不会变化。另一方面，在控制对象部分q以外的区间中，与第1实施方式同样地，演奏控制部34使自动演奏以与多个演奏者p的进行的实际演奏同等的节奏而进行。如根据以上的而理解的那样，在乐曲中控制对象部分q的开始前以与实际演奏同等的可变的节奏而行进的自动演奏以控制对象部分q的到来为契机，被固定为该控制对象部分q的紧前的节奏。若控制对象部分q经过，则重新开始与实际演奏的演奏位置t对应的自动演奏的节奏的控制，并且自动演奏的节奏被设定为与实际演奏同等的节奏。

例如预先生成控制数据c2，以使为了音乐上的表现，实际演奏的节奏可能发生变化，但自动演奏的节奏应维持一定的地方被包含在控制对象部分q中。因此，在即使乐曲中实际演奏的节奏变化但应保持自动演奏的节奏的部分中，能够实现适当的节奏的自动演奏。

如根据以上的说明而理解的那样，在乐曲中由控制数据c(c1或c2)指定的控制对象部分q中，第1实施方式和第2实施方式的演奏控制部34解除使自动演奏与演奏位置t的行进同步的控制。

<第3实施方式>

第3实施方式的乐曲文件f包含用于控制演奏位置t的行进与自动演奏的关系的控制数据c3作为控制数据c。控制数据c3是指示在乐曲内的控制对象部分q中使演奏位置t的行进反映到自动演奏的程度(以下称为“演奏反映度”)的数据。具体地，控制数据c3指定乐曲内的控制对象部分q和该控制对象部分q中的演奏反映度的时间上的变化。关于乐曲内的多个控制对象部分q的每一个，能够通过控制数据c3来指定演奏反映度的时间上的变化。在乐曲内的控制对象部分q中，第3实施方式的演奏控制部34根据控制数据c3来控制与由演奏装置12进行的自动演奏有关的演奏反映度。即，演奏控制部34控制与演奏位置t的行进对应的指示数据的输出的定时，以使演奏反映度变化为与控制数据c3的指示对应的数值。另一方面，在控制对象部分q以外的区间中，演奏控制部34根据演奏位置t而控制由演奏装置12进行的自动演奏，以使与自动演奏有关的演奏反映度被保持为规定值。

如以上说明的那样，在第3实施方式中，根据控制数据c3而控制乐曲的控制对象部分q中的演奏反映度。因此，能够实现在乐曲内的特定的部分中使自动演奏跟随实际演奏的程度发生变化的各种各样的自动演奏。

<第4实施方式>

图7是第4实施方式中的自动演奏系统100的结构图。除了与第1实施方式相同的要素(演奏控制装置10、演奏装置12、收音装置14和显示装置16)以外，第4实施方式的自动演奏系统100还具有摄像装置18。摄像装置18生成对多个演奏者p进行摄像的图像信号v。图像信号v是表示多个演奏者p进行演奏的样子的动态图像的信号。另外，也可以设置多个摄像装置18。

如图7所例示的那样，除了与第1实施方式相同的要素(演奏分析部32、演奏控制部34和显示控制部36)以外，第1实施方式中的演奏控制装置10的控制装置22通过执行存储在存储装置24中的程序也作为提示检测部38而发挥作用。

在多个演奏者p中主导乐曲的演奏的特定的演奏者p(以下称为“特定演奏者p”)执行作为乐曲的演奏的提示的动作(以下称为“提示动作”)。提示动作是用于指示时间轴上的一个时间点(以下称为“目标时间点”)的动作(手势)。例如，特定演奏者p拿起自身的乐器的动作或特定演奏者p挪动自身的身体的动作是提示动作的优选例。目标时间点例如是乐曲的演奏的开始点、或者是乐曲内从长时间的休止符重新开始演奏的时间点。特定演奏者p对于目标时间点仅以规定的时间(以下称为“提示间隔”)在跟前的时间点执行提示动作。提示间隔例如是乐曲的一个节拍程度的时间长度。提示动作是用于预告由提示间隔的经过而目标时间点到来的情况的动作，除了作为特定演奏者p以外的各演奏者p进行的演奏的契机以外，提示动作被利用为由演奏装置12进行的自动演奏的契机。

图7的提示检测部38检测由特定演奏者p进行的提示动作。具体地，提示检测部38通过分析由摄像装置18对特定演奏者p进行摄像的图像来检测提示动作。对于提示检测部38的提示动作的检测，能够使用包括从图像中提取特定演奏者p在执行提示动作时使之移动的要素(例如身体或乐器)的图像识别处理、以及检测该要素的移动的运动体检测处理的公知的图像分析技术。此外，也可以将神经网络或多叉树等识别模型利用于提示动作的检测。例如，将从对特定演奏者p的演奏进行摄像的图像信号中提取的特征量利用为学习数据，并预先执行识别模型的机器学习(例如深度学习(deeplearning))。提示检测部38通过将在实际执行自动演奏的场景中从图像信号v中提取的特征量应用于机器学习后的识别模型来检测提示动作。

第4实施方式的演奏控制部34以提示检测部28检测的提示动作为契机，向演奏装置12指示乐曲的自动演奏的开始。具体地，演奏控制部34开始对演奏装置12进行自动演奏的指示(即，指示数据的输出)，以使在从提示动作的时间点起经过了提示间隔程度的目标时间点开始由演奏装置12进行的乐曲的自动演奏。因此，在目标时间点，多个演奏者p进行的乐曲的实际演奏和由演奏装置12进行的实际演奏大致同时开始。

第4实施方式的乐曲文件f包含用于根据提示检测部38检测的提示动作来控制由演奏装置12进行的自动演奏的控制数据c4作为控制数据c。控制数据c4是用于指示利用了提示动作的自动演奏的控制的数据。具体地，在乐曲中由控制数据c4指定的控制对象部分q中，第4实施方式的演奏控制部34使演奏装置12的自动演奏与提示检测部38检测的提示动作同步。另一方面，在控制对象部分q以外的区间中，演奏控制部34停止与提示检测部38检测的提示动作对应的自动演奏的控制。因此，在控制对象部分q以外的区间中，特定演奏者p的提示动作不被反映到自动演奏中。即，控制数据c4是用于指示是否允许与提示动作对应的自动演奏的控制的数据。

如以上说明的那样，在第4实施方式中，在乐曲中由控制数据c4指定的控制对象部分q中使自动演奏与提示动作同步。因此，实现与特定演奏者p的提示动作同步的自动演奏。另一方面，存在特定演奏者p的非意图的动作被误检测为提示动作的可能性。在第4实施方式中，使自动演奏和提示动作同步的控制被限制在乐曲内的控制对象部分q内。因此，存在以下优点：即使在控制对象部分q以外的地方误检测出了特定演奏者p的提示动作的情况下也降低该提示动作被反映到自动演奏中的可能性。

<第5实施方式>

第5实施方式的乐曲文件f包含用于控制由演奏分析部32进行的演奏位置t的估计的控制数据c5作为控制数据c。控制数据c5是用于指示停止由演奏分析部32进行的演奏位置t的估计的数据。具体地，在乐曲中由控制数据c5指定的控制对象部分q中，第5实施方式的演奏分析部32停止演奏位置t的估计。另一方面，在控制对象部分q以外的区间中，与第1实施方式同样地，演奏分析部分32与多个演奏者p的实际演奏并行而依次估计演奏位置t。

例如预先生成控制数据c5，以使在控制对象部分q中包含乐曲中难以进行演奏位置t的正确的估计的地方。即，在乐曲中容易发生演奏位置t的误估计的地方停止演奏位置t的估计。因此，在第5实施方式中，能够降低演奏分析部分32误估计演奏位置t的可能性(进而，演奏位置t的误估计的结果被反映到自动演奏的可能性)。此外，与无关控制对象部分q的内外而估计演奏位置t的结构相比，还存在降低控制装置22的处理负荷的优点。

<第6实施方式>

第6实施方式的显示控制部36通过使显示在显示装置16的演奏图像g发生变化，从而能够向多个演奏者p通知乐曲内的目标时间点。具体地，显示控制部36通过将表现了虚拟演奏者h执行提示动作的样子的动态图像作为演奏图像g而使其显示在显示装置16上，从而将从该提示动作起经过了规定的提示间隔程度的时间点作为目标时间点而向各演奏者p进行通知。另外，显示控制部36为了与演奏装置12的自动演奏并行地模拟虚拟演奏者h的通常的演奏动作而使演奏图像g改变的操作在乐曲的自动演奏的执行时被持续地执行。即，通过演奏图像g来模拟虚拟演奏者h与通常的演奏动作并行而突然地执行提示动作的样子。

第6实施方式的乐曲文件f包含用于控制基于显示控制部36的演奏图像的显示的控制数据c6作为控制数据c。控制数据c6是用于指示由显示控制部36进行的目标时间点的通知的数据，并且其被预先生成，以使虚拟演奏者h应执行指示目标时间点的提示动作的地方被包含在控制对象部分q中

第6实施方式的显示控制部36通过在乐曲中由控制数据c6指定的控制对象部分q中使在显示装置16上显示的演奏图像g发生变化，从而向各演奏者p通知乐曲内的目标时间点。具体地，显示控制部36使演奏图像g发生变化，以使在控制对象部分q中由虚拟演奏者h执行提示动作。多个演奏者p通过用眼睛确认显示在显示装置16上的演奏图像g来掌握目标时间点，并在该目标时间点开始实际演奏。因此，在目标时间点，多个演奏者p进行的乐曲的实际演奏和由演奏装置12进行的实际演奏大致同时开始。另一方面，在控制对象部分q以外的区间中，显示控制部36通过演奏图像g来表现虚拟演奏者h持续地执行通常的演奏动作的样子。

如以上说明的那样，在第6实施方式中，在乐曲中由控制数据c6指定的控制对象部分q中，能够通过演奏图像g的变化而在视觉上向各演奏者p通知乐曲的目标时间点。因此，能够使自动演奏和实际演奏在目标时间点彼此同步。

<变形例>

以上例示的各方式能够进行各种变形。以下例示具体的变形方式。从以下示例中任意选择的两个以上的方式能够在不相互矛盾的范围内适当地合并。

(1)能够合并从第1实施方式至第6实施方式中任意选择的两个以上方式。例如，能够采用以下结构：将从第1实施方式到第6实施方式中例示的多个控制数据c(c1～c6)中任意选择的两个以上的控制数据c进行组合从而包含在乐曲文件f中。即，能够将从

(a)与控制数据c1对应的自动演奏的节奏的初始化(第1实施方式)、

(b)与控制数据c2对应的自动演奏的节奏的保持(第2实施方式)、

(c)与控制数据c3对应的演奏反映度的控制(第3实施方式)、

(d)根据控制数据c4将提示动作反映到自动演奏的操作(第4实施方式)、

(e)与控制数据c5对应的演奏位置t的估计的停止(第5实施方式)；以及

(f)与控制数据c6对应的演奏图像g的控制(第6实施方式)中任意选择的两个以上的结构进行合并。另外，在并用多个控制数据c的结构中，按控制数据c的每一个单独设定控制对象部分q。

(2)在上述的实施方式中，虽然通过分析由摄像装置18所摄像的图像信号v来检测提示动作，但提示检测部38检测提示动作的方法不限于以上的例示。例如，也可以通过分析安装在特定演奏者p的身体上的检测器(例如，加速度传感器等各种传感器)的检测信号，从而提示检测部38检测提示动作。然而，根据通过分析由摄像装置18所摄像的图像来检测提示动作的上述第4实施方式的结构，与在特定演奏者p的身体上安装检测器的情况相比，存在能够减少对于特定演奏者p的影响并检测提示动作的优点。

(3)除了通过与多个演奏者p进行的实际演奏相同的节奏而使自动演奏行进以外，例如，也可以利用用于控制自动演奏的音量的数据(以下称为“音量数据”)ca来控制自动演奏的音量。音量数据ca指定乐曲内的控制对象部分q和该控制对象部分q中的音量的时间上的变化。例如，控制对象部分q中的音量的增加或减少由音量数据ca指定。在控制对象部分q中，演奏控制部34根据音量数据ca来控制由演奏装置12进行的自动演奏的音量。具体地，演奏控制部34将演奏数据d内的指示数据所表示的强度设定为音量数据ca指定的数值。因此，自动演奏的音量随时间经过而增加或减少。另一方面，在控制对象部分q以外的区间中，演奏控制部34不执行与音量数据ca对应的音量的控制。因此，以演奏数据d内的指示数据所指定的强度(音量)来执行自动演奏。根据以上的结构，能够实现在乐曲内的特定的部分(控制对象部分q)中使自动演奏的音量变化的各种各样的自动演奏。

(4)如上述的各方式中例示的那样，自动演奏系统100通过控制装置22与程序的协作来实现。本发明的优选的方式涉及的程序是使计算机作为演奏分析部32和演奏控制部34而发挥作用的程序，所述演奏分析部32通过分析演奏者进行的乐曲的演奏来估计乐曲的演奏位置t，所述演奏控制部34使演奏装置12执行与用于指定乐曲的演奏内容的演奏数据d对应的自动演奏以与演奏位置t的行进同步，演奏控制部34根据独立于演奏数据d的控制数据c来控制演奏位置t的行进和自动演奏的关系。以上例示的程序能够以储存在计算机可读取的记录介质中的方式被提供，从而安装在计算机中。

记录介质例如是非暂时性(non-transitory)的记录介质，虽然cd-rom等光学记录介质为优选例，但也能够包括半导体记录介质或磁记录介质等公知的任意形式的存储介质。另外，“非暂时性的记录介质”包括除暂时性的传播信号(transitory，propagationsignal)以外的所有的计算机可读取记录介质，并且不排除易失性的记录介质。此外，也可以通过经由通信网的传送的方式将程序传送到计算机。

(5)以下例示从以上例示的具体的方式中掌握的本发明的优选的方式。

本发明的优选的方式(第1方式)涉及的演奏控制方法为：计算机通过分析演奏者进行的乐曲的演奏来估计所述乐曲的演奏位置，并且使演奏装置执行与用于指定所述乐曲的演奏内容的演奏数据对应的自动演奏以使其与所述演奏位置的行进同步，并且根据与所述演奏数据独立的控制数据来控制所述演奏位置的行进与所述自动演奏的关系。在以上的方式中，由于根据与演奏数据独立的控制数据来控制演奏位置的行进与自动演奏的关系，因此与仅将演奏数据用于基于演奏装置的自动演奏的控制的结构相比，能够根据演奏位置而适当地控制自动演奏，以减少在使自动演奏与实际演奏同步的情况下设想的问题。

在第1方式的优选例(第2方式)中，在所述演奏位置的行进与所述自动演奏的关系的控制中，在所述乐曲中由所述控制数据指定的部分中，解除使所述自动演奏与所述演奏位置的行进同步的控制。在以上的方式中，在所述乐曲中由所述控制数据指定的部分中，解除使所述自动演奏与所述演奏位置的行进同步的控制。因此，关于乐曲中不应使自动演奏与演奏位置的行进同步的部分，能够实现适当的自动演奏。

在第2方式的优选例(第3方式)中，在所述演奏位置的行进与所述自动演奏的关系的控制中，在所述乐曲中由所述控制数据指定的部分中，将所述自动演奏的节奏初始化为由所述演奏数据指定的规定值。在以上的方式中，在乐曲中由控制数据指定的部分中，自动演奏的节奏被初始化为由演奏数据指定的规定值。因此，存在以下优点：关于控制数据所指定的部分，自动演奏的节奏与实际演奏的节奏联动而不自然地变化的可能性被降低。

在第2方式的优选例(第4方式)中，在所述演奏位置的行进与所述自动演奏的关系的控制中，在所述乐曲中由所述控制数据指定的部分中，将所述自动演奏的节奏维持在该部分紧前的所述自动演奏的节奏。在以上的方式中，在乐曲中由控制数据指定的部分中，自动演奏的节奏被维持在该部分紧前的节奏。因此，关于乐曲中即使实际演奏的节奏发生变化但应保持自动演奏的节奏的部分也能够实现适当的节奏的自动演奏。

在第1方式至第4方式的任意一个的优选例(第5方式)中，在所述演奏位置的行进与所述自动演奏的关系的控制中，在所述乐曲中由所述控制数据指定的部分中，根据所述控制数据来控制将所述演奏位置的行进反映到所述自动演奏的程度。在以上的方式中，在乐曲中由控制数据指定的部分中，根据控制数据来控制将演奏位置的行进反映到自动演奏的程度。因此，能够实现在乐曲内的特定的部分中使自动演奏跟随实际演奏的程度发生变化的各种各样的自动演奏。

在第1方式至第5方式的任意一个的优选例(第6方式)中，在所述乐曲中由音量数据指定的部分中，根据所述音量数据来控制所述自动演奏的音量。根据以上的方式，能够实现在乐曲内的特定部分中使音量发生变化的方式的自动演奏。

在第1方式至第6方式的任意一个的优选例(第7方面)中，所述计算机检测所述乐曲的演奏者的提示动作，并且在所述乐曲中由所述控制数据指定的部分中，使所述自动演奏与所述提示动作同步。在以上的方式中，在乐曲中由控制数据指定的部分中，使所述自动演奏与提示动作同步。因此，实现与演奏者的提示动作同步的自动演奏。另一方面，使自动演奏和提示动作同步的控制被限制于乐曲中由控制数据指定的部分中。因此，即使在与该部分无关系的地方误检测出了提示动作的情况下，也降低该提示动作被反映到自动演奏中的可能性。

在第1方式至第7方式的任意一个的优选例(第8方式)中，在所述乐曲中由所述控制数据指定的部分中，停止所述演奏位置的估计。在以上的方式中，在乐曲中由控制数据指定的部分中停止演奏位置的估计。因此，例如通过控制数据来指定容易发生演奏位置的误估计的部分，从而能够降低演奏位置的误估计的可能性。

在第1方式至第8方式中的任意一个的优选例(第9方式)中，所述计算机使表示所述自动演奏的行进的演奏图像显示在显示装置上，并在所述乐曲中由所述控制数据指定的部分中，通过使所述演奏图像发生变化，从而向演奏者通知所述乐曲的特定的地点。在以上的方式中，在乐曲中由控制数据指定的部分中，通过使演奏图像发生变化来向演奏者通知乐曲的特定的地点。因此，能够在视觉上向演奏者通知例如乐曲的演奏开始的时间点或从长时间的休止符重新开始演奏的时间点。

在第1方式至第9方式的任意一个的优选例(第10方式)中，所述演奏数据和所述控制数据包含在一个乐曲文件中。在以上的方式中，由于演奏数据和控制数据包含在一个乐曲文件中，因此与演奏数据和控制数据构成单独的文件的情况相比，存在演奏数据和控制数据的处理容易的优点。

本发明的优选方式(第11方式)涉及的演奏控制方法为：计算机通过分析演奏者进行的乐曲的演奏来估计所述乐曲的演奏位置，并使演奏装置执行与用于指定所述乐曲的演奏内容的演奏数据对应的自动演奏以使其与所述演奏位置的行进同步，并且在乐曲中由与所述演奏数据独立的控制数据指定的部分中，停止所述演奏位置的估计。在以上的方式中，在乐曲中由控制数据指定的部分中停止演奏位置的估计。因此，通过控制数据来指定例如容易发生演奏位置的误估计的部分，从而能够降低演奏位置的误估计的可能性。

本发明的优选的方式(第12方式)涉及的演奏控制方法为：计算机通过分析演奏者进行的乐曲的演奏来估计所述乐曲的演奏位置，并使演奏装置执行与用于指定所述乐曲的演奏内容的演奏数据对应的自动演奏以使其与所述演奏位置的行进同步，并且使表示所述自动演奏的行进的演奏图像显示在显示装置上，并且在所述乐曲中由所述控制数据指定的部分中，通过使所述演奏图像发生变化，从而向演奏者通知所述乐曲的特定的地点。在以上的方式中，在乐曲中由控制数据指定的部分中，通过使演奏图像发生变化而向演奏者通知乐曲的特定的地点。因此，能够在视觉上向演奏者通知例如乐曲的演奏开始的时间点或从长时间的休止符重新开始演奏的时间点。

本发明的优选的方式(第13方式)涉及的演奏控制装置具有：演奏分析部，通过分析演奏者进行的乐曲的演奏来估计所述乐曲的演奏位置；以及演奏控制部，使演奏装置执行与用于指定所述乐曲的演奏内容的演奏数据对应的自动演奏以使其与所述演奏位置的行进同步，所述演奏控制部根据与所述演奏数据独立的控制数据来控制所述演奏位置的行进与所述自动演奏的关系。在以上的方式中，由于根据与演奏数据独立的控制数据来控制演奏位置的行进与自动演奏的关系，因此与仅将演奏数据用于由演奏装置进行的自动演奏的控制的结构相比，能够根据演奏位置而适当地控制自动演奏，以减少在使自动演奏与实际演奏同步的情况下设想的问题。

本发明的优选的方式(第14方式)涉及的演奏控制装置具有：演奏分析部，通过分析演奏者进行的乐曲的演奏来估计所述乐曲的演奏位置；以及演奏控制部，使演奏装置执行与用于指定所述乐曲的演奏内容的演奏数据对应的自动演奏以使其与所述演奏位置的行进同步，在所述乐曲中由与所述演奏数据独立的控制数据指定的部分中，所述演奏分析部停止所述演奏位置的估计。在以上的方式中，在乐曲中由控制数据指定的部分中，停止演奏位置的估计。因此，通过控制数据指定例如容易发生演奏位置的误估计的部分，从而能够降低演奏位置的误估计的可能性。

本发明的优选的方式(第15方式)涉及的演奏控制装置具有：演奏分析部，通过分析演奏者进行的乐曲的演奏来估计所述乐曲的演奏位置；演奏控制部，使演奏装置执行与用于指定所述乐曲的演奏内容的演奏数据对应的自动演奏以使其与所述演奏位置的行进同步；以及显示控制部，使显示装置显示表示所述自动演奏的行进的演奏图像，在所述乐曲中由所述控制数据指定的部分中，所述显示控制部通过使所述演奏图像发生变化，从而向演奏者通知所述乐曲的特定的地点。在以上的方式中，在乐曲中由控制数据指定的部分中，通过使演奏图像发生变化来向演奏者通知乐曲的特定的地点。因此，能够在视觉上向演奏者通知例如乐曲的演奏开始的时间点或从长时间的休止符重新开始演奏的时间点。

标号说明

100···自动演奏系统、10···演奏控制装置、12···演奏装置、122···驱动部件、124···发音部件、14···收音装置、16···显示装置、18···摄像装置、22···控制装置、24···存储装置、32···演奏分析部、34···演奏控制部、36···显示控制部、38···提示检测部。