本发明涉及从谱面的图像数据提取和弦信息的和弦信息提取装置、和弦信息提取方法及和弦信息提取程序。
背景技术：
以往，提出了使用扫描器等取得谱面的图像数据，从该图像数据提取与曲相关的各种信息。例如，在专利文献1中记载有一种由电子乐器及图像导入装置构成的电子乐器系统。图像导入装置由扫描器或者数字照相机等构成，从印刷于纸面的乐谱(印刷乐谱)读取曲信息。曲信息在通常的乐谱信息的基础上，还包含与曲的演奏相关联的音栓配合等设定信息。将读取的曲信息变换为乐谱图像信息，将该乐谱图像信息输入至电子乐器。电子乐器如果取得乐谱图像信息，则通过使用了图像解析技术的乐谱读入处理将乐谱图像信息变换为曲数据而读入。
专利文献1：日本专利第4702139号公报
技术实现要素：
在谱面中有时标记有表示曲中的和弦(和音)的和弦信息(例如，和弦名)。要求高效地提取如上所述的在一般的谱面中标记的和弦信息。在上述的电子乐器系统中，作为设定信息例如将qr码(注册商标)附加于印刷乐谱，通过读入qr码(注册商标)而能够取得设定信息。但是，需要在一般的谱面的基础上准备qr码(注册商标)，因此便利性低。
本发明的目的在于，提供能够从谱面图像数据高效地提取和弦信息的和弦信息提取装置、和弦信息提取方法及和弦信息提取程序。
按照本发明的一个方案的和弦信息提取装置，其具有：取得部，其取得谱面图像数据，该谱面图像数据表示参照谱面；谱面类型决定部，其基于所取得的谱面图像数据，决定预先确定的多个谱面类型中的参照谱面的谱面类型；提取区域决定部，其基于提取区域信息而决定参照谱面中的和弦提取区域，该提取区域信息确定出多个谱面类型与成为和弦信息的提取对象的和弦提取区域的关系；以及和弦信息提取部，其基于所决定的和弦提取区域，从所取得的谱面图像数据提取和弦信息。
可以是提取区域决定部决定优先级不同的第1及第2提取区域而作为和弦提取区域，和弦信息提取部对第1提取区域中有无和弦信息进行判定，在第1提取区域中没有和弦信息的情况下对第2提取区域中有无和弦信息进行判定。可以是提取区域信息确定根据谱面类型而不同的和弦提取区域。
可以是谱面类型决定部基于参照谱面是否包含构成乐谱的一部分的1个或者多个横线而作为谱面线，决定参照谱面的谱面类型。可以是谱面类型决定部基于谱面线是否由相互平行且等间隔地配置的5根横线构成，决定参照谱面的谱面类型。可以是谱面类型决定部基于参照谱面是否包含以在上下排列的方式配置的多个谱面线且多个谱面线由纵线相互连结，决定参照谱面的谱面类型。也可以是谱面类型决定部基于谱面线是否由相互平行且等间隔地配置的6根横线构成，决定参照谱面的谱面类型。
按照本发明的其他方案的和弦信息提取方法，其包含下述步骤：取得谱面图像数据，该谱面图像数据表示参照谱面；基于所取得的谱面图像数据，决定预先确定的多个谱面类型中的参照谱面的谱面类型；基于提取区域信息而决定参照谱面中的和弦提取区域，该提取区域信息确定出多个谱面类型与成为和弦信息的提取对象的和弦提取区域的关系；以及基于所决定的和弦提取区域，从所取得的谱面图像数据提取和弦信息。
按照本发明的另一个方案的和弦信息提取程序，其用于使计算机执行下述步骤：取得谱面图像数据，该谱面图像数据表示参照谱面；基于所取得的谱面图像数据，决定预先确定的多个谱面类型中的参照谱面的谱面类型；基于提取区域信息而决定参照谱面中的和弦提取区域，该提取区域信息确定出多个谱面类型与成为和弦信息的提取对象的和弦提取区域的关系；以及基于所决定的和弦提取区域，从所取得的谱面图像数据提取和弦信息。
发明的效果
根据本发明，能够从谱面图像数据高效地提取和弦信息。
附图说明
图1是表示本发明的实施方式所涉及的和弦信息提取装置的结构的框图。
图2是表示和弦信息提取装置的功能性结构的框图。
图3是用于对谱面类型与和弦提取区域的关系进行说明的图。
图4是用于对谱面类型与和弦提取区域的关系进行说明的图。
图5是用于对谱面类型与和弦提取区域的关系进行说明的图。
图6是用于对和弦信息的提取例进行说明的图。
图7是用于对和弦提取区域的其他决定例进行说明的图。
图8是表示和弦信息提取处理的一个例子的流程图。
图9是表示谱面类型决定处理的一个例子的流程图。
具体实施方式
下面，使用附图，对本发明的实施方式所涉及的和弦信息提取装置、和弦信息提取方法及和弦信息提取程序详细地进行说明。
[1]和弦信息提取装置的结构
图1是表示本发明的实施方式所涉及的和弦信息提取装置的结构的框图。图1的和弦信息提取装置100从表示谱面的谱面图像数据提取表示和弦(和音)的和弦信息。
图1的和弦信息提取装置100具有：谱面输入部1、操作部4、显示部6、ram(随机存取存储器)9、rom(只读存储器)10、cpu(中央运算处理装置)11、存储装置13及通信i/f(接口)14。这些结构要素分别与总线19连接。
谱面输入部1读入在纸等记录介质印刷的谱面，将表示该谱面的谱面图像数据输入至cpu11。例如，谱面输入部1为扫描器，包含光源及光电变换元件。从光源向谱面照射光，其反射光由光电变换元件受光。光电变换元件基于受光的光而生成谱面图像数据。
操作部4包含由用户操作的各种操作件，用于进行电源的通断及各种设定。显示部6包含例如液晶显示器，对提取出的和弦信息进行显示。操作部4及显示部6的至少一部分可以由触摸面板显示器构成。
ram9、rom10及cpu11构成计算机200。ram9由例如易失性存储器构成，用作cpu11的作业区域，并且暂时地存储各种数据。rom10由例如非易失性存储器构成，对控制程序、和弦信息提取程序等计算机程序进行存储。cpu11通过将在rom10中存储的和弦信息提取程序在ram9上执行而进行后面记述的和弦信息提取处理。
存储装置13包含硬盘、光盘、磁盘或者存储器卡等存储介质。在存储装置13中存储提取区域信息。关于提取区域信息的详细内容在后面记述。在存储装置13中可以存储有1个或者多个谱面图像数据，或者也可以在存储装置13中存储有和弦信息提取程序。
通信i/f14能够与外部存储装置等各种外部设备连接。另外，通信i/f14也可以与通信网连接。也可以是在通信i/f14与外部存储装置连接的情况下，将和弦信息提取程序、谱面图像数据及提取区域信息的至少1个存储于外部存储装置。
本实施方式中的和弦信息提取程序是以在计算机可读取的记录介质中储存的方式被提供的，可以安装于rom10或者存储装置13。另外，在通信i/f14与通信网连接的情况下，可以将从与通信网连接的服务器传送的和弦信息提取程序安装于rom10或者存储装置13。同样地，既可以从存储介质取得谱面图像数据及提取区域信息的至少1个，也可以从与通信网连接的服务器取得。
[2]和弦信息提取装置的功能性结构
图2是表示和弦信息提取装置100的功能性结构的框图。如图2所示，和弦信息提取装置100包含：取得部51、谱面类型决定部52、提取区域决定部54、和弦信息提取部55及显示控制部56。这些结构要素的功能是通过图1的cpu11执行和弦信息提取程序而实现的。
取得部51取得通过谱面输入部1输入的谱面图像数据。取得部51可以从图1的存储装置13、与通信i/f14连接的外部存储装置、或者与通信网连接的服务器的任意者取得谱面图像数据。下面，将所取得的谱面图像数据表示的谱面称为参照谱面。另外，将与参照谱面相对应的曲(按照参照谱面演奏的曲)称为参照曲。
谱面类型决定部52基于所取得的谱面图像数据，决定预先确定的多个谱面类型中的、参照谱面的谱面类型。谱面类型表示谱面的种类。作为谱面类型，例如存在主奏谱(leadsheet)、钢琴谱、指法谱(tablature)、吉他和弦谱及文本和弦谱。关于这些谱面类型的具体例在后面记述。
提取区域决定部54基于在存储装置13中存储的提取区域信息rg，决定参照谱面中的和弦提取区域。和弦提取区域是成为和弦信息的提取对象的区域。如后面所述，针对每个谱面类型在和弦信息的标记位置处存在一定的倾向。因此，将谱面类型与和弦提取区域的关系预先确定为提取区域信息rg。在本例中，提取区域信息rg关于各谱面类型，确定乐谱中的成为基准的指标(下面，称为谱面指标。)与和弦提取区域的相对的位置关系。
和弦信息提取部55基于所决定的和弦提取区域，从所取得的谱面图像数据提取和弦信息。具体地说，和弦信息提取部55基于谱面图像数据，对和弦提取区域中有无和弦信息进行判定，在和弦提取区域中标记有和弦信息的情况下，从谱面图像数据提取该和弦信息。和弦信息例如通过和弦名进行标记。
显示控制部56对显示部6进行控制，以使得对提取出的和弦信息进行显示。例如，显示控制部56使包含有提取出的和弦信息的文本和弦谱(参照后面记述的图5)显示在显示部6的画面上。
[3]谱面类型与和弦提取区域的关系
图3、图4及图5是用于对谱面类型与和弦提取区域的关系进行说明的图。在图3～图5的例子中，各和弦信息通过和弦名进行了标记。在图3中示出主奏谱及钢琴谱的例子。图3的主奏谱包含五线ea及至少1个和弦信息ci。在图3中仅示出1个五线ea，但也可以配置为多个五线ea在上下排列。各五线ea由相互平行且等间隔地配置的5根横线(水平线)构成。通常，在五线ea上对参照曲的任意的部分(例如，旋律部分)的音符列进行配置。此外，在五线ea的下方的区域有时标记有参照曲的歌词。
各和弦信息ci通常在五线ea的上方标记在与该五线ea相邻的位置处。因此，例如，将各五线ea的上方的一定范围的区域r1决定为和弦提取区域。在该情况下，提取区域信息rg关于主奏谱，确定各五线ea为谱面指标，并且确定各五线ea和区域r1的相对的位置关系。
图3的钢琴谱包含五线对ep及至少1个和弦信息ci。各五线对ep包含上下2段五线ea。在图3中仅示出1组五线对ep，但也可以配置为多组五线对ep在上下排列。小节线等特定的纵线在上下连续地延伸，以使得将五线对ep的上段的五线ea和下段的五线ea连结。在各五线对ep中在上下相邻的一对小节表示参照曲中的相同区间。
各和弦信息ci通常在五线对ep所包含的上段的五线ea的上方标记在与该上段的五线ea在上方相邻的位置处。因此，例如，将各五线对ep的上方的一定范围的区域r2决定为和弦提取区域。在该情况下，关于钢琴谱，提取区域信息rg将各五线对ep确定为谱面指标，并且确定各五线对ep和区域r2的相对的位置关系。
在图4中示出指法谱及吉他和弦谱的例子。图4的指法谱是吉他用的指法谱(下面，称为吉他指法谱。)。吉他指法谱包含六线eb及至少1个和弦信息。六线eb由相互平行且等间隔地配置的6根横线构成。这6根横线分别与吉他的6根弦对应。在图4中仅示出1个六线eb，但也可以配置为多个六线eb在上下排列。
各和弦信息ci通常在六线eb的上方标记在与该六线eb相邻的位置处。因此，例如，将各六线eb的上方的一定范围的区域r3决定为和弦提取区域。在该情况下，关于吉他指法谱，提取区域信息rg将各六线eb确定为谱面指标，并且确定各六线eb和区域r3的相对的位置关系。
图4的吉他和弦谱包含节奏谱rs及至少1个和弦图表(chorddiagram)cd。节奏谱rs具有在1根横线(下面，称为节奏线ec。)上配置有表示节奏的音符的结构。在图4中仅示出一段节奏谱rs，但节奏谱rs也可以为多段。各和弦图表cd通常在节奏线ec的上方标记在与该节奏线ec相邻的位置处。各和弦图表cd包含和弦信息ci以及表示吉他的指板的一部分的指板图fb。指板图fb表示在对通过和弦信息ci表示的和弦进行演奏时应该按压的弦及指板上的位置。
在各和弦图表cd中，和弦信息ci标记在指板图fb的左上的位置处。因此，例如，将各节奏线ec的上方且1个或者多个指板图fb的上方的一定范围的区域r4决定为和弦提取区域。在该情况下，关于吉他和弦谱，提取区域信息rg将各节奏线ec确定为谱面指标，并且确定各节奏线ec和区域r4的相对的位置关系。或者，也可以将各指板图fb用作谱面指标，针对每个指板图fb将其上方的区域决定为和弦提取区域。
在图5中示出文本和弦谱的例子。图5的文本和弦谱包含配置在多段的多个小节线bl及至少1个和弦信息ci。各和弦信息ci通常配置于在左右相邻的2个小节线bl之间的区域。因此，例如将位于各段的左端的小节线bl和位于各段的右端的小节线bl之间的一定范围的区域r5决定为和弦提取区域。在该情况下，关于文本和弦谱，提取区域信息rg将位于各段的左端及右端的一对小节线bl确定为谱面指标，并且确定该一对小节线bl和区域r5的相对的位置关系。或者，也可以将各小节线bl用作谱面指标，将在左右相邻的各2个小节线bl之间的区域决定为和弦提取区域。
如上所述，针对每个谱面类型在和弦信息ci的标记位置存在一定的倾向。因此，关于各谱面类型，提取区域信息rg确定谱面指标与和弦提取区域的相对的位置关系，以使得和弦信息ci包含于和弦提取区域。此外，如图3～图5的例子所示，在任意的谱面类型中，和弦信息ci通常均标记为在横向排列。因此，在图3～图5的例子中，将横向延伸的长条状的区域决定为和弦提取区域。
[4]和弦信息的提取
关于从谱面图像数据提取和弦信息的概要，以参照谱面为主奏谱的情况为例进行说明。图6是用于对和弦信息的提取例进行说明的图。在图6的上段示出作为参照谱面的主奏谱的1个五线ea。各五线ea上的音符的图示被省略。
首先，决定参照谱面的谱面类型。例如，在进行通过图1的谱面输入部1输入的谱面图像数据的2值化处理及倾斜度校正等后，基于纵向及横向的亮度分布对与五线、六线、节奏线及小节线等相关的各种信息进行检测，基于这些信息决定谱面类型。或者，也可以将谱面图像数据压缩，通过使用了卷积神经网络等的机器学习的图像识别方法决定谱面类型。关于谱面类型的具体的决定方法在后面记述。在图6的例子中，决定为参照谱面的谱面类型是主奏谱。
接下来，基于提取区域信息rg，如图6的中段所示，决定参照谱面中的和弦提取区域cr。如上述所示，关于主奏谱，提取区域信息rg确定各五线ea与和弦提取区域cr的相对的位置关系。在本例中，主奏谱的和弦提取区域cr是各五线ea的上方的矩形的区域。
例如，和弦提取区域cr的上边的位置，设定在与检测到的五线ea的第5线(位于最上方的横线)相比以预先确定的上边距离位于上方的位置，和弦提取区域cr的下边的位置设定在与检测到的五线ea的第5线相比以预先确定的下边距离位于上方的位置。和弦提取区域cr的左边的位置设定在与检测到的五线ea的左端的位置相比以预先确定的左边距离位于左方的位置，和弦提取区域cr的右边的位置设定在与检测到的五线ea的右端的位置相比以预先确定的右边距离位于右方的位置。在和弦信息ci与五线ea的左端或者右端相比向外侧伸出的情况下，也优选以使和弦信息ci包含于和弦提取区域cr的方式，和弦提取区域cr的左边及右边与五线ea的左端及右端相比分别位于一定距离外侧。
上边距离及下边距离也可以确定为依赖于检测到的五线ea的上下方向的尺寸。同样地，左边距离及右边距离也可以确定为依赖于检测到的五线ea的左右方向的尺寸。或者，也可以对在上下排列的多个五线ea的间隔进行检测，基于其间隔而决定和弦提取区域cr的上下方向的尺寸。
基于以上述方式决定的和弦提取区域cr，从谱面图像数据提取和弦信息ci。例如，从谱面图像数据取得和弦提取区域cr的亮度分布，基于其亮度分布而取得和弦信息ci。在图6的例子中，表示和弦名的字符组即“fm7”、
通常，表示和弦名的字符组的各字符一体地构成，不包含相互分离的多个部位。例如，关于
在参照谱面为其他谱面类型的情况下也同样地基于谱面图像数据而决定谱面类型，基于提取区域信息rg而决定适合于其谱面类型的和弦提取区域，基于所决定的和弦提取区域而从谱面图像数据提取和弦信息ci。此外，在所决定的和弦提取区域cr没有标记出和弦信息ci的情况下，例如也可以通过显示部6显示出表示没有从参照谱面提取和弦信息ci这一情况的错误信息。
也可以基于参照谱面中的各和弦信息ci的标记位置，取得与各和弦信息ci相对应的参照曲中的时间位置。例如，在参照谱面包含小节线的情况下，能够基于各和弦信息ci和小节线的位置关系，确定参照曲中的各和弦信息ci的时间位置。时间位置例如由小节编号、节拍及对号(tick)表示。在该情况下，能够基于所取得的时间位置，容易且高效地进行提取出的和弦信息ci的显示、或者基于提取出的和弦信息ci的自动伴奏数据的生成等。
有时在所决定的和弦提取区域cr中，标记出音符的一部分、排练标记或者小节编号等除了和弦信息ci以外的信息。因此，优选对和弦信息ci和其他信息进行识别，以使得这些和弦信息ci以外的信息不被作为和弦信息ci错误地提取。例如，也可以预先确定和弦信息ci的标记规则，将不符合该标记规则的信息从提取对象排除在外。
根据谱面类型，有时在和弦信息ci的标记位置存在多个变形。因此，为了应对如上述的多个变形，可以决定多个模式的和弦提取区域。图7是用于对和弦提取区域的其他决定例进行说明的图。在图7中示出钢琴谱的一个例子。在钢琴谱中，通常如图3的例子所示，在各五线对ep的上方的区域标记和弦信息ci，作为例外，有时如图7的例子所示，在五线对ep的上段的五线ea和下段的五线ea之间的位置处标记和弦信息ci。
因此，作为和弦提取区域cr，可以分别设定优先级不同的第1及第2区域。与第2区域相比第1区域优先级高。先对第1区域中有无和弦信息ci进行判定。如果在第1区域中检测到和弦信息ci，则提取该和弦信息ci。另一方面，在第1区域没有和弦信息ci的情况下，接着对第2区域中有无和弦信息ci的标记进行判定。如果在第2区域中检测到和弦信息ci，则提取该和弦信息ci。
在图7的下段的例子中，将五线对ep的上方的区域(上段的五线ea的上方的区域)决定为第1区域cra，将上段的五线ea和下段的五线ea之间的区域决定为第2区域crb。在该情况下，先对第1区域cra中有无和弦信息ci进行判定，在第1区域cra中没有标记和弦信息ci，因此接着对第2区域crb中有无和弦信息ci进行判定。在该情况下，由于在第2区域crb中标记有和弦信息ci，因此从谱面图像数据提取出位于第2区域crb的和弦信息ci。
如上所述，即使在第1区域cra中没有和弦信息ci的情况下，在第2区域crb中存在和弦信息ci的情况下，也能够从谱面图像数据提取和弦信息ci。由此，即使在所决定的谱面类型中的和弦信息的标记位置存在多个变形的情况下，也能够从谱面图像数据适当地提取和弦信息ci。
此外，在图7的例子中，作为和弦提取区域，决定优先级不同的第1及第2区域，在该第1及第2区域中以2个阶段对有无和弦信息ci进行判定，但也可以设定优先级不同的大于或等于3个模式的区域，在这些区域中以大于或等于3个阶段对有无和弦信息ci进行判定。
[5]和弦信息提取处理
接下来，对通过本实施方式所涉及的和弦信息提取方法实现的和弦信息提取处理进行说明。图8是表示通过图2的各功能部实现的和弦信息提取处理的一个例子的流程图。图8的和弦信息提取处理是通过图1的cpu11执行在rom10或者存储装置13中存储的和弦信息提取程序而进行的。
首先，取得部51取得通过谱面输入部1输入的谱面图像数据(步骤s1)。接下来，谱面类型决定部52进行用于决定参照谱面的谱面类型的谱面类型决定处理(步骤s2)。关于谱面类型决定处理的详细内容在后面记述。接下来，提取区域决定部54基于所决定的谱面类型及在存储装置13中存储的提取区域信息rg，决定参照谱面中的和弦提取区域(步骤s3)。例如，提取区域决定部54从谱面图像数据检测与所决定的谱面类型相对应的谱面指标，以使相对于该谱面指标而具有一定的位置关系的方式在参照谱面上设定和弦提取区域。在本例中，提取区域决定部54决定优先级不同的第1及第2区域而作为和弦提取区域。
接下来，和弦信息提取部55对在所决定的第1区域中是否存在和弦信息进行判定(步骤s4)。在第1区域中存在和弦信息的情况下，和弦信息提取部55从谱面图像数据提取该和弦信息(步骤s5)，进入步骤s8。另一方面，在第1区域中没有和弦信息的情况下，和弦信息提取部55对在决定的第2区域中是否存在和弦信息进行判定(步骤s6)。在第2区域中存在和弦信息的情况下，和弦信息提取部55从谱面图像数据提取该和弦信息，进入步骤s8。
在步骤s8中，显示控制部56对显示部6进行控制，以使得对提取出的和弦信息进行显示(步骤s8)。另一方面，在步骤s6中，在第2区域中没有和弦信息的情况下，显示控制部56对显示部6进行控制，以使得对表示没有提取出和弦信息这一情况的错误信息进行显示(步骤s9)。由此，和弦信息提取处理结束。
对步骤s2的谱面类型决定处理的具体例进行说明。在本例中，从在图8的步骤s1取得的谱面图像数据对五线、六线、节奏线及小节等各种信息进行检测，基于该信息判别谱面类型。在下面的说明中，将图3的五线ea、图4的六线eb及节奏线ec统称为谱面线。谱面线是构成乐谱的一部分的1个或者多个横线，表示参照曲中的时间的经过。
此外，与渐强、渐弱及反复记号组合而使用的第一括号及第二括号等音乐记号有时包含水平或者接近水平且比较长的直线。因此，优选对这些音乐记号和谱面线(例如节奏线)进行识别。例如，能够基于直线的长度或者在上下排列的多个直线的平行度及间隔等，根据这些音乐记号而识别谱面线。
图9是表示通过谱面类型决定部52实现的谱面类型决定处理的一个例子的流程图。首先，谱面类型决定部52基于谱面图像数据，对参照谱面是否包含谱面线进行判定(步骤s21)。在参照谱面包含谱面线的情况下，谱面类型决定部52对谱面线是否由5根横线构成，即谱面线是否为五线进行判定(步骤s22)。在谱面线为五线的情况下，谱面类型决定部52对参照谱面是否包含有在上下排列的多个五线、且在上下相邻的2个五线相互连结进行判定(步骤s23)。
如图3的例子所示，在钢琴谱中，通常通过小节线等将一对五线ea相互连结。因此，在将上下相邻的2个五线相互连结的情况下，谱面类型决定部52决定为参照谱面的谱面类型是钢琴谱(步骤s24)。另一方面，如图3的例子所示，在主奏谱中，通常一个五线不会与其他五线连结。因此，在参照谱面不包含多个五线的情况下、或者在上下相邻的2个五线没有相互连结的情况下，谱面类型决定部52决定为参照谱面的谱面类型是主奏谱(步骤s25)。
在步骤s22中，在谱面线不是五线的情况下，谱面类型决定部52对谱面线是否由6根横线构成，即谱面线是否是六线进行判定(步骤s26)。在谱面线为六线的情况下，谱面类型决定部52决定为参照谱面的谱面类型是吉他指法谱(步骤s27)。在谱面线不是六线的情况下，谱面类型决定部52判定为检测到的谱面线是节奏线，决定为参照谱面的谱面类型是吉他和弦谱(步骤s28)。此外，在步骤s27中谱面线不是六线的情况下，也可以基于谱面线上的音符的有无及和弦图表的有无，进行参照谱面的谱面类型是否为吉他和弦谱的判定。在谱面线上的音符及和弦图表均没有被检测到的情况下，谱面类型决定部52也可以进入后面记述的步骤s31。
在步骤s21中，在参照谱面不包含谱面线的情况下，谱面类型决定部52对参照谱面是否包含小节线进行判定(步骤s29)。在参照谱面包含小节线的情况下，谱面类型决定部52决定为参照谱面的谱面类型是文本和弦谱(步骤s30)。另一方面，有时由于参照谱面的浓淡的差或者参照谱面的污垢等，从谱面图像数据检测不到谱面线及小节线。在该情况下，谱面类型决定部52接收由用户进行的谱面类型的指定(步骤s31)。在该情况下，谱面类型决定部52决定为参照谱面的谱面类型是所指定的谱面类型。由此，谱面类型决定处理结束。
此外，在图9的例子中，在参照谱面是图3～图5的主奏谱、钢琴谱、吉他指法谱、吉他和弦谱及文本和弦谱的任意者的情况下，基于谱面图像数据决定参照谱面的谱面类型，但谱面类型并不限定于这些例子。例如，在主奏谱中，有时如钢琴谱这样上下2段五线ea被连结，或者大于或等于3段五线ea被连结。另外，在贝斯用的指法谱中，取代图4的六线eb而是包含由与贝斯的4根弦分别对应的4根横线构成的四线。另外，作为文本和弦谱，有时在五线或者五线对上标记和弦信息，或者不标记小节线而仅标记和弦信息。另外，还存在不标记音符，并排地标记歌词和和弦信息的谱面类型。并且，还存在将主奏谱、钢琴谱、指法谱及节奏谱等各种谱面组合的总谱或者乐队乐谱等。
关于这些谱面类型，也与图9的例子同样地，能够基于从谱面图像数据检测的谱面线及小节线等各种信息而进行判别。另外，在任意的谱面类型中，都在和弦信息的标记位置处存在一定的倾向。因此，关于这些各种谱面类型，都能够将谱面线及小节线等用作谱面指标，适当地决定和弦提取区域。
[6]实施方式的效果
在本实施方式所涉及的和弦信息提取装置100中，基于确定出多个谱面类型与成为和弦信息的提取对象的和弦提取区域的关系的提取区域信息rg，决定参照谱面中的和弦提取区域。针对每个谱面类型在和弦信息的标记位置处存在一定的倾向，因此通过决定与参照谱面的谱面类型相对应的和弦提取区域，从而能够从谱面图像数据高效地提取和弦信息。
另外，在本实施方式中，基于参照谱面中的谱面线的有无、五线的有无、六线的有无及多个谱面线的连结等，决定参照谱面的谱面类型。由此，能够高效且适当地决定以主奏谱、钢琴谱及吉他指法谱等为代表的各种谱面类型。
[7]其他实施方式
用户能够变更所决定的谱面类型。例如，将用于对所决定的谱面类型进行确认的类型确认画面通过显示部6进行显示。也可以是用户能够在类型确认画面上确认谱面类型，并且能够对操作部4进行操作而变更谱面类型。另外，也可以是谱面类型的多个候选通过显示部6进行显示，用户能够从多个候选中选择一个候选。同样地，也可以是用户能够变更所决定的和弦提取区域。另外，也可以是用户能够从和弦提取区域的多个候选中选择一个和弦提取区域。
在上述实施方式中，提取出的和弦信息显示在显示部6的画面上，但也可以利用提取出的和弦信息而进行其他处理。例如，可以基于提取出的和弦信息及其时间位置而生成用于输出自动伴奏的自动伴奏数据。
可以从谱面图像数据提取音符、小节线、反复记号及排练标记等和弦信息以外的信息。在该情况下，能够基于这些信息，通过各种方式对和弦信息进行显示。另外，能够高精度地进行基于和弦信息的自动伴奏数据的生成。
在上述实施方式中，和弦信息提取装置100包含谱面输入部1，但也可以作为和弦信息提取装置100的外部装置而使用谱面输入部1。
和弦信息提取装置100可以应用于电子键盘乐器等电子乐器，也可以应用于个人计算机、智能手机或者平板终端等其他电子设备。