影像控制装置以及影像控制方法与流程
本发明涉及一种影像控制装置以及影像控制方法。
背景技术：
以往，有下述内容播放装置，即：基于所输入的补正信息来修正根据外部演奏音的搏动所检测出的拍位置，与外部演奏音同步地读出歌词轨迹而生成歌词字幕(例如专利文献1)。而且，有下述图像阅览装置，即：根据音频的高音域和/或低音域的峰值来设定阈值，根据音频的电平超过阈值的时间间隔来切换影像的显示(例如专利文献2)。而且，有针对包含声音及影像的多个媒体使节拍同步而混合的方法(例如专利文献3、专利文献4)。而且，有显示击打太鼓的动画(animation)的时机控制装置(例如专利文献5)。
现有技术文献
专利文献
专利文献1：日本专利第4561735号公报
专利文献2：日本专利第4622479号公报
专利文献3：美国专利第8269093号说明书
专利文献4：美国专利第8704069号说明书
专利文献5：国际公开第2008/129837号
技术实现要素：
发明所要解决的问题
现有技术中，在对照声音来进行影像的控制的情况下，用户需要一边倾听声音一边手动进行控制。本发明的目的在于提供下述技术，即：可对照声音而使显示装置的显示内容变化。
解决问题的技术手段
本发明的一实施例为一种影像控制装置，包括：
检测部，检测声音的节拍时机；以及
控制部，基于所述节拍时机、及表示显示装置所显示的影像的显示形态的变更内容的变更信息，进行所述影像的显示形态的变更。
本发明的影像控制装置中也可采用下述结构，即：所述控制部进行下述中的任一个作为所述显示形态的变更：
(i)由所述影像向不同影像的切换；
(ii)对所述影像的效果的附加；
(iii)对所述影像附加的效果的变更；以及
(iv)对所述影像附加的效果的解除。
本发明的影像控制装置中也可采用下述结构，即：在进行由所述影像向不同影像的切换作为所述显示形态的变更的情况下，
所述影像包含附加有所述声音的第一影像、及与所述第一影像不同的第二影像，
所述控制部进行所述第一影像与所述第二影像的并列的播放处理，并且在所述第一影像及所述第二影像中的一者的播放中，进行已结束的所述第一影像及所述第二影像中的另一者的重复播放。
本发明的影像控制装置中也可采用下述结构，即：在进行由所述影像向不同影像的切换作为所述显示形态的变更的情况下，
所述影像包含第一影像、及与所述第一影像不同的第二影像，
所述控制部进行所述声音、所述第一影像及所述第二影像的并列的播放处理，并且在所述声音的播放中，进行已结束的所述第一影像或所述第二影像的重复播放。
本发明的影像控制装置中也可采用下述结构，即：所述控制部在进行对所述影像的效果的附加作为所述显示形态的变更的情况下，变更与所述效果有关的、所述影像的参数。
本发明的影像控制装置中也可采用下述结构，即：所述控制部按照随时间变化的规定的信号的波形，变更所述参数的大小。所述规定的信号例如可为所述声音的信号、或对所述声音的信号混合与所述声音的信号不同的信号而成的信号。
本发明的影像控制装置中也可采用下述结构，即：所述控制部以连续多次检测到所述节拍时机为契机，进行所述显示形态的变更。而且，也可采用下述结构，即：所述控制部在所述节拍时机的间隔内，多次进行所述显示形态的变更。而且，也可采用下述结构，即：所述控制部关于未检测到所述节拍时机的非检测区间，以最后检测到的所述节拍时机的间隔来进行所述显示形态的变更。
而且，本发明的影像控制装置中也可采用下述结构，即：所述控制部关于未检测到所述节拍时机的非检测区间，基于所述非检测区间前后的所述节拍时机的间隔来决定进行所述显示形态的变更的时机。而且，也可采用下述结构，即：所述控制部关于作为所述声音的乐曲，针对从所述乐曲的开始到最初的节拍时机为止的区间，从所述最初的节拍时机起，每向以往追溯所述最初的节拍时机与下一节拍时机的间隔便进行所述显示形态的变更。
本发明的第二实施例为一种影像控制装置，包括：检测部，检测声音的节拍时机；
以及控制部，基于所述节拍时机，进行显示装置所显示的影像的控制。作为所述影像的控制，所述控制部例如将所述显示装置所显示的影像切换为不同影像。或者，作为所述影像的控制，所述控制部例如进行对所述显示装置所显示的所述影像的效果的附加、变更、所述附加的解除中的至少一个。
本发明的第三实施例为一种影像控制方法，包括：检测声音的节拍时机；以及
基于所述节拍时机来进行显示装置所显示的影像的控制。所述影像的控制例如为将所述显示装置所显示的影像切换为不同影像。或者，所述影像的控制为进行对所述显示装置所显示的所述影像的效果的附加、效果的变更、所述效果的附加的解除中的至少一个。
本发明的第四实施例为一种影像控制装置，包括：检测部，根据播放中的带声音的影像，检测所述声音的节拍时机；
控制部，基于所述节拍时机，进行显示装置所显示的所述带声音的影像的控制。
本发明的第一实施例～第四实施例中，节拍时机可预先检测，也可实时检测。
例如，第一实施例、第二实施例、第四实施例中，也可采用下述结构，即：所述检测部进行下述处理：由所输入的声音的数据而生成负责所述声音的节拍的时机信息、及表示所述时机的功率的强度数据；使用所述强度数据，算出所述声音的节拍的周期及相位；以及基于所述节拍的周期及相位来检测节拍时机。
而且，第一实施例、第二实施例、第四实施例中，也可采用下述结构，即：所述检测部关于多个每分钟节拍数(beatsperminute，bpm)，对所述强度数据进行具有衰减项的傅里叶变换，算出所述傅里叶变换的值的绝对值达到最大时的bpm作为所述声音的节拍的周期。
而且，第一实施例、第二实施例、第四实施例中，也可采用下述结构，即：所述检测部通过针对下述多个值进行所述傅里叶变换，由此求出多个小波变换值，算出所述多个小波变换值的绝对值达到最大时的相位作为所述声音的节拍的相位，所述多个值是对所述强度数据乘上以与所述声音的节拍的周期对应的bpm的1/n周期为单位错开的各个窗函数而获得。
而且，第一实施例、第二实施例、第四实施例中，也可采用下述结构，即：所述检测部求出表示所述节拍的周期及所述节拍的相位的计数值，使用对采样率的每一个样本进行递增的计数器来进行所述计数值的计时，检测所述计数器的值达到所述计数值的时机作为所述节拍时机。
附图说明
[图1]图1表示可作为影像控制装置运行的信息处理装置(计算机)的结构例。
[图2]图2为示意性地表示影像控制装置(控制器)的图。
[图3]图3a表示节拍时机，图3b表示适应节拍时机的参数的变动量。图3c表示作为规定的信号波形的一例的、声音波形。
[图4]图4为节拍非检测区间的显示形态的变更的实施时机的决定方法的说明图。
[图5]图5表示信息处理装置的用户接口(userinterface，ui)的示例。
[图6]图6表示信息处理装置的用户接口(ui)的另一例。
[图7]图7为表示影像控制装置(控制器)的处理例的流程图。
[图8]图8表示节拍时机检测部的结构例。
[图9]图9为表示生成部的处理例的流程图。
[图10]图10a表示输入至生成部的12秒的乐曲的数字信号(也称为乐曲信号)的示例，图4b表示由图4a的乐曲信号生成的spx数据的示例。
[图11]图11为表示计算部的处理例的流程图。
[图12]图12为表示spx数据及用于傅里叶变换的bpm的正弦波的示例的图。
[图13]图13图示表示bpm的余弦波与节拍的产生时机的关系。
[图14]图14为表示检测部进行的节拍产生时机的检测处理的示例的流程图。
[图15]图15为例示1倍(基本节拍)及2倍节拍的频谱强度的图。
[图16]图16为表示第二节拍时机检测方法的、周期数据及相位数据的计算处理的示例的流程图。
[图17]图17为式3的回路图。
[图18]图18表示spx数据、及具有用于式3的傅里叶变换的bpm频率的衰减正弦波的示例。
[图19]图19示意性地表示算出小波变换值wn的电路。
[图20]图20a、b、c表示spx数据与周期性海宁窗列的关系。
[图21]图21为表示相位数据的计算处理的示例的流程图。
[图22]图22为小波变换值的说明图。
[图23]图23为表示某个乐曲的节拍强度(intensityofbeats，ibs)的图表。
具体实施方式
作为实施方式的影像控制装置，对如下影像控制装置进行说明。
[1]一种影像控制装置，包括：
检测部，检测声音的节拍时机；以及
控制部，基于所述节拍时机、及表示显示装置所显示的影像的显示形态的变更内容的变更信息，进行所述影像的显示形态的变更。
[2]一种影像控制装置，包括：
检测部，检测声音的节拍时机；以及
控制部，基于所述节拍时机，进行显示装置所显示的影像的控制。
[3]一种影像控制装置，包括：
检测部，由播放中的带声音的影像来检测所述声音的节拍时机；以及
控制部，基于所述节拍时机，进行显示装置所显示的所述带声音的影像的控制。
此处，声音(audio，也称为声响)包含乐器音、人声、乐曲、这些以外的各种声音。声音可为播放声音，也可为实时产生的声音。影像(视频，movie、video)包含按规定的帧率切换显示的多个静态图像(帧图像)。影像包含在规定期间中在帧图像间不产生运动向量或像素值的差值的情况、也就是显示静态图像的情况。因此，影像除了表示画面中的物体或背景的运动的影像以外，还包含持续显示一张静态图像的影像、或随时间经过而切换显示多个静态图像的影像(幻灯片播放(slideshow))。影像可为使用记录于介质的信息的播放影像，也可为使用由数据流所得的信息的、实时播放的影像。而且，节拍时机可为预先检测的节拍时机，也可为针对输出声音实时检测的节拍时机。
“显示形态的变更”及“影像的控制”分别可包含以下的(i)～(iv)中的至少一个。
(i)由显示装置所显示的影像向不同影像的切换；
(ii)对显示装置所显示的影像的效果的附加；
(iii)对显示装置所显示的影像附加的效果的变更；及
(iv)对显示装置所显示的影像附加的效果的解除。
在将显示装置所显示的影像切换为不同影像的情况下，可将原本的影像与切换目标的影像交替切换，也可准备两个以上的切换目标的影像。“效果”为显现于显示画面的视觉效果(影像效果)。例如包含影像的亮度(一亮一灭)或颜色(像素值)的变更、像素值的反转、二维或三维影像(图形等)的附加、影像中的边缘(轮廓线)的强调程度的变更、影像的变形(偏斜)等。管理与效果有关的、影像的参数。与效果有关的参数包含影像的亮度、像素值、边缘的强调度等。但是，也可为这些以外。通过变更与效果有关的参数的值，从而进行效果的附加、附加的解除。或者，通过变更参数的种类，从而进行效果的变更。
进行显示形态的变更(影像的控制)的时间(切换为不同影像的时间、或者对影像附加有一个或两个以上的效果的时间)的长度可适当决定。显示形态的变更(影像的控制)的开始时机例如可设为节拍时机的时间点、或所述节拍时机前后的规定的时间点。而且，变更的开始时机也能以节拍时机的间隔的等倍、n倍(n为2以上的整数)、1/n倍产生。显示形态的变更(影像的控制)的结束时机可设为从变更开始经过一定时间的时间点、或检测到下一节拍时机的时间点、节拍时机的间隔的等倍、n倍、1/n倍的时间点。
影像控制装置中也可采用下述结构，即：在进行由所述影像向不同影像的切换作为所述影像的显示形态的变更(影像的控制)的情况下，包含附加有所述声音的第一影像、及与所述第一影像不同的第二影像，所述控制部进行所述第一影像与所述第二影像的并列的播放处理，并且在所述第一影像及所述第二影像中的一者的播放中，进行已结束的所述第一影像及所述第二影像的另一者的重复播放。
影像控制装置中也可采用下述结构，即：在进行由所述影像向不同影像的切换作为所述影像的显示形态的变更(影像的控制)的情况下，所述影像包含第一影像、及与所述第一影像不同的第二影像，所述控制部进行所述声音、所述第一影像及所述第二影像的并列的播放处理，并且在所述声音的播放中，进行已结束的所述第一影像或所述第二影像的重复播放。
影像控制装置中也可采用下述结构，即：作为所述显示形态的变更(影像的控制)，所述控制部进行对所述显示装置所显示的所述影像的效果的附加、变更、所述附加的解除中的至少一个。效果为显现于影像中的视觉效果(影像效果)。例如包含影像的亮度的变更(包含一亮一灭)或颜色(像素值)的变更(反转等)、二维或三维图像或影像(字符、图形、记号、图标、声音等的信号波形等)的附加或重合、影像中的边缘(轮廓线)的强调度的变更、影像的变形、偏斜的附加等。
影像控制装置中也可采用下述结构，即：所述控制部在进行对所述影像的效果的附加作为所述显示形态的变更(影像的控制)的情况下，变更与所述效果有关的、所述影像的参数。也可采用下述结构，即：所述控制部按照随时间变化的规定的信号的波形，变更所述参数的大小。规定的信号例如包含声音的信号、声音以外的一个信号、对声音的信号混合声音的信号以外的信号而成的信号、将两个以上的声音信号以外的信号混合而形成的信号等。也可采用下述结构，即：作为用于变更参数的大小的、信号的波形，准备多种波形(图案)，并由用户选择图案。
影像控制装置中也可采用下述结构，即：控制部以连续多次检测到所述节拍时机为契机，进行显示形态的变更(影像的控制)。而且，也可采用下述结构，即：控制部在所述节拍时机的间隔内，多次进行显示形态的变更(影像的控制)。此时，间隔内的影像控制的间隔也可不为等间隔。
影像控制装置中也可采用下述结构，即：所述控制部关于未检测到所述节拍时机的非检测区间，以最后检测到的所述节拍时机的间隔来进行显示形态的变更(影像的控制)。而且，也可采用下述结构，即：所述控制部关于未检测到所述节拍时机的非检测区间，基于所述非检测区间前后的所述节拍时机的间隔来决定进行显示形态的变更(影像的控制)的时机。作为进行显示形态的变更(影像的控制)的时机，可采用前后的节拍时机的间隔的平均值，也可采用对两者间进行插补所得的值。
影像控制装置中也可采用下述结构，即：控制部关于作为声音的乐曲，针对从乐曲的开始到最初的节拍时机为止的区间，从最初的节拍时机起，每向以往追溯最初的节拍时机与下一节拍时机的间隔便进行影像的控制。
以下，参照附图，对实施方式的影像控制装置以及影像控制方法、节拍音产生时机生成装置以及节拍音产生时机生成方法进行说明。实施方式的结构为例示。不限定于实施方式的结构。
[第一实施方式]
＜信息处理装置的结构＞
图1表示可作为影像控制装置运行的信息处理装置(计算机)的结构例。信息处理装置可为智能电话或平板终端等智能媒体、个人计算机等通用的计算机，也可为专用的计算机。信息处理装置1可为或不为便携式。以下的说明中，对信息处理装置1为智能电话的情况进行说明。
图1中，信息处理装置1包含连接于总线3的中央处理器(centralprocessingunit，cpu)10、只读存储器(readonlymemory，rom)11、随机存取存储器(randomaccessmemory，ram)12、硬盘驱动器(harddiskdrive，hdd)13、输入装置14、显示装置15及通信接口(通信i/f)16。信息处理装置1还包含连接于总线3的数模变换器(digital/analog，d/a)17及模数变换器(analog/digital，a/d)20。对d/a17连接着放大器(amplifier，amp)18，对amp18连接着扬声器19。对a/d20连接着麦克风(microphone，mic)21。
rom11存储由cpu10执行的各种程序或执行程序时所使用的数据。ram12被用作程序的展开区域、cpu10的运行区域、数据的存储区域等。而且，ram12被用作描绘显示装置15所显示的影像的帧图像的、视频ram。
hdd13存储程序或执行程序时所使用的数据、乐曲数据等。乐曲数据例如为具有动态影像专家压缩标准音频层面(movingpictureexpertsgroupaudiolayeriii，mp3)或波形音频(waveformaudio，wave)形式等的规定的声音文件的格式的声音(声响)数据。声音文件的格式形式也可为mp3或wave形式以外。
而且，hdd13存储多种影像文件。影像文件的格式形式不限。影像文件有包含影像数据与声音数据中的两者的情况、及不含声音数据的情况。声音文件及影像文件具有时间表(播放时间的信息)，按时间表进行影像及声音的播放。关于声音文件的声音、影像文件中的声音，将表示节拍的产生时机(称为节拍时机)的信息(称为节拍时机信息)与播放时间相关联地存储。然而，表示节拍时机的信息无需包含于影像文件或声音文件。
rom11及ram12为主存储装置的一例，hdd13为辅助存储装置的一例。主存储装置及辅助存储装置为存储装置、存储介质或存储器的一例。以下，有时将rom11、ram12、hdd13汇总而表述为“存储装置57”。
输入装置14为键、按钮、触摸屏等，用于输入信息(包含指示或命令)。显示装置15用于显示信息。通信i/f16连接于网络2，负责与通信有关的处理。cpu10例如可根据从输入装置14输入的指示，从网络2下载所需的乐曲数据(乐曲信号)，并存储于hdd13。
cpu10通过执行程序而进行各种处理。关于处理，除了所述的与乐曲下载有关的处理以外，还进行与声音或影像的播放有关的处理。而且，cpu10进行下述处理，即：使用声音文件或影像文件中的节拍时机信息，检测节拍时机；以及基于所检测的节拍时机来控制影像。影像的控制包含显示装置15所显示的显示的影像的切换、对影像的效果的附加、变更、附加的解除等。
例如，cpu10在播放乐曲数据的情况下，通过执行程序，而由从hdd13读出至ram12的乐曲数据来生成表示乐曲的声音的数字数据(数字信号)，并供给于d/a17。d/a17通过数模变换将表示声音的数字数据变换为模拟信号，输出至amp18。振幅经amp18调整的模拟信号从扬声器19输出。
mic21例如将以从扬声器19输出的乐曲的声音作为伴奏(伴唱)的歌唱音等收音。经mic21收音的模拟的声音信号由amp18将振幅放大，并从扬声器19放大。此时，歌唱音可与乐曲音混合，也可分别从不同的扬声器输出。
而且，mic21也用于下述情况，即：将使用乐器演奏(所谓现场演奏)而得的声音或来自外部机器的乐曲的播放声音收音并将声音放大(从扬声器19输出)，或进行录音。例如，经mic21收音的演奏音的信号由a/d20变换为数字信号，并交给cpu10。cpu10将演奏音的信号变换为遵循声音文件的格式的形式而生成声音文件，并存储于hdd13。
再者，信息处理装置1也可包含压缩光盘(compactdisc，cd)或数字多功能光盘(digitalversatiledisc，dvd)、蓝光光盘等光盘型记录介质的驱动装置(未图示)。此时，可将使用驱动装置从光盘型记录介质读出的表示乐曲的声音的数字信号供给于d/a17，播放乐曲音或影像。此时，也可对从光盘型记录介质读出的乐曲的声音信号进行节拍时机的检测。
＜影像控制装置的结构＞
图2为示意性地表示影像控制装置(控制器)的图。图2中，cpu10通过执行存储于存储装置57的程序而作为控制器50运行。控制器50中，cpu10作为播放部51、检测部52、控制部53运行。而且，存储装置57中，设有第一显存(videorandomaccessmemory，vram)(vram54)、第二vram(vram55)、节拍信息的保存部58及变更信息的保存部59。
对播放部51输入声音数据、影像数据、及带声音的影像数据。所输入的声音数据、影像数据、及带声音的影像数据可为从介质(存储装置57或光盘存储装置等)读出的与播放有关的数据，也可为从网络2接收的与流播放有关的数据。
播放部51基于所输入的声音数据、影像数据、及带声音的影像数据，进行声音及影像的播放处理。即，播放部51生成基于声音数据、带声音的影像数据所含的声音数据的声音信号并输出。声音信号经d/a17及amp18(图2中省略)的处理而到达扬声器19，从扬声器19输出基于声音信号的声音。对于实施方式的影像来说，无论是否产生帧率或帧间的像素值的差值均无妨。即，影像包含仅显示一个静态图像(图像)的情况、或伴随时间经过切换多个静态图像(图像)的情况(幻灯片播放)。
而且，播放部51在vram描绘基于影像数据、带声音的影像数据的图像(帧图像)。vram中描绘的帧图像的改写是按规定的帧率进行。写入至vram的帧图像的信号输出至显示装置15，显示装置15在显示装置15所具有的画面上，显示基于影像的信号的影像(即，按帧率切换的帧图像)。
图2所示的示例中，设有多个vram(作为一例，为两个vram54、vram55)。但是，vram的个数(可并列处理的播放数)也可多于2。播放部51并列进行对多个影像数据(影像文件)的播放处理，在对应的vram描绘帧图像。图2所示的示例中，播放部51在vram54描绘基于第一影像数据的影像(第一影像的一例)，在vram55描绘基于第二影像数据的影像(第二影像的一例)。从vram54输出的影像的信号、与从vram55输出的影像的信号中的一者经由开关56向显示装置15输出。开关56的控制由控制部53进行。
检测部52从播放部51受理标识符、及声音的播放时间的数据。标识符例如为声音数据或带声音的影像数据的标识符，但不限于这些。标识符及声音的播放时间的数据包含于输入至播放部51的声音数据或带声音的影像数据。
在节拍信息的保存部58，与标识符相关联地保存着声音或带声音的影像的播放时间的时间轴上的、表示节拍的产生时机(节拍时机)的信息(称为节拍信息)。检测部52在播放时间上的时刻与节拍信息的节拍时机的时刻一致的时机，输出表示节拍时机的检测的信号，供给于控制部53。另外，图2所示的示例中，对检测部52检测预先决定的节拍时机的结构进行说明。但是，也可为检测部52从播放部51受理声音信号并实时算出节拍时机的结构。
控制部53基于从检测部52输入的节拍时机、及保存于变更信息的保存部59的变更信息，进行显示装置15所显示的影像的显示形态的变更(影像的控制)。
变更信息为与显示装置15所显示的影像的显示形态的变更有关的信息，包含表示显示形态的变更的类别的信息、表示用于变更的影像或效果的信息、表示用于附加效果的影像的参数的信息、及表示变更的开始时机的信息。
表示类别的信息为表示变更或控制为“影像的切换”、“对影像的效果的附加”、“对影像附加的效果的变更”、及“对影像附加的效果的解除”中的哪一个的信息。
表示用于变更的影像的信息为变更的类别为影像切换的情况下的、确定切换目标的影像的信息。切换目标的影像可准备一个，也可准备两个以上。表示用于变更的影像的信息在变更的类别为效果的附加、效果的变更、附加效果的解除的情况下，为确定成为附加、变更、解除的对象的效果的信息。
表示用于附加效果的影像的参数的信息为确定为了附加效果而使用的影像中的参数的信息。例如，参数为影像的亮度或影像的边缘的强调度、颜色(像素值)的反转的程度、色调分离(posterization)(灰度变更)的程度等。参数不限定于这些。用于附加效果的参数的变动量也可由用户等预先决定。变动可为增加，也可为减少，也可为增减。
而且，参数的大小也可在附加效果的期间中，按照规定的信号的波形而变动。图3a表示节拍时机，图3b表示适应节拍时机的、参数的变动量。图3b所示的波形为规定的信号的波形的一例，表示声音以外的信号波形的一例。图3c表示作为规定的信号的波形的一例的、声音信号的波形。图3a及图3b所示的示例中，控制部53适应各节拍时机，在节拍时机前后的规定区间中使参数的值以山型增减，在除此以外的区间中，参数强度取缺省值(未附加效果的情况的值)。参数增减的区间的开始时机可与节拍时机同时，也可为节拍时机之后。而且，参数的增减区间的长度可适当变更，即使不针对每个节拍时机产生，也可针对几次节拍时机产生一次，也可在节拍时机间产生两次以上。
图3c表示由播放部51播放的声音的信号的波形的一例。也可代替图3(b)所示的表示参数的强度的信号，而使参数的大小按照声音的信号的振幅大小来变动。而且，也可获得将图3b所示的表示参数的强度的信号与声音的信号混合而成的信号，根据此信号的波形(例如振幅的大小)来变更参数强度。若这样设定，则伴随附加效果而在效果强弱的方面出现某种程度的偏斜或不规则性，可提高对于试听者的、影像的视觉效果。
表示变更的开始时机的信息为以节拍时机为基准的、表示变更的开始时机的信息。例如，可实施下述设定，即：以节拍间隔的等倍、n倍、1/n倍开始变更(进行变更)。在与节拍间隔等倍的情况下，在每个节拍间隔进行显示形态的变更。在节拍间隔的n倍(n≧2)的情况下，以节拍间隔的n倍的间隔进行显示形态的变更。反之，在节拍间隔的1/n倍(n≧2)的情况下，以节拍间隔的1/n倍的间隔进行显示形态的变更。而且，也可使切换或效果在从检测到节拍起到检测到下一节拍为止之间持续。此时，第一个节拍时机成为切换或效果附加的开始时机，下一节拍时机成为切换或效果附加的解除时机。
视声音不同，例如有不产生节拍的部分。例如，在乐曲的序曲部分中，并无固定节拍的情况并不少。即便在这种未检测到节拍的区间(非检测区间)中，也以产生显示形态的变更的方式规定变更的开始时机。例如，如图4所示，假设在节拍间隔的平均值为“a”的区间a与节拍间隔的平均值为“c”的区间c之间，存在不产生节拍的区间b。此时，控制部53关于区间b，取值“a”与值“c”的平均值“b”，以所述平均值“b”的节拍间隔产生显示形态的变更。
另外，关于节拍的非检测区间，控制部53也可未必进行显示形态的变更。或者，也可使控制部53基于非检测区间之前的区间(图4的示例中为区间a)的节拍间隔“a”，来进行显示形态的变更。或者，也可适用下述节拍间隔，此节拍间隔以对非检测区间前后的节拍间隔(图4的示例中为值“a”及值“c”)进行插补的方式变动。而且，在乐曲的序曲部分相当于节拍的非检测区间的情况下，将所述乐曲中最初检测到的节拍间隔适用于序曲部分，以与最初检测到的节拍时机相连的方式规定节拍间隔。
回到图2，若基于节拍时机及变更信息所决定的、显示形态的变更的开始时机来到，则控制部53进行显示形态的变更。例如，假设下述情况，即：播放部51使用vram54来播放第一影像，使用vram55来播放与第一影像不同的第二影像。第二影像为切换目标的影像。
此时，控制部53在显示形态的变更的时机来到的情况下，按照变更信息(变更的类别：影像的切换)控制开关56，以规定时间将在显示装置15连接着vram54的输出的状态切换为将vram55的输出连接于显示装置15的状态。由此，显示装置15的显示形态由第一影像显示切换为第二影像显示。
而且，若显示形态的变更的类别为效果的附加、变更、解除中的任一个，则控制部53不进行开关56的控制(维持vram54的输出连接于显示装置15的状态)，而对播放部51进行用于进行效果的附加、变更、解除的控制。例如，将播放部51向vram54进行描绘所参照的、影像的参数的值(例如边缘的强调度)，改写为效果附加时的值或解除时的值。或者，控制部53可在正进行第一效果(例如边缘的强调度增大)的状态下，解除第一效果(使强调度还原为原本的值)，附加与第一效果不同的第二效果(例如提高影像的亮度值)。由此，进行效果的变更。另外，也可有时在第一效果的附加状态下，赋予与第一效果不同的第二效果。而且，也可有时对在vram55描绘的帧图像附加效果，并连接于显示装置15。
＜用户接口＞
图5表示信息处理装置1的用户接口(ui)的示例。图5中图示显示装置15的画面15a。显示装置15具有触摸屏，显示于画面15a的各种按钮(操作器)成为输入装置14。画面15a包含影像(第一影像)的显示区域21、切换目标的影像(第二影像)的选择按钮22、23及24、使参数的强度(intensity)增减的滑动按钮25、节拍间隔的调整部26、以及表示第一影像的播放时间的指示器27。
选择按钮22、23、24为成为变更显示形态时的切换目标的、影像的选择按钮，图5所示的示例中，可输入最多三个影像作为切换目标的影像。在选择按钮22、23、24，也可显示表示切换目标的影像的缩略图像或影像。滑动按钮25可通过使直线上的操作器(以圆形表示)左右移动，从而操作参数的强弱。图5的示例中，操作器越位于右侧则强度越变高，越位于左侧则强度越降低。对滑动按钮25分配的参数可适当选择。本实施方式中，显示于显示区域21的影像的边缘的强调度可通过操作滑动按钮25从而变更。
节拍间隔的调整部26包含多个按钮，此多个按钮选择相对于由检测部52所检测到的节拍间隔的、显示形态的变更的实施间隔。图5所示的示例中，相对于节拍间隔的倍率，可从1/8、1/4、1/2、1、2、3、4的任一个中选择。图5中，选择等倍(1)，表示将所选择的倍率反转显示的状况。
指示器27以直线来表示时间轴，此时间轴表示显示区域21中所示的影像的播放时间，且表示下述状况，即：表示播放时间的当前时刻的指针(以三角形表示)在所述时间轴上移动。通过操作触摸屏使指针沿左右方向移动，从而可进行影像的快进或倒回。
用户可使用选择按钮22～24、滑动按钮25、调整部26，选择或决定切换目标的影像、参数的强度、切换的实施时机(实施间隔)。决定的结果作为变更信息而保存于变更信息的保存部59(存储装置57)。
图6表示信息处理装置1的用户接口(ui)的另一例。图5所示的画面15a中显示的ui(设为第一ui)为进行影像的切换作为显示形态的变更的情况下的ui。图6所示的画面15b中显示的ui(设为第二ui)为附加效果作为显示形态的变更的情况下的ui。
如图6所示，画面15b(第二ui)中，切换目标的影像的选择按钮22、23、24变更为选择对影像附加的效果的种类的选择按钮32、33、34。显示区域21、滑动按钮25、调整部26、指示器27与第一ui(图5)相同。
选择按钮32、33、34可分配效果的种类。例如，可对选择按钮32分配像素值的反转，对选择按钮33分配色调分离(灰度变更)，对选择按钮34分配边缘的强调。可在选择按钮32、33、34显示附加了效果的情况下的缩略图像或影像。另外，也可使用选择按钮32、33、34来指定变更效果的情况下的变更目标的效果。例如，也可使用选择按钮32将反转指定为第一效果，使用选择按钮33将灰度变更指定为第二效果，并在变更的实施时机将赋予对象的效果由反转变更为灰度变更。另外，图6的显示区域21所示的图像为使图5所示的显示区域21中显示的图像反转的图像。作为其他效果的示例，也可在显示于显示区域21的影像上叠加而实时显示声音的波形。
＜处理例＞
图7为表示控制器50的处理例的图。s001中，进行变更信息的设定。用户使用输入装置14及显示装置15，指定显示装置15的显示区域21所显示的影像(第一影像)。本处理例中，指定带声音的影像作为第一影像。然后，cpu10响应用户的使用输入装置14的调出操作，在显示装置15显示画面15a(图5)或画面15b(图6)。用户使用画面15a或画面15b，进行与显示形态的变更有关的信息(变更信息)的设定输入。
＜＜进行影像的切换的情况＞＞
例如，用户使用输入装置14，确定显示装置15的显示区域21所显示的影像。接下来，用户使用画面15a的选择按钮22～24，输入切换目标的影像(第二影像)的指定。而且，用户使用调整部26，指定影像切换的实施时机(实施间隔)。表示切换目标的影像或切换的实施间隔的信息作为变更信息而保存于保存部59。
然后，用户例如若按下带声音的影像的播放按钮(例如显示于显示区域21)，则播放部51开始带声音的影像的播放处理(s002)。此时，与带声音的影像的播放处理并列地，也开始切换目标的影像的播放处理，开始对vram54及vram55进行描绘。
控制部53以开关56选择vram54的输出的方式控制开关56。由此，在显示装置15的显示区域21，显示来自vram54的影像。而且，带声音的影像的播放处理中，播放部51进行附加于影像的声音的播放处理，从扬声器19输出声音。
s003中，判定是否指示了带声音的影像的播放结束(例如是否按下了播放结束按钮)。此处，在判定为指示了播放结束的情况下，图7的处理结束。相对于此，在未指示播放结束的情况下，处理进入s004。
s004中，判定是否有变更信息的设定变更，在有设定变更的情况下，反映所述变更信息的设定变更(进行变更信息的覆写)。此处，滑动按钮25或调整部26在影像的播放中也可操作。而且，也可在影像的播放中，进行使用选择按钮22、23、24的切换目标的影像的变更或使用选择按钮32、33、34的效果的种类的变更。这些变更的结果被反映给s004中保存于保存部29的变更信息(更新变更信息)。另外，也可代替s004，而通过随时的中断处理来进行伴随第一或第二ui的操作的、变更信息的更新处理。
伴随带声音的影像的播放，播放时间的信息被送至检测部52。检测部52将播放时间的信息与节拍信息比对，由此进行节拍时机的检测(s005)。
表示检测到节拍时机的信息从检测部52供给于控制部53。控制部53基于保存于保存部59的变更信息(显示形态的变更的类别：影像的切换)，利用变更信息所含的表示变更的实施时机(实施间隔)的信息来控制开关56，切换为向显示装置15输出vram55的输出(切换目标的影像的信号)的状态。由此，在显示区域21，代替带声音的影像而以规定时间显示切换目标的影像(s006)。
s007中，进行影像的播放时间是否到期的判定。所述判定是对带声音的影像与切换目标的影像两者进行。在判定为影像的播放时间到期的情况下，播放部51进行播放时间到期的影像的重复播放(s008)。例如，在带声音的影像(第一影像)的播放时间较切换目标的影像(第二影像)的播放时间更长，第二影像的播放时间到期的情况下，若第一影像的播放时间未到期，则执行对第二影像的重复播放。而且，若未设定因第一影像的播放时间到期而自动结束第一影像的播放，则播放部51进行伴随第一影像的播放时间到期的重复播放(s007、s008)。但是，也可如上文所述，若判定为第一影像的播放时间到期，则播放部51不进行第一影像的播放，图7所示的处理结束。
＜＜进行效果的附加的情况＞＞
图7所示的处理中，在进行效果的附加作为显示形态的变更的情况下，使用图6所示的画面15b的选择按钮32～34进行附加对象的效果的指定。而且，使用滑动按钮25进行参数的强度的指定，并且使用调整部26进行效果的附加的实施时机(实施间隔)的指定。表示附加对象的效果的指定、参数的强度、效果的附加的实施间隔的信息保存于保存部59，被控制部53参照。
若播放部51响应用户的播放按钮的操作而开始播放带声音的影像，则vram54的输出连接于显示装置15，影像显示于显示区域21。控制部53在基于由检测部52所检测到的节拍时机、及变更信息所含的表示效果的附加的实施间隔的信息的时机，针对播放部51，进行与带声音的影像的帧图像的描绘相关的参数的变更。例如，若效果的类别为反转，则控制部53将播放部51描绘的图像的像素值由附加前的像素值变更为反转的值。由此，在显示区域21，以规定时间显示像素值反转的情况下的影像。若效果的类别为灰度变更，则灰度数减少的影像以规定时间显示于显示区域21。而且，若效果的类别为边缘的强调度，则以使用滑动按钮25设定的边缘的强调度强调了边缘的影像显示于显示区域21。也可在某个效果的附加的实施时机的下一个实施时机，变更效果的种类或解除附加的效果。另外，所述处理例中，对第一影像为带声音的影像的示例进行了说明，但第一影像也可为基于仅影像的数据的影像，且声音数据为自影像独立的(另外)的数据。此时，播放部51对照第一影像的播放(同步地)进行声音的播放。
另外，所述实施方式中，表示了控制器50使用cpu10及存储装置57构成的示例。cpu10为处理器的一例，处理器进行的处理可由多个cpu(处理器)进行，也可由多核结构的cpu进行。而且，处理器进行的处理也可由cpu以外的处理器(数字信号处理器(digitalsignalprocessor，dsp)或图形处理器(graphicalprocessingunit，gpu)等)、处理器以外的集成电路(专用集成电路(applicationspecificintegratedcircuit，asic)或现场可编程门阵列(fieldprogrammablegatearray，fpga)等)、或处理器与集成电路的组合(微处理器(microprocessingunit，mpu)、芯片上系统(system-on-a-chip，soc)等)执行。
＜第一实施方式的作用效果＞
实施方式中，基于声音的节拍时机、及与显示装置15所显示的影像的显示形态的变更有关的变更信息，来自动变更显示装置15的显示区域21所显示的影像的显示形态(进行影像的切换或效果的附加等)。由此，可减少用于如以往那样使对照声音的节拍来变更影像的显示形态的状况显示于显示区域21的作业负担。
[第二实施方式]
第一实施方式中，预先决定针对声音的节拍时机，并作为节拍信息保存于保存部58，且检测部52将其用于检测节拍时机。第二实施方式中，对检测部52可根据声音的信号实时检测节拍时机的节拍时机检测方法进行说明。
(第一方法)
第一节拍时机检测方法(第一方法)包括：由所输入的乐曲的数据生成负责所述乐曲的节拍的时机信息、及表示所述时机的功率的多个强度数据，使用所述多个强度数据来算出所述乐曲的节拍的周期及相位，基于所述节拍的周期及相位来检测节拍音的产生时机。第一方法中，使用节拍时机检测装置，所述节拍时机检测装置包含：生成部，由所输入的乐曲的数据生成负责所述乐曲的节拍的时机信息、及表示所述时机的功率的多个强度数据；计算部，使用所述多个强度数据，算出所述乐曲的节拍的周期及相位；以及检测部，基于所述节拍的周期及相位来检测节拍音的产生时机。
节拍时机检测装置也可还包括：播放处理部，按照所述节拍音的产生时机来进行所述节拍音的播放处理。
节拍时机检测装置中也可采用下述结构，即：所述计算部基于所述多个强度数据所示的所述时机来决定与所述多个强度数据有关的每分钟节拍数(beatsperminute，bpm)，算出所述bpm的一周期作为所述节拍的周期，并且算出表示所述bpm的正弦波中的所述节拍音的产生时机的相对位置作为所述节拍的相位，所述检测部求出表示所述节拍的周期及所述节拍的相位的计数值，使用针对采样率的每一个样本进行递增的计数器来进行所述计数值的计时，检测所述计数器的值达到所述计数值的时机作为所述节拍音的产生时机。
节拍时机检测装置中也可采用下述结构，即：所述计算部算出下述傅里叶变换数据的值达到最大时的bpm的一周期作为所述节拍的周期，所述傅里叶变换数据是通过针对所述多个强度数据各自与多个bpm各自进行傅里叶变换而获得。
节拍时机检测装置中也可采用下述结构，即：在针对所述多个强度数据各自及所述多个bpm中的第一bpm获得所述傅里叶变换数据的情况下，所述计算部获取与具有所述第一bpm的频率的整数倍的频率的至少一个第二bpm有关的所述傅里叶变换数据，将使用所述第一bpm所算出的所述傅里叶变换数据的值、与使用所述第二bpm所算出的所述傅里叶变换数据的值以规定的比率相加，将所得的值用作与所述第一bpm有关的所述傅里叶变换数据的值。
节拍时机检测装置中也可采用下述结构，即：所述生成部根据所述输入的乐曲的数据而获取包含规定数的连续音的样本的帧，抽取所述帧中的样本，对抽取的样本进行快速傅里叶变换，以规定间隔进行求出下述数据的处理，所述数据表示通过快速傅里叶变换所得的每个频率带宽的功率的总和，另一方面，将表示较自身更大的值的表示所述功率的总和的数据不出现的状态持续规定时间的情况下的、表示所述功率的总和的数据，提取作为所述强度数据。
＜节拍时机检测装置的结构＞
图1所示的信息处理装置1可适用于节拍时机检测装置。cpu10通过执行存储于存储装置57的程序，从而进行检测声音的节拍时机(生成节拍音产生时机)的处理。
图8为表示节拍时机检测部的结构例的图。通过执行程序，cpu10作为图8所示的节拍时机检测部100运行。节拍时机检测部100包含于第一实施方式的检测部52。或者，可与检测部52替换。
节拍时机检测部100包含时间稀疏数据(表述为“spx数据”：相当于强度数据)的生成部101、缓冲器102、周期数据及相位数据的计算部103、以及节拍时机的检测部104。节拍时机被通知给控制部53(图1)。控制部53将节拍时机用于显示形态的变更(影像的控制)。控制部53的动作及处理已在第一实施方式中说明，因而省略再次的说明。而且，节拍时机作为节拍音产生时机(输出指示)而输入至节拍音的播放处理部105。播放处理部105进行适应产生时机的节拍音的播放处理。作为播放处理部105的动作例如由cpu10进行。缓冲器102例如设于ram12或hdd13的规定的存储区域。
spx数据的生成部101使用表示乐曲的声音的数字数据，生成spx数据并输出。缓冲器102至少存储规定时间的spx数据(相当于多个强度数据)。本实施方式中，作为规定时间而例示6秒，但规定时间也可较6秒更长或更短。计算部103使用存储于缓冲器102的规定时间的spx数据的集合，算出节拍的周期数据及相位数据。产生时机的检测部104使用周期数据及相位数据来检测节拍时机。
＜spx数据的生成＞
对生成部101进行的spx数据的生成加以说明。对生成部101输入表示播放的乐曲数据(为了输出声音而送至d/a17的数据)的声音的数字信号。表示声音的数字信号(乐曲信号)可源于存储于hdd13的乐曲数据的播放处理，也可通过由mic21所收音的声音信号的a/d变换而获得。
表示声音的数字数据存储于ram12，被用于生成部101的处理。表示声音的数字数据为从模拟信号按照规定的采样率采集的样本(标本)数据(通常为模拟信号的电压值)的集合。本实施方式中，作为一例，设采样率为44100hz。但是，采样率只要可获得所需的快速傅里叶变换(fastfouriertransform，fft)分辨率，则可适当变更。
图9为表示生成部101的处理例的流程图。对生成部101输入为了输出乐音(播放)而送往d/a17的、表示乐曲的声音的数字数据(数字信号)。生成部101根据所输入的数字数据，获取规定个数的样本(称为“帧”)(s01)。规定个数在本实施方式中为1024，但也可较其更多或更少。样本的获取以规定间隔进行。规定间隔例如为5ms，也可较其更多或更少。
s02中，生成部101进行抽取处理。即，生成部101对1024个样本进行1/4抽取，获得256个样本。抽取也可为1/4抽取以外。s03中，生成部101对256个样本实施快速傅里叶变换(fft)，根据fft的结果(每个频率带宽的功率)，获得表示帧单位的功率的大小的数据(称为功率数据)(s04)。另外，功率是以振幅的平方表示，因而“功率”的概念中也包含振幅。
功率数据例如为通过对256个样本实施fft从而获得的功率的总和。但是，也可将本次的帧的各频率带宽的功率减去前一次的帧的、对应的带宽的功率，在其值为正(功率增加)的情况下留下所述功率的值用于总和计算，且将并非如此(相减所得的值为负(功率减小))的值忽视。其原因在于，功率的增加大之处为节拍的可能性高。
而且，只要与其他帧的比较对象相同，则用于计算总和的值可为本次的帧的功率的总和，也可为由本次的帧的功率减去前一次的帧的功率所得的值为正值的功率的总和，也可为由本次的帧的功率减去前一次的帧的功率所得的差值。而且，也可在通过实施fft所得的功率频谱中，仅针对低于规定频率的频率来进行所述差值的算出。关于规定频率以上的频率，也可使用低通滤波器来截止。
功率数据以帧单位存储于ram12或hdd13。生成部101在每当制作帧单位的功率数据时，将功率的总和(峰值)的大小进行比较，将较大的值留下，将较小的值废弃(s05)。生成部101判定是否规定时间未出现的、较s05中留下的总和更大的总和(s06)。规定时间例如为100ms，但可较100ms更大也可更小。在未出现表示更大总和的数据的状态持续规定时间的情况下，生成部101提取所述表示功率的总和的数据作为spx数据，存储(保存)于缓冲器102(s07)。这样，spx数据为以100ms间隔提取表示乐音的数字数据的峰值的数据，且为表示下述内容的数据，即：负责乐曲的节拍的表示时机的信息(时机信息)、及所述时机的功率。多个spx数据存储于缓冲器102。生成部101重复进行s01至s06的处理。
图10a为输入至生成部101的12秒的乐曲的数字信号，图10b表示由图10a所示的乐曲的数字信号所生成的spx数据的示例。图10b所示的图表的横轴为时间，纵轴为功率。所述图表中，上端带有黑圆点的纵线表示由图10a所示的乐曲的数字信号所得的各个spx数据，横轴(时间轴)的位置表示时机，纵线的长度表示功率。spx数据在以100ms间隔生成的情况下，1秒钟生成10个左右。
＜周期数据及相位数据的算出＞
图11为表示计算部103的处理例的流程图。s10中，生成部101中生成的新的spx数据来到缓冲器102并存储。s11中，从缓冲器102获取存储于缓冲器102的spx数据中规定时间的spx数据(相当于多个强度数据)。规定时间例如为6秒钟，但只要可获得节拍的周期及相位，则可较6秒更长也可更短。以后的s12～s16的处理为使用s11中获取的6秒的spx数据进行的处理。s12中，针对6秒的spx数据，实施与规定个数(例如20个)的bpm(beatsperminute，拍子(tempo，节奏的速度))对应的傅里叶变换，算出节拍的周期(bpm的一周期)及节拍的相位(节拍音的产生时机)。
加以具体说明，针对6秒的spx数据，以规定个数、例如与bpm86～168对应的20个的、与bpm对应的频率(bpm频率)f＝{86、90、94、……、168}/60，对exp(2πjft)(以bpm频率振动的正弦波，与频率无关而振幅相同)取积和。即，进行傅里叶变换。将傅里叶变换的结果作为傅里叶变换数据c(i)(i＝0、1、2、3、……、19)。
图12为表示spx数据及具有用于傅里叶变换的bpm频率的正弦波的示例的图。图12的示例中，例示bpm72的正弦波(以实线表示)、bpm88的正弦波(以虚线表示)、及bpm104的正弦波(以点划线表示)。傅里叶变换数据c(i)的值是由以下的式1求出。另外，bpm的值及其个数可适当变更。
[数1]
此处，式1的t(k)为存在spx数据的以往6秒中的时间位置，单位为秒。k为所述spx数据的索引，为k＝1、……、m(m为spx数据的个数)。而且，x(t(k))表示所述瞬间的spx数据的值(峰值的大小)。j为虚数单位(j2＝-1)。f(i)为bpm频率，例如bpm120为2.0hz。
计算部103将c(i)＝(c0、1、c2、c3、……、c19)中其绝对值对应于最大值的bpm决定为spx数据(节拍)的bpm(s13)。而且，将其相位值
相位值
[数2]
通过算出相位值
图13图示表示bpm的余弦波(exp(2πjft)的实部)与节拍的产生时机的关系。图13所示的示例中，spx数据的个数为4，其bpm为72。图13所示的spx数据分别为使用式2求出的c(i)的值(相位)，表示节拍的产生时机。spx数据间成为节拍产生时机的间隔。图13所示的示例中，通过计算相位值
例如在bpm为104且采样率为44100hz的情况下，周期数据(样本数)成为44100[个]/(104/60)＝25442[个]。而且，在周期数据为25442[个]的情况下，当相位值φ为0.34[rad]时，相位数据(样本数)成为25442[个]×0.34[rad]/2π[rad]＝1377[个]。接下来，计算部103输出周期数据及相位数据(s16)。另外，计算部103每当存储6秒的spx数据时，重复进行s11～s16的处理。由此，可追随乐曲的节奏的变更。
＜节拍时机的检测＞
图14为表示检测部104进行的节拍时机的检测处理的示例的流程图。s21中，检测部104判定是否从计算部103提供了新的周期数据及相位数据。在提供了新的周期数据及相位数据的情况下，处理进入s22，在并非如此的情况下，处理进入s23。
s22中，检测部104将新的周期数据及相位数据用于节拍产生时机的检测，将旧的周期数据及相位数据废弃。此时，由于在制作spx数据时成为spx数据的帧的样本成为被赋予了100ms延迟的状态，因而此处以演奏或播放中的乐曲和节奏与后述的拍手(handclap)音一致的方式进行时间调整(相位调整)。然后，处理进入s23。
s23中，进行使用周期数据的样本数及相位数据的样本数的、计数器的设定。例如，检测部104具有针对采样率的每一样本(遵循采样率的模拟信号的电压校验的间隔)进行增计数(递增)的计数器，针对每一样本将所述计数器的计数值递增。等待由此而计数值从零达到规定值(表示相位数据的样本数(计数值)及周期数据的样本数(计数值)之和的值)以上(s24)。
若计数器的计数值达到规定值以上，则检测部104检测基于预测的、节拍音的产生时机(节拍时机)(s25)。检测部104向控制部53通知产生节拍时机，并且输出节拍音的输出指示(s25)。控制部53基于节拍时机，进行第一实施方式中说明的动作(显示形态的变更)。播放处理部105按照输出指示，将预先存储于rom11或hdd13的节拍音(例如拍手音)的数字数据送往d/a17。数字数据由d/a17变换为模拟信号，由amp18放大振幅后，从扬声器19输出。由此，叠加于播放或演奏中的乐曲而输出拍手音。
根据第一方法，将播放或演奏完毕的(以往的)乐曲输入至生成部101，生成部101生成spx数据。这种spx数据存储于缓冲器102，计算部103由规定时间(6秒)的多个spx数据算出节拍的周期及相位，检测部104检测适应播放或演奏中的乐曲(声音)的节拍时机并输出。由此，控制部53可进行基于节拍时机的显示形态的变更。而且，播放处理部105可输出与播放或演奏中的乐曲的节奏一致的拍手音。所述拍手音的自动输出可通过所述spx数据的生成、或基于傅里叶变换数据的节拍的周期及相位的算出、以及计数器值的计数那样的计算量少的简易算法而进行。由此，可避免对处理的执行主体(cpu10)的负荷增大、或存储器资源的增大。而且，由于处理量少，因而可输出相对于播放音或演奏音而并无延迟(即便有延迟，人也不可识别此延迟)的拍子音。
另外，节拍时机检测部100进行的处理可由多个cpu(处理器)进行，也可由多核结构的cpu进行。而且，节拍时机检测部100进行的处理也可由cpu10以外的处理器(dsp或gpu等)、处理器以外的集成电路(asic或fpga等)、或者处理器与集成电路的组合(mpu、soc等)来执行。
＜第一方法的变形例＞
所述实施方式中，表示了使用bpm86～168作为用于计算周期数据的bpm的示例。相对于此，不仅是bmp86～168(分别相当于第一bpm)，也可针对为它的2倍的bpm172～336或4倍的bpm344～672(相当具有第一bpm的频率的整数倍的频率的、至少一个第二bpm)获得c(i)的绝对值(频谱强度)。图15为例示1倍(基本节拍)及2倍节拍的频谱强度的图。另外，以规定的比将1倍、2倍、4倍各自的频谱强度相加，将所得的值用于决定bpm。例如，将bpm91(第一bpm的一例)的频谱强度、bpm182及bpm364(至少一个第二bpm的一例)的频谱强度以0.34：0.33：0.33之比相加，将其数值用作与bpm91有关的c(i)的绝对值。
视乐曲不同，有时相较于4分音符所象征的基本节拍，针对与细分的8分音符、16分音符对应的bpm的功率更大，因而通过使2倍或4倍的功率反映在基本节拍的强度中，从而可选出最优的bpm。所述示例中，例示了2倍或4倍作为整数倍的示例，但3倍或5倍以上的整数倍也可获得同样的效果。实施方式所示的结构可于不偏离目标的范围内适当组合。
(第二方法)
以下，对第二节拍时机检测方法(第二方法)进行说明。第二节拍时机检测方法(第二方法)中，节拍时机检测部100进行下述处理，即：由所输入的声音的数据来生成负责声音的节拍的时机信息、及表示所述时机的功率的强度数据；使用强度数据，算出声音的节拍的周期及相位；以及基于节拍的周期及相位来检测节拍时机。第二方法成为第一方法的改良。第二方法关于spx数据的生成方面与第一方法相同，但关于周期数据及相位数据的算出，如以下那样不同。
图16为表示第二节拍时机检测方法的、周期数据及相位数据的计算处理的示例的流程图。s50中，生成部101中生成的新的spx数据来到缓冲器102。
s51中，计算部103获得与规定个数的bpm对应的傅里叶变换数据。第一方法中，关于周期数据及相位数据的算出，针对6秒的spx数据，实施与规定个数(例如20～40个)的bpm(beatsperminute：表示拍子(节奏的速度))对应的傅里叶变换(图11、s12)。
相对于此，第二方法(s51)中，代替第一方法中所用的傅里叶变换，而使用具有衰减项uk的傅里叶变换。将傅里叶变换的式(式3)示于以下。
[数3]
式3中，u表示每一个样本的衰减量，为近似于1的数。u表示逐渐忘却以往数据的比率。区间为以往的无限大。图17为式3的回路图。针对由当前的延迟块(z-1)61赋予了延迟的以往的信号fn－1(m)，利用乘法器62乘上衰减项ue-jωm，由加法器63与当前的信号f(n)相加。这样而获得每一个样本的傅里叶变换值。
式3的傅里叶变换值可由以下的式4及式5表示。
[数4]
针对spx数据的值并未来到而l(l为正整数)样本经过的区间(空区间)，可不使用式3(图17所示的回路)，而使用以下的式6及式7获得l样本的傅里叶变换值。式6的qml的值可使用式7简便地求出。另外，f(n)为spx数据的值，l为spx数据的来到间隔，u为衰减系数，ωm为与bpm对应的每一个样本的角频率。
[数5]
图18表示spx数据、及具有用于式3的傅里叶变换的bpm频率的衰减正弦波的示例。图18的示例中，周期最长的波为bpm72的波，周期次长的波为bpm88的波，周期最短的波为bpm104的波。第二方法中，也准备规定个数的多个bpm(例如20个)，针对各bpm求出使用所述式3的傅里叶变换值。bpm的个数可较20更多或更少。
第二方法中，与第一方法不同，无需存储规定期间(6秒)的spx数据。因此，可将用于存储spx数据的存储器(存储装置57)的存储区域加以有效运用。而且，第一方法中，进行多个bpm×spx数据数的积和计算，相对于此，第二方法中，针对各bpm进行式3的运算，因而可大幅度地减少运算量。
s52中，计算部103获得与规定个数(例如20个)的bpm对应的、规定个数(例如5个)的小波变换值。图19示意性地表示计算小波变换值wn的电路。电路成为对图16所示的用于计算傅里叶变换值的电路追加乘法器64的结构。乘法器64对spx数据乘上以相当于bpm值的样本数为周期的、周期性海宁窗列。对乘法器64的输出进行所述式3的傅里叶变换，作为小波变换值wn而输出。海宁窗为窗函数的一例，除了海宁窗以外，可适用三角窗或汉明窗(hammingwindow)等。
小波变换值wn是针对各bpm在以各bpm的1/5周期为单位错开的时机而求出的。即，准备以bpm的1/5周期为单位错开的周期性海宁窗列，求出与各周期性海宁窗列对应的小波变换值{wn}0≦n＜5。
图20a、图20b及图20c表示spx数据与周期性海宁窗列的关系。图20a以粗线示出某个bpm的、表示时机0的周期性海宁窗列的衰减正弦波，以细线示出表示时机0以外的周期性海宁窗列的衰减正弦波。图20b以粗线示出某个bpm的、表示时机1(较时机0前进1/5周期)的周期性海宁窗列的衰减正弦波，以细线示出表示时机1以外的周期性海宁窗列的衰减正弦波。图20c以粗线示出某个bpm的、表示时机2(较时机1前进1/5周期)的周期性海宁窗列的衰减正弦波，以细线示出表示时机1以外的周期性海宁窗列的衰减正弦波。
s53中，计算部103与s13同样地，将与和多个bpm对应的傅里叶变换值中其绝对值达到最大的傅里叶变换值对应的bpm决定为spx数据(节拍)的bpm。而且，计算部103将所决定的bpm的节拍的一周期的样本数决定为节拍的周期数据(s54)。
s55中，计算部103由与bpm对应的规定个数的小波变换值算出相位值，变换为针对周期数据的样本值。即，计算部103求出小波变换值wn的绝对值达到最大时的n(图21的s551)，求出与n对应的相位值arg(wn)(图21的s552)。计算部103将相位值变换为针对周期数据的样本值(相位数据)(s55)，输出周期数据及相位数据(s56)。
图22为小波变换值的说明图。小波变换值伴随时间偏在而具有复数的相位信息。即，小波变换值具有海宁窗的曲线、海宁窗与实部(余弦)之积的曲线、以及海宁窗与虚部(正弦)之积的曲线。本实施方式中，通过对一个spx数据(节拍)使用时机以1/5周期(n＝5)错开的多个小波变换值，从而可高精度地检测节拍的相位。另外，关于节拍时机的检测处理，与第一方法(图14)相同，因而省略说明。
根据第二方法，与第一方法相比，可减少处理所需要的存储容量及运算量，而且，相位(节拍时机)的检测精度提高。
＜节拍强度的算出＞
以下，对可适用于第一实施方式及第二实施方式的节拍强度的计算方法进行说明。节拍强度的算出例如可由第一实施方式的控制器50、或第二实施方式的节拍时机检测部100(例如计算部103)进行。
例如，将以往5次节拍间隔(样本数)的平均设为m。针对所述m，由新的节拍间隔i使用以下的式8计算周期的变动率qrate。可谓变动率qrate的值越小，则节拍越稳定。
[数6]
如以下的式9所示，若变动率qrate为2％以下，则视为节拍强度“强”，5％以上的变动可视为节拍强度“弱”。以下的式9所示的ibt的值越大，表示越稳定的节拍。例如，可想到使用以下的式10将ibt平滑化，抑制突发的节拍周期的变动。
[数7]
[当前的ibs]＝[前一ibs]+0.1＊(ibt－[前一ibs])…(10)
图23为表示某个乐曲的ibs的图表。从演奏开始到约12秒为止为拍子不清晰的曲子。此时，ibs以小的值开始，在拍子变明确的时间点上升至1.0附近。可表示所检测到的节拍时机或节拍间隔在音乐上以何种程度可信。例如，第一实施方式中，可将ibs不足规定值(例如0.6)的区间判断为不检测节拍的区间。以上说明的结构为例示，可适当组合。
符号的说明
1：信息处理装置
2：网络
10：cpu
11：rom
12：ram
13：hdd
14：输入装置
15：显示装置
16：通信接口
17：数模变换器
18：放大器
19：扬声器
20：模数变换器
21：麦克风
50：影像控制装置(控制器)
51：播放部
52：检测部
53：控制部
54、55：视频ram(vram)
57：存储装置
58：节拍信息的保存部
59：变更信息的保存部
100：节拍时机检测部
101：生成部
102：缓冲器
103：计算部
104：检测部
105：播放处理部
- 还没有人留言评论。精彩留言会获得点赞！