信号处理装置、系统和方法,电子器件与流程

文档序号:12910222阅读:199来源:国知局
信号处理装置、系统和方法,电子器件与流程
本公开涉及信号处理装置、信号处理方法、程序、电子器件、信号处理系统及其信号处理方法。更特别地,本公开涉及能以鲁棒(robust)的方式产生内容的同步信息的信号处理装置、信号处理方法、程序、电子器件、信号处理系统及其信号处理方法。

背景技术:
在与时间同步地重新产生或编辑通过多个器件记录相同事件的图像或声音而获得的内容的情况下,需要找到内容之间的时间同步。这是因为,即使在记录相同事件的图像或声音的情况下,记录开始时间在器件之间也不同,并且因为内部时钟频率在器件之间略有不同,所以发生时间延迟。这里,所述内容表示声学数据、图像数据和与图像数据对应的声学数据等。作为产生以时间方式使内容同步时所使用的同步信息的方法,存在使用在拍摄图像时附到内容文件的时间信息的方法。然而,并不能保证拍摄图像时附到文件的时间信息是精确的。此外,作为产生同步信息的方法,存在使用内容中所包括的声学数据的共同元素的方法。然而,记录的声学数据包括风声、麦克风摩擦声和其他各种噪声声音的声学数据,因此,在许多情况下共同元素非常少。例如,在记录在一个器件中的声学数据仅包括噪声声音的声学数据或者记录在每个器件中的声学数据包括不同类型的噪声声音的情况下,共同元素极少。此外,尽管在聚会地点等记录的声学数据包括作为共同元素的BGM(背景音乐)声学数据,但是因为在每个器件附近进行不同类型的谈话,所以即使在以重叠方式记录谈话和BGM的情况下,共同元素也变得极少。尤其是,在器件相隔一距离的情况下,共同元素显著减少。因此,期望一种关于噪声声音以鲁棒方式产生同步信息的方法。然而,在日本专利公开No.2009-10548公开的使用声学数据的电平信息产生同步信息的方法中,不能关于噪声声音以鲁棒方式产生同步信息。此外,即使在日本专利公开No.2010-171625公开的使用声学数据的相关性产生同步信息的方法中,也不能关于噪声声音以鲁棒方式产生同步信息。此外,在日本专利公开No.2010-171625的公开内容中,因为仅关注于声学数据的部分区间计算相关性,所以不能校正由于器件之间的内部时钟频率的细微差异而导致随时间引起的同步差异。同时,在RayMeddis和LowelO′Mard的“Aunitarymodelofpitchperception”,JAcoust.Soc.Am.第102卷第3期第1811-1820页(1997)中公开了对人的音高知觉进行建模并在计算器上实现它的方法。

技术实现要素:
如上所述,尽管期望关于噪声声音以鲁棒方式产生同步信息的方法,但是这样的方法还未被考虑。本公开鉴于这样的状态而提出,并能以鲁棒的方式产生内容同步信息。根据本公开的第一方面,提供一种信号处理装置,该信号处理装置包括:第一周期性检测部件,检测第一内容中包括的声音信号的周期性信息作为第一周期性信息;第二周期性检测部件,检测第二内容中包括的声音信号的周期性信息作为第二周期性信息;相似度计算部件,计算第一周期性检测部件检测的第一周期性信息与第二周期性检测部件检测的第二周期性信息之间的相似度;以及同步信息产生部件,基于相似度计算部件计算的相似度来产生在使第一内容和第二内容同步时使用的同步信息。根据本公开的第一方面的信号处理方法、程序和电子器件对应于根据本公开的第一方面的信号处理装置。根据本公开的第一方面,第一内容中包括的声音信号的周期性信息被检测为第一周期性信息,第二内容中包括的声音信号的周期性信息被检测为第二周期性信息,计算第一周期性信息与第二周期性信息之间的相似度,并基于该相似度产生在使第一内容和第二内容同步时使用的同步。根据本公开的第二方面,提供一种信号处理装置,该信号处理装置包括:接收部件,接收与第一内容中包括的声音信号的周期性信息对应的第一周期性信息和与第二内容中包括的声音信号的周期性信息对应的第二周期性信息;相似度计算部件,计算接收部件接收的第一周期性信息与第二周期性信息之间的相似度;以及同步信息产生部件,基于相似度计算部件计算的相似度来产生在使第一内容和第二内容同步时使用的同步信息。根据本公开的第二方面的信号处理方法、程序和电子器件对应于根据本公开的第二方面的信号处理装置。根据本公开的第二方面,接收与第一内容中包括的声音信号的周期性信息对应的第一周期性信息和与第二内容中包括的声音信号的周期性信息对应的第二周期性信息,计算第一周期性信息与第二周期性信息之间的相似度,并基于该相似度,产生在使第一内容和第二内容同步时使用的同步信息。根据本公开内容的第三方面,提供一种信号处理系统,该信号处理系统包括:第一周期性检测部件,检测第一内容中包括的声音信号的周期性信息作为第一周期性信息;第二周期性检测部件,检测第二内容中包括的声音信号的周期性信息作为第二周期性信息;相似度计算部件,计算第一周期性检测部件检测的第一周期性信息与第二周期性检测部件检测的第二周期性信息之间的相似度;以及同步信息产生部件,基于相似度计算部件计算的相似度来产生在使第一内容和第二内容同步时使用的同步信息。根据本公开的实施例的信号处理方法对应于根据本公开的实施例的信号处理系统。根据本公开的第三方面,第一内容中包括的声音信号的周期性信息被检测为第一周期性信息,第二内容中包括的声音信号的周期性信息被检测为第二周期性信息,计算第一周期性信息与第二周期性信息之间的相似度,并基于该相似度,产生在使第一内容和第二内容同步时使用的同步信息。根据本公开的第四方面,提供一种信号处理装置,该信号处理装置包括:第一频带划分部件,对第一内容中包括的声音信号执行频带划分;第一周期性检测部件,检测第一频带划分部件对其进行了频带划分的声音信号的周期性信息作为第一周期性信息;第一周期性强度检测部件,检测第一周期性检测部件检测的第一周期性信息的强度;第一周期性信息累加部件,基于第一周期性强度检测部件检测的第一周期性信息的强度来对所有频带的第一周期性信息进行累加;第二频带划分部件,对第二内容中包括的声音信号执行频带划分;第二周期性检测部件,检测第二频带划分部件对其进行了频带划分的声音信号的周期性信息作为第二周期性信息;第二周期性强度检测部件,检测第二周期性检测部件检测的第二周期性信息的强度;第二周期性信息累加部件,基于第二周期性强度检测部件检测的第二周期性信息的强度来对所有频带的第二周期性信息进行累加;相似度计算部件,计算第一周期性信息累加部件所累加的第一周期性信息与第二周期性信息累加部件所累加的第二周期性信息之间的相似度;以及同步信息产生部件,基于相似度计算部件计算的相似度来产生在使第一内容和第二内容同步时使用的同步信息。根据本公开的第四方面,对第一内容中包括的声音信号进行频带划分,将进行频带划分了的声音信号的周期性信息检测为第一周期性信息,检测第一周期性信息的强度,基于第一周期性信息的强度来对所有频带的第一周期性信息进行累加,对第二内容中包括的声音信号进行频带划分,将进行频带划分了的声音信号的周期性信息检测为第二周期性信息,检测第二周期性信息的强度,基于第二周期性信息的强度来对所有频带的第二周期性信息进行累加,计算所累加的第一周期性信息与所累加的第二周期性信息之间的相似度,并基于该相似度,产生在使第一内容和第二内容同步时使用的同步信息。根据本公开,能以鲁棒的方式产生内容同步信息。附图说明图1是框图,示出应用本公开的信号处理系统的第一实施例的配置示例;图2是框图,示出图1中的特征量计算部件的配置示例;图3是示出特征量时序数据(timeseriesdata)的示例的视图;图4是框图,示出图1中的同步信息产生部件的配置示例;图5是用于说明附加了不同频率特性的噪声声音的声学数据的视图;图6是用于说明对其计算了相似度的块的视图;图7是用于说明相似度计算方法的视图;图8是示出相似度矩阵的示例的视图;图9是示出同步信息的示例的视图;图10是流程图,用于说明图1的信号处理装置中的同步信息产生处理;图11是用于说明应用了本公开的信号处理系统的第二实施例的概要的视图;图12是用于说明应用了本公开的信号处理系统的第三实施例的概要的视图;图13是框图,示出特征量计算部件的另一配置示例;以及图14是框图,示出计算机硬件的配置示例。具体实施方式下面将参照附图详细描述本公开的优选实施例。注意,在本说明书和附图中,具有基本相同的功能和结构的结构元件用相同的附图标记表示,并省略对这些结构元件的重复说明。<第一实施例>【对信号处理系统的第一实施例的概要的说明】图1是框图,示出应用了本公开的信号处理系统的第一实施例的配置示例。如图1所示,信号处理系统10包括成像装置11-1和11-2以及信号处理装置12。成像装置11-1包括视频摄像机等。成像装置11-1获取相同事件的动态图像和声音,这些动态图像和声音不同于成像装置11-2中的那些。成像装置11-1将动态图像和声音的所得内容A发送到信号处理装置12。类似于成像装置11-1,成像装置11-2包括视频摄像机等。成像装置11-2获取相同事件的动态图像和声音,这些动态图像和声音不同于成像装置11-1中的那些。成像装置11-2将动态图像和声音的所得内容B发送到信号处理装置12。此外,下面,在不特别要求彼此区分成像装置11-1和成像装置11-2的情况下,将它们统称为“成像装置11”。信号处理装置12包括特征量计算部件21-1和21-2、特征量存储部件22-1和22-2以及同步信息产生部件23。信号处理装置12的特征量计算部件21-1基于成像装置11-1供给的内容A的声学数据计算特征量时序数据,并将它供给到特征量存储部件22-1。此外,特征量计算部件21-2基于从成像装置11-2供给的内容B的声学数据计算特征量时序数据,并将它供给到特征量存储部件22-2。特征量存储部件22-1包括存储器和硬盘等,并存储从特征量计算部件21-1供给的内容A的特征量时序数据。此外,特征量存储部件22-2包括存储器和硬盘等,并存储从特征量计算部件21-2供给的内容B的特征量时序数据。同步信息产生部件23从特征量存储部件22-1读取内容A的特征量时序数据,并从特征量存储部件22-2读取内容B的特征量时序数据。同步信息产生部件23基于内容A的特征量时序数据和内容B的特征量时序数据产生在使内容A和B同步时所使用的同步信息。同步信息产生部件23输出同步信息。此外,下面,在不特别要求彼此区分特征量计算部件21-1和特征量计算部件21-2的情况下,将它们统称为“特征量计算部件21”。此外,在不特别要求彼此区分特征量存储部件22-1和特征量存储部件22-2的情况下,将它们统称为“特征量存储部件22”。【特征量计算部件的配置示例】图2是框图,示出图1的特征量计算部件21的配置示例。图2中的特征量计算部件21包括频带划分部件101、周期性检测部件102-1至102-4、周期性强度检测部件103-1至103-4、周期性信息累加部件104和峰值检测部件105。频带划分部件101使用窗口函数将从图1中的成像装置11供给的内容的声学数据划分为大约数十毫秒至一百毫秒的时段(timeinterval)。频带划分部件101使用多个带通滤波器来将所述时段的声学数据划分为四个频带。频带划分部件101将所述频带的声学数据分别供给到周期性检测部件102-1至102-4。此外,作为带通滤波器,有效的是使用通过频率带宽在更高频率中变得更宽的滤波器,诸如倍频程滤波器。周期性检测部件102-1至102-4均通过计算从频带划分部件101供给的预定频带中每一时段的声学数据的自相关(autocorrelation)函数来提取指示每一时段的周期性的周期性信息。这里,作为周期性信息,尽管具有索引b的频带中具有索引τ的时移声学数据的自相关函数x(b,τ)被原样使用,但是可以使用将自相关函数x(b,τ)除以x(b,0)的值。此外,作为自相关函数x(b,τ)的计算方法,例如,可采用使用通过对预定频带中的声学数据执行离散傅里叶变换而获取的谱峰的方法。周期性检测部件102-1至102-4均将每一提取时段的周期性信息供给到周期性强度检测部件103-1至103-4和周期性信息累加部件104。此外,下面,在不特别彼此区分周期性检测部件102-1至102-4的情况下,将它们统称为“周期性检测部件102”。周期性强度检测部件103-1至103-4均基于从周期性检测部件102-1至102-4供给的每一时段的周期性信息来计算每一时段的周期性强度。更具体而言,与不同于大约τ=0的τ中的周期性信息对应的自相关函数x(b,τ)的最大值被计算为周期性强度。周期性强度越大,处理目标的声学数据的周期性越强;周期性强度越小,处理目标的声学数据的周期性越接近于噪声声音。随后,周期性强度检测部件103-1至103-4均根据每一时段的周期性强度是否超过阈值来将其二元化,并将其用作每一时段的周期性强度信息。也就是说,在每个时段中,在周期性强度超过预定阈值的情况下,周期性强度信息被处理为1;在周期性强度等于或低于预定阈值的情况下,周期性强度信息被处理为0。周期性强度检测部件103-1至103-4均将每一时段的周期性强度信息供给到周期性信息累加部件104。此外,在不特别彼此区分周期性强度检测部件103-1至103-4的情况下,将它们统称为“周期性强度检测部件103”。周期性信息累加部件104基于从周期性检测部件102供给的每一时段的周期性信息和从周期性强度检测部件103供给的每一时段的周期性强度信息来执行对时段的周期性信息进行累加的周期性累加处理。更具体而言,周期性信息累加部件104使用下面的方程式1找到与每一时段的周期性信息对应的自相关函数x(b,τ)的总和。这里,在方程式1中,Nb表示频带总数,p(b)表示周期性强度信息。此外,Np表示其中周期性强度信息p(b)为1的频带数。周期性信息累加部件104将时段的周期性信息的总和S(τ)供给到峰值检测部件105,总和S(τ)是作为周期性累加处理的结果而获取的。峰值检测部件105对每个时段中从周期性信息累加部件104供给的周期性信息的总和S(τ)执行峰值检测,并产生峰值信息p(τ),在峰值信息p(τ)中,峰位置τp的值为1,峰位置τp之外的值为0。作为峰值检测方法,存在将周期性信息的总和S(τ)的微分值从正值变为负值时的索引τ检测为峰位置τp的方法。此外,在峰位置τp中的周期性信息的总和S(τ)小于预定阈值的情况下,峰值检测部件105可将峰位置τp中的峰值信息P(τp)设置为0。通过这种方式,可降低峰值信息P(τp)的噪声。此外,峰值信息可以是周期性信息本身的总和S(τ)。峰值检测部件105将时段的峰值信息P(τ)作为时段的特征量时序数据供给到图1中的特征量存储部件22。【特征量时序数据的示例】图3是示出特征量时序数据的示例的视图。这里,在图3的图中,水平轴表示时段数量,指示从头开始的时段数量,垂直轴表示索引τ。图3的图用黑点显示索引τ和时段数量的每个位置,其中特征量的时序数据P(τ)为1。因此在图3的图中,在预定时段中的声学数据的特征量的时序数据P(τ)中,与如下点对应的τ的时序数据P(τ)为1,所述点布置在与水平轴上的与时段中的时段数量对应的位置垂直的线上,并且其他τ的时序数据P(τ)为0。【同步信息产生部件的配置示例】图4是框图,示出图1中的同步信息产生部件23的配置示例。图4中的同步信息产生部件23包括块累加部件121和122、相似度计算部件123和最佳路径搜索部件124。同步信息产生部件23的块累加部件121从图1中的特征量存储部件22-1读取内容A的时段的特征量时序数据,并使用连续的(例如,64个)时段作为一个块,以块为单位对它们进行累加。块累加部件121将块单位特征量的时序数据供给到相似度计算部件123。块累加部件122从图1中的特征量存储部件22-2读取内容B的时段的特征量时序数据,并使用连续的(例如,64个)时段作为一个块,以块为单位对它们进行累加。块累加部件122将块单位特征量的时序数据供给到相似度计算部件123。这里,形成块的多个时段可以不是连续的。例如,可使用多个偶数编号的时段作为一个块,或者使用多个奇数编号的时段作为一个块。在这种情况下,因为可对时段的特征量时序数据执行疏化(thinning)处理,所以可减少计算量。此外,块累加部件121和块累加部件122可以不对时段中索引τ的所有特征量时序数据进行累加,而是可以部分地对时段中索引τ的特征量时序数据进行累加。例如,在内容A和B的声学数据是其基频在100Hz与500Hz之间的声音的声学数据的情况下,块累加部件121和122可仅对时段中如下索引τ的特征量时序数据进行累加,其中所述索引τ对应于2毫秒至10毫秒的时间延迟。此外,在内容A和B的声学数据是其基频在100Hz与250Hz之间的男性声音的声学数据的情况下,块累加部件121和122可仅对时段中如下索引τ的特征量时序数据进行累加,其中所述索引τ对应于4毫秒至10毫秒的时间延迟。同时,在内容A和B的声学数据是其基频在200Hz与500Hz之间的女性声音的声学数据的情况下,块累加部件121和122可仅对时段中如下索引τ的特征量时序数据进行累加,其中所述索引τ对应于2毫秒至5毫秒的时间延迟。相似度计算部件123计算从块累加部件121供给的块单位特征量的时序数据与从块累加部件122供给的块单位特征量的时序数据之间的相似度,并产生表示这些块之间的相似度的相似度矩阵。相似度计算部件123将相似度矩阵供给到最佳路径搜索部件124。最佳路径搜索部件124用作同步信息产生部件,从相似度计算部件123供给的相似度矩阵搜索最佳相似度路径并产生指示与路径上的相似度对应的两个块之间的时间差的信息作为同步信息。随后,最佳路径搜索部件124输出同步信息。如上所述,使用每一时段的峰值信息P(τ)作为特征量时序数据,同步信息产生部件23产生用于同步其中特征量时序数据相似的内容块的同步信息。也就是说,同步信息产生部件23基于声学数据的基音信息(pitchinformation)来产生同步信息。因此,即使在声学数据中所包括的噪声在成像装置之间不同的情况下,也可以以鲁棒方式产生同步信息。也就是说,在听到具有频率特性的多个声音的情况下,通过将具有相同基频的声音感知为共同元素,即,将相同基音的声音感知为共同元素,即使在包括噪声声音的情况下,人也可以容易地感知共同元素。鉴于以上,本公开通过基于基音信息产生同步信息来关于噪声声音以鲁棒方式产生同步信息。与此相反,作为产生同步信息的方法,存在使用声学数据的频谱之间的相似度来产生同步信息的方法。然而,在该方法中,例如,在两个成像装置中,在获取通过将如图5B和图5C所示的不同频率特性的噪声声音附加到图5A所示的基本音调而获得的声学数据的情况下,声学数据之间的频谱的共同元素因噪声声音而减少。因此,不能精确地计算相似度和正确地产生同步信息。因此,在这样的方法中,不能关于噪声声音以鲁棒方式产生同步信息。这里,尽管以块为单位产生同步信息,但是可关于整个特征量时序数据产生同步信息。然而,在以块为单位产生同步信息的情况下,如稍后所描述的那样,可校正内容A与B之间的内部时钟差。【对相似度计算的说明】图6是用于说明对其计算相似度的块的视图。这里,“i”表示内容A的块索引,“j”表示内容B的块索引。此外,X(i)表示内容A的索引“i”的块中的特征量时序数据,Y(j)表示内容B的索引“j”的块中的特征量时序数据。如图6所示,关于X(i)的n个项和Y(j)的m个项,存在相似度计算目标的n×m个组合。图7是用于说明相似度计算方法的视图。这里,在图7中的矩阵中,水平轴表示块内时段数量,指示从头(head)开始的块内时段的数量,垂直轴表示索引τ。此外,白色方块表示对应的块内段数的时段中的索引τ的特征量的时序数据P(τ)为0,黑色方块表示时序数据P(τ)为1。此外,在图7的示例中,假设形成块的时段数量为4,τ在0与3之间。如图7所示,在计算X(i)与Y(j)之间的相似度的情况下,首先,计算X(i)和Y(j)的逻辑乘X(i)∩Y(j),并计算X(i)和Y(j)的逻辑加X(i)∪Y(j)。例如,如图7所示,在计算均由9个0和7个1形成的X(i)与Y(j)之间的相似度的情况下,首先,计算12个0和4个1的逻辑乘X(i)∩Y(j),并计算6个0和10个1的逻辑加X(i)∪Y(j)。随后,通过下面的方程式2,基于Number(X(i)∩Y(j))和Number(X(i)∪Y(j))来计算X(i)和Y(j)的相似度A(i,j),Number(X(i)∩Y(j))指示逻辑乘X(i)∩Y(j)的1的数量,Number(X(i)∪Y(j))指示逻辑加的1的数量。A(i,j)=Number(X(i)∩Y(j))/Number(X(i)∪Y(j))...方程式(2)在图7的示例中,因为Number(X(i)∩Y(j))为4并且Number(X(i)∪Y(j))为10,所以相似度A(i,j)为0.4。此外,作为特征量时序数据,在采用周期性信息的总和S(τ)的情况下,作为相似度计算方法,可采用利用余弦距离计算相似度的方法。【对最佳相似度路径搜索的说明】图8是示出相似度矩阵的示例的视图。此外,在图8的相似度矩阵中,水平轴表示内容B的块的索引“j”,垂直轴表示内容A的块的索引“i”。如图8所示,在相似度矩阵中,与索引“i”和索引“j”对应的点用与相似度A(i,j)对应的密度表示,使得点随着相似度A(i,j)变大而变深。利用动态编程,最佳路径搜索部件124搜索其中相似度矩阵上的路径相似度的累加值最大的路径,作为最佳相似度路径。例如,在内容A与B之间的时间差仅由于它们之一的延迟而发生的情况下,因为使相似度A(i,j)最大化的“i”与“j”之间的差在任何时间恒定,所以相似度矩阵上从左上到右下的直线路径被搜索为最佳相似度路径。同时,在内部时钟差在内容A与内容B之间发生的情况下,最佳相似度路径不是直的。这里,尽管最佳路径搜索部件124利用动态编程对相似度矩阵上的所有可能路径执行搜索,但是在预先发现在内容A与B之间不发生内部时钟差的情况下,可仅对相似度矩阵上的所有可能直线路径执行搜索。最佳路径搜索部件124产生与最佳相似度路径上的相似度对应的索引的差值i-j,作为同步信息。【同步信息的示例】图9是示出同步信息的示例的视图。如图9A所示,在内容A与B之间的内部时钟差没有发生并且内容A和B二者都没有被编辑的情况下,也就是说,在内容A与B之间的时间差仅由于它们之一的延迟而发生的情况下,产生恒定值作为同步信息。在图9中的示例中,与最佳相似度路径上的相似度对应的索引“i”和“j”之间的差值在任何时间为“80”,并且“80”被产生为任何时间的同步信息。同时,如图9B所示,在内容A与B之间的内部时钟差没有发生并且内容B在途中被编辑的情况下,各个恒定值被产生为编辑点之前的同步信息和编辑点之后的同步信息。在图9中的示例中,在索引“j”为44的块中存在编辑点。因此,尽管在索引“j”在41与44之间的情况下,指示与最佳相似度路径上的相似度对应的索引“i”与“j”之间的差值的同步信息在任何时间为40,但是在索引“j”在85与88之间的情况下,同步信息在任何时间为80。此外,如图9C所示,在发生内容A与B之间的内部时钟差并且内容A和B没有被编辑的情况下,与最佳相似度路径上的相似度对应的索引“i”与“j”之间的差值发生变化以校正内部时钟差。在图9的示例中,尽管在索引“i”为1和2的情况下索引“i”与“j”之间的差为79,但是因为在索引“i”为3的情况下由于内部时钟差累加而导致的同步差异变大,所以索引“i”与“j”之间的差值增加1,变为80。也就是说,索引“j”为82的块中的内容B被剪切。此外,尽管在索引“i”为4的情况下索引“i”与“j”之间的差值仍为80,但是因为在索引“i”为5的情况下由于内部时钟差累加而导致的同步差异变大,所以“i”与“j”之间的差值增加1,变为81。也就是说,索引“j”为85的块中的内容B被剪切。此外,尽管在索引“i”为6的情况下索引“i”与“j”之间的差值仍为81,但是因为在索引“i”为7的情况下由于内部时钟差累加而导致的同步差异变大,所以“i”与“j”之间的差值增加1,变为82。也就是说,索引“j”为88的块中的内容B被剪切。随后,在索引“i”为8的情况下,索引“i”与“j”之间的差值仍为82。因此,“79”被产生为索引“i”为1和2的块中的同步信息,“80”被产生为索引“i”为3和4的块中的同步信息。此外,“81”被产生为索引“i”为5和6的块中的同步信息,“82”被产生为索引“i”为7和8的块中的同步信息。【信号处理装置中的处理】图10是流程图,用于说明图1中的信号处理装置12中的同步信息产生处理。该同步信息产生处理始于从成像装置11输入内容时。此外,对每个内容执行图10的步骤S11至S17中的处理。在图10的步骤S11中,频带划分部件101使用窗口函数将从图1的成像装置11供给的内容的声学数据划分为大约几十毫秒至一百毫秒的时段。在步骤S12中,频带划分部件101使用多个带通滤波器将时段的声学数据划分为四个频带。频带划分部件101将频带的声学数据分别供给到周期性检测部件102-1至102-4。在步骤S13中,周期性检测部件102通过计算从频带划分部件101供给的预定频带中的每一时段的声学数据的自相关函数x(b,τ)来提取时段的周期性信息,并将周期性信息供给到周期性强度检测部件103。这里,每一个周期性检测部件102执行步骤S13中的处理。在步骤S14中,周期性强度检测部件103基于从周期性检测部件102供给的时段的周期性信息来计算每一时段的周期性强度。随后,周期性强度检测部件103根据每一时段的周期性强度是否超过阈值来将它二元化,产生每一时段的周期性强度信息并将其供给到周期性信息累加部件104。这里,每一个周期性强度检测部件103执行步骤S14中的处理。在步骤S15中,利用以上方程式1,周期性信息累加部件104基于从周期性检测部件102供给的时段的周期性信息和从周期性强度检测部件103供给的每一时段的周期性强度信息来执行周期性累加处理。周期性信息累加部件104将时段的周期性信息的总和S(τ)供给到峰值检测部件105,总和S(τ)是作为周期性累加处理的结果而获取的。在步骤S16中,峰值检测部件105对每个时段中从周期性信息累加部件104供给的周期性信息的总和S(τ)执行峰值检测,并产生峰值信息p(τ)。在步骤S17中,峰值检测部件105将时段的峰值信息p(τ)作为时段的特征量时序数据供给到图1中的特征量存储部件22。在步骤S18中,同步信息产生部件23的块累加部件121读取在步骤S17中存储在图1中的特征量存储部件22-1中的内容A的时段的特征量时序数据。此外,块累加部件122读取在步骤S17中存储在图1中的特征量存储部件22-2中的内容B的时段的特征量时序数据。在步骤S19中,利用连续的(例如,64个)时段作为一个块,块累加部件121以块为单位对内容A的时段的特征量时序数据进行累加,并将结果供给到相似度计算部件123。此外,利用连续的(例如,64个)时段作为一个块,块累加部件122以块为单位对内容B的时段的特征量时序数据进行累加,并将结果供给到相似度计算部件123。在步骤S20中,相似度计算部件123计算从块累加部件121供给的块单位特征量的时序数据与从块累加部件122供给的块单位特征量的时序数据之间的相似度,并产生表示这些块之间的相似度的相似度矩阵。相似度计算部件123将相似度矩阵供给到最佳路径搜索部件124。在步骤S21中,最佳路径搜索部件124从相似度计算部件123供给的相似度矩阵搜索最佳相似度路径,并产生同步信息。随后,最佳路径搜索部件124输出同步信息。如上所述,在信号处理系统10中,因为信号处理装置11基于周期性信息来产生同步信息,所以可以以鲁棒方式产生同步信息。这里,例如,在信号处理系统10之后的部件继续比较内容A和B的播放位置,并利用同步信息检查是否发生同步差异。此外,在发生同步差异的情况下,通过利用同步信息改变内容A和B之一的播放位置,在信号处理系统10之后的该部件校正内容A与B之间的同步差异。此时,如果内容仅被疏化,则因为不连续点出现在疏化点处并且噪声出现,所以期望的是使用仅扭曲时间,而保持稳定的基音的方法。因此,通过校正内容A与B之间的同步差异,在信号处理系统10之后的部件可执行内容A和B的同步编辑,并输出内容A和B之一的声学数据代替另一个的声学数据。<第二实施例>【对信号处理系统的第二实施例的概要的说明】图11是用于说明应用了本公开的信号处理系统的第二实施例的概要的视图。在图11所示的组件中,相同的附图标记被分配给与图1中的组件相同的组件。将充分地省略重复说明。图11中的信号处理系统140的配置与图1的配置的差别在于,新设置了成像装置141,并且代替信号处理装置12设置了信号处理装置142。信号处理系统140产生三个成像装置获取的内容的同步信息。更具体而言,类似于成像装置11,信号处理系统140的成像装置141包括视频摄像机等。成像装置141获取相同事件的动态图像和声音,其不同于成像装置11-1和11-2的动态图像和声音。类似于成像装置11,成像装置141将所得动态图像和声音的内容C发送到信号处理装置142。信号处理装置142包括特征量计算部件21-1、特征量计算部件21-2、特征量计算部件151、特征量存储部件22-1、特征量存储部件22-2、特征量存储部件152和同步信息产生部件153。特征量计算部件151以与图2中的特征量计算部件21相同的方式配置。特征量计算部件151基于成像装置141供给的内容C的声学数据来计算特征量时序数据,并将该时序数据供给到特征量存储部件152。特征量存储部件152包括存储器和硬盘等,并存储从特征量计算部件151供给的内容C的特征量时序数据。同步信息产生部件153从特征量存储部件22-1读取内容A的特征量时序数据,从特征量存储部件22-2读取内容B的特征量时序数据,并从特征量存储部件152读取内容C的特征量时序数据。类似于同步信息产生部件23,同步信息产生部件153基于内容A的特征量时序数据和内容B的特征量时序数据来产生在使内容A和B同步时所使用的同步信息。此外,类似于同步信息产生部件23,同步信息产生部件153基于内容A的特征量时序数据和内容C的特征量时序数据来产生在使内容A和C同步时所使用的同步信息。同步信息产生部件153输出内容A和B的同步信息以及内容A和C的同步信息。此外,同步信息产生部件153可产生除内容A和B的组合以及内容A和C的组合之外其他组合的同步信息。此外,同步信息产生部件153产生内容B和C的同步信息,并将内容B和C的同步信息与A和B的同步信息以及内容A和C的同步信息进行比较,从而提高同步信息的精度。<第三实施例>【信号处理系统的配置示例】图12是用于说明应用了本公开的信号处理系统的第三实施例的概要的视图。这里,在图12中所示的组件中,相同的附图标记被分配给与图1中的组件相同的组件。将充分地省略重复解释。图12中的信号处理系统370包括成像装置11-1和11-2、信号处理装置371和服务器372。信号处理装置371包括图1中的特征量提取部件21-1和21-2。信号处理装置371基于从成像装置11-1供给的内容A的声学数据来计算特征量时序数据,并基于从成像装置11-2供给的内容B的声学数据来计算特征量时序数据。信号处理装置371将内容A和B的特征量时序数据发送到服务器372。服务器372包括图1中的特征量存储部件22-1和22-2以及同步信息产生部件23。服务器372接收并存储从信号处理装置371发送的内容A的特征量时序数据,并且接收并存储内容B的特征量时序数据。服务器372读取内容A的特征量时序数据和内容B的特征量时序数据,基于内容A的特征量时序数据和内容B的特征量时序数据来产生同步信息,并输出同步信息。此外,信号处理装置371和服务器372的功能的分配不限于以上分配。例如,信号处理装置371可存储内容A和B的时序数据,并且读取它们并将它们发送到服务器372。此外,在第一实施例至第三实施例中,尽管频带划分部件101将声学数据划分为四个频带,但是划分数量不限于四个,并且可以不对声学数据进行频带划分。【特征量计算部件的配置示例】图13示出不对声学数据进行频带划分的情况下的特征量计算部件21的配置示例。图13中的特征量计算部件21包括频带划分部件391、周期性检测部件392和峰值检测部件393。频带划分部件391使用窗口函数将图1中的成像装置11供给的内容的声学数据划分为大约几十毫秒至一百毫秒的时段,并将这些时段的声学数据供给到周期性检测部件392。周期性检测部件392通过计算从频带划分部件391供给的时段的声学数据的自相关函数x(b,τ)来提取时段的周期性信息。周期性检测部件392将所提取的时段的周期性信息供给到峰值检测部件393。峰值检测部件393对每个时段中从周期性检测部件392供给的周期性信息执行峰值检测,并产生峰值信息p(τ)。这里,在峰位置τp中的周期性信息小于预定阈值的情况下,峰值检测部件393可将峰值位置τp中的峰值信息P(τp)设置为0。通过这种方式,可降低峰值信息P(τp)的噪声。峰值检测部件393将时段的峰值信息P(τ)作为时段的特征量时序数据输出。这里,作为特征量,除了峰值信息P(τ)之外,还可采用诸如声学数据电平和声学数据电平的上升位置等的信息。例如,在使用声学数据电平信息作为特征量的情况下,将声学数据划分为几十毫秒的时段,并计算每一时段的声学数据的RMS(均方根)值或平均值作为特征量时序数据。随后,计算特征量时序数据之间的互相关函数(mutualcorrelationfunction)作为相似度。这里,在这种情况下,被带通滤波器划分为多个频带的声学数据的电平信息可用作特征量。在这种情况下,对每一个频带计算互相关函数,并计算这些频带的互相关函数的总和作为相似度。此外,在例如声学数据电平的上升位置的信息用作特征量的情况下,特征量是这样的信息,在该信息中,声学数据的上升位置中的值(即,具有等于或大于阈值的差值的位置中的值)为1,并且其他位置中的值为0。此外,作为特征量,可单独或组合使用GeorgeTzanetakis和PerryCook在Musicalgenreclassificationofaudiosignals,IEEETransactionsonSpeechandAudioProcessing,10(5):293-302,July2002中公开的特征量之中的过零率、频谱通量、频谱质心或衰减(rolloff)。在组合使用这些特征量的情况下,计算每个特征量的互相关函数作为相似度。此外,作为特征量,代替以上信息本身,可使用这样的信息,在该信息中,在该信息的峰值位置之中(即,在微分值从正值变为负值的位置之中),具有等于或大于阈值的电平的位置中的值为1,其他位置中的值为0。此外,第一实施例至第三实施例中的获取内容的装置可以是至少获取声学数据的装置,并且诸如IC(集成电路)记录器的记录装置是可行的。<对应用本公开的计算机的说明>【计算机的配置示例】信号处理装置或服务器的以上一系列处理可用硬件或软件来执行。在用软件执行一系列处理的情况下,形成该软件的程序被安装在计算机中。这里,计算机包括可通过安装各种程序来执行各种功能的安装在专用硬件中的计算机或通用个人计算机。图14是框图,示出通过程序执行以上一系列处理的计算机的硬件的配置示例。在计算机中,CPU(中央处理单元)501、ROM(只读存储器)502和RAM(随机存取存储器)503通过总线504彼此连接。总线504进一步与输入/输出接口505连接。输入/输出接口505与输入部件506、输出部件507、存储部件508、通讯部件509和驱动器510连接。输入部件506包括键盘、鼠标和麦克风等。输出部件507包括显示器和扬声器等。存储部件508包括硬盘和非易失性存储器等。通信部件509包括网络接口等。驱动器510驱动可移除介质511(诸如磁盘、光盘、磁光盘和半导体存储器)。在如上配置的计算机中,例如,CPU501通过输入/输出接口505和总线504将存储在存储部件508中的程序加载到RAM503上,并执行程序,从而执行以上一系列处理。计算机(即,CPU501)执行的程序可记录在可移除介质511(诸如封装介质)中并被提供。此外,所述程序可通过有线或无线传输介质(诸如局域网、因特网和数字卫星广播)提供。在计算机中,通过将可移除介质511连接到驱动器510,可通过输入/输出接口505将程序安装在存储部件508中。此外,可通过有线或无线传输介质在通信部件509中接收程序,并将其安装在存储部件508中。另外,可预先将程序安装在ROM502或存储部件508中。此外,计算机执行的程序可以是顺着本说明书中所说明的顺序按照时间顺序执行处理的程序,或者可以是并行地或者按所请求的时序(诸如执行调用的时间)执行的程序。此外,在本说明书中,系统表示多个组件(诸如装置和模块(即,部件))的集合,并且所有组件是否在相同机架中并不重要。因此,容纳在不同机架中并通过网络连接的多个装置和其中多个模块容纳在一个机架中的一个装置等价于系统。本领域技术人员应理解,可根据设计要求和其他因素而进行各种修改、组合、子组合和变更,只要它们在所附权利要求或其等价物的范围内。例如,在根据第一实施例的信号处理系统10和根据第三实施例的信号处理系统370中,成像装置的数量可以是三个或更多个。此外,在根据第一实施例的信号处理系统10和根据第二实施例的信号处理系统140中,特征量时序数据可以不存储在信号处理装置中,而是可存储在例如信号处理装置外部的服务器中。另外,本技术还可如下进行配置。(1)一种信号处理装置,包括:第一周期性检测部件,检测第一内容中包括的声音信号的周期性信息,作为第一周期性信息;第二周期性检测部件,检测第二内容中包括的声音信号的周期性信息,作为第二周期性信息;相似度计算部件,计算第一周期性检测部件检测的第一周期性信息与第二周期性检测部件检测的第二周期性信息之间的相似度;以及同步信息产生部件,基于相似度计算部件计算的相似度来产生在使第一内容和第二内容同步时使用的同步信息。(2)根据(1)所述的信号处理装置,还包括:第一频带划分部件,对第一内容中包括的声音信号执行频带划分;第二频带划分部件,对第二内容中包括的声音信号执行频带划分;第一周期性信息累加部件,对所有频带的第一周期性信息进行累加;以及第二周期性信息累加部件,对所有频带的第二周期性信息进行累加,其中,第一周期性检测部件检测每个频带中第一频带划分部件对其进行了频带划分的声音信号的周期性信息,作为第一周期性信息;其中,第二周期性检测部件检测每个频带中第二频带划分部件对其进行了频带划分的声音信号的周期性信息,作为第二周期性信息;其中,第一周期性信息累加部件对第一周期性检测部件检测的所有频带的第一周期性信息进行累加;且其中,第二周期性信息累加部件对第二周期性检测部件检测的所有频带的第二周期性信息进行累加。(3)根据(2)所述的信号处理装置,还包括:第一周期性强度检测部件,检测第一周期性检测部件检测的第一周期性信息的强度;以及第二周期性强度检测部件,检测第二周期性检测部件检测的第二周期性信息的强度,其中,第一周期性信息累加部件基于第一周期性强度检测部件检测的第一周期性信息的强度来对所有频带的第一周期性信息进行累加;且其中,第二周期性信息累加部件基于第二周期性强度检测部件检测的第二周期性信息的强度来对所有频带的第二周期性信息进行累加。(4)根据(1)至(3)中的任一项所述的信号处理装置,其中,相似度计算部件计算第一周期性信息与第二周期性信息之间每一时段的相似度;且其中,同步信息产生部件基于每一时段的相似度来产生每一时段的同步信息。(5)根据(4)所述的信号处理装置,其中,相似度计算部件产生相似度矩阵,所述相似度矩阵指示第一周期性信息与第二周期性信息之间的每一个时段的相似度;且其中,同步信息产生部件产生指示相似度矩阵上的最佳路径的信息作为同步信息。(6)根据(1)至(5)中的任一项所述的信号处理装置,其中,第一周期性信息是第一内容中包括的声音信号的自相关函数;且其中,第二周期性信息是第二内容中包括的声音信号的自相关函数。(7)一种信号处理装置中的信号处理方法,包括:第一周期性检测步骤,检测第一内容中包括的声音信号的周期性信息作为第一周期性信息;第二周期性检测步骤,检测第二内容中包括的声音信号的周期性信息作为第二周期性信息;相似度计算步骤,计算通过第一周期性检测步骤中的处理检测的第一周期性信息与通过第二周期性检测步骤中的处理检测的第二周期性信息之间的相似度;以及同步信息产生步骤,基于通过相似度计算步骤中的处理计算的相似度来产生在使第一内容和第二内容同步时所使用的同步信息。(8)一种程序,使计算机用作:第一周期性检测部件,检测第一内容中包括的声音信号的周期性信息作为第一周期性信息;第二周期性检测部件,检测第二内容中包括的声音信号的周期性信息作为第二周期性信息;相似度计算部件,计算第一周期性检测部件检测的第一周期性信息与第二周期性检测部件检测的第二周期性信息之间的相似度;以及同步信息产生部件,基于相似度计算部件计算的相似度来产生在使第一内容和第二内容同步时所使用的同步信息。(9)一种电子器件,包括:第一周期性检测部件,检测第一内容中包括的声音信号的周期性信息作为第一周期性信息;第二周期性检测部件,检测第二内容中包括的声音信号的周期性信息作为第二周期性信息;相似度计算部件,计算第一周期性检测部件检测的第一周期性信息与第二周期性检测部件检测的第二周期性信息之间的相似度;以及同步信息产生部件,基于相似度计算部件计算的相似度来产生在使第一内容和第二内容同步时所使用的同步信息。(10)一种信号处理装置,包括:接收部件,接收与第一内容中包括的声音信号的周期性信息对应的第一周期性信息和与第二内容中包括的声音信号的周期性信息对应的第二周期性信息;相似度计算部件,计算接收部件接收的第一周期性信息与第二周期性信息之间的相似度;以及同步信息产生部件,基于相似度计算部件计算的相似度来产生在使第一内容和第二内容同步时所使用的同步信息。(11)一种信号处理装置中的信号处理方法,包括:接收步骤,接收与第一内容中包括的声音信号的周期性信息对应的第一周期性信息和与第二内容中包括的声音信号的周期性信息对应的第二周期性信息;相似度计算步骤,计算通过接收步骤中的处理接收的第一周期性信息与第二周期性信息之间的相似度;以及同步信息产生步骤,基于通过相似度计算步骤中的处理计算的相似度来产生在使第一内容和第二内容同步时所使用的同步信息。(12)一种程序,使计算机用作:接收部件,接收与第一内容中包括的声音信号的周期性信息对应的第一周期性信息和与第二内容中包括的声音信号的周期性信息对应的第二周期性信息;相似度计算部件,计算接收部件接收的第一周期性信息与第二周期性信息之间的相似度;以及同步信息产生部件,基于相似度计算部件计算的相似度来产生在使第一内容和第二内容同步时所使用的同步信息。(13)一种电子器件,包括:接收部件,接收与第一内容中包括的声音信号的周期性信息对应的第一周期性信息和与第二内容中包括的声音信号的周期性信息对应的第二周期性信息;相似度计算部件,计算接收部件接收的第一周期性信息与第二周期性信息之间的相似度;以及同步信息产生部件,基于相似度计算部件计算的相似度来产生在使第一内容和第二内容同步时所使用的同步信息。(14)一种信号处理系统,包括:第一周期性检测部件,检测第一内容中包括的声音信号的周期性信息作为第一周期性信息;第二周期性检测部件,检测第二内容中包括的声音信号的周期性信息作为第二周期性信息;相似度计算部件,计算第一周期性检测部件检测的第一周期性信息与第二周期性检测部件检测的第二周期性信息之间的相似度;以及同步信息产生部件,基于相似度计算部件计算的相似度来产生在使第一内容和第二内容同步时所使用的同步信息。(15)一种信号处理系统中的信号处理方法,包括:第一周期性检测步骤,检测第一内容中包括的声音信号的周期性信息作为第一周期性信息;第二周期性检测步骤,检测第二内容中包括的声音信号的周期性信息作为第二周期性信息;相似度计算步骤,计算通过第一周期性检测步骤中的处理检测的第一周期性信息与通过第二周期性检测步骤中的处理检测的第二周期性信息之间的相似度;以及同步信息产生步骤,基于通过相似度计算步骤中的处理计算的相似度来产生在使第一内容和第二内容同步时所使用的同步信息。(16)一种信号处理装置,包括:第一频带划分部件,对第一内容中包括的声音信号执行频带划分;第一周期性检测部件,检测第一频带划分部件对其进行了频带划分的声音信号的周期性信息作为第一周期性信息;第一周期性强度检测部件,检测第一周期性检测部件检测的第一周期性信息的强度;第一周期性信息累加部件,基于第一周期性强度检测部件检测的第一周期性信息的强度来对所有频带的第一周期性信息进行累加;第二频带划分部件,对第二内容中包括的声音信号执行频带划分;第二周期性检测部件,检测第二频带划分部件对其进行了频带划分的声音信号的周期性信息作为第二周期性信息;第二周期性强度检测部件,检测第二周期性检测部件检测的第二周期性信息的强度;第二周期性信息累加部件,基于第二周期性强度检测部件检测的第二周期性信息的强度来对所有频带的第二周期性信息进行累加;相似度计算部件,计算第一周期性信息累加部件所累加的第一周期性信息与第二周期性信息累加部件所累加的第二周期性信息之间的相似度;以及同步信息产生部件,基于相似度计算部件计算的相似度来产生在使第一内容和第二内容同步时所使用的同步信息。本公开包含与2012年2月27日向日本专利局提交的日本优先权专利申请JP2012-039765中公开的主题相关的主题,该专利申请的全部内容特此通过引用并入。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1