专利名称：信息处理设备、信息处理方法和程序的制作方法
技术领域：
本发明涉及信息处理设备，具体涉及用于检测运动图像中的具体场景的信息处理设备和信息处理方法，以及用于在计算机上执行该方法的程序。
背景技术：
近年来，当观看电视广播的记录的运动图像内容时只复制和欣赏希望的部分的人有所增加。为此，已提出了多种具有自动提取用户希望的部分的功能的信息处理设备。例如，已提出了一种基于构成运动图像内容的声音数据来检测运动图像内容中的高潮场景的信号处理设备(例如，参见日本未审查专利申请公开2004-191780号)。该信号处理设备提取这样的部分，其中在预定时间或更长时间内，声音数据中的信号幅度持续较大，并且该信号处理设备基于所提取的部分的信号幅度和声音质量来确定所提取的部分是否为高潮。
发明内容
根据上述信号处理设备，可以通过检测由观众产生的声音(高潮声音)来自动检测许多事件中的重要场景。以这种方式，在上述信号处理设备中，可以检测由观众加强的部分(重要场景)。 然而，在上述信号处理设备中，当进行其中上升到高潮和安静下来的过程在比赛过程中被重复的特定的体育项目时，难以提取部分。例如，如果一个体育项目是运动图像内容，该体育项目的进行在连续对打过程中由观众观看，这种信号处理设备可能只检测运动员在完成动作之后得分的场景。希望适当地检测特定场景。根据本发明的一个实施例，提供一种信息处理设备，包括改变点检测单元，其检测运动图像的改变点；转变检测单元，其检测包括在构成运动图像的多个图像中的对象的转变，该运动图像被包括在所检测的改变点中的两个邻近的改变点之间；组成相似度信息生成单元，其基于构成包括在改变点之间的运动图像的图像的组成的特征量来生成指示运动图像的组成与特定场景的组成之间的相似度的组成相似度信息；声音相似度信息生成单元，其基于与包括在改变点之间的运动图像相关的声音数据的特征量来生成指示声音数据与特定场景的声音数据之间的相似度的声音相似度信息；以及确定单元，其基于所检测的转变、所生成的组成相似度信息和所生成的声音相似度信息来确定包括在改变点之间的运动图像是否为对应于特定场景的运动图像，并提供一种信息处理方法以及程序。通过该配置，基于对象的转变、组成相似度信息和声音相似度信息来确定包括在改变点之间的运动图像是否为对应于特定场景的运动图像。确定单元可以确定作为特定体育项目的正在进行的部分的在进行部分为特定场景。通过该配置，确定体育项目的正在进行的部分是否为在进行部分。确定单元可以包括评估值生成单元，其基于所检测的转变、所生成的组成相似度信息和所生成的声音相似度信息来生成用于评估包括在改变点之间的运动图像的评估值； 以及评估值确定单元，其将评估值与阈值比较，并基于该比较结果进行确定。通过该配置， 通过包括在改变点之间的运动图像的评估值来确定其是否为对应于特定场景的运动图像， 该评估值是基于对象的转变、组成相似度信息和声音相似度信息生成的。组成相似度信息生成单元可以使用构成包括在改变点之间的运动图像的图像中的每个的预定区域的亮度与另一区域的亮度的比较结果来生成组成相似度信息作为该组成的特征量。通过该配置，使用构成包括在改变点之间的运动图像的图像中的每个的预定区域的亮度与另一区域的亮度的比较结果来生成组成相似度信息作为该组成的特征量。组成相似度信息生成单元可以使用构成包括在改变点之间的运动图像的图像中的每个的预定区域与另一区域之间的特定方向的对称度来生成组成相似度信息作为该组成的特征量。通过该配置，使用构成包括在改变点之间的运动图像的图像中的每个的预定区域与另一区域之间的特定方向的对称度的比较结果来生成组成相似度信息作为该组成的特征量。组成相似度信息生成单元可以使用构成包括在改变点之间的运动图像的图像中的每个的预定区域与另一区域之间的亮度差来生成组成相似度信息作为该组成的特征量。 通过该配置，使用构成包括在改变点之间的运动图像的图像中的每个的预定区域与另一区域之间的亮度值的比较结果来生成组成相似度信息作为该组成的特征量。组成相似度信息生成单元可以将构成包括在改变点之间的运动图像的图像中的每个分离成多个块，并使用每个块的亮度的平均值来生成组成相似度信息作为该组成的特征量。通过该配置，将构成包括在改变点之间的运动图像的图像中的每个分离成多个块，并使用每个块的亮度的平均值来生成组成相似度信息作为该组成的特征量。转变检测单元可以检测成像设备在捕捉包括在改变点之间的运动图像时的水平方向运动作为该对象的转变。通过该配置，检测成像设备在捕捉包括在改变点之间的运动图像时的水平方向运动作为该对象的转变。转变检测单元可以检测成像设备在捕捉包括在改变点之间的运动图像时的竖直方向运动作为该对象的转变。通过该配置，检测成像设备在捕捉包括在改变点之间的运动图像时的竖直方向运动作为该对象的转变。转变检测单元可以将包括在改变点之间的运动图像的对象图像与在时间轴上邻近或接近该对象图像的另一图像进行比较，并基于该比较结果检测对象的转变。通过该配置，将包括在改变点之间的运动图像的对象图像与在时间轴上邻近或接近该对象图像的另一图像进行比较，并基于该比较结果检测对象的转变。可以包括优先级应用单元，其基于所检测的转变、所生成的组成相似度信息和所生成的声音相似度信息将包括在改变点之间的被确定为对应于特定场景的运动图像设置为特定运动图像，并将特定运动图像的优先级应用到该特定运动图像。通过该配置，优先级被应用到被确定为对应于特定场景的运动图像的运动图像。根据本发明的另一个实施例，提供一种信息处理设备，包括改变点检测单元，其检测运动图像的改变点；转变检测单元，其检测包括在构成运动图像的多个图像中的对象的转变，该运动图像被包括在所检测的改变点中的两个邻近的改变点之间；组成相似度信息生成单元，其基于构成包括在改变点之间的运动图像的图像的组成的特征量来生成指示运动图像的组成与特定场景的组成之间的相似度的组成相似度信息；声音相似度信息生成单元，其基于与包括在改变点之间的运动图像相关的声音数据的特征量来生成指示声音数据与特定场景的声音数据之间的相似度的声音相似度信息；确定单元，其基于所检测的转变、所生成的组成相似度信息和所生成的声音相似度信息来确定包括在改变点之间的运动图像是否为对应于特定场景的运动图像；以及显示控制单元，其基于确定单元的确定结果来进行控制，使得被确定为对应于特定场景的包括在改变点之间的运动图像被显示在显示单元上。通过该配置，基于对象的转变、组成相似度信息和声音相似度信息来确定包括在改变点之间的运动图像是否为对应于特定场景的运动图像，并且显示被确定为对应于特定场景的运动图像。根据本发明的实施例，可以适当地检测特定场景并获得很好的效果。
图1是示出根据本发明的第一实施例的信息处理设备的功能配置示例的框图；图2是示出根据本发明的第一实施例的信息处理单元的功能配置示例的框图；图3是示出本发明的第一实施例中所分析的运动图像内容和该运动图像的剪切改变点的示例的示意图；图4A至图4C是示出在根据本发明的第一实施例的水平方向运动分析单元中分析的用于捕捉运动图像内容的摄像机的水平方向运动的示例的示意图；图5A至图5C是示出在根据本发明的第一实施例的竖直方向运动分析单元中分析的用于捕捉运动图像内容的摄像机的竖直方向运动的示例的示意图；图6是示出根据本发明的第一实施例的组成分析单元的图像分离的示例的示意图；图7A和图7B是示出根据本发明的第一实施例的亮暗分析单元的图像亮暗分析的示例的示意图；图8A和图8B是示出根据本发明的第一实施例的对称分析单元的图像对称分析的示例的示意图；图9是示出由根据本发明的第一实施例的幅度分析单元和谱分析单元分析的排球广播的在进行部分中的欢呼的改变的示例的示意图；图IOA至图IOE是示出由根据本发明的第一实施例的部分特征量生成单元基于每个剪切部分的图像数据的特征量生成的示例的示意图；图11是示出由根据本发明的第一实施例的部分特征量生成单元基于每个剪切部分的声音数据的特征量生成的示例的示意图；图12A和图12B是示出由根据本发明的第一实施例的输出控制单元再现的运动图像内容的显示示例的图；图13是示出使用根据本发明的第一实施例的在进行部分属性信息来选择运动图像内容的图像的示例的示意图；图14是图解根据本发明的第一实施例的信息处理设备的属性信息生成过程的示例的流程图；图15是图解根据本发明的第一实施例的图像数据处理的示例的流程图16是图解根据本发明的第一实施例的声音数据处理的示例的流程图；图17是图解根据本发明的第一实施例的部分分析过程的示例的流程图；图18是示出根据本发明的第二实施例的信息处理单元的功能配置示例的框图；图19是示出根据本发明的第二实施例的重要度计算单元基于欢呼的幅度和长度来生成重要度的示例的示意图。
具体实施例方式下面将说明用于实现本发明的模式(此后称为实施例)。将以以下顺序给出说明。1.第一实施例(信息处理控制检测排球广播的在进行部分的示例)2.第二实施例(信息处理控制对在进行部分添加重要度的示例)1.第一实施例信息处理设备的功能配置示例图1是示出根据本发明的第一实施例的信息处理设备100的功能配置示例的框图。信息处理设备100包括输入单元110、操作接收单元120、记录控制单元130、存储单元 140、信息处理单元200、输出控制单元150、显示单元160和声音输出单元170。信息处理设备100例如通过用于记录或显示外部输入的运动图像内容的图像观看设备(例如，内置硬盘的电视机)实现。输入单元110接收运动图像内容。例如，通过输入单元110输入电视广播的广播信号、所记录的广播信号的运动图像等。输入单元110通过信号线119将输入的运动图像内容提供给信息处理单元200和记录控制单元130。操作接收单元120接收来自用户的操作输入，并根据操作输入将操作信号提供给信息处理设备100的各单元。操作接收单元120例如接收用于开始对在进行部分的检测的操作，并将关于检测开始的信号提供给信息处理单元200。操作接收单元120接收用于显示所检测的在进行部分的操作，并将用于控制显示的信号(显示控制信号)提供给输出控制单元150。信息处理单元200进行用于检测运动图像内容的特定场景(这里指在进行部分) 的信息处理。信息处理单元200基于从输入单元110提供的运动图像内容生成指示在进行部分的属性信息(在进行部分属性信息)，并将所生成的在进行部分属性信息提供给记录控制单元130。将参照图2至图10说明信息处理单元200。记录控制单元130执行存储单元140中的运动图像内容和在进行属性信息的记录控制。当从信息处理单元200提供了在进行部分属性信息时，记录控制单元130将从输入单元110提供的运动图像内容与在进行部分属性信息相关联，并在存储单元140中记录运动图像内容。存储单元140记录从记录控制单元130提供的运动图像内容和在进行部分属性信息。存储单元140包括运动图像内容存储单元141和属性信息存储单元142。运动图像内容存储单元141记录运动图像内容，并将所记录的运动图像内容提供给输出控制单元150。属性信息存储单元142记录在进行部分属性信息，并将所记录的在进行部分属性信息提供给输出控制单元150。
输出控制单元150控制对用户输出所观看的图像以及声音。输出控制单元150将构成从运动图像内容存储单元141提供的运动图像内容的图像数据提供给显示单元160。 另外，输出控制单元150将构成从运动图像内容存储单元141提供的运动图像内容的声音数据提供给声音输出单元170。在将在进行部分与运动图像内容相关地显示的情况下，输出控制单元150基于从属性信息存储单元142提供的在进行部分属性信息来生成图像，并将关于所生成的图像的图像数据提供给显示单元160。将参照图12和图13说明基于在进行部分属性信息生成的图像的示例。显示单元160基于从输出控制单元150提供的图像数据显示各种图像。显示单元 160例如是通过彩色液晶板实现的。显示单元160例如显示用于图解地显示运动图像内容的在进行部分的位置的画面等。声音输出单元170基于从输出控制单元150提供的声音数据输出声音。也就是说，信息处理设备100检测部分(时间轴上的部分)，在该部分中，所取得的体育项目的运动图像内容(运动图像文件)中比赛正在进行(在进行)。虽然用于记录或显示输入的运动图像内容的图像观看设备被描述为信息处理设备100，但本发明不限于此。例如，可以考虑用于关于已保持的运动图像内容(诸如数字通用盘(DVD))生成在进行部分属性信息(例如，个人计算机等的运动图像再现)的设备。可以考虑用于记录广播的设备，诸如DVD记录器。信息处理单元的功能配置示例图2是示出根据本发明的第一实施例的信息处理单元200的功能配置示例的框图。信息处理单元200包括信号分离单元210、图像数据缓冲器220、剪切改变分析单元230、运动分析单元240和组成分析单元270。信息处理单元200还包括声音数据缓冲器 310、幅度分析单元320、谱分析单元330、图像特征量缓冲器340、部分特征量生成单元350、 部分评估单元360以及属性信息生成单元370。信号分离单元210将从输入单元110提供的运动图像内容分离为图像数据和声音数据。信号分离单元210将所分离的图像数据提供给图像数据缓冲器220。信号分离单元 210将所分离的声音数据提供给声音数据缓冲器310。图像数据缓冲器220保持图像数据。图像数据缓冲器220以帧单元(图像单元) 保持图像数据。图像数据缓冲器220例如通过先进先出(FIFO)型队列实现，该队列用于在一个帧被输入时输出所保持的帧中输入顺序最早的(时间上最远的)帧。图像数据缓冲器 220将所保持的图像提供给剪切改变分析单元230、运动分析单元240和组成分析单元270。剪切改变分析单元230分析对象图像是否为剪切改变点(改变点)。剪切改变分析单元230例如将分析对象的图像(分析对象图像)与时间轴上的先前图像(邻近图像) 进行比较，并检测快速改变的图像以分析对象图像是否为剪切改变点。作为通过剪切改变分析单元230检测剪切改变的方法，例如，使用图像间的直方图相似度和空间相关图像相似度来确定剪切改变的方法(例如，参见日本未审查专利申请公开2008-83894号)。在该方法中，基于分析对象图像和邻近图像之间的直方图相似度和空间相关图像相似度来确定分析对象图像和邻近图像之间的图像改变是否为剪切改变。剪切改变分析单元230生成指示分析对象图像是否为剪切改变点的信息(剪切改变特征量)。剪切改变分析单元230将所生成的剪切改变特征量提供给图像特征量缓冲器340的剪切改变缓冲器235。将参照图 3说明生成剪切改变特征量的示例。剪切改变分析单元230是权利要求中所述的改变点检测单元的一个示例。运动分析单元240分析用于捕捉图像的摄像机的运动。运动分析单元240例如将分析对象图像与邻近图像进行比较，计算这两个图像之间的改变量，分析摄像机的运动，并生成关于运动的信息(运动特征量)。也就是说，运动分析单元240通过分析对象图像和邻近图像之间的比较来检测对象的转变，从而分析摄像机的运动。如果分析对象图像的运动接近于在进行部分的图像的运动，则运动特征量为相似值，因此指示分析对象图像和在进行部分的图像组成之间的相似度。作为通过运动分析单元240分析运动的示例，可应用这样的方法重叠分析对象图像和邻近图像，同时偏移像素并获得相关为最高时的偏移量。作为通过运动分析单元240分析运动的方法，可以应用使用通过块匹配方法等计算的运动向量的方法。运动分析单元240包括用于分析水平方向的运动的水平方向运动分析单元250， 和用于分析竖直方向的运动的竖直方向运动分析单元260。运动分析单元240是权利要求中所述的转变检测单元的一个示例。水平方向运动分析单元250分析用于捕捉图像的摄像机(成像设备)的水平方向的运动。也就是说，水平方向运动分析单元250检测由摄像机的水平方向的运动引起的对象的转变，从而分析摄像机的水平方向的运动。水平方向运动分析单元250基于分析结果生成指示分析对象图像的水平方向的运动量的信息(水平方向运动特征量)。水平方向运动分析单元250将所生成的水平方向运动特征量提供给图像特征量缓冲器340的水平方向运动缓冲器255。将参照图4A至图4C说明生成水平方向运动特征量的示例。竖直方向运动分析单元260分析用于捕捉图像的摄像机的竖直方向的运动。也就是说，竖直方向运动分析单元260检测由摄像机的竖直方向的运动引起的对象的转变，从而分析摄像机的竖直方向的运动。竖直方向运动分析单元260基于分析结果生成指示分析对象图像的竖直方向的运动量的信息(竖直方向运动特征量)。竖直方向运动分析单元 260将所生成的竖直方向运动特征量提供给图像特征量缓冲器340的竖直方向运动缓冲器 265.将参照图5A至图5C说明生成竖直方向运动特征量的示例。组成分析单元270对分析对象图像的组成进行分析。例如，组成分析单元270分析分析对象图像的组成，并将分析对象图像分离为多个块。组成分析单元270计算每个块的亮度均值，并将每个块的亮度均值加权相加，从而计算关于图像的组成的信息(组成特征量)。当分析对象图像的组成接近在进行部分的图像的组成时，组成特征量为相似值，因此指示分析对象图像与在进行部分的图像的组成之间的相似度。组成分析单元270包括用于分析分析对象图像的亮和暗的亮暗分析单元280和用于分析分析对象图像的图像对称的对称分析单元四0。组成分析单元270是权利要求中所述的组成相似度信息生成单元的一个示例。亮暗分析单元280分析分析对象图像的亮和暗的组成。亮暗分析单元280使用分析对象图像的亮度生成关于分析对象图像的上部和下部之间的对比度的信息(亮暗特征量)。亮暗分析单元观0比较分析对象图像的预定区域(上部)的亮度和另一区域(下部) 的亮度，从而生成亮暗特征量。也就是说，亮暗分析单元280使用分析对象图像的预定区域的亮度与另一区域的亮度之间的差(对比度)作为组成特征量。亮暗分析单元280将所生成的亮暗特征量提供给图像特征量缓冲器340的亮暗缓冲器观5。将参照图7A和图7B说明亮暗特征量。对称分析单元290分析分析对象图像的图像对称的组成。对称分析单元290使用分析对象图像的亮度生成对称特征量，该对称特征量是关于分析对象图像的左右对称的信息。也就是说，对称分析单元290基于分析对象图像的特定方向(左和右)上的对称度生成对称特征量。也就是说，对称分析单元290使用分析对象图像的特定方向上的对称度生成对称特征量作为组成特征量。对称分析单元290将所生成的对称特征量提供给图像特征量缓冲器；340的对称缓冲器四5。将参照图8A和图8B说明对称特征量。声音数据缓冲器310保持声音数据。声音数据缓冲器310在一个样本单元(一个帧周期的声音数据)中保持声音数据。声音数据缓冲器310例如通过先进先出(FIFO)型队列实现，该队列用于在一个样本被输入时输出所保持的样本中输入顺序最早的(时间上最远的)样本。声音数据缓冲器310将所保持的声音数据提供给幅度分析单元320和谱分析单元330。幅度分析单元320分析声音数据的声音强度。幅度分析单元320基于一个样本的声音数据分析对应于该样本的图像的声音强度。幅度分析单元320例如在时间上分散一个样本的声音数据，并计算均方根以分析声音强度。幅度分析单元320基于该分析结果生成指示该声音数据(一个样本)的所分析的声音强度的信息(幅度特征量)。幅度分析单元 320将所生成的幅度特征量提供给图像特征量缓冲器340的幅度缓冲器325。将参照图9 说明生成幅度特征量的示例。谱分析单元330分析声音数据的音色。谱分析单元330基于一个样本的声音数据分析对应于该样本的图像的音色。谱分析单元330例如使用一个样本的声音数据计算短时间离散谱以分析音色。谱分析单元330基于该分析结果生成指示声音数据(一个样本)的所分析的音色的信息(谱特征量)。谱分析单元330将所生成的谱特征量提供给图像特征量缓冲器340的谱缓冲器335。将参照图9说明生成谱特征量的示例。幅度分析单元320 和谱分析单元330是权利要求中所述的声音相似度信息生成单元的示例。另外，当分析对象的声音数据具有与在进行部分的声音数据相同的特征时，幅度特征量和谱特征量变为相似值，因此指示两段声音数据之间的相似度。图像特征量缓冲器340保持每个图像的基于图像数据和声音数据生成的特征量。 图像特征量缓冲器340包括剪切改变缓冲器235、水平方向运动缓冲器255、竖直方向运动缓冲器265、亮暗缓冲器观5、对称缓冲器四5、幅度缓冲器325和谱缓冲器335。剪切改变缓冲器235保持从剪切改变分析单元230提供的每个图像(每个帧)的剪切改变特征量。剪切改变缓冲器235将所保持的剪切改变特征量提供给部分特征量生成单元；350。水平方向运动缓冲器255相继地保持从水平方向运动分析单元250提供的每个图像(一个帧)的水平方向运动特征量。水平方向运动缓冲器255将所保持的水平方向运动特征量提供给部分特征量生成单元350。竖直方向运动缓冲器265相继地保持从竖直方向运动分析单元260提供的每个图像的竖直方向运动特征量。竖直方向运动缓冲器265将所保持的竖直方向运动特征量提供给部分特征量生成单元350。
亮暗缓冲器285相继地保持从亮暗分析单元280提供的每个图像的亮暗特征量。 亮暗缓冲器285将所保持的亮暗特征量提供给部分特征量生成单元350。对称缓冲器295相继地保持从对称分析单元290提供的每个图像的对称特征。对称缓冲器295将所保持的对称特征量提供给部分特征量生成单元350。幅度缓冲器325相继地保持从幅度分析单元320提供的一个样本的幅度特征量。 幅度缓冲器325将所保持的幅度特征量提供给部分特征量生成单元350。谱缓冲器335相继地保持从谱分析单元330提供的一个样本的谱特征量。谱缓冲器335将所保持的谱特征量提供给部分特征量生成单元350。部分特征量生成单元350生成每个部分的特征量(部分特征量)。例如，部分特征量生成单元350从图像特征量缓冲器340获得夹在剪切改变点之间的部分的图像的每个特征量。部分特征量生成单元350使用所获取的每个图像的特征量生成指示分析对象的部分是在进行部分的程度的一个值(部分特征值)。部分特征量生成单元350将所生成的部分特征量提供给部分评估单元360。将参照图10和图11说明生成部分特征量的示例。部分评估单元360基于部分特征量评估分析对象的部分是否为在进行部分。部分评估单元360预先保持预定阈值，并将部分特征量的值与该阈值进行比较以评估分析对象的部分。部分评估单元360将关于被评估为在进行部分的部分的信息(例如，部分的开始时间和结束时间)提供给属性信息生成单元370。部分特征量生成单元350和部分评估单元360是权利要求中所述的确定单元的示例。属性信息生成单元370基于从部分评估单元360提供的关于在进行部分的信息生成在进行部分属性信息。例如，属性信息生成单元370生成在进行部分属性信息，包括在进行部分的编号、在进行部分的开始时间和在进行部分的结束时间。属性信息生成单元370 将所生成的在进行部分属性信息通过信号线209提供给记录控制单元130。剪切改变分析单元230的剪切改变分析示例图3是示出本发明的第一实施例中所分析的运动图像内容和该运动图像的剪切改变点的示例的示意图。在本发明的第一实施例中，考虑排球广播节目的在进行部分的检测。在本发明的第一实施例中，从发球通过连续对打到得分的场景(部分)被称为“在进行部分”，而其它场景被称为“非在进行”部分。排球的广播节目包括拍摄进行过程中的球场的图像，拍摄比赛的解说员的图像，比赛的解说的重放的图像，广告图像等。在同一图中，示意性地示出作为分析对象的运动图像内容(运动图像内容400) 以及时间轴上指示由运动图像内容的分析检测到的剪切改变点的位置(剪切改变点信息 510)。运动图像内容400是排球广播节目的运动图像内容。运动图像内容400包括作为在进行部分的两个部分(部分Sl和S3)以及作为非在进行部分的一个部分(部分S3)。在运动图像内容400中，示出了图像(图像410)，其中拍摄进行比赛的球员作为显示部分Sl 的内容的图像(部分Sl内的一个帧的图像(代表图像))。类似地，示出了拍摄比赛的解说员的图像(图像420)作为显示部分S2的内容的图像(部分Sl内的一个帧的图像(代表图像))。剪切改变信息510示意地示出由剪切改变分析单元230分析的剪切改变点在时间轴上的的位置。在剪切改变信息510中，横轴表示运动图像内容的时间，并且示出了由剪切改变分析单元230检测的三个剪切改变点(剪切改变点Cl至C3)。现在，将说明剪切改变分析单元230进行的剪切改变分析。剪切改变分析单元230 将分析对象的图像(第η帧)与时间轴上的先前(第(η-1)帧)进行比较以分析分析对象的帧是否为剪切改变点。例如，剪切改变分析单元230生成分析对象的图像的直方图(针对每个帧提取的亮度信号Y、色差信号(蓝)Cb和色差信号(红)Cr的彩色直方图)以及先前图像的直方图。剪切改变分析单元230计算所生成的直方图之间的差。随后，剪切改变分析单元230基于所生成的直方图之间的差是否超过预定阈值来分析两个图像之间的点是否为剪切改变点。也就是说，如果直方图的差超过预定阈值，则剪切改变分析单元230分析检测到剪切改变点，并将所分析的图像的剪切改变特征量(C[n])的值设置为“1”。相反地，如果直方图之间的差未超过预定阈值，则分析未检测到剪切改变点，并且将所分析的图像的剪切改变特征量(C[n])的值设置为“0”。关于运动图像内容400中具有剪切改变点Cl到C3的图像，生成具有值“1”的剪切改变特征量。相反地，关于其它图像，生成具有值“0”的剪切改变特征量。这样，通过剪切改变分析单元230分析剪切改变点，并且在剪切改变缓冲器235中保持指示分析结果的剪切改变特征量。水平方向运动分析单元250的水平方向运动分析示例图4A至图4C是示出在根据本发明的第一实施例的水平方向运动分析单元250中分析的用于捕捉运动图像内容的摄像机的水平方向运动的示例的示意图。在图4A中，示出了示意性地显示非在进行部分的摄像机运动的两个图像(图像 411和图像412)。在图像412中，示出了摄像机从拍摄图像411的时间到拍摄图像412的时间的水平方向的运动量(水平方向运动量Ml)。现在，将说明在进行部分的摄像机水平方向运动。一般地，在排球的转播中，由于球通过球网来来去去，摄像机进行操作以跟随球到球网的两侧(在图421中，在水平方向) 以捕捉球员。也就是说，在在进行部分中，如果比赛继续，则摄像机连续地左右运动(在水平方向)。关于摄像机的水平方向的运动，左右运动的量成为被球场宽度等限制的预定量。在图4B中，示出了示意性地显示非在进行部分的摄像机水平方向运动的两个图像(图像421和图像422)。在图像421和图像422中，示出进攻场景的转播图像作为非在进行部分的示例。在图像422中，示出了摄像机从捕捉图像421的时间到捕捉图像422的时间的水平方向的运动量(水平方向运动量M2)。现在，将说明非在进行部分的摄像机水平方向运动。在非在进行部分中，例如，存在许多场景，其中以高放大率追踪人或球，诸如拍摄评论员的场景(例如图3中的图像420) 或进攻场景的转播图像(图像421)。在这种场景中，如水平方向运动量M2所表示的，很少发生水平方向的运动。虽然可能存在在水平方向上追踪球的场景(例如当球落到球场的时刻的转播图像)，但不像在在进行部分中那样重复左右运动。在图4C中，示出了运动图像内容的摄像机水平方向运动的特性(水平方向运动特性520)。在水平方向运动特性520中，水平方向表示运动图像内容的时间，竖直方向表示向右方向(正方向)和左方向(负方向)的运动的大小，并且示出了由水平方向运动分析单元250分析的水平方向的运动量。
如水平方向运动特性520所表示的，在进行部分(部分Sl和S3)的水平方向的运动主要在左右方向，并且重复预定量的左右运动。另外，非在进行部分(部分S2)的水平方向运动不频繁并且较小。非在进行部分的水平方向运动没有规律。现在，将说明水平方向运动分析单元250的水平方向运动的分析。水平方向运动分析单元250将分析对象的图像(第η帧)与时间轴上的先前图像(第(η-1)帧)进行比较以分析分析对象的图像的水平方向的运动。例如，水平方向运动分析单元250将分析对象图像与邻近图像重叠，同时偏移像素并将具有最高相关的图像的偏移量设置为分析对象图像的水平方向运动特征量((iH[n])。也就是说，当摄像机的运动增大时，分析对象图像的水平方向运动特征量((iH[n])增大。这样，由水平方向运动分析单元250分析摄像机的水平方向的运动，并且在水平方向运动缓冲器255中保持指示分析结果的水平方向运动特征量。竖直方向运动分析单元沈0的竖直方向运动分析示例图5A至图5C是示出在根据本发明的第一实施例的竖直方向运动分析单元260中分析的用于捕捉运动图像内容的摄像机的竖直方向运动的示例的示意图。与图4A类似，在图5A中，示出了非在进行部分的两个图像(图像411和图像412)。 在图5A的图像412中，示出了摄像机从拍摄图像411的时间到拍摄图像412的时间的竖直方向的运动量(竖直方向运动量Mil)。现在，将说明在进行部分的摄像机竖直方向运动。如参照图4A所描述的，在在进行部分中，摄像机连续地左右运动。然而，在在进行部分中，摄像机基本不上下(竖直方向) 运动，以便以低放大率捕捉较宽范围，从而知道球落到的位置。与图4B类似，在图5B中，示出了非在进行部分的两个图像(图像421和图像422)。 在图5B的图像422中，示出了摄像机从拍摄图像421的时间到拍摄图像422的时间的竖直方向的运动量(竖直方向运动量M12)。现在，将说明非在进行部分的摄像机竖直方向运动。如参照图4B说明的，在非在进行部分中，存在许多场景，其中以高放大率追踪球，诸如进攻场景的转播图像。为此，例如如竖直方向运动量M12所表示的，可能发生较大的竖直方向运动。在图5C中，示出了运动图像内容的摄像机竖直方向运动的特性(竖直方向运动特性530)。在竖直方向运动特性530中，水平方向表示运动图像内容的时间，竖直方向表示向上方向(正方向)和向下方向(负方向)的运动的大小，并且示出了由竖直方向运动分析单元260分析的竖直方向的运动量。如竖直方向运动特性530所表示的，在进行部分(部分Sl和S3)的竖直方向的运动较频繁且较小。非在进行部分(部分S2)的竖直方向运动有时可以较大，但该运动没有规律。现在，由竖直方向运动分析单元260分析竖直方向的运动的方法与图4A至图4C 中所示的由水平方向运动分析单元250分析水平方向的运动的方法相同，因此将省略其说明。也就是说，当摄像机的运动增大时，分析对象图像的竖直方向运动特征量(Gv[n])增大。这样，由竖直方向运动分析单元260分析摄像机的竖直方向的运动，并且在竖直方向运动缓冲器265中保持指示分析结果的竖直方向运动特征量。组成分析单元270的图像分离的示例
图6是示出根据本发明的第一实施例的组成分析单元270的图像分离的示例的示意图。在同一图中，示出了分离对象的图像(图像430)以及当分离对象的图像被分离为 16部分时的16块(块431)。块431中的编号(编号0到编号15)指示块编号。这样，组成分析单元270将图像分离为多个块并随后进行组成分析。亮暗分析单元观0的图像亮暗分析的示例图7A和图7B是示出根据本发明的第一实施例的亮暗分析单元280的图像亮暗分析的示例的示意图。在图7A中，示出了指示在进行部分中的图像的组成的图像(图像415)。在图像 415中，线(线Li)指示图像中捕捉到的观众看台与球场之间的边界，区域(区域Rl)指示捕捉到的观众看台的范围，而区域(区域R2)指示捕捉到的球场的范围。现在，将说明在进行部分的图像的亮和暗的组成。如图像415中所示，在排球广播节目的进行的图像中，球场被捕捉在图像的下部，观众看台也被捕捉在图像的上部。球场的亮度较亮，从而排球的球员容易地进行比赛。相反，由于不需要使观众看台的亮度与球场的亮度一样亮，因此观众看台的亮度比球场的亮度暗。也就是说，在在进行部分的图像的亮和暗组成中，图像的上部由于低亮度而成为暗图像，而图像的下部由于高亮度而成为亮图像。在图7B中，示出了构成运动图像内容的图像的亮暗特性(亮暗特性M0)。在亮暗特性540中，横轴表示运动图像内容的时间，纵轴表示对比度(对比度随其增大而增大)，并且示出了每个图像的对比度。如亮暗特性540所表示的，在进行部分(部分Sl和S3)的对比度一致地较大，因为该部分的竖直方向的运动较小。相反地，非在进行部分(部分S2)的对比度较小，因为该部分中存在许多具有非常小的对比度的图像，诸如重放图像。现在，将说明亮暗分析单元观0的亮和暗的组成的分析。首先，亮暗分析单元280 将分析对象图像(第η帧)分离成多个(K)块，如图6所示。亮暗分析单元280计算每个块的亮度的均值\。随后，亮暗分析单元280例如使用以下等式1来计算亮暗特征量Ρν[η]
权利要求
1.一种信息处理设备，包括改变点检测单元，其检测运动图像的改变点；转变检测单元，其检测构成所检测的改变点中的两个邻近的改变点之间的运动图像的多个图像中包含的对象的转变；组成相似度信息生成单元，其基于构成所述改变点之间包含的所述运动图像的各图像的组成的特征量来生成指示所述运动图像的组成与特定场景的组成之间的相似度的组成相似度信息；声音相似度信息生成单元，其基于与所述改变点之间包含的所述运动图像相关的声音数据的特征量来生成指示所述声音数据与所述特定场景的声音数据之间的相似度的声音相似度信息；以及确定单元，其基于所检测的转变、所生成的组成相似度信息和所生成的声音相似度信息来确定所述改变点之间包含的所述运动图像是否为对应于所述特定场景的运动图像。
2.根据权利要求1所述的信息处理设备，其中，所述确定单元确定作为特定体育项目的正在进行的部分的在进行部分为所述特定场景。
3.根据权利要求1所述的信息处理设备，其中，所述确定单元包括评估值生成单元，其基于所检测的转变、所生成的组成相似度信息和所生成的声音相似度信息来生成用于评估所述改变点之间包含的所述运动图像的评估值；以及评估值确定单元，其将所述评估值与阈值比较，并基于所述比较的结果进行所述确定。
4.根据权利要求1所述的信息处理设备，其中，所述组成相似度信息生成单元使用构成所述改变点之间包含的所述运动图像的各图像中的预定区域的亮度与另一区域的亮度的比较结果来生成所述组成相似度信息，以作为所述组成的特征量。
5.根据权利要求1所述的信息处理设备，其中，所述组成相似度信息生成单元使用构成所述改变点之间包含的所述运动图像的各图像中的预定区域与另一区域之间的特定方向的对称度来生成所述组成相似度信息，以作为所述组成的特征量。
6.根据权利要求1所述的信息处理设备，其中，所述组成相似度信息生成单元使用构成所述改变点之间包含的所述运动图像的各图像中的预定区域与另一区域之间的亮度差来生成所述组成相似度信息，以作为所述组成的特征量。
7.根据权利要求1所述的信息处理设备，其中，所述组成相似度信息生成单元将构成所述改变点之间包含的所述运动图像的各图像分离成多个块，并使用每个块的亮度的平均值来生成所述组成相似度信息，以作为所述组成的特征量。
8.根据权利要求1所述的信息处理设备，其中，所述转变检测单元检测成像设备在捕捉所述改变点之间包含的所述运动图像时的水平方向运动，以作为所述对象的转变。
9.根据权利要求1所述的信息处理设备，其中，所述转变检测单元检测成像设备在捕捉所述改变点之间包含的所述运动图像时的竖直方向运动，以作为所述对象的转变。
10.根据权利要求1所述的信息处理设备，其中，所述转变检测单元将所述改变点之间包含的所述运动图像的对象图像与在时间轴上邻近或接近所述对象图像的另一图像进行比较，并基于所述比较的结果检测所述对象的转变。
11.根据权利要求1所述的信息处理设备，还包括优先级应用单元，其基于所检测的转变、所生成的组成相似度信息和所生成的声音相似度信息，将所述改变点之间包含的被确定为对应于所述特定场景的所述运动图像设置为特定运动图像，并将所述特定运动图像的优先级应用到所述特定运动图像。
12.一种信息处理设备，包括改变点检测单元，其检测运动图像的改变点；转变检测单元，其检测构成所检测的改变点中的两个邻近的改变点之间包含的运动图像的多个图像中包含的对象的转变；组成相似度信息生成单元，其基于构成所述改变点之间包含的所述运动图像的各图像的组成的特征量来生成指示所述运动图像的组成与特定场景的组成之间的相似度的组成相似度信息；声音相似度信息生成单元，其基于与所述改变点之间包含的所述运动图像相关的声音数据的特征量来生成指示所述声音数据与所述特定场景的声音数据之间的相似度的声音相似度信息；确定单元，其基于所检测的转变、所生成的组成相似度信息和所生成的声音相似度信息来确定所述改变点之间包含的所述运动图像是否为对应于所述特定场景的运动图像；以及显示控制单元，其基于所述确定单元的确定结果来进行控制，使得被确定为对应于所述特定场景的运动图像的、在所述改变点之间包含的所述运动图像被显示在显示单元上。
13.一种信息处理方法，包括步骤 检测运动图像的改变点；检测构成所检测的改变点中的两个邻近的改变点之间包含的运动图像的多个图像中包含的对象的转变；基于构成所述改变点之间包含的所述运动图像的各图像的组成的特征量，生成指示所述运动图像的组成与特定场景的组成之间的相似度的组成相似度信息；基于与所述改变点之间包含的所述运动图像相关的声音数据的特征量，生成指示所述声音数据与所述特定场景的声音数据之间的相似度的声音相似度信息；以及基于所检测的转变、所生成的组成相似度信息和所生成的声音相似度信息，确定所述改变点之间包含的所述运动图像是否为对应于所述特定场景的运动图像。
14.一种程序，用于在计算机上执行步骤 检测运动图像的改变点；检测构成所检测的改变点中的两个邻近的改变点之间包含的运动图像的多个图像中包含的对象的转变；基于构成所述改变点之间包含的所述运动图像的各图像的组成的特征量，生成指示所述运动图像的组成与特定场景的组成之间的相似度的组成相似度信息；基于与所述改变点之间包含的所述运动图像相关的声音数据的特征量，生成指示所述声音数据与所述特定场景的声音数据之间的相似度的声音相似度信息；以及基于所检测的转变、所生成的组成相似度信息和所生成的声音相似度信息，确定所述改变点之间包含的所述运动图像是否为对应于所述特定场景的运动图像。
全文摘要
信息处理设备、信息处理方法和程序。该信息处理设备包括改变点检测单元，其检测运动图像的改变点；转变检测单元，其检测构成所检测的改变点中的两个邻近的改变点之间的运动图像的多个图像中包含的对象的转变；组成相似度信息生成单元，其基于构成改变点之间包含的运动图像的各图像的组成的特征量来生成指示运动图像的组成与特定场景的组成之间的相似度的组成相似度信息；声音相似度信息生成单元，其基于与改变点之间包含的运动图像相关的声音数据的特征量来生成指示声音数据与特定场景的声音数据之间的相似度的声音相似度信息；以及确定单元，其基于所检测的转变、所生成的组成相似度信息和所生成的声音相似度信息来确定改变点之间包含的运动图像是否为对应于特定场景的运动图像。
文档编号G06T7/20GK102236900SQ20111009760
公开日2011年11月9日 申请日期2011年4月13日 优先权日2010年4月20日
发明者安部素嗣, 明贺知香 申请人:索尼公司