专利名称：运动图像处理装置、运动图像处理方法和程序的制作方法
技术领域：
本公开涉及运动图像处理装置、运动图像处理方法和程序。
背景技术：
一般地，视频(或运动图像)包括多个剪切片段(cut)。在现有技术中，为了了解视频的剪切片段结构，已经公开了一种运动图像处理方法，用于以恒定的帧间隔按时间顺序布置和显示视频的缩略图。该运动图像处理方法可以提供关于视频的对象的信息。
发明内容
另外，在视频表现中，存在一种情况，其中剪切片段结构被设计为例如根据制作者的意图在时间上间隔地布置具有相同内容的剪切片段。现有技术中的运动图像处理方法提供关于视频的对象的信息，但没有充分地提供关于捕捉视频的对象的方法的信息，换言之， 关于与视频的时间情境有关的视频表现方法的信息。同时，存在这样的情况，其中与视频的时间情境有关的视频表现方法可能对于观看视频的人或使用视频作为其他视频等等的素材的人是重要的。然而，由于现有技术中的运动图像处理方法不能充分地提供这种信息，因此观看者或使用者可能不能直观地了解视频的剪切片段结构。鉴于上述情况，希望提供一种使能容易地了解运动图像的剪切片段结构的运动图像处理装置、运动图像处理方法和程序。根据本公开的实施例，提供了一种运动图像处理装置，包括剪切片段转变检测单元，被配置为从包括多个剪切片段的运动图像中检测剪切片段间转变；剪切片段分组单元， 被配置为基于剪切片段之间的相似程度来将多个剪切片段分组成剪切片段群组；剪切片段间距离计算单元，被配置为基于运动图像中的剪切片段间时间距离来计算剪切片段间距离；剪切片段群组间距离计算单元，被配置为通过在每个剪切片段群组中对针对多个剪切片段计算的剪切片段间距离求和来计算剪切片段群组间距离；以及剪切片段结构图像生成单元，被配置为生成剪切片段结构图像，该剪切片段结构图像包括属于剪切片段群组的剪切片段的代表图像和指示剪切片段群组间距离的信息。当用指示运动图像中剪切片段i与剪切片段j之间的剪切片段转变的顺序的转变信息作为Iii和IijOii < Iij)时，剪切片段间距离计算单元可计算从转变信息Iii和η」的差值 Iij-Iii获得的(r^-ni)a(a Φ 0)作为剪切片段i与剪切片段j之间的剪切片段间距离。当用指示运动图像中剪切片段i与剪切片段j之间的剪切片段转变的定时的转变信息作为Iii和IijOii < nj)时，剪切片段间距离计算单元可计算从转变信息IIi和η」的差值 Iij-Iii获得的(r^_ni)b(b Φ 0)作为剪切片段i与剪切片段j之间的剪切片段间距离。转变信息Iii和r^.可分别是剪切片段i的结束帧号码和剪切片段j的起始帧号码， 或者分别是剪切片段i的结束时间帧和剪切片段j的起始时间帧。当用指示运动图像中剪切片段i与剪切片段j之间的剪切片段转变的顺序的转变信息作为Iili和Iil^nli < nlj)时，剪切片段间距离计算单元可计算从转变信息Iili和Iilj 的差值!!^.-!!、获得的(nl-nl^la兴0)作为剪切片段i与剪切片段j之间的第一剪切片段间距离。当用指示运动图像中剪切片段i与剪切片段j之间的剪切片段转变的定时的转变信息作为n2i和11^(11 < n2j)时，剪切片段间距离计算单元可计算从转变信息Mi和 n2j的差值112,11 获得的Φ 0)作为剪切片段i与剪切片段j之间的第二剪切片段间距离。剪切片段间距离计算单元可基于用第一剪切片段间距离和第二剪切片段间距离作为项的多项式来计算剪切片段i与剪切片段j之间的剪切片段间距离。转变信息Mi和11 可分别是剪切片段i的结束帧号码和剪切片段j的起始帧号码，或者分别是剪切片段i的结束时间帧和剪切片段j的起始时间帧。剪切片段结构图像生成单元可生成如下的剪切片段结构图像在该剪切片段结构图像中，相互不同的、属于剪切片段群组的至少一个剪切片段的至少一个代表图像的集合根据剪切片段群组间距离相互间隔开。剪切片段结构图像生成单元可生成包括指示剪切片段转变的顺序的信息的剪切片段结构图像。当至少两个剪切片段属于同一剪切片段群组时，为了强调相对于该剪切片段群组的基准剪切片段的代表图像的变化部分，剪切片段结构图像生成单元可修改其他剪切片段的代表图像。剪切片段间距离计算单元可根据指示剪切片段间时间距离的转变信息的倒数来计算剪切片段间距离，并且可根据通过在每个剪切片段群组中对针对多个剪切片段计算的剪切片段间距离求和而获得的值的倒数来计算剪切片段群组间距离。根据本公开的另一实施例，提供了一种运动图像处理方法，包括从包括多个剪切片段的运动图像中检测剪切片段间转变；基于剪切片段之间的相似程度来将多个剪切片段分组成剪切片段群组；基于运动图像中的剪切片段间时间距离来计算剪切片段间距离；通过在每个剪切片段群组中对针对多个剪切片段计算的剪切片段间距离求和来计算剪切片段群组间距离；以及生成剪切片段结构图像，该剪切片段结构图像包括属于剪切片段群组的剪切片段的代表图像和指示剪切片段群组间距离的信息。根据本公开的另一实施例，提供了一种程序，其使得计算机执行该运动图像处理方法。该程序可在计算机可读介质中提供或经由通信等手段提供。根据以上所述的本公开的实施例，可以提供一种使得能够容易地了解运动图像的剪切片段结构的运动图像处理装置、运动图像处理方法和程序。
图1是说明根据本公开的实施例的运动图像处理方法的概要的示图；图2是示出运动图像处理装置的配置的框图；图3是示出运动图像处理装置的操作过程的流程图；图4是示出剪切片段结构的示例的示图；图5是示出剪切片段分组处理的过程的流程图；图6是示出图4中所示的剪切片段结构中的剪切片段分组处理的结果的表格；图7A是示出剪切片段间距离的计算过程的示例的示图7B是示出剪切片段间距离的计算过程的另一示例的示图；图7C是示出剪切片段间距离的计算过程的另一示例的示图；图8是示出图4中所示的剪切片段结构中的剪切片段间距离的计算结果的示图；图9是示出图8中所示的剪切片段结构中的剪切片段群组间距离的计算结果的示图；图10是示出图4中所示的剪切片段结构中的剪切片段结构图像的示例的示图；图11是示出图10中所示的剪切片段结构图像的修改例的示图；并且图12是示出图10中所示的剪切片段结构图像的另一修改例的示图。
具体实施例方式下面，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，用相同的标号来标示具有基本相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。[1.运动图像处理方法的概要]首先，将参考图1来描述根据本公开的实施例的运动图像处理方法的概要。图1 示出了运动图像处理方法的概要。在根据本公开的实施例的运动图像处理方法中，首先从包括多个剪切片段的运动图像MP中检测剪切片段间转变。接下来，基于剪切片段间相似程度将这多个剪切片段分组成剪切片段群组。然后，基于运动图像MP中的剪切片段间时间距离计算剪切片段间距离 Dc (剪切片段间距离的总称)，并且通过在每个剪切片段群组中对针对多个剪切片段计算的剪切片段间距离Dc求和来计算剪切片段群组间距离Dg(剪切片段群组间距离的总称)。这里，剪切片段间距离Dc指示剪切片段间的相关程度，并且剪切片段群组间距离 Dg指示剪切片段群组间的相关程度。然后，生成属于某一剪切片段群组的剪切片段的代表图像I (代表图像的总称)，和包括指示剪切片段群组间距离Dg的信息的剪切片段结构图像 Cl。剪切片段结构图像CI作为用于容易地了解运动图像MP的剪切片段结构的信息，通过下文将描述的运动图像处理装置1和外部装置被输出。在图1所示的示例中，运动图像MP包括剪切片段1和2、与剪切片段1相似的剪切片段3、与剪切片段2相似的剪切片段4、以及与剪切片段1至4中的任何一个都不相似的剪切片段5。在剪切片段1至5中，基于剪切片段间的相似程度，剪切片段1和3被分组到剪切片段群组1中，剪切片段2和4被分组到剪切片段群组2中，并且剪切片段5被分组到剪切片段群组3中。在剪切片段1至5之中，基于剪切片段间时间距离计算剪切片段间距离Dc1,2，Dc1, 3，. . .，Dc4,5,并且通过在剪切片段群组1至3的每一个中对针对剪切片段1至5计算的剪切片段间距离Dc1,2，Dc1,3, . . .，Dc4,5求和来计算剪切片段群组间距离Dg1,2，Dg1,3和Dg2,3。这里，剪切片段群组间距离Dg指示剪切片段群组间的相关程度。因此，可以利用剪切片段群组间距离Dgl,2、Dg1,3和来指示剪切片段群组1和2、剪切片段群组1和3以及剪切片段群组2和3之间的相关程度。这里，在图1中所示的示例中，运动图像MP包含包括剪切片段1和2和剪切片段 3和4在内的剪切片段的重复，以及剪切片段4之后的剪切片段5。因此，基于剪切片段的重复，认为在剪切片段群组1与剪切片段群组2而不是剪切片段群组3之间存在较强的相关性。另外，基于剪切片段转变的顺序，认为在剪切片段群组3与剪切片段群组2而不是剪切片段群组1之间存在较强的相关性。从而，例如，当剪切片段群组间距离Dg被计算成与剪切片段群组间相关性强度成反比时，剪切片段群组1和2之间的剪切片段群组间距离Dgl,2被计算成小于剪切片段群组 1和3之间的剪切片段群组间距离Dg1,3。另外，剪切片段群组2和3之间的剪切片段群组间距离被计算成小于剪切片段群组1和3之间的剪切片段群组间距离Dg1,3。在剪切片段结构图像CI中，属于剪切片段群组1至3的剪切片段1至5的代表图像Il至15按剪切片段群组之间的剪切片段群组间距离Dg相互间隔开。从而，可以容易地了解剪切片段群组间的相关程度。此外，在图1中，剪切片段群组间距离Dg由数值信息指示。然而，可以不指示数值信息。这样，利用剪切片段结构图像CI提供了关于与视频的时间情境有关的视频表现方法的信息。结果，视频的观看者或使用者观看视频或将视频用作其他视频等等的素材，从而易于了解视频的剪切片段结构。[2.运动图像处理装置1的配置]接下来，将参考图2描述根据本公开的实施例的运动图像处理装置1。图2示出了运动图像处理装置1的主要功能配置。如图2中所示，运动图像处理装置1包括数据获取单元11、剪切片段转变检测单元13、剪切片段分组单元15、剪切片段间距离计算单元17、剪切片段群组间距离计算单元19、剪切片段结构图像生成单元21、剪切片段结构图像输出单元23、剪切片段结构信息输出单元25、以及数据存储单元27。数据获取单元11获取包括多个剪切片段的运动图像数据MP，并将运动图像数据 MP提供给剪切片段转变检测单元13、剪切片段分组单元15和剪切片段结构图像生成单元 21。一般地，运动图像数据MP是帧格式的数据，并且可以仅是图像数据或者是图像数据和声音数据的组合。可从数据存储单元27或外部装置(未示出)获取运动图像数据MP。剪切片段转变检测单元13检测运动图像数据MP中的剪切片段转变并将检测结果提供给剪切片段分组单元15。剪切片段转变表示运动图像MP中的剪切片段的变化。基于连续的帧中的图像和/或声音的特征量的相似程度来检测剪切片段转变。作为图像和/或声音的特征量，可以使用颜色直方图和脸部图像检测，和/或声音的音量、音调/节奏等等。 此外，剪切片段转变的检测结果除了被提供给剪切片段分组单元15以外，还可被提供给剪切片段结构信息输出单元25、数据存储单元27、外部装置等等。另外，当检测剪切片段转变时获得的特征量可被存储在数据存储单元27等等中并用于其他处理。在检测到剪切片段转变之后，剪切片段转变检测单元13向剪切片段赋予指示出运动图像MP中的剪切片段转变的顺序的转变信息和指示剪切片段转变的定时的剪切片段转变信息。指示剪切片段转变的顺序的转变信息是剪切片段号码(剪切片段ID)等等，而指示剪切片段转变的定时的转变信息例如是帧号码和时间码。可以从运动图像数据MP中提取或基于运动图像数据MP生成帧号码和时间码。剪切片段转变信息与剪切片段转变的检测结果一起被提供给剪切片段分组单元15。然而，剪切片段转变信息可被提供给数据存储单元27、外部装置等等。剪切片段分组单元15基于剪切片段间的相似程度将多个剪切片段分组成剪切片段群组，这将在下文中详细描述。剪切片段分组结果与剪切片段转变的检测结果一起被提供给剪切片段间距离计算单元17。然而，剪切片段分组结果可被提供给剪切片段结构信息输出单元25、数据存储单元27、外部装置等等。剪切片段间相似程度是根据剪切片段中包括的图像和/或声音的颜色直方图和脸部图像的检测结果和/或包括声音的音量、音调/ 节奏等等的剪切片段的特征量S(特征量的总称)来计算的。剪切片段群组表示具有相似的特征量S的剪切片段的组合。剪切片段分组单元15基于剪切片段分组结果向剪切片段赋予表示剪切片段群组的群组ID。剪切片段间距离计算单元17基于剪切片段转变信息来计算剪切片段间距离Dc， 这将在下文中描述。剪切片段间距离Dc是基于运动图像MP中的剪切片段间的时间距离来计算的，以便指示剪切片段间的相关程度。剪切片段间距离Dc的计算结果被提供给剪切片段群组间距离计算单元19。然而，剪切片段间距离Dc的计算结果可被提供给数据存储单元 27、外部装置等等。剪切片段群组间距离计算单元19基于剪切片段间距离Dc的计算结果来计算剪切片段群组间距离Dg，这将在下文中描述。剪切片段群组间距离Dg是通过在每个剪切片段群组中对针对多个剪切片段计算的剪切片段间距离Dc求和来计算的，以便指示剪切片段群组间的相关程度。剪切片段群组间距离Dg的计算结果被提供给剪切片段结构图像生成单元21。然而，剪切片段群组间距离Dg的计算结果可被提供给剪切片段结构信息输出单元 25、数据存储单元27、外部装置等等。为了生成剪切片段结构图像Cl，剪切片段结构图像生成单元21根据预定的标准， 基于运动图像数据MP和剪切片段转变的检测结果，从每个剪切片段中包括的图像中提取代表图像I。代表图像I是代表每个剪切片段的图像，并且例如是以与剪切片段的中央帧相对应的图像的形式来提取的。剪切片段结构图像CI是以包括属于剪切片段群组的剪切片段的代表图像I和指示剪切片段群组间距离Dg的信息的图像的形式来生成的。剪切片段结构图像输出单元23输出从剪切片段结构图像生成单元21提供来的剪切片段结构图像Cl，以便用户能够容易地了解运动图像MP的剪切片段结构。剪切片段结构图像CI可被输出到与运动图像处理装置1相连接的显示装置、打印装置、存储装置或外部装置(未示出)。剪切片段结构信息输出单元25输出剪切片段间距离Dc和/或剪切片段群组间距离Dg的计算结果等等作为剪切片段结构信息，以便用户能够使用剪切片段结构信息来了解剪切片段结构。剪切片段结构信息可被输出到与运动图像处理装置1相连接的显示装置、打印装置、存储装置或外部装置(未示出)。剪切片段结构信息可用作用于执行考虑剪切片段结构的运动图像搜索的数据。例如，可以用某个剪切片段作为基准剪切片段并且可搜索与基准剪切片段具有强相关性的剪切片段，或者可以用包括某个剪切片段的剪切片段群组作为基准剪切片段群组并且可搜索与基准剪切片段群组具有强相关性的剪切片段群组。另外，可以搜索包括相互之间具有强相关性的剪切片段群组的集合的运动图像MP。数据存储单元27存储运动图像数据MP和属于运动图像数据MP的数据。数据存储单元27可存储与运动图像数据MP相关联的诸如剪切片段转变的检测结果、剪切片段分组结果以及剪切片段间距离Dc和剪切片段群组间距离Dg的计算结果之类的剪切片段结构信息以及剪切片段结构图像Cl。此外，在图2中，省略了数据存储单元27与其他元件之间的连接关系的一部分。这里，在功能配置中，数据获取单元11、剪切片段转变检测单元13、剪切片段分组单元15、剪切片段间距离计算单元17、剪切片段群组间距离计算单元19、剪切片段结构图像生成单元21、剪切片段结构图像输出单元23和剪切片段结构信息输出单元25包括诸如 CPU或数字信号处理装置(DSP)之类的运算处理单元。数据存储单元27包括诸如闪存之类的内部存储设备或者诸如硬盘驱动器或蓝光盘驱动器之类的外部存储设备。CPU在RAM上展开并执行从ROM等等读取的程序，从而执行运动图像处理方法。此外，功能配置的至少一部分可由诸如专用逻辑之类的硬件来实现。[3.运动图像处理装置1的操作]接下来，将参考图3至12来描述根据本公开的实施例的运动图像处理装置1的操作。图3示出了运动图像处理装置1的操作过程。如图3中所示，数据获取单元11首先获取运动图像数据MP (步骤Sll)，并将运动图像数据MP提供给剪切片段转变检测单元13等等。剪切片段转变检测单元13基于运动图像数据MP检测运动图像MP中的剪切片段转变(步骤S13)，并将检测结果提供给剪切片段分组单元15。基于连续的帧中的图像和/或声音的特征量来检测剪切片段转变。向每个剪切片段赋予诸如剪切片段ID、帧号码和时间码之类的剪切片段转变信息(步骤S15)。此外，在下文中，将主要描述指示运动图像MP中的剪切片段转变的顺序的剪切片段号码被用作剪切片段结构信息的情况。图4示出了从剪切片段转变的检测结果获得的剪切片段结构的示例。为了帮助理解，图4利用每个剪切片段的代表图像I示出剪切片段结构。此外，代表图像I是由剪切片段结构图像生成单元21从运动图像数据MP中提取的，这将在下文中描述。如图4中所示， 剪切片段1、3和6相互相似，剪切片段2、4和7相互相似，并且剪切片段5不与剪切片段1 至4、6和7中的任何一个相似。接下来，剪切片段分组单元15执行用于将剪切片段分组成剪切片段群组的剪切片段分组处理(步骤S17)。图5示出了剪切片段分组处理的过程。如图5中所示，在剪切片段分组处理中，首先执行初始化处理(步骤S51)。在初始化处理中，初始化群组的数目 m。另外，向剪切片段1赋予等于1的群组ID，并且向剪切片段2赋予等于2的群组ID。这里，群组的数目m指示从运动图像数据MP确定的剪切片段群组的数目(在初始化处理中确定了剪切片段群组1和2)。向每个剪切片段赋予群组ID以便表示每个剪切片段所属的剪切片段群组。然后，计算剪切片段1和2的特征量Sl和S2(步骤S53)并将其作为剪切片段群组1和2的特征量Sl和S2存储在数据存储单元27等等中(步骤S5Q。剪切片段的特征量例如是以颜色直方图和脸部图像检测和/或声音的音量、音调/节奏等等或其组合的形式来计算的。接下来，检查是否存在要处理的后续剪切片段(步骤S57)。当存在后续剪切片段时(步骤S57中的“是”)，计算后续剪切片段的特征量S’(步骤S59)，并且在后续剪切片段与剪切片段群组1至m之间判定特征量S的相似度(步骤S61)。这里，当执行判定时，可以优先在后续剪切片段与具有比前一剪切片段的群组ID更大的群组ID的剪切片段群组之间判定特征量S的相似程度。这是因为，当执行剪切片段的重复时，包括后续剪切片段的剪切片段群组的群组ID比前一剪切片段的大。当在后续剪切片段与剪切片段群组1至m中的任何一个之间特征量S的相似程度等于或大于预定阈值时(步骤S61中的“是”)，向后续剪切片段赋予具有最高相似度的剪切片段群组的群组ID (步骤S6!3)。后续剪切片段的特征量S’可被存储为包括后续剪切片段的剪切片段群组的特征量S的一部分，然后被使用(步骤S6Q或丢弃。同时，当在后续剪切片段与所有剪切片段群组1至m之间特征量S的相似程度都小于预定阈值时(步骤S61中的“否”)，群组数m被递增1以便生成新的剪切片段群组 (步骤S67)。向作为新剪切片段群组的后续剪切片段赋予与群组数m相当的群组ID (步骤 S69)。后续剪切片段的特征量S被存储为包括后续剪切片段的新剪切片段群组的特征量 Sm，然后被使用(步骤S71)。重复步骤S57、S59、S61、S63、S65、S67、S69和S71的处理，直到没有后续剪切片段为止(步骤S57中的“否”)。当没有后续剪切片段时，剪切片段分组处理结束，并且如图3 中所示执行下一步骤S19的处理。剪切片段分组单元15将剪切片段分组结果与剪切片段转变的检测结果一起提供给剪切片段间距离计算单元17。图6示出了图4所示的剪切片段结构中的剪切片段分组处理的结果。如图6中所示，基于每个剪切片段的特征量S的相似程度，向剪切片段1、3和6赋予等于1的群组ID， 向剪切片段2、4和7赋予等于2的群组ID，并且向剪切片段5赋予等于3的群组ID。剪切片段间距离计算单元17基于剪切片段转变信息来计算剪切片段间距离 Dc (步骤S19)，并将计算结果提供给剪切片段群组间距离计算单元19。图7A至7C示出了利用各种剪切片段转变信息针对包括剪切片段1至3的运动图像MP计算剪切片段间距离 Dc的过程。首先，在图7A中，指示运动图像MP中的剪切片段转变的顺序的剪切片段ID被用作剪切片段转变信息。如图7A中所示，向剪切片段1至3分别赋予等于1至3的剪切片段 ID。首先，获得剪切片段i的等于Iii的剪切片段ID与剪切片段j的等于r^.的剪切片段ID之间的差值(ηΓιΟ (η, < Hj)。接下来，计算差值(ηΓιΟ的幂值(η」-η Γ(& Φ 0)作为剪切片段i和j之间的剪切片段间距离Dci,」。幂指数a被设定为除了 0以外的任意整数或实数。这里，在运动图像MP中的以相似顺序进行剪切片段转变的剪切片段之间，剪切片段间距离Dc在幂指数a小于0时较短， 而在幂指数a大于0时较长。以下，将描述a = -2的情况。例如，剪切片段1和2之间的剪切片段间距离Dc1,2被计算为1，因为剪切片段ID 之间的差值是1 ( = 2-1)。另外，剪切片段1和3之间的剪切片段间距离Dc1,3被计算为 1/4 ( = 2_2)，因为剪切片段ID之间的差值是2 ( = 3-1)。以相同的方式，剪切片段2和3之间的剪切片段间距离Dc2,3被计算为1。另外，在图7B中，指示运动图像MP中的剪切片段转变的定时的帧号码被用作剪切片段转变信息。如图7B中所示，向剪切片段1至3分别赋予起始帧号码和结束帧号码。例如，1和40被赋予作为剪切片段1的起始帧号码和结束帧号码，41和80被赋予作为剪切片段2的起始帧号码和结束帧号码，并且81和120被赋予作为剪切片段3的起始帧号码和结
10束帧号码。首先，获得剪切片段i的最终帧号码Iii与剪切片段j的起始帧号码η」(η, < Hj)之间的差值(Iij-Iii)。接下来，计算差值(Iij-Iii)的幂值(Iij-Iii)b(b Φ 0)作为剪切片段i和j 之间的剪切片段间距离Dci,」。幂指数b被设定为除了 0以外的任意整数或实数。这里，在运动图像MP中的以相似定时进行剪切片段转变的剪切片段之间，剪切片段间距离Dc在幂指数b小于0时较短， 而在幂指数b大于0时较长。以下，将描述b = -l的情况。例如，剪切片段1和2之间的剪切片段间距离Dc1,2被计算为1，因为帧号码之间的差值是1( = 41-40)。另外，剪切片段1和3之间的剪切片段间距离Dc1,3被计算为1/41， 因为帧号码之间的差值是41 ( = 81-40)。以相同的方式，剪切片段2和3之间的剪切片段间距离Dc2,3被计算为1。这里，作为指示运动图像MP中的剪切片段转变的定时的剪切片段转变信息，可以使用时间帧。关于时间帧，例如，0秒和40秒被赋予作为剪切片段1的起始时间帧和结束时间帧，40. 05秒和80秒被赋予作为剪切片段2的起始时间帧和结束时间帧，并且80. 05秒和120秒被赋予作为剪切片段3的起始时间帧和结束时间帧。与帧号码的情况类似，在时间帧的情况下，可以计算剪切片段间距离Dc。此外，当帧号码和时间帧被用作剪切片段转变信息时，连续剪切片段之间的剪切片段间距离Dc与其他剪切片段之间的剪切片段间距离Dc相比可能长或短得多(例如，在图7B的示例中，等于1/41的Dc1,3相对于等于1的Dc1,2)。在这种情况下，最好适当地调整连续剪切片段之间的剪切片段间距离Dc。例如，可以用针对运动图像MP中的帧数目或时间间隔最小的剪切片段获得的剪切片段间距离Dc的1/2作为连续剪切片段之间的剪切片段间距离 Dc (例如，Dclj2 = DC1,3/2 = 1/82)。另外，在图7C中，剪切片段ID和帧号码被用作剪切片段转变信息。如图7C中所示，起始帧号码和结束帧号码与剪切片段ID被分别赋予剪切片段1至5。首先，如图7A中所示，利用剪切片段ID计算第一剪切片段间距离Del。接下来， 如图7B中所示，利用帧号码计算第二剪切片段间距离Dc2。然后，例如，基于以下用第一剪切片段间距离Dcl和第二剪切片段间距离Dc2作为项的多项式来计算剪切片段间距离Dc。 此外，多项式的加权系数wl和是根据关于对作为剪切片段间相关性的剪切片段转变的顺序和定时的重视程度的评估标准来适当设定的。Dcijj = wlXDc Iiij^XDc 2Uj例如，当wl = 0. 8并且w2 = 0. 2时，剪切片段1和2之间的剪切片段间距离Dc1,2 = 1( = 0.8X1+0. 2X 1)，剪切片段1和3之间的剪切片段间距离 Dc1,3 = 0.20 (=0.8x1/4 + 0.2x1/41)，并且剪切片段2和3之间的剪切片段间距离 Dc2,3 =1( = 0.8X1+0.2X1)。图8示出了图4所示的剪切片段结构中的剪切片段间距离Dc的计算结果。如图8 中所示，分别向剪切片段1至7赋予剪切片段ID 1至7。基于每个剪切片段的特征量S的相似程度，向剪切片段1、3和6赋予等于1的群组ID，向剪切片段2、4和7赋予等于2的群组ID，并且向剪切片段5赋予等于3的群组ID。在图8中，剪切片段ID被用作剪切片段转变信息。另外，为了计算剪切片段间距离Dc，使用幂值a( = -2)。
根据图8中所示的剪切片段间距离Dc的计算结果，例如，在剪切片段1与剪切片段2至7之间的剪切片段间距离Dc之中，DCu被计算为LDCu被计算为l/^DCw被计算为1/9，DClj5被计算为1/16，DClj6被计算为V25，并且DCli7被计算为1/36。参考图3，剪切片段群组间距离计算单元19基于剪切片段间距离Dc的计算结果来计算剪切片段群组间距离Dg，并将剪切片段群组间距离Dg的计算结果提供给剪切片段结构图像生成单元21 (步骤S21)。图9示出了图8所示的剪切片段结构中的剪切片段群组间距离Dg的计算结果。如图9中所示，剪切片段群组间距离Dg是通过在每个剪切片段群组中对针对多个剪切片段计算的剪切片段间距离Dc求和来计算的。此外，在图9的示例中，按照和值的倒数来计算剪切片段群组间距离Dg。然而，可以不按倒数来计算剪切片段群组间距离Dg。在图9的示例中，通过如下对属于剪切片段群组1的剪切片段1、3和6中的任何剪切片段与属于剪切片段群组2的剪切片段2、4和7中的任何剪切片段之间的剪切片段间距离Dc、剪切片段1、3和6之间的剪切片段间距离Dc、剪切片段2、4和7之间的剪切片段间距离Dc求和并使用和值的倒数来计算剪切片段群组1与剪切片段群组2之间的剪切片段群组间距离Dg1,2。
Dgu= {(Dcu+Dcu+Dcu+Di^+Dcw+Dc^+Dcw+Dc^+Dcd+CDcu+
DC1’6+DC3,6)+(DC2，4+DC 2,7+DC 4,7)}"1
= ((1+1/9+1/36+1+1/16+1+1/16+1/4+1)+(1/4+1/25+1/9)+(1/4+1/25+1/9)}'1
= (4.51+0.40+0.40)"1 = 0.19此外，可以如下按照属于剪切片段群组1的剪切片段1、3和6中的任何剪切片段与属于剪切片段群组2的剪切片段2、4和7中的任何剪切片段之间的剪切片段间距离Dc 来计算剪切片段群组间距离Dg1,2。
Dgl，2= {(DCU+Dcm+DCU+DCW+DC^+DCW+DCV+DC^+DC”)}-1
={(1+1/9+1/36+1+1/16+1+1/16+1/4+1)}-1
= (4.51)-1 = 0.22另外，通过如下对属于剪切片段群组1的剪切片段1、3和6中的任何剪切片段与属于剪切片段群组3的剪切片段5之间的剪切片段间距离Dc求和来计算剪切片段群组1 与剪切片段群组3之间的剪切片段群组间距离Dg1,3。以同样的方式，通过如下对属于剪切片段群组2的剪切片段2、4和7中的任何剪切片段与属于剪切片段群组3的剪切片段5之间的剪切片段间距离Dc求和来计算剪切片段群组2与剪切片段群组3之间的剪切片段群组间距离Dg2,3。
权利要求
1.一种运动图像处理装置，包括剪切片段转变检测单元，被配置为从包括多个剪切片段的运动图像中检测剪切片段间转变；剪切片段分组单元，被配置为基于所述剪切片段之间的相似程度来将所述多个剪切片段分组成剪切片段群组；剪切片段间距离计算单元，被配置为基于所述运动图像中的剪切片段间时间距离来计算剪切片段间距离；剪切片段群组间距离计算单元，被配置为通过在每个剪切片段群组中对针对所述多个剪切片段计算的所述剪切片段间距离求和来计算剪切片段群组间距离；以及剪切片段结构图像生成单元，被配置为生成剪切片段结构图像，该剪切片段结构图像包括属于所述剪切片段群组的所述剪切片段的代表图像和指示所述剪切片段群组间距离的信息。
2.根据权利要求1所述的运动图像处理装置，其中，当用指示所述运动图像中剪切片段i与剪切片段j之间的剪切片段转变的顺序的转变信息作为Iii和r^.时，所述剪切片段间距离计算单元计算从转变信息Ili和Ilj的差值Ilj-Ili获得的(Iij-Iii)a作为所述剪切片段i与所述剪切片段j之间的剪切片段间距离，其中Iii < nj; a兴0。
3.根据权利要求1所述的运动图像处理装置，其中，当用指示所述运动图像中剪切片段i与剪切片段j之间的剪切片段转变的定时的转变信息作为Iii和r^.时，所述剪切片段间距离计算单元计算从转变信息Iii和Iij的差值Iij-Iii获得的Oij-IOb作为所述剪切片段i与所述剪切片段j之间的剪切片段间距离，其中Iii < nj; b Φ 0。
4.根据权利要求3所述的运动图像处理装置，其中，所述转变信息Iii和r^.分别是所述剪切片段i的结束帧号码和所述剪切片段j的起始帧号码，或者分别是所述剪切片段i的结束时间帧和所述剪切片段j的起始时间帧。
5.根据权利要求1所述的运动图像处理装置，其中，当用指示所述运动图像中剪切片段i与剪切片段j之间的剪切片段转变的顺序的转变信息作为Iili和η、时，所述剪切片段间距离计算单元计算从转变信息Iili和Iilj的差值Iilj-Iili获得的(Iilj-Iili)a作为所述剪切片段i与所述剪切片段j之间的第一剪切片段间距离，其中Iili < nlj, a兴0，当用指示所述运动图像中所述剪切片段i与所述剪切片段j之间的剪切片段转变的定时的转变信息作为Mi和η。时，所述剪切片段间距离计算单元计算从转变信息Mi和Mj 的差值I^-Mi获得的(112^12乂作为所述剪切片段i与所述剪切片段j之间的第二剪切片段间距离，其中Mi < n2j; b乒0，并且所述剪切片段间距离计算单元基于用所述第一剪切片段间距离和所述第二剪切片段间距离作为项的多项式来计算所述剪切片段i与所述剪切片段j之间的剪切片段间距离。
6.根据权利要求5所述的运动图像处理装置，其中，所述转变信息Mi和η。分别是所述剪切片段i的结束帧号码和所述剪切片段j的起始帧号码，或者分别是所述剪切片段i 的结束时间帧和所述剪切片段j的起始时间帧。
7.根据权利要求1所述的运动图像处理装置，其中，所述剪切片段结构图像生成单元生成如下的所述剪切片段结构图像在该剪切片段结构图像中，多个属于相互不同的剪切片段群组的至少一个剪切片段的至少一个代表图像的集合根据所述剪切片段群组间距离相互间隔开。
8.根据权利要求7所述的运动图像处理装置，其中，所述剪切片段结构图像生成单元生成包括指示所述剪切片段转变的顺序的信息的所述剪切片段结构图像。
9.根据权利要求7所述的运动图像处理装置，其中，当至少两个剪切片段属于同一剪切片段群组时，为了强调相对于该剪切片段群组的基准剪切片段的代表图像的变化部分， 所述剪切片段结构图像生成单元修改其他剪切片段的代表图像。
10.根据权利要求1所述的运动图像处理装置，其中，所述剪切片段间距离计算单元根据指示所述剪切片段间时间距离的转变信息的倒数来计算所述剪切片段间距离，并且根据通过在每个剪切片段群组中对针对所述多个剪切片段计算的所述剪切片段间距离求和而获得的值的倒数来计算所述剪切片段群组间距离。
11.一种运动图像处理方法，包括从包括多个剪切片段的运动图像中检测剪切片段间转变； 基于所述剪切片段之间的相似程度来将所述多个剪切片段分组成剪切片段群组； 基于所述运动图像中的剪切片段间时间距离来计算剪切片段间距离； 通过在每个剪切片段群组中对针对所述多个剪切片段计算的所述剪切片段间距离求和来计算剪切片段群组间距离；以及生成剪切片段结构图像，该剪切片段结构图像包括属于所述剪切片段群组的所述剪切片段的代表图像和指示所述剪切片段群组间距离的信息。
12.—种程序，使得计算机执行运动图像处理方法，该方法包括 从包括多个剪切片段的运动图像中检测剪切片段间转变；基于所述剪切片段之间的相似程度来将所述多个剪切片段分组成剪切片段群组； 基于所述运动图像中的剪切片段间时间距离来计算剪切片段间距离； 通过在每个剪切片段群组中对针对所述多个剪切片段计算的所述剪切片段间距离求和来计算剪切片段群组间距离；以及生成剪切片段结构图像，该剪切片段结构图像包括属于所述剪切片段群组的所述剪切片段的代表图像和指示所述剪切片段群组间距离的信息。
全文摘要
本发明提供了运动图像处理装置、运动图像处理方法和程序。运动图像处理装置包括剪切片段转变检测单元，被配置为从包括多个剪切片段的运动图像中检测剪切片段间转变；剪切片段分组单元，被配置为基于剪切片段之间的相似程度来将多个剪切片段分组成剪切片段群组；剪切片段间距离计算单元，被配置为基于运动图像中的剪切片段间时间距离来计算剪切片段间距离；剪切片段群组间距离计算单元，被配置为通过在每个剪切片段群组中对针对多个剪切片段计算的剪切片段间距离求和来计算剪切片段群组间距离；以及剪切片段结构图像生成单元，被配置为生成剪切片段结构图像，该剪切片段结构图像包括属于剪切片段群组的剪切片段的代表图像和指示剪切片段群组间距离的信息。
文档编号H04N7/26GK102378004SQ20111022528
公开日2012年3月14日 申请日期2011年8月3日 优先权日2010年8月10日
发明者高木芳德 申请人:索尼公司