专利名称：运动图像处理装置以及运动图像处理方法和程序的制作方法
技术领域：
本公开涉及运动图像处理装置、运动图像处理方法和程序。
背景技术：
视频(运动图像)通常包括很多剪辑。在图像表达中，剪辑合成可被设想为诸如根据创建者的意图重复一系列彼此不同的剪辑(也被称作为回切(cutback))。顺便地，对于那些欣赏视频或使用视频作为其它视频的素材的人，有关视频对象如何被抓住，换言之，视频如何在视频的时间(temporal)前后关系中表达的信息可能是重要的。
发明内容
技术问题因此提出了:从运动图像标识作为一系列彼此不同的剪辑重复的剪辑对，并生成剪辑合成图像，其中在指定剪辑对的边界同时根据剪辑转场的次序布置每个剪辑的代表性图像。然而，如果回切变得更加频繁且剪辑对的数目增加，则剪辑合成图像可变得比在其中显示剪辑合成图像的显示区域更大。如果尝试一次地显示合成图像从而保持一览(at-a-glace)可见性(visibility),则代表性图像会以较高比率减少并显示,从而导致剪辑合成图像的较低可见性。如果尝试部分地显示剪辑合成图像从而保持该剪辑合成图像的可见性，则剪辑合成图像会被分割和显示，从而导致较低的一览可见性。因此，在任何情况下，用户都将不能通过剪辑合成图像容易地把握运动图像的剪辑合成。因此，本公开提供了一种运动图像处理装置，其能够生成使得人们能容易地把握运动图像剪辑合成的剪辑合成图像，以及运动图像处理方法和程序。问题的解决方案根据本发明的实施例，提供了一种运动图像处理装置，包括:剪辑转场检测单元，其从包含多个剪辑的运动图像检测剪辑之间的转场；剪辑对标识单元，其将该多个剪辑分类为具有不同特征量的多个剪辑组，并标识出包括属于彼此不同剪辑组的两个或更多个连续的剪辑、且在运动图像中被重复的多个剪辑对；剪辑对生成单元，其以使得构成每个剪辑对的两个或更多个剪辑属于彼此不同的剪辑组且保持运动图像中剪辑转场的前后关系的方式，通过组合该多个剪辑的至少一部分，来从多个剪辑对生成在数目上少于该多个剪辑对的预定数目个剪辑对；以及剪辑合成图像生成单元，其生成包括所生成的剪辑对的剪辑合成图像。剪辑对生成单元可将多个剪辑对分类为预定数目个对组，并且然后对于每个对组，以使得构成每个剪辑对的两个或更多个剪辑属于彼此不同的剪辑组且保持运动图像中剪辑转场的前后关系的方式，通过组合每个对组中包含的剪辑的至少一部分，来从每个对组中包含的剪辑对生成一个剪辑对。剪辑对生成单元可基于剪辑的特征量将多个剪辑对分类为预定数目个对组。
剪辑对生成单元可基于剪辑对的特征量将多个剪辑对分类为预定数目个对组。剪辑对生成单元可通过基于剪辑的特征量组合多个剪辑来生成一个剪辑对。剪辑对生成单元可通过基于剪辑对的特征量组合多个剪辑来生成一个剪辑对。剪辑对生成单元可基于每个剪辑组的剪辑的特征量拣选出剪辑，并通过组合多个拣选的剪辑来生成一个剪辑对。剪辑对生成单元可基于第一剪辑组的剪辑的特征量拣选出剪辑,并通过组合与拣选的剪辑属于相同的剪辑对的多个剪辑来生成一个剪辑对。可基于指示剪辑对之间相似度的相似度矩阵的内积生成剪辑对。相似度矩阵的内积总和最大的剪辑对可被生成为代表多个剪辑对的代表性剪辑对。与代表性剪辑对的相似度低的剪辑对可与该代表性剪辑对一起生成。可基于指示剪辑对之间相似度的相似度矩阵的标量值生成剪辑对。具有相似度矩阵的最大标量值的剪辑对可被生成为代表多个剪辑对的代表性剪辑对。与代表性剪辑对的相似度低的剪辑对可与该代表性剪辑对一起生成。可根据剪辑合成图像的显示条件设置预定的数目。根据本公开的实施例，提供了一种运动图像处理方法，包括:从包含多个剪辑的运动图像检测剪辑之间的转场，将该多个剪辑分类为具有不同特征量的多个剪辑组，并标识出包括属于彼此不同剪辑组的两个或更多个连续的剪辑、且在运动图像中被重复的多个剪辑对，以使得构成每个剪辑对的两个或更多个剪辑属于彼此不同的剪辑组且保持运动图像中剪辑转场的前后关系的方式，通过组合该多个剪辑的至少一部分，来从多个剪辑对生成在数目上少于该多个剪辑对的预定数目个剪辑对，以及生成包括所生成的剪辑对的剪辑合成图像。根据本公开的另一方面，提供了一种使得计算机执行运动图像处理方法的程序。可通过使用计算机可读记录介质或经由通信方法提供该程序。本发明的有益效果根据以上描述的本公开，提供了一种运动图像处理装置，其能够生成使得人们能容易地把握运动图像剪辑合成的剪辑合成图像，以及提供了运动图像处理方法和程序。
图1是示出用于根据本公开实施例的运动图像处理方法的过程的流程图。图2是示出运动图像处理装置的配置的框图。图3是示出用于运动图像处理装置的全部操作过程的流程图。图4是例示剪辑合成的图。图5是示出用于标识剪辑对的过程的流程图。图6是例示剪辑对标识结果的图。图7是例示剪辑合成阵列的图。图8是示出剪辑合成的显示优化过程的流程图。图9A是示出剪辑合成的显示优化过程的图(1/3)。
图9B是示出剪辑合成的显示优化过程的图(2/3)。图9C是示出剪辑合成的显示优化过程的图(3/3)。图10是示出生成剪辑对的过程的流程图。图11是示出生成两个剪辑对的过程的图。图12是例示生成剪辑对的条件的图。图13是例示在第一生成过程中基于剪辑对的帧数生成剪辑对的过程的图。图14是例示在第一生成过程中基于剪辑的帧数生成剪辑对的过程的图。图15是例示在第一生成过程中基于剪辑之间的音量波动生成剪辑对的过程的图。图16是例示在第二生成过程中基于剪辑对的帧数生成剪辑对的过程的图。图17是例示在第二生成过程中基于剪辑的帧数生成剪辑对的过程的图。图18是例示在第二生成过程中基于剪辑之间的音量波动生成剪辑对的过程的图。图19是例示在第二生成过程中基于剪辑之间的图像亮度直方图生成剪辑对的过程的图。图20是例示剪辑之间特征量相似度的计算结果的图。图21是例示基于相似度矩阵的内积生成剪辑的过程的图(1/2)。图22是例示基于相似度矩阵的内积生成剪辑的过程的图(2/2)。图23是例示基于相似度矩阵的标量值生成剪辑对的过程的图。图24是例示剪辑合成图像的图。图25是示出基于对比率的剪辑合成图像的校正的图。
具体实施例方式以下，将参照附图描述本发明的优选实施例。需注意，在本说明书和附图中，具有实质上相同功能和结构的元件用相同的参考标记表示，并且省略了重复的解释。[运动图像处理方法的概述]首先，将参照图1描述根据本公开实施例的运动图像处理方法的概述。图1示出用于根据本公开实施例的运动图像处理方法的过程。如图1所示，在根据本公开实施例的运动图像处理方法中，首先从包含多个剪辑的运动图像MP检测剪辑之间的转场(步骤SI)。然后，将该多个剪辑分类为具有不同特征量
S(对剪辑组的特征量的通称)的多个剪辑组，从而标识多个剪辑对，剪辑对由属于不同剪辑组的两个或更多个连续剪辑组成且在运动图像MP中重复(步骤S3)。然后，组合多个剪辑的至少一部分，以从多个剪辑对生成预定数目N的剪辑对，从而使得剪辑对包括属于彼此不同的剪辑组的两个或更多个连续剪辑，且保持运动图像MP中的剪辑转场的内容(步骤S5)。根据剪辑合成图像Cl (对剪辑合成图像的通称)的显示条件(诸如显示范围和显示大小)预设剪辑对的数目N。此外，生成由生成的剪辑对构成的剪辑合成图像Cl (步骤S7)。因此，可以通过由组合多个剪辑的至少一部分从而满足预定的条件而生成预定数目N的剪辑对以及生成由生成的剪辑对构成的剪辑合成图像Cl来生成能够保持剪辑合成的一览可见性和剪辑合成图像的可见性的剪辑合成图像Cl。然后，用户可以通过如上述生成的剪辑合成图像Cl容易地把握运动图像MP的剪辑合成。[2.运动图像处理装置I]下面，将参照图2描述根据本公开实施例的运动图像处理装置I。图2示出运动图像处理装置I的主要功能配置。如图2所示，运动图像处理装置I包括数据获取单元11、剪辑转场检测单元13、剪辑对标识单元15、显示优化单元17、剪辑对生成单元19、元信息生成单元21、剪辑合成图像生成单元23、剪辑合成图像输出单元25、剪辑合成信息输出单元27以及数据存储单元29。数据获取单元11获取包含多个剪辑的运动图像数据MP从而将运动图像数据MP提供给剪辑转场检测单元13、剪辑对标识单元15、剪辑对生成单元19、元信息生成单元21以及剪辑合成图像生成单元23。运动图像数据MP通常是帧格式的数据并且可仅是图像数据或可与音频数据组合。可从数据存储单元29或外部的装置(未示出)获取运动图像数据MP。剪辑转场检测单元13基于运动图像数据MP检测运动图像MP中的剪辑转场并将检测结果提供给剪辑对标识单元15和剪辑合成信息输出单元27。剪辑转场意味着运动图像MP中剪辑的变化(change)。基于对后续帧中图像和/或音频确定的特征量的相似度检测剪辑转场。可以使用颜色直方图、脸部图像检测、图像之间的相关性(correlation)和/或声音音量、音调/节奏等作为图像和/或音频的特征量。可将为检测剪辑转场而确定的特征量存储在数据存储单元29中以供在其它处理中使用。尽管稍后将描述细节，剪辑对标识单元15基于每个剪辑的特征量S’将多个剪辑分类为剪辑组。剪辑对的标识结果被和剪辑转场的检测结果一起提供给显示优化单元17、剪辑对生成单元19和剪辑合成信息输出单元27。可以使用剪辑中包含的图像的颜色直方图、脸部图像检测、图像之间的关联和/或声音音量、音调/节奏等或这些的组合作为剪辑的特征量S’。可将为标识剪辑对而确定的特征量S’存储在数据存储单元29中以供在其它处理中使用。剪辑组意味着具有彼此相似特征量S’的剪辑的组合。剪辑对意味着在剪辑组合中重复的一系列彼此不同的剪辑的组合，并且由两个或更多个时间连续的剪辑构成。剪辑对标识单元15基于剪辑对的标识结果向每个剪辑附加代表剪辑组或剪辑对的属性信息(稍后描述的组ID、对ID等)。属性信息除了被提供给显示优化单元17和剪辑对生成单元19之外，还可被提供给剪辑合成信息输出单元27、数据存储单元29和外部装置。尽管将稍后描述细节，显示优化单元17根据剪辑合成图像Cl的显示条件(诸如显示范围和显示大小)优化剪辑合成图像Cl的显示。更具体地，作为剪辑合成图像Cl显示的剪辑对的数目N被优化为最佳显示数目Nopt从而保持剪辑合成图像Cl的可见性以及剪辑合成的一览可见性。将优化结果提供给剪辑对生成单元19。尽管将稍后描述细节，剪辑对生成单元19根据剪辑对标识结果和显示优化结果生成作为剪辑合成图像Cl显示的剪辑对。更具体地，根据剪辑对生成条件，基于特征量s’，生成剪辑对从而满足最佳剪辑对数目Nopt。剪辑对生成结果被提供给剪辑合成图像生成单元23，但是还可被提供给剪辑合成信息输出单元27、数据存储单元29和外部装置。元信息生成单元21生成示出每个剪辑中包含的音频和图像的特征的元信息MI(对元信息的通称)。元信息生成单元21基于运动图像数据MP和剪辑转场的检测结果从运动图像MP提取音频或图像特征。然后，示出每个剪辑的音频或图像特征的元信息MI被生成和提供给剪辑合成图像生成单元23。剪辑合成图像生成单元23基于运动图像数据MP和剪辑对生成结果生成剪辑合成图像Cl。剪辑合成图像Cl是如下图像，其中在剪辑对的边界被指定的同时以剪辑转场次序布置生成的剪辑对中包含的剪辑的代表性图像I。在剪辑合成图像Cl的生成中，根据预定标准从生成的剪辑对的剪辑中包含的图像提取代表性图像I。剪辑合成图像Cl可包含由元信息生成单元21提供的元信息MI。代表性图像I是代表每个剪辑的图像，并且被提取为例如与剪辑的中心帧相对应的图像。剪辑合成图像Cl被提供给剪辑合成图像输出单元25。剪辑合成图像输出单元25输出由剪辑合成图像生成单元23提供的剪辑合成图像Cl，从而使得用户可以把握运动图像MP的剪辑合成。剪辑合成图像Cl可被输出到连接到运动图像处理装置I的显示装置、打印装置、存储装置或外部装置(这些装置均未示出)。剪辑合成信息输出单元27将剪辑转场检测结果、剪辑分类结果或剪辑对标识结果作为剪辑合成信息输出，从而使得用户可以使用该信息来把握剪辑合成。该剪辑合成信息可被输出到连接到运动图像处理装置I的显示装置、打印装置、存储装置或外部装置(这些装置均未示出)。剪辑合成信息可以被作为用于例如考虑剪辑合成实现运动图像搜索的数据来使用。例如，一些剪辑可被设置为参考剪辑以搜索与参考剪辑配对的剪辑，或一些剪辑对可被设置为参考剪辑对以搜索以和参考剪辑对同样的方式构成的剪辑对。此外，可以搜索包含许多剪辑对的运动图像MP或包含很多回切的运动图像MP。数据存储单元29存储运动图像数据MP和附加到运动图像数据MP的数据。数据存储单元29具有通过与运动图像数据MP相关联而存储的剪辑合成信息。附带说一下，剪辑合成图像Cl可存储在数据存储单元29中。在图2中，部分省略数据存储单元29与其它部件连接的标记。在以上的功能配置中，数据获取单元11、剪辑转场检测单元13、剪辑对标识单元
15、显示优化单元17、剪辑对生成单元19、元信息生成单元21、剪辑合成图像生成单元23、剪辑合成图像输出单元25和剪辑合成信息输出单元27被配置为诸如CPU DSP (数字信号处理器)等的处理单元。由内部存储装置(诸如闪速存储器)或外部存储装置(诸如硬盘驱动或蓝光盘驱动)配置数据存储单元29。CPU通过在RAM上扩展从ROM等读取的程序并执行该程序实现运动图像处理方法。上述功能配置可至少部分地配置为诸如专用逻辑电路的硬件。[3.用于生成剪辑合成阵列M0的过程]下面，将参照图3至图7描述生成剪辑合成阵列M0的过程。图3示出运动图像处理装置I的整体操作步骤。如图3所示，数据获取单元11首先获取运动图像数据MP (步骤Sll)并将该运动图像数据MP提供给剪辑转场检测单元13。剪辑转场检测单元13基于运动图像数据MP检测运动图像数据MP中的剪辑转场(步骤S13)并将检测结果提供给剪辑对标识单元15。基于后续帧中的图像和/或音频的特征量的相似度检测剪辑转场。将示出剪辑转场的次序的序列号作为剪辑ID附加到每个剪辑。
图4例示出由剪辑转场检测结果确定的剪辑合成。通过使用剪辑I至15的代表性图像Il至115示出剪辑合成以便于理解。如图4所示，剪辑1、3、6、8、11和13彼此相似，剪辑2、4、7、9、12和14彼此相似，并且剪辑5、10和15彼此相似。下面，剪辑对标识单元15进行剪辑对标识处理以通过将每个剪辑分类到剪辑组来标识剪辑对。图5示出剪辑对标识处理的过程。如图5所示，在剪辑对标识处理中，首先进行初始化处理(步骤S31 )。在初始化处理中，初始化组数目m和对ID(m=2，对ID=I )。组ID=I和组ID=2分别附加到剪辑I和2，且对ID=I附加到剪辑I和2。组数目m示出从运动图像数据MP标识的剪辑组(在初始化处理中标识出剪辑组I和2)的数目。组ID和对ID被附加到每个剪辑从而指示每个剪辑所属的组ID和对ID。下面，计算剪辑I的特征量S’并将其作为剪辑组I的特征量SI存储在数据存储单元29等中(步骤S33)。相似地，计算剪辑2的特征量S’并将其作为组2的特征量S2存储在数据存储单元29等中(步骤S35)。剪辑组的特征量S (对剪辑组特征量的通称)被计算为颜色直方图、脸部图像检测、图像之间的关联和/或声音音量、音调/节奏等或这些的组合。下面，检查是否存在要被处理的后续的剪辑(步骤S37)。如果存在后续的剪辑(步骤S37中“是”)，则计算后续剪辑的特征量S’(步骤S39)并且确定后续剪辑的特征量S’和剪辑组I至m的特征量SI至Sm之间的相似度(步骤S41)。当确定相似度时，可对具有比之前的紧接的(immediately before)剪辑更大的组ID的剪辑组优先确定特征量S之间的相似度。这是由于当属于相同的剪辑对时，后续的剪辑所属于的剪辑组的组ID变得大于之前的紧接的剪辑所属于的剪辑组的ID。如果后续的剪辑的特征量S’和剪辑组I至m的特征量SI至Sm中一个之间的相似度被确定为等于预定阈值或更高(步骤S41中的“是”)，则将最高相似度的剪辑组X(I彡X彡m)的组ID附加到后续的剪辑(步骤S43)。比较后续的剪辑的组ID和之前紧接的剪辑的组ID (步骤S45)，并且如果前者较小，则对ID增加I (步骤S47)。在这种情况下，之前紧接的剪辑和后续的剪辑属于不同的剪辑对，并且在两个剪辑之间存在剪辑对之间的边界(回切点(cutback point))。之前的对ID或增加的对ID附加到后续的剪辑(步骤S49)。后续的剪辑的特征量S’可被存储并用作剪辑组X的特征量Sx的一部分,或可被丢弃(步骤S51)。另一方面，如果后续的剪辑的特征量S’和剪辑组I至m的所有特征量SI至Sm之间的相似度被确定为小于预定的阈值(步骤S41中的“否”)，则组数目m增加I从而生成新的剪辑组(步骤S53)。作为新的剪辑组对应于组数目m的组ID附加到后续的剪辑(步骤S55)。之前的对ID附加到后续的组(步骤S55)。后续的剪辑的特征量S’被存储并用作新的剪辑组m的特征量Sm (步骤S59)。重复步骤S37至S59中的处理直到不再存在后续的剪辑(步骤S37中的“否”)。然后，如果不存在后续的剪辑，则剪辑对标识处理终止，并且如图3所示，步骤S17中的处理继续进行。图6示出图4中所示的剪辑配置的剪辑对标识结果。如图6所示，基于每个剪辑的特征量S’的相似度，将组ID=I附加到剪辑1、3、6、8、11和13，组ID=2附加到剪辑2、4、
7、9、12和14，以及组ID=3附加到剪辑5、10和15。还基于剪辑转场的次序，将对ID=I至6附加到剪辑I至15并且剪辑1、2，剪辑3至5，剪辑6、7，剪辑8至10，剪辑11、12和剪辑13至15每个被标识为剪辑对I至6，作为一系列彼此不同的剪辑重复。当剪辑对的标识终止时，显示优化单元17基于剪辑对标识结果优化剪辑合成阵列Mtl (步骤S17)。显示优化单元17首先生成剪辑合成阵列凡。剪辑合成阵列Mtl是基于运动图像MP中剪辑对的出现次序以及每个剪辑对中剪辑的出现次序以矩阵形式布置每个剪辑的信息。图7示出从图6中所示的剪辑对标识结果生成的剪辑合成阵列在图7中，在剪辑合成阵列M0中示出剪辑ID。在图7中所示的剪辑合成阵列Mtl中，水平地布置剪辑1、2，在剪辑1、2下面水平地布置剪辑3至5，并且类似地布置剪辑6、7，剪辑8至10，剪辑11、12和剪辑13至15。S卩，以矩阵形式布置剪辑I至15，其中在第一方向(竖直方向)上设置运动图像MP中剪辑对的出现次序(对ID)，并且在第二方向(水平方向)上设置每个剪辑对中剪辑的出现次序(组ID)。代替竖直方向和水平方向的组合，第一方向和第二方向的组合可以是水平方向和竖直方向的组合。[4.优化剪辑合成阵列Mtl的过程]下面，将参照图8和图9A至9C描述优化剪辑合成阵列Mtl的过程。图8示出优化剪辑合成阵列M0的过程。以下将描述对预定的显示区域Ad优化图7所示的剪辑合成阵列时的情况。假设显示区域Ad在第一方向上具有显示高度(像素数)Y，在第二方向上具有显示宽度(像素数)X，以及显示范围大小A (=XXY)。假设每个剪辑的代表性图像I在第一方向上具有原(full-size)高度(像素数)Ytl，在第二方向上具有原宽度(像素数)Xtl，代表性图像大小aQ(=X0Xy0),以及高宽比 Ra=X0/y0ο如图8所示，首先初始化处理计数器i (i=l)(步骤S61)。下面，从显示区域Ad的显示宽度X计算代表性图像I的最大显示宽度Xmax (步骤S63)。通过将显示区域Ad的显示宽度X除以组数目m计算最大显示宽度xmax (xmax=X/m)。如果代表性图像I的最大显示宽度xmax大于全长的宽度Xci,则可以最大显示宽度xmax被设置为原宽度X0。下面，计算当以最大显示宽度xmax显示代表性图像I的剪辑对的显示数目N1 (步骤S65)。通过将显示区域Ad的显示高度Y除以代表性图像I的最大显示高度ymax计算显示数目N1 (NfY/ymax)。通过将最大显示宽度xmax除以高宽比Ra计算最大显示高度ymax(ymax=xmax/Ra)0将显示数目N1计算为通过丢弃小数点右侧所有位获得的值。下面，基于剪辑对的显示数目N1从剪辑合成阵列M0生成第一部分阵列M1 (步骤S67)。部分阵列是通过从剪辑合成阵列Mtl部分提取获得的阵列。将第一部分阵列M1生成为包含剪辑对I至&中所有剪辑的阵列，并且该阵列中包含的剪辑总数变为第一部分阵列M1中的总剪辑数Ii1。下面，计算第一剪辑合成图像Cl对显示区域A的的显示占有率Ro1 (步骤(S69)。通过将用第一部分阵列M1中的总剪辑数目Ii1乘以代表性图像大小(al=xmaxXymax)获得的值除以显示范围大小A来计算第一剪辑合成图像Cl的显示占有率Roi (Ro1=B1Xn1A)O下面，处理计数器i加I (步骤S71)且显示数目队加I (步骤S73)。下面，基于剪辑对的显示数目Ni从剪辑合成阵列M0生成第i个部分阵列Mi (步骤S75)。将第i个部分阵列Mi生成为包含剪辑对I至Ni中所有剪辑的阵列。下面，计算以显示数目Ni显示代表性图像I时的代表性图像大小％ (步骤S77)。当以显示数目Ni显示代表性图像I时通过将显示高度Ii乘以显示宽度Xi计算代表性图像大小％ (Bi=XiXyi)0通过将显示区域Ad的显示高度Y除以显示数目Ni计算显示高度yi(Yi=YAvJi),通过用显示高度Yi乘以高宽比Ra计算显示宽度Xi (Xi = YiXRa)ο下面，计算第i个剪辑合成图像Cl对显示区域A的显示占有率Roi (步骤S79)。通过将用第i部分阵列Mi中的总剪辑数目Ili乘以代表性图像大小％获得的值除以显示范围大小A计算第i剪辑合成图像Cl的显示占有率Roi (Roi=BiXniA)0下面，确定计算的显示占有率Roi是否小于之前紧接的处理(由处理计数器1-Ι进行的处理)中计算的显示占有率Rcv1 (步骤S81)。然后，如果判定结果是肯定的(步骤S81中“是”)，则显示数目Nh变为优化显示数目Nopt (步骤S83)。结果，第(1-Ι)个部分阵列Mi^1被确定为优化的剪辑合成阵列。另一方面，如果判定结果是否定的(步骤S81中的“否”)，则处理返回至步骤S71。然后设置与下一个处理计数器i+Ι对应的显示数目Ni+1，以重复步骤S71至S81中的处理，直到步骤S81中的判定结果变为 肯定的。根据上述步骤，代表性图像I的显示大小％随着显示数目Ni的增加而减小。因此，可预设代表性图像I的最小显示高度ymin从而确定由显示数目Ni计算的代表性图像I的显示高度71是否小于最小显示高度ymin。然后，如果判定结果是肯定的，则可中断优化处理从而设置显示占有率Roi取最大值的第一部分阵列M1的显示数目N1作为最大显示数目 Nopt0图9A至9C示出图4中示出的剪辑配置的优化处理结果。如图9A所示,第一部分阵列M1具有显示数目N1=I且包括剪辑对I至4中包含的剪辑I至10。在这种情况下,剪辑合成的组数是m=3，且因此如图9A所示，剪辑组I至3的代表性图像Il至IlO在显示区域A的显示宽度X上完全地显示为剪辑合成图像Cl。然后，第一部分阵列M1的显示占有率被计算为Ro1 = 0.74。如图9B所示,第二部分阵列M2具有显示数目N2=5,且包括剪辑对I至5中包含的剪辑I至12。在这种情况下，如图9B所示，剪辑对I至5中的代表性图像Il至112在显示区域Ad的显示高度Y上完全地显示为剪辑合成图像Cl。然后，第二部分阵列M2的显示占有率被计算为Ro2=0.76。由于Ro1 (=0.74) <Ro2(=0.76)成立，则优化处理会继续。如图9C所示,第三部分阵列M3具有显示数目N3=6,且包括剪辑对I至6中包含的剪辑I至15。在这种情况下，如图9C所示，剪辑对I至6中的代表性图像Il至115在显示区域Ad的显示高度Y上完全地显示为剪辑合成图像Cl。然后，第三部分阵列M3的显示占有率被计算为Ro3=0.67。由于Ro3 (=0.67) <Ro2(=0.76)成立，则第二部分阵列M2成为最优剪辑合成阵列。因此，最优显示数目Nopt变为显示数目N2=5。在图9A和9B中，没有显示剪辑合成阵列Mtl中所有的剪辑对I至6，在显示区域Ad下面显示用以指示存在没有显示的剪辑对的标记M。根据由本实施例的运动图像处理方法，如上所述，通过调整剪辑对的数目N从而最大化对显示区域Ad的显示占有率Ro并且生成满足调整后的剪辑对数目N剪辑合成图像Cl，剪辑合成图像Cl能够保持剪辑合成的一览可见性和剪辑合成图像Cl的可见性。
如已经参照图9A至9C所描述的，由于显示条件的限制，因此最优阵列不一定包含运动图像MP中的所有剪辑合成。因此，如果根据最优阵列生成剪辑合成图像，则运动图像MP中的剪辑合成可能没有被适当地表达。因此，如以下将要描述的，在通过从剪辑合成阵列M0拣选(sort)剪辑从而满足最优阵列(最优显示数目Nopt)而生成剪辑对之后生成剪辑合成图像Cl。如图3所示，当完成了显示最优处理时，剪辑对生成单元19从多个剪辑对生成最优显示数目Nopt个剪辑对(步骤S19)。通过组合多个剪辑的至少一部分而生成剪辑对，从而使得构成每个剪辑对的两个或更多个剪辑属于彼此不同的剪辑组，并且保持运动图像MP中剪辑转场的前后关系。[5.生成剪辑对的过程]下面，将参照图10至25描述生成剪辑对的过程。图10示出生成剪辑对的过程。为了生成剪辑对，事先检测到剪辑转场且标识出剪辑对。如上所述，在剪辑转场的检测中，从包括多个剪辑的运动图像中检测出剪辑之间的转场(步骤S91)。在剪辑对的标识中，将多个剪辑分类为具有不同特征量S的多个剪辑组，从而识别由属于不同剪辑组的两个或更多个连续剪辑组成且在运动图像MP中被重复的多个剪辑对(步骤S93)。在剪辑对的识别中，剪辑合成阵列M0中的剪辑对可被分类为对组以从每个对组生成剪辑对(第一生成过程)，或可不将剪辑对分类成剪辑组而直接从剪辑合成阵列M0生成剪辑对(第二生成过程)。因此，在剪辑对的生成中，首先确定是否选择第一生成过程(步骤S95)。然后，如果判定结果是肯定的(步骤S95中的“是”)，则基于剪辑或剪辑对的特征量将剪辑合成阵列Mtl中的剪辑对分类为最优显示数目Nopt个对组(步骤S97)。下面，组合每个对组中包含的剪辑的至少一部分从而从每个对组中包含的剪辑对生成一个剪辑对(步骤S98 )。组合剪辑从而使得构成每个剪辑对的两个或更多个剪辑属于彼此不同的剪辑组并且保持运动图像中剪辑转场的前后关系。另一方面，如果判定结果是否定的(步骤S95中的“否”)，则在不考虑对组的情况下组合多个剪辑的至少一部分，从而多个剪辑对中生成最优显示数目Nopt个剪辑对(步骤S99)。这里也组合剪辑从而使得构成每个剪辑对的两个或更多个剪辑属于彼此不同的剪辑组并且保持运动图像中剪辑转场的前后关系。下面将参照图11至25描述当从剪辑对I至7生成剪辑对从而使得满足最优显示数目Nopt=3的情况。以下将使用与图4至9中的运动图像数据MP不同的运动图像数据MP来描述。图11示出根据两个生成过程的剪辑合成图像Cl的生成示例。在第一生成过程中，剪辑合成阵列Mtl中的剪辑对I至7被分类为对组I (剪辑对I至3)，对组2 (剪辑对4、5)和对组3 (剪辑对6、7)。下面，从对组I拣选出剪辑3、4，从对组2拣选出剪辑8、9，并从对组3拣选出剪辑11、14。在图11中，拣选的剪辑为画阴影的。在第二生成过程中，另一方面，直接从剪辑合成阵列M0中拣选出剪辑3、4、8、9、11和14而没有将剪辑对I至7分类为对组。图12示例生成剪辑对的条件。根据图12中所示生成剪辑对的条件从剪辑合成阵列M0生成剪辑对。剪辑的特征包括剪辑图像的帧数、剪辑声音的音量、剪辑图像的亮度/颜色和剪辑图像的运动量。特征量包括总值、平均值、最大/最小值、中值、模式、方差、波动的系数、改变值(差)、直方图和矩阵值。特征量的处理单位包括剪辑单位、剪辑对单位、剪辑对中和相应的剪辑之间的差异。特征量的评估标准包括特征量的降序/升序、从参考值的波动、连续特征量之间的差以及矩阵值的内积和外积。通过例如适当地组合剪辑特征、特征量、处理单位以及评估标准(象“帧数”作为剪辑特征，“总值”作为特征量，“剪辑对单位”作为处理单位，和“特征量的升序”作为评估标准)形成生成剪辑对的条件。以上的剪辑特征、特征量、处理单元和评估标准仅为示例并且不意味着所有的组合总是可能的。以下通过以一些生成条件作为示例来描述剪辑对的生成处理。首先，将描述根据第一生成过程当从剪辑对I至7生成剪辑对从而满足最优显示数目Nopt=3的情况。以下示出的处理条件和剪辑配置仅为描述剪辑对的生成处理的示例。图13示出在其中基于剪辑对的巾贞数生成剪辑对的示例。首先,基于剪辑对I至7的帧数将剪辑对I至7分类为对组I至3 (参见对组的项)。将剪辑对I至7分类从而使得每个对组中包含的剪辑对的总帧数变为大致相等。在以上的示例中，将剪辑对I至7分类从而使得对组1、2、3中包含的帧的总数分别为120、80和100 (参见累计的项)。下面，从每个对组I至3中包含的剪辑对拣选出具有最大帧数的剪辑对。在上述示例中，分别对于对组1、2和3拣选出剪辑对3、4、7 (参见对帧数的项)。因此，生成由剪辑对3、4、7组成的三个剪辑对以生成剪辑合成图像Cl。可基于剪辑对的数目而非帧数将剪辑对I至7分类。在这种情况下，可将剪辑对I至7分类为例如剪辑对1、2，剪辑对3、4和剪辑对5至7从而使得每个对组中包括的剪辑对的数目变为大致相等。还有取代具有最大帧数的剪辑对，可拣选具有最小帧数的剪辑对或中值剪辑对。图14示出在其中基于剪辑的帧数生成剪辑对的示例。首先，基于属于剪辑组I的主剪辑(剪辑1、3、5、7、9、11和13)的帧数将剪辑对I至7分类为对组I至3。更具体地，对于对组的分类，从所有主剪辑选择具有最大的两个帧数的两个主剪辑。在上面的例子中，选择具有帧数20、25的主剪辑5、9(参见组I中的帧数的项)。然后，通过使用所选主剪辑的位置作为分隔符(delimiter)将剪辑对I至7分类为对组I至3。在这种情况下，主剪辑5、9的位置被用作上述示例中的分隔符从而将剪辑对I至3、剪辑对
4、5和剪辑对6、7分别分类为剪辑组1、2和3 (参见对组的项)。下面，对剪辑组I至3的每个，从属于剪辑组I的主剪辑拣选具有最大帧数的主剪辑。在上述示例中，分别对于对组1、2、3拣选出主剪辑5、9和11 (参见组I中巾贞数的项)。下面，对每个剪辑组I至3，从属于剪辑组2的从-剪辑(剪辑2、4、6、8、10、12和14)拣选出具有最大帧数的从-剪辑。在上述的示例中，对于对组1、2和3分别拣选出从-剪辑2、10和14 (参见组2中帧数的项)。因此，生成由剪辑2、5构成的剪辑对、由剪辑9、10构成的剪辑对以及由剪辑11、14构成的剪辑对以生成剪辑合成图像Cl。在这种情况下，由于在主剪辑5和从-剪辑2之间的剪辑转场次序是反的(主剪辑的剪辑ID>从-剪辑的剪辑ID)，因此可拣选出从-剪辑6而非从-剪辑2，从而使得主剪辑和从-剪辑之间剪辑转场的次序变为正常。取代基于各自的帧数分别拣选主剪辑和从剪辑，可基于帧数选择主剪辑从而随后选择与所选的主剪辑属于相同剪辑对的从-剪辑。在这种情况下，如果例如拣选出主剪辑
5、9和11，则自动选择从-剪辑6、10和12。还有取代主剪辑的帧数，可基于从-剪辑的帧数或剪辑对的帧数将剪辑对I至7分类。还有取代其帧数为最大和次大的两个主剪辑，可以使用具有最小的两个帧数的主剪辑的位置作为分隔符。还有取代对每个对组拣选出具有最大帧数的主剪辑和从-剪辑，可选择属于具有最大帧数的剪辑对的主剪辑和从-剪辑。图15示出在其中基于剪辑之间的音量波动生成剪辑对的示例。首先，类似图13中所示的示例，基于剪辑对的数目将剪辑对I至7分类为对组I至3。下面，对于剪辑组I至3的每个从属于剪辑组I的主剪辑(剪辑1、3、5、7、9、11和13)拣选具有最大音量波动的主剪辑。音量波动被计算为每个主剪辑的音量对每个对组中包含的主剪辑的平均音量的比率。在上述的示例中，拣选出具有分别对对组1、2和3中包含的主剪辑的平均音量18.3、15.0和20.0的音量波动的最大绝对值的主剪辑3 (音量波动:-6.7)，主剪辑7 (音量波动:5.0)和主剪辑11 (音量波动:5.0)(参见组I音量波动的项)。当同一对组中存在两个或更多个绝对最大值时，为方便起见拣选出具有最小剪辑ID的主剪辑。类似地，对于每个剪辑组I至3的每个从属于剪辑组2的从-剪辑(剪辑2、4、6、8、
10、12和14)拣选出具有最大音量波动的从-剪辑。音量波动被计算为每个从剪辑的音量对每个对组中包含的从剪辑的平均音量的比率。在上述的示例中，拣选出具有分别对对组1、2和3中包含的从-剪辑的平均音量18.3、15.0和12.5的音量波动的最大绝对值的从-剪辑6 (音量波动:-6.7)，从-剪辑8 (音量波动:-5.0)和从-剪辑12 (音量波动:2.5)(参见组2音量波动的项)。当同一对组中存在两个或更多个绝对最大值时，为方便起见拣选出具有最小剪辑ID的主剪辑。因此，生成由剪辑3、6组成的剪辑对，由剪辑7、8组成的剪辑对和由剪辑11、12组成的剪辑对以生成剪辑合成图像Cl。取代基于剪辑对的帧数将剪辑对分类为对组，类似于图14中所示的示例，可从所有剪辑具有最大的两个音量波动的两个剪辑从而通过使用所选剪辑的位置作为分隔符将剪辑对I至7分类为对组。音量波动被计算为每个剪辑的音量对剪辑对I至7中包含的所有剪辑的平均音量的比率。对于剪辑组I至3的每个，可从每个对组中包含的所有剪辑拣选具有最大音量波动的剪辑而不区分主剪辑和从-剪辑。例如，可对于对组I从剪辑I至6拣选具有最大音量波动的剪辑3 (从平均音量18.3音量波动-6.7)，从而拣选出与所选的剪辑3属于相同的剪辑对2的剪辑4。还有，取代对每个对组分别拣选出具有最大音量波动的主剪辑和从-剪辑，可拣选出属于具有最大音量波动的剪辑对的主剪辑和从-剪辑。音量波动被计算为每个剪辑对的音量对每个对组中包含的所有剪辑对的平均音量的比率。下面，将要描述根据第二生成过程当从剪辑对I至7生成剪辑对从而使得满足最优显示数目Nopt=3时的情况。以下示出的处理条件和剪辑配置仅为描述剪辑对的生成处理的示例。图16示出在其中基于剪辑对的巾贞数生成剪辑对的示例。从剪辑对I至7选择具有最大的三个巾贞数的三个剪辑对。然后，拣选出所选的剪辑对中包含的剪辑。在上述示例中，拣选出与分别具有帧数60、60和60的剪辑对3、4和7对应的剪辑5至8，13和14 (参见对帧数的项)。因此，生成由剪辑对3、4和7组成的三个剪辑对以生成剪辑合成图像Cl。取代具有三个最大的帧数的三个剪辑对，可以选择具有平均帧数的三个剪辑对，或选择一个剪辑对具有平均帧数并且两个剪辑对具有两个最大的准数。图17示出在其中基于剪辑的巾贞数生成剪辑对的示例。首先，从剪辑对I至7中包含的所有剪辑选择具有三个最大帧数的三个剪辑。下面，选择与所选的剪辑属于相同剪辑对的剪辑。在上述示例中，在拣选出具有帧数25、20和25的剪辑2、5和9之后，分别拣选出对应的剪辑1、6和10。因此，生成由剪辑对1、3和5组成的三个剪辑对以生成剪辑合成图像Cl。可从主剪辑和从-剪辑中的一个而非所有的剪辑拣选出具有三个最大的帧数的三个剪辑。此外，可从主剪辑和从-剪辑中的一个选择具有平均帧数的一个剪辑,并且可从主剪辑和从-剪辑中的另一个选择具有最大的两个帧数的两个剪辑。图18示出在其中基于剪辑之间的音量波动生成剪辑对的示例。首先,从剪辑对I至7中包含的所有剪辑选择具有三个最大音量波动的三个剪辑。音量波动被计算为每个剪辑的音量对剪辑对I至7中包含的剪辑的平均音量的比率。下面，选择与所选的剪辑属于同一剪辑对的剪辑。在上述示例中，在拣选出都具有音量波动-8.2的三个剪辑3、6和11之后，拣选出对应的剪辑4、5和12 (参见组1、2音量波动的项)。因此，生成由剪辑对2、3和6组成的三个剪辑对以生成剪辑合成图像Cl。可以从主剪辑和从-剪辑中的一个而非所有剪辑拣选出具有三个最大的音量波动的三个剪辑。音量波动被计算为每个剪辑的音量对剪辑对I至7中包含的主剪辑或从-剪辑的平均音量的比率。图19示出在其中基于剪辑之间的屏幕亮度波动生成剪辑对的示例。首先，对剪辑I至14的代表性图像，基于图像处理计算代表标准化屏幕亮度的直方图。下面，对每个剪辑组计算7个剪辑的平均直方图。直方图代表当代表性图像中包含的像素的亮度被以预定的亮度间隔分段(sectioned)时每个分段中的频率。图19连同剪辑I至14的代表性图像Il至114 一起示出代表性图像Il至114的标准化直方图和剪辑组的平均直方图。下面，拣选出具有相对于平均直方图的三个最大波动的三个剪辑。直方图的波动被计算为每个剪辑的标准直方图和每个剪辑所属的剪辑组的平均直方图之间的差。然后，选择与所选剪辑属于同一剪辑对的剪辑。在上述示例中，剪辑1、11和14的波动是三个最大的，并且生成由剪辑对1、6和7组成的三个剪辑对以生成剪辑合成图像Cl。下面，将描述当基于剪辑之间的特征量的相似度生成剪辑对的情况。描述当从构成剪辑对I至7的剪辑I至14生成剪辑对从而满足最优显示数目Nopt=3时的情况。图20示出计算剪辑I至14中特征量相似度的结果。在图20所示的计算结果中，将剪辑I至14分类为剪辑组I (剪辑1、3、5、7、9、11和13)以及剪辑组2 (剪辑2、4、6、8、
10、12和14)并且还分类为剪辑对I至7。在图20中，剪辑I至14中的特征量的相似度被示为相对于与剪辑1、2的特征量对应的剪辑组1、2的特征量S1、S2的O和I之间的值。接近I的特征量相似度意味着剪辑之间的特征量更相似。例如，属于同一剪辑组的剪辑I和3具有0.9的特征量的高相似度，，而属于不同剪辑组的剪辑I和4具有0.1的特征量的低相似度。
图21示出第一相似度矩阵Msl (其示出剪辑I和2之间的相似度)以及第二相似度矩阵Ms2(其示出剪辑3、4之间的相似度)。第一和第二相似度矩阵Msl和Ms2是从图20所示的计算结果提取的矩阵。然后，可通过第一和第二相似度矩阵Msl和Ms2的内积计算剪辑对I (剪辑1、2)和剪辑对2 (剪辑3、4)之间的相似度。第一和第二相似度矩阵Msl和Ms2的增加的内积意味着剪辑对更相似。如图21所示，第一相似度矩阵Msl被向量化为(1.0,0.2,0.3,1.0)且第二相似度矩阵Ms2被向量化为(0.9，0.1，0.2，0.8)。因此，第一和第二相似度矩阵Msl、Ms2的内积被计算为1.0χ0.9+0.2χ0.14.3x0.2+1.0x0.8 N1.8。可由同样的方法计算出除了剪辑对1、2
之间的剪辑对I至7间的相似度。相应地，如图22所示，计算剪辑对I至7中的相似度。图22连同剪辑对I至7中的相似度一起示出剪辑对I至7的每个的相似度的总和。增加的相似度的总和意味着剪辑对具有增加的亲和度(affinity)，即该剪辑对代表剪辑对I至7的可能性增加。当基于相似度矩阵Ms (相似度矩阵的通称)的内积生成剪辑对时，首先选择具有最大的相似度总和9.1的剪辑对3。其次，选择对于剪辑对3具有最低的相似度(1.1)的剪辑对7。再次，选择对于剪辑对7具有最低的相似度(0.9)的剪辑对I。因此，生成由剪辑对1、3和7组成的三个剪辑对以生成剪辑合成图像Cl。取代对剪辑对7的最低相似度的标准，可以根据对剪辑对3的次低相似度的标准选择剪辑对。此外，还可根据最大相似度总和的剪辑对的标准、最小总和的剪辑对的标准和最接近平均值的剪辑对的标准来选择三个剪辑对。相应地，可以生成代表所有剪辑对的代表性剪辑对和与代表性剪辑对不同的其它剪辑对。图23示出第一相似度矩阵Msl (其示出剪辑I和2之间的相似度)以及第二相似度矩阵Ms2(其示出剪辑3、4之间的相似度)。第一和第二相似度矩阵Msl和Ms2是从图20所示的计算结果提取的矩阵。然后，可基于示出剪辑I至14间相似度的相似度矩阵Ms的标量(scalar)值选择剪辑对。相似度矩阵Ms的增加的标量值意味着剪辑对代表剪辑对I至7的可能性增加。例如，第一相似度矩阵Msl的标量值被计算为1.0+0.2+0.3+1.0=2.5且第二相似度矩阵Ms2的标量值被计算为0.9+0.1+0.2+0.8=2.0。因此，在剪辑对I (剪辑1，2)和剪辑对2 (剪辑3、4)之中，剪辑对I具有作为代表所有剪辑对的代表性剪辑对的更大可能性。当基于相似度矩阵Ms的标量值生成剪辑对时，在剪辑对I至7间计算相似度矩阵Ms的标量值。下面，通过用标量值替代相似度的总和并进行图22中所示情况中的处理来选择三个剪辑对。然后，拣选出所选剪辑对中包含的剪辑。相应地，可以生成代表所有剪辑对的代表性剪辑对和与代表性剪辑对不相似的其它剪辑对。如图3所示当完成剪辑对生成处理时，由元信息生成单元21生成每个剪辑的元信息MI (步骤S21)。元信息生成单元21基于运动图像数据MP和剪辑转场的检测结果从运动图像数据MP提取每个剪辑中包含的图像或音频特征。如果例如，剪辑包含声音(话语(word)、音效等)，则提取该剪辑中包含的声音以通过语音识别处理生成与提取的声音对应的文字/图像信息。如果剪辑中不包含声音，则可生成指示无声剪辑的文字/图像信息。可在不包含话语的无声剪辑和既不包含话语也不包含音效的无声剪辑之间区分无声剪辑。还可生成指示剪辑中包含的声音音量的平均值/变化、无声间隔和非无声间隔的比率以及声音的音调、节奏或波动。可计算剪辑中包含的帧数或再现剪辑所需的时间从而生成指示所计算值的文字/图像信息。此外，可产生指示剪辑中包含的图像亮度的平均值/变化和图像的内容或改变
的文字/信息。剪辑合成图像生成单元23基于剪辑对生成处理的结果生成剪辑合成图像Cl (步骤S23)。剪辑合成图像生成单元23首先基于运动图像数据MP和剪辑对生成处理的结果，根据预定的标准，从属于选择的剪辑的系列图像提取代表性的图像I。也可当检测剪辑转场时事先提取每个剪辑的代表性图像I。下面，生成剪辑合成图像Cl，其中在指定剪辑对的同时以剪辑转场的次序布置剪辑的代表性图像I。如果已经生成每个剪辑的元信息MI，则元信息MI与每个剪辑的代表性图像一起显示。图24示例了从图13所示的剪辑对生成处理的结果生成的剪辑合成图像Cl。在图24中所示的剪辑合成图像Cl中，剪辑5、6的代表性图像15、16水平布置，剪辑7、8的代表性图像17、18水平布置在剪辑5、6的代表性图像15、16之下，并且剪辑3、4的代表性图像
13、14水平布置在剪辑7、8的代表性17、18之下。以上描述的剪辑合成图像Cl便于对剪辑合成的理解。然而，剪辑合成图像Cl的合成不限于图24所示的合成。图25示出剪辑合成图像Cl的修改。在图25所示的剪辑合成图像Cl中，通过将其叠加在该剪辑的代表性图像I上显示剪辑的元信息。剪辑的元信息是指示剪辑中包含的图像或音频的特征的信息。指示声音特征的元信息MI是例如指示每个剪辑中包含的声音内容(话语、音效等)的信息、指示每个剪辑中不包含声音(指示无声剪辑)的信息等。指示图像特征的元信息MI是例如，指示每个剪辑中包含的帧数的信息，指示重现每个剪辑所需时间的信息等。在图25的状态A中所示的剪辑合成图像Cl中，例如剪辑1、3的元信息MI1、MI3，剪辑5、7、9的元信息MI5、MI7和MI9，以及剪辑11的元信息MIll被通过分别叠加在剪辑I的代表性图像11、剪辑7的代表性图像17和剪辑11的代表性图像Ill上显示。相应地，通过在其上叠加三个剪辑的元信息MI5、MI7和MI9而在其中显示的剪辑11的代表性图像17的可见性降低。因此，对剪辑1、7和11的代表性图像I1、17和Ill计算由元信息MI的对比率，SP元信息MI在代表性图像I上的显示占有率。在这种情况下，剪辑7的代表性图像17的对比率相对高，而剪辑I的代表性图像Ill的对比率相对低。因此，在图25的状态B中所示的剪辑合成图像Cl’中，基于由元信息MI的对比率将剪辑7的代表性图像17上的剪辑9的元信息MI9移动到剪辑11的代表性图像Ill上。对应地，当与状态A相比时，剪辑7的代表性图像17中的对比率变低，从而使得可以保持代表性图像17的可见性。如上所述，根据基于本实施例的运动图像处理方法，可以通过藉由组合多个剪辑的至少一部分从而使得满足预定的条件而生成预定数目个剪辑对和生成由生成的剪辑对构成的剪辑合成图像Cl来生成能够保持剪辑合成的一览可见性和剪辑合成图像Cl的可见性的剪辑合成图像Cl。
尽管目前为止已经参照附图详细描述了本公开的优选实施例，但是本公开并不限于这样的示例。清楚的是，本公开所述技术领域的普通技术人员可在不偏离权利要求所述的技术理念的情况下想到各种改变和修改，并且可以理解其自然地属于本公开的技术范围。在上述实施例中，例如，合成图像Cl被描述为在其中以三行布置最优显示数目Nopt=3的剪辑对的图像。然而，可以根据其显示条件以不同的最优显示数目Nopt生成图像Cl，或即使最优显示数目Nopt是相同的，但是合成图像Cl可被生成为在其中以不同的行数/列数布置代表性图像I的图像。参考标记列表I运动图像处理装置11数据获取单元13剪辑转场检测单元15剪辑对标识单元17显示优化单元19剪辑对生成单元21元信息生成单元23剪辑合成图像生成单元25剪辑合成图像输出单元27剪辑合成信息输出单元29数据存储单元MP运动图像(数据)I代表性的图像Nopt最优显示数目Cl剪辑合成图像Ad显示区域Ro显示占有率
权利要求
1.一种运动图像处理装置，包括: 剪辑转场检测单元，其从包含多个剪辑的运动图像检测剪辑之间的转场； 剪辑对标识单元，其将该多个剪辑分类为具有相互不同特征量的多个剪辑组，并标识出包括属于彼此不同剪辑组的两个或更多个连续的剪辑、且在运动图像中被重复的多个剪辑对； 剪辑对生成单元，其以使得构成每个剪辑对的两个或更多个剪辑属于彼此不同的剪辑组且保持运动图像中剪辑转场的前后关系的方式，通过组合该多个剪辑的至少一部分，来从该多个剪辑对生成在数目上少于该多个剪辑对的预定数目个剪辑对，以及 剪辑合成图像生成单元，其生成包括所生成的剪辑对的剪辑合成图像。
2.根据权利要求1所述的运动图像处理装置，其中剪辑对生成单元将该多个剪辑对分类为该预定数目个对组，并且然后对于每个对组，以使得构成每个剪辑对的两个或更多个剪辑属于彼此不同的剪辑组且保持运动图像中剪辑转场的前后关系的方式，通过组合每个对组中包含的剪辑的至少一部分,来从每个对组中包含的剪辑对生成一个剪辑对。
3.根据权利要求2所述的运动图像处理装置，其中剪辑对生成单元基于剪辑的特征量将该多个剪辑对分类为该预定数目个对组。
4.根据权利要求2所述的运动图像处理装置，其中剪辑对生成单元基于剪辑对的特征量将该多个剪辑对分类为该预定数目个对组。
5.根据权利要求1所述的运动图像处理装置，其中剪辑对生成单元通过基于剪辑的特征量组合该多个剪辑来生成一个剪辑对。
6.根据权利 要求1所述的运动图像处理装置，其中剪辑对生成单元通过基于剪辑对的特征量组合该多个剪辑来生成一个剪辑对。
7.根据权利要求1所述的运动图像处理装置，其中剪辑对生成单元基于每个剪辑组的剪辑的特征量拣选出剪辑，并通过组合多个拣选的剪辑来生成一个剪辑对。
8.根据权利要求1所述的运动图像处理装置，其中剪辑对生成单元基于第一剪辑组的剪辑的特征量拣选出剪辑，并通过组合与拣选的剪辑属于相同的剪辑对的多个剪辑来生成一个剪辑对。
9.根据权利要求1所述的运动图像处理装置，其中基于指示剪辑对之间相似度的相似度矩阵的内积生成剪辑对。
10.根据权利要求9所述的运动图像处理装置，其中相似度矩阵的内积总和最大的剪辑对被生成为代表多个剪辑对的代表性剪辑对。
11.根据权利要求10所述的运动图像处理装置，其中与代表性剪辑对的相似度低的剪辑对与该代表性剪辑对一起生成。
12.根据权利要求1所述的运动图像处理装置，其中基于指示剪辑对之间相似度的相似度矩阵的标量值生成剪辑对。
13.根据权利要求12所述的运动图像处理装置，其中相似度矩阵的标量值最大的剪辑对被生成为代表多个剪辑对的代表性剪辑对。
14.根据权利要求13所述的运动图像处理装置，其中与代表性剪辑对的相似度低的剪辑对与该代表性剪辑对一起生成。
15.根据权利要求1所述的运动图像处理装置，其中根据剪辑合成图像的显示条件设置该预定的数目。
16.一种运动图像处理方法，包括: 从包含多个剪辑的运动图像检测剪辑之间的转场； 将该多个剪辑分类为具有相互不同特征量的多个剪辑组，并标识出包括属于彼此不同剪辑组的两个或更多个连续的剪辑、且在运动图像中被重复的多个剪辑对； 以使得构成每个剪辑对的两个或更多个剪辑属于彼此不同的剪辑组且保持运动图像中剪辑转场的前后关系的方式，通过组合该多个剪辑的至少一部分，来从该多个剪辑对生成在数目上少于该多个剪辑对的预定数目个剪辑对，以及生成包括所生成的剪辑对的剪辑合成图像。
17.一种使得计算机执行运动图像处理方法的程序，包括: 从包含多个剪辑的运动图像检测剪辑之间的转场； 将该多个剪辑分类为具有不同特征量的多个剪辑组，并标识出包括属于彼此不同剪辑组的两个或更多个连续的剪辑、且在运动图像中被重复的多个剪辑对； 以使得构成每个剪辑对的两个或更多个剪辑属于彼此不同的剪辑组且保持运动图像中剪辑转场的前后关系的方式，通过组合该多个剪辑的至少一部分，来从该多个剪辑对生成在数目上少于该多个剪辑对的预定数目个剪辑对，以及生成包括所生成的剪辑对的剪 辑合成图像。
全文摘要
提供一种运动图像处理装置以及运动图像处理方法和程序，其能够生成能够容易把握运动图像的合成的合成图像。从包括多个剪辑的运动图像(MP)检测剪辑之间的转场，将该多个剪辑分类为具有不同特征量(S)的多个剪辑组，指定运动图像中重复的多个剪辑对，该剪辑对包括属于不同剪辑组的两个或更多个连续的剪辑，组合多个剪辑的至少一部分以从多个剪辑对生成小于多个剪辑对的预定数目个剪辑对(Nopt)，从而使得组成每个剪辑对的两个或更多个剪辑属于不同的剪辑组，且保持运动图像中的剪辑转场的前后关系，并且生成包括生成的剪辑对的剪辑合成图像(CI)。
文档编号H04N5/91GK103081460SQ20118004156
公开日2013年5月1日 申请日期2011年8月29日 优先权日2010年9月6日
发明者高木芳德 申请人:索尼公司