专利名称：运动图片处理装置、运动图片处理方法和程序的制作方法
技术领域：
本公开涉及运动图片处理装置、运动图片处理方法和程序。
背景技术：
视频(或运动图片)包括许多图片。如现有技术中已知的，运动图片的图片的缩略图被按时间顺序排列并且显示为表示运动图片的构造的构造图像(configuration image)以便掌握运动图片的构造。
发明内容
然而，如果缩略图的显示数目增加，则存在这样的情况，S卩，相对于显示构造图像的显示区域，构造图像的大小增大。如果构造图像被同时显示以确保运动图片的构造的可浏览性，则缩略图被以高比率缩小并显示，从而代表性图片的易辨认性可降低。如果显示构造图像的一部分以确保构造图像的易辨认性，则构造图像被分割显示，从而运动图片的构造的可浏览性可降低。因此，在任一情况下都不可能容易地通过构造图像掌握运动图片的构造。希望提供一种能够生成可用来容易地掌握运动图片的构造的构造图像的运动图片处理装置、运动图片处理方法和程序。根据本发明的实施例，提供了一种运动图片处理装置，包括代表性图片选择单元，用于从运动图片的多个图片中选择代表多个图片的预定数目的代表性图片；以及构造图像生成单元，用于生成构造图像，在该构造图像中，预定数目的代表性图片被按固定比率缩小并按运动图片中的代表性图片的出现顺序排列。代表性图片被选择为经调整以使预定范围的显示区域中构造图像的显示占有率最大化的预定数目的图片。在此构造中，运动图片处理装置还包括图片分类单元，用于将多个图片分类成包括各自连续的图片的预定数目的图片群组。代表性图片选择单元选择代表图片群组的图片的代表性图片。构造图像生成单元生成其中预定数目的图片群组的代表性图片被按固定比率缩小并按运动图片中的图片群组的出现顺序排列的构造图像。多个图片被分类成经调整以使预定范围的显示区域中构造图像的显示占有率最大化的预定数目的图片群组。在此构造中，运动图片处理装置还包括片断转变检测单元，用于从包括多个片断的运动图片中检测片断之间的转变；以及代表性片断选择单元，用于从多个片断中选择预定数目的代表性片断。代表性图片选择单元选择代表代表性片断的图片的代表性图片。构造图像生成单元生成其中预定数目的代表性片断的代表性图片被按固定比率缩小并按运动图片中的代表性片断的出现顺序排列的构造图像。代表性片断被选择为经调整以使预定范围的显示区域中构造图像的显示占有率最大化的预定数目的片断。在此构造中，构造图像生成单元生成其中预定数目的代表性图片被按运动图片中的代表性图片的出现顺序排列成矩阵的构造图像。在此构造中，构造图像生成单元生成其中预定数目的图片群组的代表性图片被按运动图片中的图片群组的出现顺序排列成矩阵的构造图像。在此构造中，构造图像生成单元生成其中预定数目的代表性片断的代表性图片被按运动图片中的代表性片断的出现顺序排列成矩阵的构造图像。在此构造中，代表性图片选择单元基于多个图片的特征量的代表性值和每个图片的特征量的变化值来选择代表性图片。在此构造中，代表性片断选择单元基于多个片断的特征量的代表性值和每个片断的特征量的变化值来选择代表性片断。根据本发明的另一实施例，提供了一种运动图片处理方法，其包括从运动图片的多个图片中选择代表多个图片的预定数目的代表性图片；以及生成构造图像，在该构造图像中，预定数目的代表性图片被按固定比率缩小并按运动图片中的代表性图片的出现顺序排列。代表性图片被选择为经调整以使预定范围的显示区域中构造图像的显示占有率最大化的预定数目的图片。根据本发明的另一实施例，提供了一种程序，用于使计算机执行运动图片处理方法，该方法包括从运动图片的多个图片中选择代表多个图片的预定数目的代表性图片；以及生成构造图像，在该构造图像中，预定数目的代表性图片被按固定比率缩小并按运动图片中的代表性图片的出现顺序排列。代表性图片被选择为经调整以使预定范围的显示区域中构造图像的显示占有率最大化的预定数目的图片。根据如上所述的本公开的实施例，可以提供一种能够生成可用来容易地掌握运动图片的构造的构造图像的运动图片处理装置、运动图片处理方法和程序。
图1是示出根据本公开的实施例的运动图片处理方法的过程的流程图
图2是示出根据第一实施例的运动图片处理装置的构造的框图3是示出运动图片处理装置的整体操作过程的框图4是示出显示构造图像的优化过程的流程图5是示出显示构造图像的优化过程的示例的示图6是示出运动图片的构造示例的示图7是示出构造图像的第一生成示例的示图8是示出构造图像的第二生成示例的示图9是示出构造图像的第三生成示例的示图10是示出根据第二实施例的运动图片处理装置的构造的框图11是示出运动图片处理装置的整体操作过程的流程图12是示出运动图片的构造示例的示图；并且
图13是示出构造图像的生成示例的示图。
具体实施例方式
下面，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，用相同的标号来表示具有基本相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。
[1.运动图片处理方法的概要]首先，将参考图1来描述根据本公开的实施例的运动图片处理方法的概要。图1 示出了根据本公开的实施例的运动图片处理方法的过程。在如图1所示的根据本公开的实施例的运动图片处理方法中，首先，从运动图片 MP的多个图片中选择代表多个图片的预定数目Nopt的代表性图片I (步骤S 1)。接下来， 生成构造图像Cl，其中预定数目Nopt的代表性图片I被按固定比率缩小并且按运动图片 MP的代表性图片I的出现顺序排列(步骤S3)。这里，在步骤Sl的处理中，代表性图片I 被选择为经调整以使得在预定范围的显示区域Ad中构造图像CI的显示占有率(occupancy rate) Ro最大化的预定数目Nopt的图片。从而，利用被选择为使构造图像CI的显示占有率Ro最大化的预定数目Nopt的代表性图片I，可以生成确保了运动图片MP的构造的可浏览性和构造图像CI的易辨认性的构造图像Cl。因此，用户可以通过如上所述生成的构造图像CI来容易地掌握运动图片MP的构造。<第一实施例>接下来，将参考图2至图9来描述本公开的第一实施例。[2-1.运动图片处理装置1的构造]首先，将参考图2来描述根据第一实施例的运动图片处理装置1的构造。如图2 中所示，根据第一实施例的运动图片处理装置1包括数据获取单元11、显示优化单元13、图片分类单元15、代表性图片选择单元17、构造图像生成单元19、构造图像输出单元21以及数据存储单元23。数据获取单元11获取运动图片数据MP等等，并将运动图片数据MP提供给显示优化单元13和代表性图片选择单元17。运动图片数据MP —般是帧格式的图片数据，并且可以只是图片数据或者是与音频数据的组合。可以从数据存储单元23或外部装置(未示出) 获取运动图片数据MP。显示优化单元13将在下文中详细描述，但其根据构造图像CI的显示条件(显示范围、显示大小等等)来优化要作为构造图像CI显示的代表性图片I的显示并将优化结果提供给图片分类单元15。具体而言，构造图像CI中包括的代表性图片I的显示数目被优化为最优显示数目Nopt，以确保运动图片MP的构造的可浏览性和构造图像CI的易辨认性。图片分类单元15将在下文中详细描述，但其基于显示优化结果将多个图片分类成包括各自连续图片的最优显示数目Nopt的图片群组Gp，并将分类结果提供给代表性图片选择单元17。基于诸如帧数目之类的适用于分组的指标来将图片分类成最优显示数目 Nopt的图片群组Gp。如果必要，可以基于运动图片数据MP将图片分类成最优显示数目Nopt 的图片群组Gp。在此情况下，运动图片数据MP被从数据获取单元11提供到图片分类单元 15，虽然这在图2中没有示出。代表性图片选择单元17基于运动图片数据MP和图片分类结果来选择代表图片群组Gp的图片的代表性图片I，并将选择结果提供给构造图像生成单元19。基于诸如图片帧号码、与图片相关联的音频音量、图片亮度/颜色、图片之间的相关性、图片的对象的运动、 图片处理/检测结果或其组合之类的适用于选择代表性图片I的指标来选择代表性图片I。构造图像生成单元19基于运动图片数据和代表性图片I的选择结果来生成表示运动图片MP的构造的构造图像Cl，并将构造图像CI提供给构造图像输出单元21。构造图像CI被生成为这样一个图片其中，最优显示数目Nopt的代表性图片I被按固定比率缩小并且按运动图片MP的代表性图片I的出现顺序(时间码的顺序或帧号码的顺序)排列。构造图像输出单元21输出构造图像CI的生成结果。构造图像CI可被输出到与运动图片处理装置相连接的显示器、打印机、存储装置或外部装置(均未示出)。数据存储单元23存储运动图片数据MP、附加到运动图片数据MP的数据、在运动图片处理中将使用的数据，等等。由构造图像生成单元19生成的构造图像CI可被存储在数据存储单元23中。在图2中，部分省略了对数据存储单元23与其他组件之间的连接关系的显示。以下，将主要描述从最优显示数目Nopt的图片群组Gp中选择代表性图片I的情况。然而，可以直接从多个图片中选择最优显示数目Nopt的代表性图片I。在此情况下，可以省略图片分类单元15。在此情况下代表性图片选择单元17基于运动图片数据MP和显示优化结果来选择最优显示数目Nopt的代表性图片I作为多个图片的代表，并将代表性图片 I提供给构造图像输出单元21。构造图像CI被生成为这样一个图片其中，最优显示数目 Nopt的图片群组Gp的代表性图片I被按下文中描述的最优缩小率Rropt缩小并且按运动图片MP的代表性图片I的出现顺序排列。这里，在上述功能构造中，数据获取单元11、显示优化单元13、图片分类单元15、 代表性图片选择单元17、构造图像生成单元19和构造图像输出单元21是由诸如CPU或数字信号处理器(DSP)之类的运算处理器构成的。数据存储单元23是由诸如闪存之类的内部存储装置或者诸如硬盘驱动器或柔性盘驱动器之类的外部存储装置构成的。CPU通过在 RAM上展开和执行从ROM等等读取的程序来实现运动图片处理方法。上述功能构造的至少一部分可构成为诸如专用逻辑之类的硬件。[2-2.运动图片处理装置1的操作]接下来，将参考图3至图9来描述根据第一实施例的运动图片处理装置1的操作。图3示出了运动图片处理装置1的整体操作过程。如图3中所示，数据获取单元 11获取诸如显示区域Ad的大小和运动图片MP的图片的大小之类的设定信息(步骤Sll)， 并将设定信息提供给显示优化单元13。显示区域Ad的大小是根据构造图像CI的输出目的地来设定的(并且当然可以是打印大小)。图片大小等等是作为运动图片数据MP等等的一部分来设定的。在显示优化单元13中，基于设定信息来优化构造图像CI的显示(步骤 S13)。在显示优化中，确定代表性图片I的最优显示数目Nopt以使显示区域Ad中构造图像CI的显示占有率Ro最大化。图4示出了显示构造图像CI的优化过程。这里，显示区域Ad具有第一方向的显示宽度(像素数目)X、第二方向的显示高度(像素数目)Y、显示区域Ad的大小A ( = XX Y) 以及宽高比RA( = Χ/Υ)。代表性图片I具有第一方向的原始大小宽度(像素数目)χ、第二方向的原始大小高度(像素数目)y、原始大小a( = xXy)以及宽高比ra( = x/y)。如图4中所示，首先，初始化处理计数器(i = 1)，初始化代表性图片I的显示数目 Ni (N1 = 1)，并且初始化代表性图片I的缩小率Rri (Rr1 = 1.0)(步骤S31)。计算在以缩小率Rr1显示代表性图片I时的显示占有率R0l( = EiXRr1XN1A)(步骤S33)。显示占有率 Ro1被临时存储以用于随后的处理。
接下来，将处理计数器i递增1 (i = i+1)，并且将显示数目Ni递增1 (Ni = Nh+1) (步骤S35)。接下来，判定在以显示数目Ni显示代表性图片I时代表性图片I的缩小率Rri是否等于或大于最大缩小率Rrmax (步骤S37)。代表性图片I的缩小率Rri被计算为在显示区域Ad中可以无重叠地排列并显示显示数目Ni的代表性图片I的最大值。最大缩小率Rrmax 被预设为能够确保缩小后代表性图片I的易辨认性的缩小率(Rrmax = 0. 5等等)。如果步骤S37的判定结果是肯定的，则计算按显示数目Ni显示代表性图片I时的显示占有率Roi (步骤S39)。显示占有率Roi是通过如下方式来计算的把通过将代表性图片I的原始大小a乘以缩小率Rri和显示数目Ni而获得的值除以显示区域Ad的大小A(R0i =BXRriXNiA)。显示占有率Roi被临时存储以用于随后的处理。接下来，判定显示占有率Roi是否小于显示数目N"的显示占有率Rcv1 (步骤 S41)。如果判定结果是肯定的，则将显示数目Np1代入最优显示数目Nopt并将缩小率Riv1 代入最优缩小率Rropt (步骤S4!3)，并且显示优化完成。S卩，如果按显示数目N^1显示代表性图片I，则构造图像CI的显示得以优化。另一方面，如果判定结果是否定的，则处理返回到步骤S35。另一方面，如果步骤S37的判定结果是否定的，则将显示数目N1代入最优显示数目Nopt并将缩小率Rr1R入最优缩小率Rropt (步骤S^)，并且显示优化完成。S卩，如果按显示数目N1 = 1显示代表性图片I，则构造图像CI的显示得以优化。图5示出了显示构造图像CI的优化过程的示例。在图5中，假定显示区域Ad相对于代表性图片I是纵长型的(显示区域Ad的宽高比RA <代表性图片I的宽高比Ra)。在状态1中，显示区域Ad与代表性图片I之间的关系是x<X<xX2并且y<y < yX2，并且不能以原始大小a显示两个或更多个代表性图片I。在状态1中，计算显示数目N1 = 1的代表性图片I被显示时的显示占有率Rcv在状态2中，以在整个显示高度Y中排列两个代表性图片I时的缩小率Rr2( = (Y/ y/2)/y,Rr2 < Rr1)最大显示队(=2)个代表性图片I。在状态2中，计算显示数目队=2 的代表性图片I被显示时的显示占有率Ro2。这里，通过设定显示占有率Ro1 <显示占有率 Ro2,继续优化。在状态3中，以在整个显示宽度X中排列两个代表性图片I时的缩小率Rr3( = (X/ x/2)/x, Rr3 < Rr2)最大显示N3 ( = 个代表性图片I。在状态3中，计算显示数目N3 = 3 的代表性图片I被显示时的显示占有率Ro3。这里，通过设定显示占有率Ro2 <显示占有率 Ro3，继续优化。在状态4中，与状态3 —样，以缩小率Rr4( = Rr3)最大显示N4( = 4)个代表性图片I。在状态4中，计算显示数目N4 = 4的代表性图片I被显示时的显示占有率Ro4。这里，通过设定显示占有率Ro3 <显示占有率Ro4，继续优化。在状态5中，以在整个显示高度Y中排列三个代表性图片I时的缩小率Rr5( = (Y/ y/3)/y,Rr5<Rr4)最大显示^(=幻个代表性图片I。在状态5中，计算显示数目N5 = 5 的代表性图片I被显示时的显示占有率Ro5。这里，通过设定显示占有率Ro5 <显示占有率 Ro4,继续优化。最优显示数目Nopt = N4 = 4并且最优缩小率Rropt = Rr40如果显示优化完成，则如图3所示，数据获取单元11获取运动图片数据MP (步骤S15)，并将运动图片数据MP提供给图片分类单元15。图片分类单元15基于显示优化结果把运动图片MP的图片分类成最优显示数目Nopt的图片群组Gp (步骤S17)，并将分类结果提供给代表性图片选择单元17。代表性图片选择单元17基于运动图片数据MP和图片分类结果来选择图片群组Gp 的代表性图片I (步骤S19)，并将选择结果提供给构造图像生成单元19。构造图像生成单元19基于运动图片数据MP和代表性图片I的选择结果来生成构造图像CI (步骤S21)。构造图像CI被生成为这样一个图片其中，最优显示数目Nopt的图片群组Gp的代表性图片 I被按最优缩小率Rropt缩小并按图片群组Gp的出现顺序排列。可以省略图像分类处理。在此情况下，在代表性图片选择单元17中，运动图片数据MP是从数据获取单元11提供来的，并且从运动图片MP的图片中选择最优显示数目Nopt 的代表性图片I。图6示出了运动图片MP的构造示例。在图6所示的示例中，运动图片MP包括12 个帧图片Pl至P12。例如，图片Pl至P12可以是从多个帧中提取的图片，例如从1200个帧图片中以100帧的间隔疏化出的图片。图7示出了构造图像CI的第一生成示例。在图7所示的示例中，首先，图片Pl至 P12被分类成最优显示数目Nopt = 4的图片群组Gpl至Gp4。这里，图片Pl至P12被分类成图片群组Gpl (图片Pl至P3)、图片群组Gp2 (图片P4至P6)、图片群组Gp3 (图片P7至 P9)和图片群组Gp4(图片PlO至P12)。即，基于运动图片MP的图片的数目和最优显示数目Nopt对运动图片MP分类以使得图片群组Gpl至Gp4的图片数目是均等的。接下来，选择图片群组Gpl至Gp4的代表性图片I。这里，图片群组Gpl至Gp4的代表性图片Il至14被选择为图片P2、P5、P8和P11，即与图片群组Gp的中央帧相对应的图片。在此情况下，代表性图片Il至14基于运动图片MP的每个图片帧号码和最优显示数目Nopt被选择为图片群组Gpl至Gp4的中央帧。代表性图片I可以不是选择为与中央帧相对应的图片，而是选择为第一帧、最后帧等等。生成包括所选择的代表性图片Il至14的构造图像Cl。这里，构造图像CI被生成为这样一个图片其中，代表性图片Il至14被按最优缩小率Rropt缩小并按图片群组Gpl 至Gp4的出现顺序排列成2X2矩阵。根据显示区域Ad的大小，构造图像CI的排列可以改成1X4矩阵、4X 1矩阵等等，而不是2X2矩阵。图8示出了构造图像CI的第二生成示例。在图8所示的示例中，与图7中所示的一样，12个帧图片Pl至P12被分类成图片群组Gpl (图片Pl至P3)、图片群组Gp2 (图片P4 至P6)、图片群组Gp3(图片P7至P9)和图片群组Gp4(图片PlO至P12)。对于图片Pl至P12，基于对运动图片数据MP的音频处理计算与每个帧相关联的音频的音量，并且进一步计算12个帧的平均音量。图8连同图片Pl至P12示出了与每个帧相关联的音频的音量和平均音量。接下来，选择图片群组Gpl至Gp4的代表性图片Il至14。这里，图片群组Gpl至 Gp4的代表性图片Il至14被选择为与图片群组Gpl至Gp4的帧之中相对于平均音量的差异(绝对值)最大的帧相对应的图片。取代相对于平均音量的差异(绝对值)最大的图片， 代表性图片Il至14也可被选择为具有最小值的图片、平均图片、平均图片和具有最大值或最小值的图片的组合，等等。
例如，在图8所示的示例中，在图片群组Gpl中选择音量0的图片P1，在图片群组 Gp2中选择音量小于平均音量的图片P4，在图片群组Gp3中选择音量大于平均音量的图片 P8，并且在图片群组Gp4中选择音量远大于平均音量的图片P12。生成包括所选择的代表性图片Il至14的构造图像Cl。这里，构造图像CI被生成为这样一个图片其中，代表性图片Il至14被按最优缩小率Rropt缩小并按图片群组Gpl 至Gp4的出现顺序排列成2X2矩阵。图9示出了构造图像CI的第三生成示例。在图9所示的示例中，与图7和图8中所示的不同，省略了图片分类处理。对于图9所示的示例中的12个帧图片Pl至P12，基于对运动图片数据MP的图片处理来计算通过正规化指示图片的画面亮度的直方图，并且进一步计算12个帧的平均直方图。在直方图中，指示了在按预定的亮度间隔对图片中包括的像素的亮度分类的情况下的每个分类的频率。在图9中，连同图片Pl至P12，示出了正规化直方图和平均直方图。接下来，从运动图片数据MP的图片之中选择最优显示数目Nopt = 4的代表性图片Il至14。这里，代表性图片Il至14被选择为在相对于平均直方图的差异(绝对值) 上排前4位的图片。取代在相对于平均直方图的差异上排前4位的图片，代表性图片Il至 14也可被选择为排后4位的图片、有平均图片的图片、平均图片与排前面和排后面的图片的组合，等等。例如，在图9所示的示例中，选择在相对于平均直方图的差异上排前4位的图片 P1、P4、P8 和 P12。生成包括所选择的代表性图片Il至14的构造图像Cl。这里，构造图像CI被生成为这样一个图片其中，代表性图片Il至14被按最优缩小率Rropt缩小并按图片群组Gpl 至Gp4的出现顺序排列成2X2矩阵。[2-3.总结]根据第一实施例，可以生成构造图像Cl，其中利用被选择为使构造图像CI的显示占有率Ro最大化的最优显示数目Nopt的代表性图片I确保了运动图片MP的构造的可浏览性和构造图像CI的易辨认性。具体地，可以通过将运动图片MP的多个图片分类成最优显示数目Nopt的图片群组Gp并从这些图片群组Gp中选择代表性图片I，来利用在运动图片MP的时间情境上没有偏向的代表性图片I生成构造图像Cl。<第二实施例〉接下来，将参考图10至图13来描述本公开的第二实施例。下面，省略与第一实施例重复的描述。[3-1.运动图片处理装置2的构造]首先，将参考图10描述根据第二实施例的运动图片处理装置2的构造。如图10 中所示，根据第二实施例的运动图片处理装置2除了数据获取单元11、显示优化单元13、图片分类单元15、代表性图片选择单元17、构造图像生成单元19、构造图像输出单元21和数据存储单元23以外，还包括片断转变(cut transition)检测单元25和代表性片断选择单元27。片断转变检测单元25基于从数据获取单元11提供来的运动图片数据MP检测包括多个片断的运动图片MP的片断转变，并将检测结果提供给代表性片断选择单元27。片断转变是运动图片MP中的片断变化。通过获得接连发生的帧中的图片和/或音频的特征量，基于特征量的相似度来检测片断转变。作为图片和/或音频的特征量，可以使用与图片相关联的音频的音量/音调/旋律、图片的亮度/颜色、图片之间的相关性、图片中的对象的运动、图片处理/图片检测结果、其组合等等。在检测片断转变时获得的特征量被存储在数据存储单元23等等中，并且可用于其他处理。代表性片断选择单元27基于片断转变检测结果和运动图片数据MP从多个片断中选择最优显示数目Nopt的代表性片断，并将选择结果提供给代表性图片选择单元17。代表性片断是代表运动图片MP的多个片断的片断。通过获得片断的图片和/或音频的特征量， 基于特征量的相似度来选择代表性片断。可以获得片断的特定位置的图片的特征量作为特征量，并且可以获得片断的多个图片的特征量之间的平均值作为特征量。在选择代表性片断时获得的特征量被存储在数据存储单元23等等中，并且可用于其他处理。这里，在上述功能构造中，片断转变检测单元25和代表性片断选择单元27是由诸如CPU或DSP之类的运算处理器构成的。[3-2.运动图片处理装置2的操作]接下来，将参考图11至图13来描述根据第二实施例的运动图片处理装置2的操作。图11示出了运动图片处理装置2的整体操作过程。首先，与第一实施例中一样， 数据获取单元11获取设定信息(步骤Sll)，并且显示优化单元13优化构造图像CI的显示 (步骤S13)并将优化结果提供给片断转变检测单元25。 如果显示优化完成，则如图11所示，数据获取单元11获取包括多个片断的运动图片数据MP (步骤S51)，并将运动图片数据MP提供给片断转变检测单元25。片断转变检测单元25从运动图片数据MP中检测片断之间的转变(步骤S53)，并将检测结果提供给代表性片断选择单元27。步骤S51和S53的处理可在步骤Sll和S13的处理之前执行。代表性片断选择单元27从多个片断中选择最优显示数目Nopt的代表性片断(步骤S55)，并将选择结果提供给代表性图片选择单元17。代表性图片选择单元17基于运动图片数据MP和代表性片断选择结果来选择代表性片断的代表性图片I (步骤S57)，并将选择结果提供给构造图像生成单元19。代表性图片I的选择与第一实施例中一样。构造图像生成单元19基于运动图片数据MP和代表性图片I的选择结果来生成构造图像CI (步骤S59)。构造图像CI被生成为这样的图片其中， 最优显示数目Nopt的代表性片断的代表性图片I被按最优缩小率Rropt缩小并按代表性片断的出现顺序排列。图12示出了运动图片MP的构造示例。在图12所示的示例中，运动图片MP包括 6个片断图片Cl至C6。片断Cl至C6包括任意帧数目的图片。图13示出了构造图像CI的生成示例。对于图13所示的示例中的片断Cl至C6， 基于对运动图片数据MP的图片处理来计算通过正规化指示片断Cl至C6的第一帧图片(第一图片)P1至P6的画面亮度的直方图，并且进一步计算6个片断的平均直方图。在直方图中，指示了在按预定的亮度间隔对第一图片Pl至P6中包括的像素的亮度分类时的每个分类的频率。在图13中，连同第一图片Pl至P6，示出了第一图片Pl至P6的正规化直方图和平均直方图。接下来，从片断Cl至C6中选择最优显示数目Nopt = 4的代表性片断Cl、C3、C5和C6。这里，代表性片断被选择为在相对于第一图片Pl至P6的平均直方图的差异上排前 4位的片断。取代在相对于平均直方图的差异上排前4位的片断，代表性片断也可被选择为排后4位的片断、平均片断、平均片断与排前面和排后面的片断的组合，等等。例如，在图 13所示的示例中，选择在相对于平均直方图的差异上排前4位的片断Cl、C3、C5和C6。从所选择的代表性片断Cl、C3、C5和C6中分别选择代表性图片II、12、13和14， 并且生成包括代表性图片Il至14的构造图像Cl。代表性片断的代表性图片I可以与代表性片断的第一图片P相同或不同。这里，构造图像CI被生成为这样一个图片其中，代表性片断Cl、C3、C5和C6的代表性图片Il至14被按最优缩小率Rropt缩小并按代表性片断 Cl、C3、C5和C6的出现顺序排列成2X2矩阵。[3-3.总结]根据第二实施例，可以生成构造图像Cl，其中利用被选择为使构造图像CI的显示占有率R0最大化的最优显示数目Nopt的代表性片断的代表性图片I，确保了包括多个片断的运动图片MP的构造的可浏览性和构造图像CI的易辨认性。具体地，可以通过从运动图片MP的多个片断中选择最优显示数目Nopt的代表性片断，来利用在运动图片MP的片断构造上没有偏向的代表性图片I生成构造图像Cl。本领域的技术人员应当理解，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们处于权利要求或其等同物的范围之内即可。例如，在上述实施例中，构造图像CI被描述为其中最优显示数目Nopt = 4的代表性图片I被排列成2X2矩阵的图片。然而，构造图像CI可根据其显示条件利用不同的最优显示数目Nopt来生成，并且即使在最优显示数目Nopt相同时也可被生成为其中代表性图片I被排列成不同矩阵的图片。本公开包含与2010年9月6日向日本专利局提交的日本优先权专利申请JP 2010-198985中公开的主题相关的主题，特此通过引用将该申请的全部内容并入。
权利要求
1.一种运动图片处理装置，包括代表性图片选择单元，用于从运动图片的多个图片中选择代表所述多个图片的预定数目的代表性图片；以及构造图像生成单元，用于生成构造图像，在该构造图像中，所述预定数目的代表性图片被按固定比率缩小并按所述运动图片中的所述代表性图片的出现顺序排列，其中，所述代表性图片被选择为经调整以使预定范围的显示区域中所述构造图像的显示占有率最大化的所述预定数目的图片。
2.根据权利要求1所述的运动图片处理装置，还包括图片分类单元，用于将所述多个图片分类成包括各自连续的图片的预定数目的图片群组，其中，所述代表性图片选择单元选择代表所述图片群组的图片的代表性图片，所述构造图像生成单元生成其中所述预定数目的图片群组的所述代表性图片被按固定比率缩小并按所述运动图片中的所述图片群组的出现顺序排列的所述构造图像，并且所述多个图片被分类成经调整以使所述预定范围的显示区域中所述构造图像的显示占有率最大化的所述预定数目的图片群组。
3.根据权利要求1所述的运动图片处理装置，还包括片断转变检测单元，用于从包括多个片断的所述运动图片中检测片断之间的转变；以及代表性片断选择单元，用于从所述多个片断中选择预定数目的代表性片断，其中，所述代表性图片选择单元选择代表所述代表性片断的图片的代表性图片，所述构造图像生成单元生成其中所述预定数目的代表性片断的所述代表性图片被按固定比率缩小并按所述运动图片中的所述代表性片断的出现顺序排列的所述构造图像，并且所述代表性片断被选择为经调整以使所述预定范围的显示区域中所述构造图像的显示占有率最大化的预定数目的片断。
4.根据权利要求1所述的运动图片处理装置，其中，所述构造图像生成单元生成其中所述预定数目的代表性图片被按所述运动图片中的所述代表性图片的出现顺序排列成矩阵的所述构造图像。
5.根据权利要求2所述的运动图片处理装置，其中，所述构造图像生成单元生成其中所述预定数目的图片群组的所述代表性图片被按所述运动图片的所述图片群组的出现顺序排列成矩阵的所述构造图像。
6.根据权利要求3所述的运动图片处理装置，其中，所述构造图像生成单元生成其中所述预定数目的代表性片断的所述代表性图片被按所述运动图片中的所述代表性片断的出现顺序排列成矩阵的所述构造图像。
7.根据权利要求1所述的运动图片处理装置，其中，所述代表性图片选择单元基于所述多个图片的特征量的代表性值和每个图片的特征量的变化值来选择所述代表性图片。
8.根据权利要求3所述的运动图片处理装置，其中，所述代表性片断选择单元基于所述多个片断的特征量的代表性值和每个片断的特征量的变化值来选择所述代表性片断。
9.一种运动图片处理方法，包括从运动图片的多个图片中选择代表所述多个图片的预定数目的代表性图片；以及生成构造图像，在该构造图像中，所述预定数目的代表性图片被按固定比率缩小并按所述运动图片中的所述代表性图片的出现顺序排列，其中，所述代表性图片被选择为经调整以使预定范围的显示区域中所述构造图像的显示占有率最大化的所述预定数目的图片。
10. 一种程序，用于使计算机执行运动图片处理方法，包括从运动图片的多个图片中选择代表所述多个图片的预定数目的代表性图片；以及生成构造图像，在该构造图像中，所述预定数目的代表性图片被按固定比率缩小并按所述运动图片中的所述代表性图片的出现顺序排列，其中，所述代表性图片被选择为经调整以使预定范围的显示区域中所述构造图像的显示占有率最大化的所述预定数目的图片。
全文摘要
本发明公开了运动图片处理装置、运动图片处理方法和程序。该运动图片处理装置包括代表性图片选择单元，用于从运动图片的多个图片中选择代表多个图片的预定数目的代表性图片；以及构造图像生成单元，用于生成构造图像，在该构造图像中，预定数目的代表性图片被按固定比率缩小并按运动图片中的代表性图片的出现顺序排列。代表性图片被选择为经调整以使预定范围的显示区域中构造图像的显示占有率最大化的预定数目的图片。
文档编号G06F17/30GK102387293SQ20111026014
公开日2012年3月21日 申请日期2011年8月30日 优先权日2010年9月6日
发明者高木芳德 申请人:索尼公司