专利名称：运动图像处理装置、运动图像处理方法及程序的制作方法
技术领域：
本发明涉及运动图像处理装置、运动图像处理方法及程序。
背景技术：
近年来，已经公开了一种用于经由网络等从外部服务器等获取有关音乐、视频等的运动图像(即，内容)并再现用户所指定的内容的技术。运动图像被配置为包括多个帧(静止图像)。例如，在搜索运动图像时，代表运动图像的一个帧(图像)被显示为缩略图(参见日本专利申请早期公布No. 2007-164298)。
发明内容
但是，由于仅仅一个帧(代表帧)被显示为缩略图，所以存在仅仅关于运动图像的零碎信息被显示并且运动图像的内容得不到适当检查的问题。鉴于前述问题，希望提供一种在运动图像的代表帧被显示时允许用户适当地检查运动图像的内容的运动图像处理装置、运动图像处理方法及程序。用于运动图像显示处理器的装置、方法和非暂时性计算机可读介质包括帧选择单元，被配置为选择来自由帧构成的运动图像的多个代表帧，每一个代表帧是代表顺序帧群组的静止图像。生成单元被配置为生成与顺序帧群组中的除代表帧之外的至少一个帧相关联的一个或多个暗示图像。显示控制单元被配置为通过以预定顺序将所述多个代表帧排列成使得第一代表巾贞与第二代表巾贞分隔一个或多个暗不图像，来显不所述多个代表中贞。在运动图像显示处理器的一些实施例中，每一个代表图像具有关联的层级顺序。显示单元显示等于和高于规定层级顺序的所选择代表图像，并且显示单元不显示低于该规定层级顺序的代表图像。暗示图像包括低于该规定层级顺序的代表图像和在所选择的代表图像之间的暗示图像。本发明的另一个实现方式是一种运动图像显示系统，其中，非暂时性存储介质上存储有由帧构成的运动图像。显示控制单元被配置为将运动图像显示在显示器上。代表图像选择器被配置为接收与运动图像相关联的并且不被存储在非暂时性存储介质上的附加信息，并致使显示控制单元显示所接收的关联信息。在该系统的一些实施例中，附加信息是来自运动图像的多个代表帧以及与顺序帧群组中的除代表帧之外的至少一个帧相关联的暗示图像，每一个代表帧是代表顺序帧群组的静止图像。显示附加信息包括以预定顺序将多个代表帧显示为使得暗示图像被显示在第一代表巾贞和第二代表巾贞之间。在本发明的一些实施例中，所接收的附加信息可供显示在显示单元上预定时间段。本发明的又一种实现方式是一种运动图像显示系统，其包括非暂时性存储介质，其上存储有α)由帧构成的运动图像，(ii)来自运动图像的多个代表帧，每一个代表帧是代表顺序帧群组的静止图像，和(iii)与顺序帧群组中的除代表帧之外的至少一个帧相关联的暗示图像。显示控制单元被配置为显示该运动图像。代表图像选择器被配置为接收控制信号，并且作为响应，致使显示控制单元以预定顺序将多个代表帧显示成使得第一代表帧与第二代表帧被暗示图像的显示分隔开。
根据上述本发明，可以在运动图像的代表帧被显示时允许用户适当地检查运动图像的内容。
图I是图示出根据第一实施例的运动图像处理装置的配置的框图；图2是图示出对多个代表巾贞和多个暗示图像的显示示例的示图；图3是用于说明从一个运动图像的数据提取多个代表帧的示例的示图；图4是用于说明暗示图像的配置的示图；图5是用于说明从一个运动图像的数据提取多个代表帧的示例的示图；图6是图示出针对一个帧生成的多个片段图像的示图；图7是图示出对多个代表巾贞和多个暗示图像的显示示例的示图；图8是用于说明根据第一实施例的运动图像处理装置的操作示例的流程图；图9是图示出根据修改示例的运动图像处理装置的配置的框图；图10是用于说明根据修改示例的运动图像处理装置的操作示例的流程图；图11是用于说明比较示例的示图；图12是图示出根据第二实施例的运动图像处理装置的配置的框图；图13是用于说明代表图像的层级显示的一个示例的示图；图14是用于说明代表图像的层级显示的另一个示例的示图；图15是用于说明代表图像的层级显示的又一个示例的示图；图16是用于说明代表图像的层级显示的又另一个示例的示图；图17是用于说明代表图像的层级显不的又另一个不例的不图；图18是用于说明暗示图像中的、指示出具有较低显示等级的代表帧的位置的标记的示图；图19是用于说明暗示图像中的、指示出具有较低显示等级的代表帧的位置的标记的另一不图；以及图20是用于说明根据第二实施例的运动图像处理装置的操作示例的流程图。
具体实施例方式下文中，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图中，利用相同的标号来表示具有基本相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。另外，将按如下顺序进行描述。I.第一实施例1-1.根据第一实施例的运动图像处理装置的配置1-2.代表帧和暗示图像的显示1-3.根据第一实施例的运动图像处理装置的操作
1-4.修改示例1-5.结论2.第二实施例2-1.根据第二实施例的运动图像处理装置的配置2-2.代表图像的层级显示2-3.根据第二实施例的运动图像处理装置的操作2-4.结论3.其他实施例〈I.第一实施例>(1-1.根据第一实施例的运动图像处理装置的配置)将参考图I描述根据第一实施例的运动图像处理装置10的配置示例。图I是图示出根据第一实施例的运动图像处理装置10的配置的框图。运动图像处理装置10包括存储单元12、数据获取单元14、代表帧选择单元(下文中称为帧选择单元)16、帧代表特征生成单元(下文中还称为代表色生成单元)18和代表图像显示单元20。另外，代表特征生成单元18对应于暗示图像生成单元，而代表图像显示单元20对应于显示控制器。存储单元12存储可再现运动图像数据。例如，存储单元12存储经由网络等从外部服务器等下载的运动图像数据。这里，运动图像数据是帧格式的图像数据。换而言之，运动图像数据由帧群组(即，作为静止图像的帧的群组)构成。另外，运动图像数据可以是图像数据和音频数据的组合。存储单元12还存储着用于显示运动图像的缩略图(下文中称为代表图像)的处理或再现运动图像的处理的程序数据等。数据获取单元14获取存储在存储单元12中的运动图像数据并将运动图像数据输出到帧选择单元16。数据获取单元14还可以获取来自外部装置的运动图像数据以及存储在存储单元12中的运动图像数据。帧选择单元16从构成运动图像的帧群组中选择代表运动图像的多个代表帧。这里，被选择为代表帧的帧的数目不是恒定的，而是可以根据运动图像而不同。例如，如后面详细描述的，帧选择单元16选择帧间隔按帧群组的配置顺序为等间隔的多个帧，作为代表帧。但是，本发明不限于此，而是，帧选择单元16也可以选择帧间隔按帧群组的配置顺序不是等间隔的多个帧，作为代表帧。代表特征生成单元18针对构成运动图像的帧群组中、未被选择为代表帧的每一个非选择帧，生成暗示了帧图像的代表特征的暗示图像。这里，代表特征表示帧图像的、可用于表征整个帧图像的方面。例如，代表特征可以是诸如对图像的大多数部分使用的背景色之类的颜色。用户可以通过识别代表色来预测存在哪个帧图像。代表图像显示单元20在显示屏上显示代表运动图像的代表图像。代表图像显示单元20通过将由帧选择单元16选择的多个代表帧排列成一个运动图像的代表图像来执行显示。代表图像显示单元20在代表帧彼此分离的状态中、在预定排列方向上显示多个代表帧(参见图2)。
另外，当代表图像显示单元20显示代表图像时，代表图像显示单元20还将由代表特征生成单元18生成的暗示图像显示为与代表帧相邻。如后面详细描述的，代表图像显示单元20在排列方向上在两个代表帧之间显示暗示图像，该暗示图像对应于在帧群组的配置顺序上位于两个代表帧之间的非选择帧(参见图2)。这里，暗示图像表示由片段指示出的片段图像。如后面详细描述的，代表图像显示单元20通过按多个非选择帧的帧群组的配置顺序来排列片段图像，从而将与多个非选择帧的每一个相对应的片段图像显示为与代表帧相邻(参见图4)。另外，当代表图像显示单元20显示多个代表帧时，代表图像显示单元20可以以使得与一个代表帧相邻的片段图像的数目不同于与另一不同代表帧相邻的片段图像的数目的方式来执行显示(参见图5)。在上述配置中，数据获取单元14、帧选择单元16、代表特征生成单元18和代表图像显示单元20被构造有诸如CPU之类的计算处理单元。存储单元12被构造有诸如闪存之类的内部存储单元或者诸如硬盘驱动器之类的外部存储单元。CPU通过执行从ROM等读取的程序来实现运动图像处理方法。(1-2.代表帧和暗示图像的显示)将参考图2描述将代表巾贞和暗示图像显示为运动图像的代表图像的显示示例。图2是图示出显示多个代表巾贞和多个暗示图像的示例的示图。在图2的显示画面30上，图示出了 5个代表帧Rl至R5以及与这些代表帧相邻的暗示图像Pl至P5。根据第一实施例的运动图像处理装置10通过针对一个运动图像的数据将多个代表帧排列在显示画面30上来执行显示。代表帧是从构成运动图像数据的帧群组中提取出来的。多个代表帧的排列顺序取决于帧的配置顺序。另外，所显示的代表帧的数目随着运动图像数据不同而不同。另外，运动图像处理装置10将暗示图像Pl至P5显示在与代表帧Rl至R5相邻的位置。暗示图像是暗示运动图像数据中的除了代表帧之外的帧(非选择帧)的特征或颜色信息等的图像，并且被显示在代表帧之间。后面将描述暗示图像的细节。另外，在图2中，虽然在显示画面30上显示了一个运动图像的代表帧，但是可以显示多个运动图像的代表帧。在此情况中，针对每一个运动图像来显示多个代表帧。因此，例如，如果将显示画面30应用为用于在多个运动图像中搜索期望运动图像的搜索画面，则可以检查每一个运动图像的内容，以使得用户可以在没有观看每一个运动图像的情况下选择期望运动图像。下文中，为了便于描述，将描述对来自一个运动图像的数据的多个代表帧和多个暗示图像进行显示的流程的概要。图3是用于说明从一个运动图像的数据提取多个代表帧的示例的示图。这里，为了便于描述，一个运动图像的数据被配置为包括30个帧(在实际情况中，被配置为包括更大数目的帧)。在图3中，第一帧II、第七帧17、第13帧113、第19帧119和第25帧125被选择为代表帧Rl至R5。换而言之，帧群组中的具有恒定间隔的帧被选择为代表帧。构成运动图像的30个帧中的未被选择为代表帧的非选择帧被显示为暗示图像。帧12至16、帧18至112、帧114至118、帧120至124以及帧126至130分别被显示为暗示图像PI、暗示图像P2、暗示图像P3、暗示图像P4和暗示图像P5。这些暗示图像允许用户推断在代表帧之间存在哪些帧。这里，参考图4来描述暗示图像的配置。图4是用于说明暗示图像的配置的示图。由于5个暗示图像Pl至P5具有相同配置，所以这里以暗示图像Pl为例进行描述。暗示图、像Pl配置有多个片段图像LI、L2和L3。换而言之，具有图3所示的矩形形状的每一个暗示图像表示多个片段的集合。另外，虽然构成暗示图像Pl的片段图像的数目是与帧12至16相对应的6个，但是为了方便描述，片段图像的数目在图3中被图示为很大(该描述对于暗示图像P2至P5是相同的)。每一个片段图像指示出相应非选择帧的图像的例如代表色。例如，片段图像LI指示出帧Il的图像的代表色，并且片段图像L2指示出帧12的图像的代表色。另外，虽然片段图像被举例为暗示图像，但是本发明不限于此。例如，暗示图像可以是帧的尺寸缩小图像(比代表帧小得多的图像)或者由除线条以外的形状图示出的图像。另外，虽然暗示图像被配置为指示出帧图像的颜色信息的图像，但是本发明不限于此。例如，暗示图像可以是指示出帧图像的亮度信息的图像。在上述图3中，虽然帧群组中的、帧间隔为恒定的非选择帧被配置为被选择为代表帧，但是本发明不限于此。如图5所示，帧间隔不恒定的非选择帧可被配置为被选择。图5是用于说明从一个运动图像的数据提取多个代表帧的示例的示图。在图5中，第一帧11、第七帧17、第15帧115、第19帧119和第23帧123被选择为代表帧Rl至R5。另一方面，帧12至16、帧18至114、帧116至118、帧120至123以及中贞124至130分别被显示为暗示图像P1、暗示图像P2、暗示图像P3、暗示图像P4和暗示图像P5。由于构成暗示图像的帧的数目是不同的，所以5个暗示图像Pl至P5的长度也不恒定。换而言之，暗示图像P3和P4的长度较小(构成暗示图像的片段图像的数目较小)；而暗示图像P2和P5的长度较大(构成暗示图像的片段图像的数目较大)。因此，暗示图像也可以暗示存在于代表帧之间的帧的数目(或者消逝的时间)。另外，在上述图4中，一个片段图像被生成为指示出一个帧的图像的代表色的图像，但是本发明不限于此。例如，如图6所示，一个帧的图像可被划分为多个区域，并且与这些区域相对应的片段图像可被生成。图6是图示出针对一个帧生成的多个片段图像的示图。在图6中，假设将一个帧的图像划分成3个区域(第一、第二和第三区域)。但是，针对帧进行划分的数目不限于3个。例如，划分的数目可以是2个或者4个或者更多个。针对划分得到的区域，片段图像被生成。更具体地，分别针对第一区域、第二区域和第三区域生成了第一片段图像L28a、第二片段图像L28b和第三片段图像L28c。在图6中，由于包括在三个区域中的图像是不同的，所以由三个片段图像L28a、L28b和L28c指示出的颜色是不同的。参考图7来描述对包括所生成的三个片段图像的暗示图像进行显示的示例。图7是图示出对多个代表帧和多个暗示图像进行显示的示例的示图。与图2所示的显示示例的不同之处在于每一个暗示图像Pl至P5包括三个暗示部分。例如，暗示图像Pl包括第一暗示部分Pla、第二暗示部分Plb和第三暗示部分Pic。第一暗示部分Pla是每一个帧的第一片段图像(图6的第一片段图像)的群组；第二暗示部分Plb是每一个帧的第二片段图像的群组；并且第三暗示部分Plc是每一个帧的第三片段图像的群组。以这种方式，通过使用多个暗示部分来执行显示，以使得可以更精细地显示非选择帧的图像的颜色信息。(1-3.根据第一实施例的运动图像处理装置的操作)接下来，参考图8来描述运动图像处理装置10的操作(运动图像处理方法)的示例，该操作是在显示代表帧和暗示图像时执行的。图8是用于说明根据第一实施例的运动、图像处理装置10的操作示例的流程图。图8的流程图例如在用于搜索运动图像的搜索画面被访问时开始。首先，数据获取单元14获取运动图像数据(步骤S2)。例如，数据获取单元14从存储单元12获取要被再现的运动图像数据。帧选择单元16从所获取的运动图像数据中裁剪出帧(步骤S4)。换而言之，帧选 择单元16裁剪出构成运动图像数据的帧群组的第一帧。接下来，帧选择单元16判断所裁剪出的帧是否是代表帧(步骤S6)。在裁剪出的帧是代表帧的情况下(步骤S6中的是)，帧选择单元16将该裁剪出的帧发送到代表图像显示单元20。代表图像显示单元20对所接收的代表帧进行显示(步骤S8)。另外，代表图像显示单元20对代表帧进行尺度缩小的显示。另一方面，在裁剪出的帧不是代表帧的情况下(步骤S6中的否)，帧选择单元16将该裁剪出的帧发送到代表特征生成单元18。如图4所示，代表特征生成单元18生成所接收帧的图像的代表特征(暗示图像)(步骤S10)。代表特征生成单元18将所生成的代表特征发送到代表图像显示单元20。代表图像显示单元20对所接收的代表特征进行显示(步骤 S12)。接下来，帧选择单元16判断裁剪出的帧是否是运动图像数据的最后一帧(步骤S14)。在该裁剪出的帧是最后一帧的情况下(步骤S14中的是)，处理结束。另一方面，在该裁剪出的帧不是最后一帧的情况下(步骤S14中的否)，上述步骤S4至S12被重复。因此，如图2或图7所示，多个代表帧和多个暗示图像作为一个运动图像的代表图像被显示在显示画面30上。另外，在以上描述中，虽然描述了针对一个运动图像的代表帧和暗示图像的显示处理(运动图像处理方法)，但是在存在多个运动图像的情况下，对前述处理(步骤S2至S14)进行重复。换而言之，当要显示其代表图像的运动图像的数目增大时，显示画面(搜索画面)被更新。因此，用户可以基于与显示在搜索画面上的每一个运动图像相对应的多个代表帧和多个暗示图像来选择期望运动图像。(1-4.修改示例)参考图9描述根据修改示例的运动图像处理装置40的配置示例。图9是图示出根据修改示例的运动图像处理装置40的配置的框图。在前述运动图像处理装置10中，配置成在除代表帧以外的帧的代表特征(暗示图像)被生成之后立即在显示画面上显示多个代表帧和多个暗示图像。与之不同，在运动图像处理装置40中，对关于代表帧和代表特征的信息进行临时存储，之后，在必要时显示这些代表帧和代表特征(例如，颜色)。如图9所示，运动图像处理装置40包括存储单元42、数据获取单元44、帧选择单元46、代表特征生成单元48、数据累积单元50、读取单元52和代表图像显示单元54。存储单元42、数据获取单元44、帧选择单元46和代表特征生成单元48分别与图I所示的存储单元12、数据获取单元14、帧选择单元16和代表特征生成单元18相同。因此，不再重复对其配置的详细描述。数据累积单元50存储有关帧选择单元46所选择的代表帧和代表特征生成单元48所生成的帧的暗示图像的信息。换而言之，运动图像处理装置40对有关运动图像数据的代表帧或暗示图像的信息进行临时存储，而不是立即显示所获取的运动图像数据的代表帧。
如果读取单元52接收到由用户发出的对运动图像数据的代表帧进行显示的显示命令，则读取单元52读取存储在数据累积单元50中的数据(有关运动图像数据的代表帧或暗示图像的信息)，并将该数据发送到代表图像显示单元54。如图2所示，代表图像显示单元54基于从读取单元52发送来的数据在显示画面30上显示多个代表帧和多个暗示图像。另外，由代表图像显示单元54执行的显示与图I中的代表图像显示单元20相同。接下来，参考图10来描述运动图像处理装置40的操作示例，这些操作是在显示代表帧和暗示图像时执行的。图10是用于说明根据修改示例的运动图像处理装置40的操作示例的流程图。图10的流程图在运动图像的代表帧已被选择并且运动图像的非选择帧的代表特征已被生成的情况下开始。首先，读取单元52读取存储在数据累积单元50中的运动图像数据(有关运动图像数据的代表帧或暗示图像的信息)(步骤S22)，并将该运动图像数据发送到代表图像显示单元54。代表图像显示单元54顺序读取构成所接收的运动图像数据的帧群组中的帧并控制显示。更具体地，在所读取的帧是代表帧的情况下(步骤S24中的是)，代表图像显示单元54对代表帧进行显示(步骤S26)。另一方面，在所读取的帧不是代表帧的情况下(步骤S24中的否)，代表图像显示单元54显示帧的图像的代表特征(步骤S28)。接下来，代表图像显示单元54判断所读取的帧是否是运动图像数据的最后一帧(步骤S30)。在所读取的帧是最后一帧的情况下(步骤S30中的是)，处理结束。另一方面，在所读取的帧不是最后一帧的情况下(步骤S30中的否)，重复前述步骤S24至S28。因此，如图2或图7所示，多个代表帧和多个暗示图像作为一个运动图像的代表图像被显示在显示画面上。(1-5.结论)根据第一实施例，将多个代表帧显示为一个运动图像的代表图像，并且针对除代表帧之外的非选择帧生成并显示暗示图像(指示出图像的诸如颜色之类的代表特征的片段图像)。因此，由于可以在显示画面上显示运动图像的更多信息，所以用户可以容易地检查运动图像的内容。另外，非选择帧的暗示图像被显示，使得不必刻意观看除代表帧之外的帧。因此，用户的检查负担可被减小，从而使得可以增大用户在同一时间间隔中可以观看的图像数目或者图像量。此外，多个代表帧被显示，使得可以在没有观看运动图像的情况下预测一个运动图像的整体平衡。这里，与图11所示的比较示例进行比较来更详细地描述该实施例。图11是用于说明对显示多个代表帧的两个显示状态I和2进行比较的比较示例的示图。另外，在这两个显示状态I和2中，没有显示暗示图像。在显示状态I中，图3所示的30个帧中的第I帧II、第7帧17、第13帧113、第19帧119和第25帧125被指示为代表帧。在显示状态2中，第I帧II、第8帧18、第14帧114、第22帧122和第27帧127被指示为代表帧。如果对显示状态I和显示状态2进行比较，用户可能误以为上面的帧和下面的帧是相同的帧。如从图11可了解到的,例如,帧17和帧18彼此没有显著不同，并且帧119和帧122彼此没有显著不同。因此，用户可能误以为显示状态I和显示状态2是相同的。与之形成对比，根据前述的运动图像处理装置10和40，在多个代表帧之间显示了暗示图像，因而用户可以认识到在多个代表帧之间消逝的时间。特别地，在多个代表帧之间的时间间隔不相等的情况下，有效性得到更大增长。以这种方式，在该实施例中，不是将多个代表帧处置为简单的静止图像束，而是通过考虑其时间顺序来对其进行显示〈2.第二实施例>(2-1.根据第二实施例的运动图像处理装置的配置)将参考图12描述根据第二实施例的运动图像处理装置110的示例。图12是图示出根据第二实施例的运动图像处理装置110的配置的框图。前述运动图像处理装置10被配置为生成除代表帧之外的帧的代表特征(暗示图像)并在显示画面上显示多个代表帧和多个暗示图像。与之形成对比，在运动图像处理装置110中，可以根据显示等级来改变显示在显示画面上的代表帧的数目。另外，与所显示的代表巾贞的数目的改变相应地，还对暗示图像的显示进行改变。如图12所示,运动图像处理装置110包括存储单元112、数据获取单元114、巾贞选择单元116、代表特征生成单元118、代表图像显示单元120、作为等级指定单元的一个示例的等级输入单元122、输入历史累积单元124和层级显示单元126。另外，在第二实施例中，代表图像显示单元120和层级显示单元126对应于显示控制器。存储单元112、数据获取单元114、帧选择单元116、代表特征生成单元118和代表图像显示单元120分别与图I所示的存储单元12、数据获取单元14、巾贞选择单元16、代表特征生成单元18和代表图像显示单元20相同。因此，不再重复对其配置的详细描述。等级输入单元122针对代表帧来指定显示等级。例如，等级I、等级2、等级3等被指定为显示等级。等级I是较低等级，而等级3是较高等级。输入历史累积单元124存储等级输入单元122的输入历史。例如，输入历史累积单元124存储对一个代表帧预先指定的显示等级或者其经更新显示等级。另外，输入历史累积单元124还可以存储显示等级的更新频率。层级显示单元126根据所指定的显示等级来执行代表图像的层级显示。换而言之，层级显示单元126根据所指定的显示等级来改变被显示为代表图像的代表帧的数目。更具体地，层级显示单元126根据用户操纵(显示等级改变操纵)，对混合了等级I至3的多个代表巾贞中的等级为等级2或更闻的代表巾贞进行显不，或者仅对等级为等级3或更闻的代表帧进行显示。另外，层级显示单元126参考存储在输入历史累积单元124中的输入历史来执行代表图像的层级显示。例如，在存在多个具有相同显示等级的代表帧的情况中，参考输入历史来在显示画面上优先显示更新显示等级的频率较大的代表帧。这在显示画面的尺寸有限从而使得可被显示的代表帧的数目有限的情况中是有效的。(2-2.代表图像的层级显示)参考图13来描述代表图像的层级显示示例。图13是用于说明代表图像的层级显示示例的示图。在图13中，显示了多个代表帧Rl至R5和多个暗示图像P1P5。这多个代表帧Rl至R5被指定了显示等级。更具体地，代表帧Rl和R2的显示等级被指定了等级2 ;代表帧R3的显不等级被指定了等级I ;代表巾贞R4的显不等级被指定了等级2 ;并且代表巾贞R5的显示等级被指定了等级I。另外，帧群组中的不是代表帧的非选择帧被指定等级O。在此情况中，如果用户执行对显示等级为等级2或更高的代表帧进行显示的操纵，则5个代表帧Rl至R5中的显示等级为等级2或更高的代表帧R1、代表帧R2、代表帧R4被显示。另外，与显不等级为等级2或更闻的代表巾贞的显不相应地，暗不图像Pl至P5的显示也被改变。换而言之，代表帧R2和代表帧R4之间的非选择帧以及代表帧R3的片段图像被显示为暗示图像P2。另外，代表帧R4之后的非选择帧以及代表帧R5的片段图像被显示为暗示图像P4。如果所显示的代表帧的数目由于层级显示而减小，则暗示图像的长度增大(每一个暗示图像的片段图像的数目增大)。代表图像的层级显示的示例不限于图13所示的显示示例。还可以使用下文中描述的图14至16所示的显示示例。下文中，将参考图14至16来描述层级显示的其它显示示例。另外，类似于图13，在图14至16中，显示的是显示等级为等级2或更高的代表帧R1、R2 和 R4。图14是用于说明代表图像的层级显示的另一示例的示图。该显示示例就暗示图像显示方法而言与图13的显示示例不同。在图13中，不作为代表帧的非选择帧被显示为暗示图像。与之不同，在图14中，不是显示不作为代表帧的帧的暗示图像，而是显示指示出具有等级I的代表巾贞R3的暗不图像Pll和指不出代表巾贞R5的暗不图像P12。另外，构成暗示图像Pll和P12的多个片段图像是例如指示出代表帧R3和R5的每一个的颜色信息的图像。在此情况中，当具有较高显示等级的代表帧被显示时，用户可以容易地认识到具有较低显示等级的代表帧的存在。因此，用户可以容易地再次显示具有较低显示等级的代表中贞。图15是用于说明代表图像的层级显不的另一不例的不图。图15的显不不例就暗示图像显示方法而言与图13的显示示例不同。在图13中，所显示的暗示图像P1、P2和P4的长度彼此不同。与之相反，在图15中，所显示的暗示图像P21、P22和P23的长度彼此相等。虽然暗示图像P21与图13的暗示图像Pl相同，但是暗示图像P22和P23变为通过压缩图13的暗示图像P2和P4的长度而形成的图像(片段图像的数目减小了的图像)。图16是用于说明代表图像的层级显示的又一示例的示图。图16的显示示例就暗示图像显示方法而言与图13的显示示例不同。图16的暗示图像P31、P32和P33是通过以相同比率压缩图13的暗示图像P1、P2和P4的长度(通过将片段图像的数目减半)而形成的，并且每一个暗示图像P31、P32和P33变为矩形。在图15和16的显示示例的情况中，例如与图13的显示示例相比，可以防止暗示图像的增加，从而使得可以有效地使用显示画面的所显示尺寸。因此，还可以增大所显示代表中贞的数目。图17是用于说明代表图像的层级显示的又一个示例的示图。在图17中，每一个 代表帧的显示等级被显示为代表帧中的标记。换而言之，矩形标记M被以重叠方式显示在每一个代表帧的右下部分，并且矩形标记M的数目指示出显示等级。例如，具有等级2的代表帧Rl包括两个矩形标记；具有等级3的代表帧R2包括三个矩形标记；并且具有等级I的代表帧R3包括一个矩形标记。因此，用户可以通过数标记的数目来容易地认识到代表帧的
显示等级。图18和19是用于说明暗示图像中的、指示出具有较低显示等级的代表帧的位置的标记的不图。在图18和19中，具有显不等级3的代表巾贞R2被显不，并且具有2或更低的显示等级的代表帧的位置被以标记的形式来显示在暗示图像中。更具体地，具有等级2的代表帧Rl、R3、R4和R5的位置被作为标记Ml、M2、M3和M4以重叠方式来分别显示在各个暗示图像中。另外，在图18中，代表帧的位置被显示为使得标记Ml至M4的宽度被扩大。在图19中，标记Ml至M4中的指示出等级的数目被显示。因此，当具有较高显示等级的代表帧被显示时，用户可以容易地识别出具有较低显示等级的代表帧的位置。(2-3.根据第二实施例的运动图像处理装置的操作)接下来，参考图20来描述运动图像处理装置110的操作(运动图像处理方法)的示例，这些操作是在执行代表帧的层级显示时被执行的。图20是用于说明根据第二实施例的运动图像处理装置110的操作示例的流程图。首先，运动图像处理装置110从存储单元112获取运动图像数据(步骤S42)。接下来，运动图像处理装置110从构成运动图像数据的帧群组中选择代表帧，并针对未被选择的帧生成图像的代表特征。接下来，运动图像处理装置110进行控制以使得按帧群组的配置顺序来显示帧。运动图像处理装置110判断第一帧是否是代表帧(步骤S44)。在第一帧是代表帧的情况中(步骤S44中的是)，运动图像处理装置110判断第一帧的显示等级是否等于或高于预定显示等级(步骤S46)。在第一帧的显示等级等于或高于预定显示等级的情况中(步骤S46中的是)，运动图像处理装置110将代表帧显示在显示画面30上(步骤S48)。另一方面，在步骤S44中在第一帧不是代表帧的情况中，运动图像处理装置110对帧图像的代表特征进行显示(步骤S50)。另外，在步骤S46中在第一帧的显示等级低于预定显示等级的情况中，运动图像处理装置110对帧图像的代表特征进行显示(步骤S50)。接下来，运动图像处理装置110判断要被显示的帧是否是最后一帧(步骤S52)。在要被显示的帧是最后一帧的情况中(步骤S52中的是)，处理结束。另一方面，在要被显示的帧不是最后一帧的情况中(步骤S52中的否)，重复前述步骤S44至S50。因此，如图13至19所示，代表帧和暗示图像被以层级方式显示在显示画面30上。(2-4.结论)类似于第一实施例，根据第二实施例，针对一个运动图像的数据，显示了多个代表帧，并且针对不作为代表帧的帧生成并显示暗示图像，从而使得可以在显示画面上显示更多信息。另外，由于用户可以认识到在多个代表帧之间的消逝的时间，所以可以更适当地检查运动图像的内容。另外，在第二实施例中，对代表帧指定了显示等级，并且根据显示等级来控制显示，从而使得可以更容易地检查整个运动图像。〈3.其它实施例〉本领域技术人员应当了解，可以依据设计要求和其它因素进行各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围内即可。、
在上述实施例的一些中，代表帧和暗示图像是可存储在诸如致密盘(⑶)、数字视频盘(DVD)、硬盘驱动器(HDD)或其它这样的介质之类的非暂时性计算机可读存储介质上的与运动图像相关联的附加信息。可以响应于由用户提供的或者从远程系统或服务器提供到用户的显示系统的控制信号，将这些附加信息显示在用户的显示系统上。在一些实施例中，代表帧和暗示图像是与运动图像相关联的附加信息，其中，运动图像和附加信息是从分离的源提供的。即，运动图像和附加信息被彼此分离地存储。例如，运动图像可以被以有线或无线方式从耦合到用户的显示系统的第一服务器提供，而附加信息被从第二服务器提供。可替代地，运动图像可被存储在非暂时性存储介质上，而附加信息被以有线或无线方式从耦合到用户显示系统的服务器提供。
在一些实施例中，附加信息是易失性的。即，附加信息可用于在用户的显示单元上显示预定时间长度。例如，仅在第一次正在显示运动图像时，附加信息可用于显示。或者，可将附加信息存储在用户的显示单元上达预定时间段，在该时间段之后将附加信息擦除。已知有对附加数据的其它易失性存储方法，并且可以设想到它们在本发明的范围内。在上述实施例中，虽然搜索画面被举例为在其中显示代表图像的显示画面，但是本发明不限于此。例如，显示画面可以是用于观看运动图像的观看画面、用于编辑运动图像的编辑画面等。另外，虽然可通过专用硬件来执行前述实施例中所描述的一系列处理，但是也可以通过软件(应用)来执行这些处理。在通过软件执行一系列处理的情况中，一系列处理可被包含在诸如致密盘(CD)、数字视频盘(DVD)、硬盘驱动器(HDD)或其它这样的介质之类的非暂时性计算机可读介质上，以允许通用计算机或专用计算机执行程序。另外，在前述实施例的流程图中图示出的步骤不仅可以包括根据所描述的顺序以时序方式执行的处理，而且可以包括不必以时序方式而是以并行方式或以分离方式执行的处理。另外，即使在以时序方式执行的步骤的情况中，显然有时候可以适当地改变顺序。例如，本发明的技术可以采取如下配置。(I) 一种运动图像处理装置，包括代表帧选择单元，其从构成一个运动图像的帧群组中选择代表该运动图像的多个代表帧；暗示图像生成单元，其针对帧群组中未被选择为代表帧的每一个非选择帧来生成暗示出至少帧图像的颜色信息和亮度信息中的一者的暗示图像；以及显示控制器，当代表帧选择单元所选择的代表帧被显示时，显示控制器将由暗示图像生成单元生成的暗示图像显示为与代表帧相邻。(2)根据⑴所述的运动图像处理装置，其中，显示控制器将由片段指示出的片段图像作为暗示图像来显示为与代表帧相邻。(3)根据⑵所述的运动图像处理装置，其中，显示控制器执行显示以使得与多个非选择帧的每一个相对应的片段图像被按这多个非选择帧在帧群组中的配置顺序来排列。(4)根据(3)所述的运动图像处理装置，其中，当多个代表帧被显示时，显示控制器执行显示以使得与一个代表帧相邻的片段图像的数目不同于与另一个代表帧相邻的片段图像的数目。(5)根据⑴至(4)中任一者所述的运动图像处理装置，其中，显示控制器在预定排列方向上将多个代表帧显示为彼此分离，并且其中，显示控制器将与在帧群组的配置顺序上位于两个代表帧之间的非选择帧相对应的暗示图像显示为在排列方向上布置在两个代表帧之间。(6)根据⑴至(5)中任一者所述的运动图像处理装置，其中，当一个非选择帧被划分成多个区域时，暗示图像生成单元生成被配置为包括与每一个区域相对应的多个暗示部分的暗示图像。 (7)根据⑴至(6)中任一者所述的运动图像处理装置，其中，代表帧选择单元选择在帧群组的配置顺序上等间隔的多个代表帧。(8)根据⑴至(7)中任一者所述的运动图像处理装置，其中，代表帧选择单元选择在帧群组的配置顺序上间隔不等的多个代表帧。(9)根据(I)至⑶中任一者所述的运动图像处理装置，还包括等级指定单元，其对多个代表帧的每一个指定显示等级，其中，显示控制器对所选择的多个代表帧中的、显示等级被指定为预定显示等级或更高的代表帧进行显示，但是不对所指定的显示等级低于该预定显示等级的代表帧进行显不O(10)根据(9)所述的运动图像处理装置，其中，显示控制器以重叠方式在暗示图像上显示指示出显示等级被指定为低于预定显示等级的代表帧在运动图像的配置顺序上的位置的位置信息。(11) 一种运动图像处理方法，包括从构成一个运动图像的帧群组中选择代表该运动图像的多个代表帧；针对帧群组中未被选择为代表帧的每一个非选择帧来生成暗示出至少帧图像的颜色 目息和売度 目息中的一者的暗不图像；以及当所选择的代表帧被显示时，将所生成的暗示图像显示为与代表帧相邻。(12) 一种用于允许计算机执行以下操作的程序从构成一个运动图像的帧群组中选择代表该运动图像的多个代表帧；针对帧群组中未被选择为代表帧的每一个非选择帧来生成暗示出至少帧图像的颜色 目息和売度 目息中的一者的暗不图像；以及当所选择的代表帧被显示时，将所生成的暗示图像显示为与代表帧相邻。本申请包含与在2011年2月8日向日本专利局提交的日本在先专利申请JP2011-024867所公开的主题相关的主题，该申请的全部内容通过引用而结合于此。其它实施例在如下权利要求的范围内。
权利要求
1.一种运动图像显示处理装置，包括 帧选择单元，被配置为选择来自由帧构成的运动图像的多个代表帧，每一个代表帧是代表顺序帧群组的静止图像； 生成单元，被配置为生成与所述顺序帧群组中的除所述代表帧之外的至少一个帧相关联的一个或多个暗示图像；以及 显示控制单元，被配置为通过以预定顺序将所述多个代表帧排列成使得第一代表帧与第二代表帧分隔一个或多个暗示图像，来显示所述多个代表帧。
2.根据权利要求I所述的运动图像显示处理装置，其中，与每一个代表图像相关联的多个暗示图像被与相应代表图像相邻显示。
3.根据权利要求2所述的运动图像显示处理装置，其中，各个代表帧之间的暗示图像的数目是相等的。
4.根据权利要求2所述的运动图像显示处理装置，其中，至少两个代表帧之间的暗示图像的数目与两个其它代表帧之间的暗示图像的数目不等。
5.根据权利要求2所述的运动图像显示处理装置，其中，每一个暗示图像是线条。
6.根据权利要求2所述的运动图像显示处理装置，其中，暗示图像是相应帧的尺寸缩小图像。
7.根据权利要求2所述的运动图像显示处理装置，其中，暗示图像是基于相应帧的颜色信息和亮度信息中的至少一者来生成的。
8.根据权利要求2所述的运动图像显示处理装置，其中，暗示图像不是矩形。
9.根据权利要求8所述的运动图像显示处理装置， 其中，每一个代表图像具有关联的层级顺序， 其中，所述显示控制单元对等于或高于规定层级顺序的所选择代表图像进行显示，并且所述显示控制单元不对低于所述规定层级顺序的代表图像进行显示，并且 其中，所述暗示图像包括低于所述规定层级顺序的代表图像和在所选择的代表图像之间的暗示图像。
10.一种运动图像显示处理方法，包括 选择来自由帧构成的运动图像的多个代表帧，每一个代表帧是代表顺序帧群组的静止图像； 生成与所述顺序帧群组中的除所述代表帧之外的至少一个帧相关联的一个或多个暗示图像；以及 致使通过以预定顺序将所述多个代表帧排列成使得第一代表帧与第二代表帧被暗示图像分隔开，来显示所述多个代表帧。
11.一种非暂时性计算机可读存储介质，其上存储有用于致使计算机执行运动图像显示处理方法的程序，所述运动图像显示处理方法包括 选择来自由帧构成的运动图像的多个代表帧，每一个代表帧是代表顺序帧群组的静止图像； 生成与所述顺序帧群组中的除所述代表帧之外的至少一个帧相关联的一个或多个暗示图像；以及 致使通过以预定顺序将所述多个代表帧排列成使得第一代表帧与第二代表帧被暗示图像分隔开，来显示所述多个代表帧。
12.—种运动图像显示方法，包括 接收由帧构成的运动图像； 将所述运动图像显示在显示器上； 接收与所述运动图像相关联的附加信息； 将所述附加信息显示在所述显示器上； 其中，所述附加信息是在所述运动图像已被接收之后接收的， 其中，所述附加信息是来自所述运动图像的多个代表帧以及与顺序帧群组中的除所述代表帧之外的至少一个帧相关联的暗示图像，每一个代表帧是代表所述顺序帧群组的静止图像，并且 其中，显示所述附加信息包括以预定顺序将多个代表帧显示为使得暗示图像被显示在第一代表巾贞和第二代表巾贞之间。
13.根据权利要求12所述的运动图像显示方法，其中，所述运动图像和所述附加信息是从不同的信息提供者接收的。
14.一种运动图像显不系统，包括 非暂时性存储介质，其上存储有由帧构成的运动图像； 显示控制单元，被配置为将所述运动图像显示在显示器上；和代表图像选择器，被配置为接收与所述运动图像相关联的并且不被存储在所述非暂时性存储介质上的附加信息，并致使所述显示控制单元显示所接收的关联信息， 其中，所述附加信息是来自所述运动图像的多个代表帧以及与顺序帧群组中的除所述代表帧之外的至少一个帧相关联的暗示图像，每一个代表帧是代表所述顺序帧群组的静止图像，并且 其中，显示所述附加信息包括以预定顺序将多个代表帧显示为使得暗示图像被显示在第一代表巾贞和第二代表巾贞之间。
15.根据权利要求14所述的运动图像显示方法，其中，所接收的附加信息可供显示在所述显示控制单元上预定时间段。
16.一种运动图像显不系统，包括 非暂时性存储介质，其上存储有(i)由帧构成的运动图像，(ii)来自所述运动图像的多个代表帧，每一个代表帧是代表顺序帧群组的静止图像，和(iii)与所述顺序帧群组中的除所述代表帧之外的至少一个帧相关联的暗示图像； 显示控制单元，被配置为显示所述运动图像；以及 代表图像选择器，被配置为接收控制信号，并且作为响应，致使所述显示控制单元以预定顺序将多个代表帧显示成使得第一代表帧与第二代表帧被暗示图像的显示分隔开。
全文摘要
本发明涉及运动图像处理装置、运动图像处理方法及程序。公开了用于显示具有帧的运动图像并包括与运动图像相关的附加信息的运动图像显示处理装置、方法和系统。附加信息是来自运动图像的多个代表帧以及与顺序帧群组中的除代表帧之外的至少一个帧相关联的暗示图像，每一个代表帧是代表顺序帧群组的静止图像。代表帧被以预定顺序显示，使得暗示图像被显示代表帧之间。运动图像和附加信息可从不同的信息提供者接收，并且附加信息可供使用预定时间段。
文档编号G09G5/00GK102637421SQ20121002509
公开日2012年8月15日 申请日期2012年2月1日 优先权日2011年2月8日
发明者高木芳德 申请人:索尼公司