专利名称：显示控制设备、显示控制方法和程序的制作方法
技术领域：
本发明涉及显示控制设备、显示控制方法和程序。
背景技术：
常规回放显示和菲林胶巻显示(film roll display)可用作显示利用诸如视频相 机之类的成像装置所拾取并且摄录下来的运动图像的视频显示方法。常规回放显示方法将 通过沿时间轴t从头开始依次再现其摄录下来的运动图像来显示视频(成像屏幕的x轴和 y轴)。用户可以通过观看这样常规地再现的视频来把握成像内容(imaged content)，但是 需要相当长一段时间。为了减少时间，一种方法可用于在回放显示中使运动图像快进，但是 在某一程度上仍然需要一段时间以便在整体上把握运动图像的成像内容。
另一方面，菲林胶巻显示方法将以预定时间间隔从摄录下来的运动图像中选择 多个帧图像并且按时间顺序依次将帧图像显示为縮略图像(例如，见日本专利申请特开 2007-134771号公报和特开2008-166988号公报)。根据菲林胶巻显示方法，如果从以列表 显示的縮略图像中选择任意一个縮略图像，则也可以通过从与该縮略图像相对应的回放位 置开始常规地再现这些运动图像来显示它们。根据这样的菲林胶巻显示，用户可以比常规 回放显示更容易地在整体上理解运动图像的成像内容。
发明内容
然而，在菲林胶巻显示方法的情况中，如果拾取縮略图像的时间间隔太短，则用户 需要观看许多縮略图像因而花费长时间来把握成像内容。另一方面，如果时间间隔太长，则 縮略图像之间的相互关系减少，因此使得用户难以把握成像内容。此外，通过菲林胶巻显示 方法，縮略图像仅按时间顺序被布置在两维平面上，所以很难理解例如拍摄时成像装置的 位置以及该成像装置与拍摄对象之间的相对位置关系之类的成像状况。 已经鉴于以上问题做出了本发明，并且希望提供能够以易于理解的方式显示所拾 取的运动图像的拾取内容和成像状况的、新颖和改进的显示控制设备、显示控制方法和程序。 根据本发明的一个实施例，提供了一种显示控制设备，包括存储单元，该存储单 元存储通过使用成像装置执行一次连续的成像操作所拾取的运动图像；显示图像生成单 元，该显示图像生成单元在布置了所述运动图像中所包含的物体的三维模型的虚拟三维空 间中，将从运动图像中提取出的多个縮略图像画到这些縮略图像被拾取时成像装置的相应 位置上，并且在虚拟三维空间中画出按照縮略图像被拾取的顺序来关联縮略图像的信息， 从而生成鸟瞰显示图像，该鸟瞰显示图像提供对包含三维模型和所述縮略图像的所述虚拟 三维空间的鸟瞰绘图；以及显示控制单元，所述显示控制单元使得所述显示单元显示所述 鸟瞰显示图像。 该存储单元可以存储运动轨迹信息作为运动图像的附加信息，运动轨迹信息表示 成像装置在拾取所述运动图像时成像装置的运动轨迹；并且该显示图像生成单元可基于运动轨迹信息在虚拟三维空间中縮略图像被拾取时成像装置的相应位置处画出縮略图像。
按照縮略图像被拾取的顺序关联縮略图像的信息可以是表示成像装置在拾取运 动图像时成像装置的运动轨迹的运动轨迹线，并且该显示图像生成单元可基于运动轨迹 信息、以按照縮略图像被拾取的顺序连接縮略图像的方式在虚拟三维空间中画出运动轨迹 线。 显示图像生成单元可以根据縮略图之间的运动图像的内容或成像状况、以各种线 的类型画出连接縮略图像的运动轨迹线。 显示图像生成单元可以将表示所述縮略图像中的至少一些縮略图像的内容或成 像状况的替换图像画到所述縮略图像的绘图位置来替代所述縮略图像。 显示图像生成单元可以根据虚拟三维空间中的縮略图像的绘图位置来改变要被 画出的縮略图像的大小；并且如果要被画出的縮略图像的大小是预定的大小或更小，则可 以画出替换图像来替代所述縮略图像。 显示图像生成单元可以在元数据与縮略图像相关联的条件下，在虚拟三维空间中 画出有关縮略图像的元数据。 显示控制设备还可以包括图像编辑单元，该图像编辑单元响应于对显示单元中所
示出的鸟瞰显示图像中的三维模型或縮略图像的用户操作来编辑运动图像。 显示控制设备还可以包括图像编辑单元，该图像编辑单元响应于显示单元中所示
出的鸟瞰显示图像中的角度的指定，生成在所指定的角度观看到的运动图像。 显示控制设备还可以包括图像检索单元，该图像检索单元检索包含与从所述显示
单元上所显示的鸟瞰显示图像中选出的三维模型相同或相似的三维模型或与该三维模型
相对应的物体的图像。 根据本发明另一实施例，提供了一种显示控制方法，包括以下步骤将从运动图像 中提取出的多个縮略图像画到虚拟三维空间中所述縮略图像被拾取时成像装置的相应位 置上，运动图像是通过使用成像装置执行一次连续的成像操作所拾取的，运动图像中所包 含的物体的三维模型被布置在虚拟三维空间中，并且在虚拟三维空间中画出按照縮略图像 被拾取的顺序关联縮略图像的信息，从而生成鸟瞰显示图像，鸟瞰显示图像提供对包含三 维模型和所述縮略图像的虚拟三维空间的鸟瞰绘图；以及使得显示单元显示所述鸟瞰显示 图像。 根据本发明另一实施例，提供了 一种程序，使得计算机执行以下步骤将从运动图 像中提取出的多个縮略图像画到虚拟三维空间中所述縮略图像被拾取时成像装置的相应 位置上，运动图像是通过使用成像装置执行一次连续的成像操作所拾取的，运动图像中所 包含的物体的三维模型被布置在虚拟三维空间中，并且在虚拟三维空间中画出按照縮略图 像被拾取的顺序关联縮略图像的信息，从而生成鸟瞰显示图像，鸟瞰显示图像提供对包含 三维模型和所述縮略图像的虚拟三维空间的鸟瞰绘图；以及使得显示单元显示所述鸟瞰显 示图像。 根据以上配置，在显示通过成像装置的一系列成像操作所拾取的运动图像中所包 含的物体的三维模型的虚拟三维空间中，从所述运动图像中所提取的多个縮略图像被画到 这些縮略图像被拾取时其相应的成像装置的位置处。此外，按照縮略图像被拾取的顺序关 联縮略图像的信息被画出。结果，提供对包含三维模型和縮略图像的虚拟三维空间的鸟瞰绘图的鸟瞰显示图像被生成。此外，鸟瞰显示图像被显示在显示单元上。因此，通过使用一
个图像来适当地表示运动图像的拾取内容和成像状况的鸟瞰显示图像可以被显示。 因此，根据本发明，可以以其内容和成像状况能够被容易地把握的方式来显示所
拾取的运动图像。
图1示出显示了根据本发明的一个实施例的鸟瞰显示图像的显示装置； 图2示出显示了根据该实施例的常规回放显示图像的显示装置； 图3示出显示了根据该实施例的菲林胶巻显示图像的显示装置； 图4示出根据本发明第一实施例的显示鸟瞰显示图像的成像装置； 图5是示出根据该实施例的成像装置的硬件结构的框图； 图6是示出根据该实施例的成像装置的功能结构的框图； 图7是示出根据该实施例的用于显示鸟瞰显示图像的方法的流程图； 图8示出根据该实施例的鸟瞰显示图像的显示示例1 ; 图9示出根据该实施例的鸟瞰显示图像的显示示例2 ; 图10示出根据该实施例的鸟瞰显示图像的显示示例3 ; 图11示出根据该实施例的鸟瞰显示图像的显示示例4 ; 图12示出根据该实施例的鸟瞰显示图像的显示示例5 ; 图13示出根据该实施例的鸟瞰显示图像的显示示例6 ; 图14示出根据该实施例的鸟瞰显示图像的显示示例7 ; 图15示出根据本发明第二实施例的显示鸟瞰显示图像的信息处理设备； 图16是示出根据该实施例的信息处理设备的硬件结构的框图； 图17是示出根据该实施例的信息处理设备的功能结构的框图； 图18示出根据该实施例的鸟瞰显示图像的显示示例1 ; 图19示出根据该实施例的鸟瞰显示图像的显示示例2 ; 图20示出根据该实施例的鸟瞰显示图像的显示示例3 ; 图21示出根据该实施例的鸟瞰显示图像的显示示例4 ; 图22示出根据该实施例的鸟瞰显示图像的显示示例5 ;以及 图23示出根据该实施例的鸟瞰显示图像的显示示例6。
具体实施例方式
以下，将参考附图详细描述本发明的优选实施例。注意，在说明书和附图中，用相 同的标号表示具有基本相同的功能和结构的结构元件，并且省略对这些结构元件的重复说 明。 将按以下顺序给出描述。
1.鸟瞰显示的概览 2.第一实施例(在通过成像装置成像时的鸟瞰显示) 3.第二实施例(在通过信息处理设备进行回放时的鸟瞰显示) 〈1.鸟瞰显示的概览>
首先，将参考图1给出对根据本发明第一实施例的鸟瞰显示的概览的描述。图1
示出显示装置1的示例，在显示装置1上显示根据本实施例的鸟瞰显示图像3。 根据本实施例的鸟瞰显示是一种视频显示方法，其用于在利用成像装置所拾取的
视频(运动图像)被显示在显示装置l上时，辅助用户把握该视频的拾取内容和成像状况。 如图1中所示，在显示装置1的显示屏幕2上，显示鸟瞰显示图像3。鸟瞰显示图
像3是示意性地表示通过成像装置的一系列成像操作拾取的成像图像的内容的静止图像。
一系列成像操作例如是指从成像装置上的成像开始按钮被按下的时间点到成像装置上的
成像停止按钮被按下的时间点(即，"lrec")连续地拾取对象的运动图像。通过执行这一
系列成像操作，运动图像数据被获得作为一个成像单元，并且之后通常被记录在记录介质
中作为一个文件。鸟瞰显示图像3用作被用来把握通过这一系列成像操作拾取的运动图像
的整体的数据的内容和成像状况的索引图像。 具体而言，如图1中所示，鸟瞰显示图像3提供虚拟三维空间6的鸟瞰绘图，虚拟 三维空间6包括所拾取的运动图像中的物体的三维模型4和从该运动图像提取的多个縮略 图像5。虚拟三维空间6示意性地表示由成像装置成像的现实世界(reality)的三维空间 (成像范围中的对象)。在虚拟三维空间6中，所拾取的运动图像中所包含的物体的三维模 型4被布置在现实世界的三维空间中的相应位置。 物体是指所拾取的运动图像中所包含的目标(即，成像范围内存在的某些对象)。 被表示为三维模型4的物体例如可以是诸如东西、人、交通工具或建筑物之类的任意有形 实体，但是优选地应至少具有一定的大小，以被显示为在虚拟三维空间6中能够被容易地 理解的某些事物。这样的物体的三维模型4可以被布置为与现实世界的三维空间中存在的 成像物体具有几乎相同的形状、几乎相同的位置并且在几乎相同的方向上。在图1的鸟瞰 显示图像3的示例中，小学的健身房被表示为虚拟三维空间6，而成像时存在的多个桌子4a 和一个舞台4b被显示为物体的三维模型4。 此外，在鸟瞰显示图像3的虚拟三维空间6中，从运动图像中提取的多个縮略图像 5被画到当縮略图像5被拾取时它们相应的、成像装置的位置和方向上。縮略图像5是通 过成像装置的一系列成像操作而被拾取并且摄录下来的运动图像的数据中提取的帧图像 (静止图像)。在从运动图像中提取縮略图像的一种方法中，可以以预定的时间间隔从运动 图像提取预定数目的縮略图像5。此外，在不将成像装置从固定位置移开的情况下拾取的縮 略图像或具有良好图像质量的縮略图像可以从运动图像中被选择并且被提取出。因此，可 以将要显示在鸟瞰显示图像3上的縮略图像5限制为适当的数目。因此，将在鸟瞰显示图 像3中画出许多縮略图像5从而防止复杂和多余的显示。 在图1的示例中，在虚拟三维空间6中按照图像被拾取的顺序画出5个縮略图像 5a、5b、5c、5d和5e。縮略图像5a_5e被布置在分别与縮略图像5a_5e被拾取时成像装置的 实际位置和方向相对应的位置和方向上。例如，运动图像中开头的縮略图像5a(第一縮略 图像5a)被布置在与成像装置的成像开始位置相对应的位置，S卩，朝向用户并且在虚拟三 维空间6的左侧。此外，縮略图像5a被布置在縮略图像5a被拾取时成像装置的方向(从 成像开始位置朝向舞台的三维模型4b的方向)上。 此外，縮略图像5在虚拟三维空间6中以如下方式按照透视法被画出，即以它们在 虚拟三维空间6中可朝向前方较大、朝向后方较小的方式。例如，第一縮略图像5a和第五縮略图像5e是从朝向前方的实际成像位置被拾取的，并且因此在虚拟三维空间6中被画成 朝向你扩大。另一方面，第三縮略图像5c是从朝向最后方(朝向舞台)的实际成像位置被 拾取的，并且因此在虚拟三维空间6中被画成朝向后方縮小。 以这种方式，縮略图像5在虚拟三维空间6中被以如下方式画出，即以它们的位 置、方向和大小可与它们被拾取时它们相应的、成像装置的位置和方向相对应。
并且，在虚拟三维空间6中，成像装置的运动轨迹线7被以依次互连多个縮略图像 5的方式画出。运动轨迹线7是如下信息的示例，该信息按照图像被拾取的顺序关联多个縮 略图像5并且表示成像装置实际拾取运动图像时成像装置的运动轨迹。运动轨迹线7按照 图像被拾取的顺序沿时间序列互连多个縮略图像5并且沿成像装置的实际运动路径(即， 成像位置)被画出。通过画出这样的运动轨迹线7，可以恰当地表示縮略图像5的相互关系 和拾取位置。因此，基于运动轨迹线7，用户可以容易地理解縮略图像5被拾取的顺序以及 成像装置在拾取运动图像时成像装置的运动轨迹。注意，尽管没有详细描述，但是运动轨迹 线7是基于利用成像装置上所安装的各个传感器获得的成像位置信息来画出的。
以这样的方式，在鸟瞰显示图像3和布置了所拾取的运动图像中所包含的物体的 三维模型4的虚拟三维空间6中，从该运动图像中提取出的多个縮略图像5被画到成像时 它们相应的、成像装置的位置和方向上。然后，提供包含縮略图像5和这样的物体的三维模 型4的虚拟三维空间6的鸟瞰绘图的鸟瞰显示图像3被生成并且被显示在显示装置1的显 示屏幕2上。因此，在虚拟三维空间6中，鸟瞰显示图像3可以在实际拾取的运动图像的縮 略图像5与运动图像中出现的物体的三维模型4相关联的条件下，提供縮略图像5和三维 模型4的鸟瞰显示。以下，该显示方法称为"四维时空鸟瞰显示"。 通过观看该四维鸟瞰显示中给出的鸟瞰显示图像3，用户可以同时把握深度轴z 和拍摄时间轴t以及当运动图像数据被获得时成像平面的x轴和y轴。S卩，用户基于鸟瞰显 示图像3中的三维模型4和縮略图像5之间的位置关系、縮略图像5的布局、方向和大小、 以及运动轨迹线7，不仅可以容易地把握运动图像的内容，还可以容易地把握其成像状况。 因此，用户可以观看提供运动图像的索引显示的鸟瞰显示图像3，从而容易地理解运动图像 是在哪儿以及怎样被拾取的。 注意，用于显示鸟瞰显示图像3的显示装置1可以是两维显示(x， y)或三维显示 (x， y， z)。 此外，用于生成物体的三维模型4的方法不限于任何预定方法，并且可以是任何 进入公知的方法，例如，以下方法(a)-(d)。 (a)用于通过利用成像装置上所安装的各种传感器来生成三维模型4的方法
例如，成像装置可以装有距离传感器和运动轨迹传感器，距离传感器测量成像时 成像装置与物体之间的距离，运动轨迹传感器测量成像时成像装置的距离轨迹或姿势。运 动轨迹传感器例如可以是角速度传感器、加速度传感器、磁传感器、全球定位系统(GPS)传 感器等。诸如成像装置或信息处理设备之类的显示控制设备使用各种传感器来测量运动图 像被拾取时成像装置与物体之间的距离以及成像装置的运动轨迹或姿势。之后，显示控制 设备分析测量数据和运动图像数据来估计成像空间中存在的物体的形状、位置和方向，从 而生成其三维模型4。
(b)用于通过使用软件从运动图像数据中自动提取三维模型4的方法
用于生成三维模型的软件(程序)被安装到诸如成像装置或信息处理设备之类的 显示控制设备上。该软件分析运动图像的数据并且识别和提取由运动图像数据给出的视 频中所包含的物体，来估计其形状、位置和大小，从而生成三维模型4。注意，显示控制设备 可以被布置为经由记录介质或网络从任何其它装置获取由该装置类似地生成的三维模型4 的数据。
(c)用于手动生成三维模型4的方法 用户在观看基于所再现的运动图像数据而显示的图像时，手动生成三维模型4。可 以在诸如成像装置或信息处理设备之类的显示控制设备或任何其它装置中执行三维模型4 的手动再现。在后一情况中，显示控制设备可以经由网络从这些任何其它装置或记录介质 中获取有关三维模型4的信息。
(d)通过方法(a) _ (c)生成的三维模型4的组合 显示控制设备将通过方法(a)-(c)生成的三维模型4进行组合来生成要被布置在 虚拟三维空间6中的最终的三维模型4。 已经给出对用于生成运动图像中所包含的物体的三维模型4的方法的描述。注 意，要在虚拟三维空间6中画出的三维模型4可以是实际物体的忠实表示或简化表示或已 经省略了不必要的实体的简化的三维模型4。例如，在鸟瞰显示图像3中，可以简单地以黑 和白显示三维模型4。因此可以强调三维模型4周围所布置的縮略图像5使得可以容易地 观看縮略图像5。注意，在鸟瞰显示图像3中，不是完全不画出虚拟三维空间6中的三维模 型4，而是可以仅画出縮略图像5，或者可以在不画出三维模型4的情况下，画出縮略图像5 和后述运动轨迹线7或者画出元数据16作为替代。 此外，显示控制设备可以根据由用户指定的运动图像中的成像时间，选择要在鸟 瞰显示图像3中画出三维模型4的位置。例如，通过针对三维模型4选择仅一个时间、所有 时间、或周期时间，可以控制其画出位置以及是否被画出。 此外，尽管在鸟瞰显示图像3中不仅可以表示成像位置的水平运动还可以表示其 垂直运动，但是适当时，在绘图中可以省略不便于俯视的、物体的三维模型(例如，屋顶或 地板)。 此外，显示控制设备能够根据用户选择，任意地改变提供在以上鸟瞰显示图像3 的鸟瞰显示时用作基准的视点(四维时空鸟瞰显示中的视点)。例如，显示控制设备能够分 析运动图像从而获得最佳视点以在整体上把握运动图像的内容，并且将最佳视点作为推荐 视点呈现给用户。 将参考图2和图3给出鸟瞰显示图像3(图1)、常规回放显示的图像8(图2)和菲 林胶巻显示的图像9(图3)之间的比较。 如图2中所示，常规回放显示是沿时间t轴依次再现摄录下来的运动图像的视频
(图像平面的x轴和y轴)的常规显示方法。在这样的常规回放显示中，仅显示被再现的图
像8中的一个，因此，需要较长的时间来在整体上把握运动图像的内容。 此外，如图3中所示，菲林胶巻显示是以预定时间间隔从摄录下来的运动图像中
提取多个縮略图像(帧图像)lla-lle并且按时间顺序来依次显示图像lla-lle的方法。相
比于以上常规回放显示，这样的菲林胶巻显示提供容易把握的成像内容。然而，如果提取縮
略图像lla-lle的时间间隔太短，则一次显示多个縮略图像lla-lle所以复杂，因此需要较长时间来把握成像内容。另一方面，如果时间间隔太长，则縮略图像lla-lle之间的相互关系劣化，因此使得不能把握成像内容。 同时，如图1中所示，在根据本实施例的鸟瞰显示图像3中，不仅可以同时把握成像平面的x轴、y轴和深度z轴和所拾取的运动图像的拍摄时间t轴，还可以把握縮略图像5的拍摄顺序、成像位置和方向。因此，用户可以把握他是在哪里如何拾取该运动图像的，从而容易地理解成像内容和成像状况。 以上已经概述了使用四维时空鸟瞰显示的鸟瞰显示图像3。接着，将给出对用于显示鸟瞰显示图像3的显示控制设备和显示控制方法的合适的实施例的描述。
〈2.第一实施例> 首先，将给出对根据本发明第一实施例的显示控制设备和方法的描述。 如图4中所示，第一实施例可以是本发明的显示控制设备已经应用到成像装置
IO(例如，视频相机)的示例。作为成像装置10进行的成像中的实时应用，在装配在成像
装置IO上的显示装置130上显示鸟瞰显示图像3。例如，如果用户想要在利用成像装置10
拾取并摄录下lrec的运动图像之时或之后确认这lrec的运动图像的摄录下来的内容，则
有关该运动图像的数据的鸟瞰显示图像3将被显示在显示装置130上。[成像装置的硬件结构] 首先，将参考图5给出对根据本实施例的成像装置10的硬件结构的描述。图5是示出根据该实施例的成像装置10的硬件结构的框图。 如图5中所示，根据该实施例的成像装置10示意性地包括成像单元110、信号处理单元120、显示装置130、记录装置140、控制单元150、操作单元160、距离传感器170和运动轨迹传感器172。 成像单元110对对象进行成像并且输出模拟图像信号。成像单元110包括成像光学系统111、成像元件112、定时发生器113和光学元件驱动单元114。 成像光学系统111包括诸如聚焦透镜和变焦透镜之类的各种透镜、去除不必要的波长的光滤波器以及诸如孔径光阑(aperture di即hragm)之类的光学元件。从对象入射的光经过成像光学系统111中的光学元件到达成像元件112。成像元件112包括固态成像元件，例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)。成像元件112对经由成像光学系统111导入的光执行电光转换，并且输出表示所拾取的图像的电信号(模拟图像信号)。 致动器(未示出)机械地连接到成像光学系统lll，该致动器是用于调节孔径光阑和移动聚焦透镜的驱动机构。致动器还连接到控制其驱动的光学元件驱动单元114。光学元件驱动单元114根据来自后述中央处理单元(CPU) 151的指令来控制对成像光学系统lll的光学元件的驱动。定时发生器(TG)113根据来自CPU 151的指令来生成成像元件112需要的操作脉冲。例如，TG 113生成各种脉冲并且向成像元件112提供这些脉冲，所述脉冲例如是垂直传动(vertical transfer)所需的四相脉冲和场转移脉冲(field-shift pulse)以及水平传动所需要的两相脉冲和快门脉冲。TG113使得能够驱动成像元件112(电子快门功能)。 从成像元件112输出的图像信号被输入到信号处理单元120。信号处理单元120对从成像元件112提供的图像信号执行预定的信号处理，并且将信号处理后的图像信号输出给显示装置130和记录装置140。信号处理单元120包括模拟信号处理单元121、模拟/数字(A/D)转换单元122和数字信号处理单元123。 模拟信号处理单元121是用于对图像信号执行预处理的所谓的模拟前端。例如，模拟信号处理单元121对作为从成像元件112输出的所拾取的图像的电信号执行相关双采样(CDS)处理和使用可编程增益放大器(PGA)的增益处理。然后，模拟信号处理单元121将作为该预处理的结果获得的图像信号提供给A/D转换单元122。 A/D转换单元122将所提供的模拟图像信号转换成数字图像信号并且将数字图像信号提供给数字信号处理单元123。数字信号处理单元123对所提供的数字图像信号执行数字信号处理(例如，伽马校正处理和白平衡处理)，从而生成所拾取的图像的视频信号。数字信号处理单元123将这样生成的所拾取的图像数据的视频信号输出给显示装置130和记录装置140。
显示装置130包括液晶显示器(LCD)或有机EL显示器。显示装置130显示提供给它的各种类型的图像数据。例如，当图像数据在成像期间被实时地从信号处理单元120提供时，显示装置130在拾取中间显示图像的数据。这允许用户在观看正由成像装置10拾取的图像的同时执行拍摄。此外，如果记录装置140中所记录的、所拾取的图像的数据被再现，则显示装置130显示从记录装置140输入的所再现的图像数据。这允许用户确认记录装置140中记录的所拾取的图像数据的内容。注意，显示装置130显示以上鸟瞰显示图像3(见图1)，稍后将描述鸟瞰显示图像3的细节。 记录装置140在记录介质中记录各种数据，例如这样拾取的图像的数据及其元数据。记录装置140可以包括任意记录装置，例如，光盘驱动或硬盘驱动(HDD)。要使用的记录介质可以是可移除介质，例如光盘、诸如存储卡之类的半导体存储器或硬盘。光盘例如可以是蓝光盘、数字通用光盘(DVD)或紧致光盘(CD)。要使用的记录介质可以已经被建立在成像装置10中。 控制单元100包括微控制器并且整体上控制成像装置10的操作。控制单元100例如包括CPU 151、EEPR0M 152、只读存储器(ROM) 153、随机存取存储器(RAM) 155。注意，EEPROM表示"电可擦除可编程ROM"。 CPU 151控制成像单元110中的TG 113和光学元件驱动单元114，从而控制成像单元110的成像处理。例如，CPU 151通过调节成像光学系统111的孔径光阑并且设置成像元件112的电子快门速度和模拟信号处理单元121中的AGC的增益来执行自动曝光控制。此外，CPU 151例如通过驱动成像光学系统111中的聚焦透镜来执行自动聚焦控制以使透镜自动聚焦到对象上。此外，CPU 151对通过使用记录装置140来对记录和再现所拾取的图像数据的处理进行控制。此外，CPU 151对在显示装置130上显示各种类型的显示数据执行显示控制。注意，CPU 151执行用来生成鸟瞰显示图像3(见图1)的处理和用于在显示装置130上显示鸟瞰显示图像3的显示控制处理，稍后将描述细节。
在控制单元100的ROM 153中，存储用来使CPU 151执行各种类型的控制处理的程序。CPU 151基于该程序进行操作，以便在使用RAM 154时执行以上各种类型的控制所需的算术运算和控制处理。该程序可以预先存储在成像装置中所建立的存储装置(例如，ROM153)中。此外，该程序可以在其被存储在诸如CD、DVD、蓝光盘或存储卡之类的可移除记录介质上的条件下被提供给程序装置，或者经由诸如LAN或因特网之类的网络被下载到成像装置。
操作单元160和显示装置130用作用户接口 。操作单元160包括操作按钮或触摸面板，并且根据用户操作向控制单元100输出所指派的信息。注意，操作单元160和显示装置130可以各包括与成像装置10分开的装置。 距离传感器170被用来测量要被成像的对象与成像装置10之间的距离。距离传感器170使得能够在成像装置IO进行的成像期间，测量作为对象被包含在成像范围中的物体与成像装置10之间的距离。另一方面，运动轨迹传感器172被用来测量成像期间成像装置10的位置、运动轨迹和姿势，并且例如可以包括角速度传感器、加速度传感器、磁传感器或GPS传感器。距离传感器170和运动轨迹传感器172被用来画出鸟瞰显示图像3中存在的三维模型4和运动轨迹线7，稍后将描述细节。
[成像装置的功能结构] 接着，将参考图6详细给出对根据该实施例的成像装置10的功能结构的描述。图6是示出根据该实施例的成像装置10的功能结构的框图。注意，图6示意性地示出了用来显示表征本实施例的特征的鸟瞰显示图像3的功能单元。 如图6中所示，成像装置10包括存储单元20、成像处理单元40、预处理单元50、显示图像生成单元60、显示控制单元70、显示装置130、操作单元160、距离传感器170和运动轨迹传感器172。这些装置中，预处理单元50、显示图像生成单元60和显示控制单元70例如是由成像装置10中所安装的软件实现的。即，例如，图5中所示的CPU 151根据ROM153等中所存储的程序进行操作，从而用作预处理单元50、显示图像生成单元60和显示控制单元70。注意，该程序可以经由记录介质或网络提供给成像装置IO。接着，将详细给出对各个单元的描述。 存储单元20存储各种信息块21-31，例如运动图像数据21和縮略图像信息26。存储单元20例如包括图5中所示的记录装置140或EEPR0M152。 成像处理单元40对对象进行成像并且获得运动图像数据21。成像处理单元40例如包括图5中所示的成像单元110和信号处理单元120。成像处理单元40将所获得的运动图像数据21记录在存储单元20中。 预处理单元50执行预处理以生成为产生例如图1中所示的鸟瞰显示图像3所需的各种类型的信息和数据。预处理单元50包括距离估计单元51、语音估计单元52、运动轨迹估计单元53、三维形状估计单元54、縮略图像提取单元55、替换图像生成单元56、成像信息链接单元57和对象估计单元58。 距离估计单元51执行处理以估计成像装置10与物体之间的距离关系。如上所述，成像装置10装配有例如利用激光器或声波或毫米波雷达的距离传感器170。距离传感器170在成像装置10进行的成像期间，测量成像装置10与作为对象存在于成像范围中的物体之间的距离。距离估计单元51基于由距离传感器170测量出的距离信息和之后对运动图像数据24的分析的结果来估计从成像装置10到成像空间中存在的多个物体之间的距离和这些物体之间的距离。然后，距离估计单元51基于所估计出的距离信息来生成距离地图22，并且将距离地图22保存在存储单元20中，距离地图22指示成像时成像装置10与物体之间的位置关系。注意，为了测量从成像装置到目标之间的距离，可以使用基于使用多个相机(成像单元)的立体观测(双目立体观测)的测距方法。通过使用基于立体观测(双目立体观测)的测距方法，距离估计单元51能够估计出从成像装置10到成像空间中存在的多个物体之间的距离和这些物体之间的距离。 语音估计单元52分析添加到运动图像数据21的音频数据，以检测运动图像中感兴趣的声音被记录的图像位置(图像位置对应于成像时间)。感兴趣的声音例如是指与运动图像的内容相关联的声音，例如，人所讲的话(语音)或物体的声音效果，不包括诸如噪声和环境声音之类的声音。语音估计单元52生成语音信息23并且将其保存在存储单元20中，语音信息23表示有意义的声音被记录的图像位置。注意，尽管在图5中示出的成像装置的框图中已经省略了用来获取成像时的声音的声音获取单元(麦克风等)，但是成像装置10可以包括声音获取单元。 运动轨迹估计单元53基于运动图像数据21的分析结果和运动轨迹传感器172的测量数据来估计运动图像被拾取时成像装置10的运动轨迹和姿势。如上所述，成像装置10装配有距离传感器170。距离传感器170例如可以是角速度传感器、加速度传感器、磁传感器或GPS传感器。角速度传感器和加速度传感器分别测量在成像期间成像装置IO移动时的角速度和角速度。磁传感器检测成像装置10周围的磁场，从而检测出成像装置10的方向。GPS传感器检测成像装置10的位置信息(纬度和经度)。运动轨迹传感器172将例如这样检测出的成像装置10的角速度、加速度、磁场中的变化、成像位置之类的测量数据(提供给运动轨迹估计单元53。运动轨迹估计单元53分析这样的测量数据和以上的运动图像数据21，从而估计当运动图像被拾取时成像装置10的运动轨迹和姿势。然后，运动轨迹估计单元53将指示所估计出的成像装置10的运动轨迹和姿势的运动轨迹信息24保存在存储单元20中。 三维形状估计单元54基于距离地图22和有关成像装置10的运动轨迹信息24，估计运动图像中所包含的物体(例如，图1中的桌子和舞台)的三维形状和位置。运动图像中所包含的物体是指成像时作为对象存在于成像范围中的物体。然后，三维形状估计单元54将表示所估计出的物体的三维形状和位置的物体信息25存储在存储单元20中。三维形状估计单元54可以基于所估计出的物体的三维形状和位置来生成各个物体的三维模型4，并且将三维模型4的信息保存在存储单元20中。 縮略图像提取单元55从由成像装置10拾取的运动图像的数据中提取多个縮略图像5。縮略图像5是表示该运动图像的特征图像的帧图像。縮略图像提取单元55可以以预定的时间间隔从运动图像中自动提取预定数目的縮略图像5或者选择性的提取在装置被停止的条件下拾取的縮略图像5或具有良好图像质量的縮略图像5。縮略图像提取单元55将所提取出的多个縮略图像5按原样或将指示相应成像位置(成像时间)的信息保存在存储单元20中，作为縮略图像信息26。 替换图像生成单元56生成表示这样提取的縮略图像5的内容或成像状况的替换图像。该替换图像被显示来代替鸟瞰显示图像3中的縮略图像5，该替换图像例如是图标、插图、静止图像或文本。縮略图像5的成像状况例如包括拾取縮略图像5时成像装置10的方向、相机的预设值(例如，縮放、焦距、曝光、图像质量)、成像装置的运动速度、成像装置10的操作条件和相机晃动。縮略图像5的内容(成像内容)是有关縮略图像5中所包含的对象的信息，例如，对象的名称、识别信息、操作、大小和成像环境。替换图像生成单元56能够将縮略图像5转换成图标和插图，从而生成縮略图像5的内容的图标和插图(例如，縮略图像5中所包含的人脸的插图)。替换图像生成单元56将这样生成的替换图像27保
13存在存储单元20中。 成像信息链接单元57将包含成像人信息30和成像装置信息31的成像信息与运动图像数据21相关联，从而生成成像信息的链接信息28。成像人信息30表示对该运动图像进行了成像的人，例如这个人的姓名、标识信息和行为等。成像装置信息31与给出运动图像数据21的成像装置10相关联，因此表示例如成像装置10的制造商名称、型号名称、标识信息、相机安装值之类的成像条件、成像装置10的操作条件、视频的类型、图像的格式以及操作。成像人信息30和成像装置信息31可以基于操作单元160上的用户操作来生成或由成像装置10自动地生成。 包括这类成像人信息30和成像装置信息31的成像信息表示通过成像获得运动图像数据21所处于的成像条件，并且用作运动图像数据21的标识信息或属性信息。因此，通过将这样的成像信息与运动图像数据21相关联，可以识别运动图像数据并且更准确地把握运动图像数据21的内容。因此，成像信息链接单元57将成像信息与运动图像数据21相关联来生成成像信息的链接信息28，并且将其保存在存储单元20中。注意，成像信息可以与lrec运动图像数据21整体相关联，或者取决于成像信息的内容、针对lrec运动图像数据21的每个预定图像单元(例如，每一帧)来关联。在后一情况中，可以将成像信息与縮略图像5中的每一个图像相关联，从而在鸟瞰显示图像3 (见图10)中显示縮略图像5和指示它们的内容或成像状况的元数据。 对象估计单元58分析运动图像数据21来估计所拾取的运动图像中所包含的对象，从而生成对象信息29。对象信息29包含该运动图像中所包含的对象的名称、行为、大小和成像环境。对象估计单元58将所生成的对象信息29保存在存储单元20中。
显示图像生成单元60基于运动图像数据21和由预处理单元50生成的各种信息块(即，数据块22-29)来生成鸟瞰显示图像3。具体而言，显示图像生成单元60基于以上距离地图22、运动轨迹信息24、物体信息25等来画出如下虚拟三维空间6，运动图像数据21中所包含的物体的三维模型4被布置在所述虚拟三维空间6中。然后，显示图像生成单元60基于运动轨迹信息24、縮略图像信息26等在虚拟三维空间6中的相应成像位置处画出从运动图像数据21中提取出的多个縮略图像5。此外，显示图像生成单元60基于运动轨迹信息24等画出按照縮略图像5被拾取的顺序关联縮略图像5的运动轨迹线7。结果，如图1中所示，生成了鸟瞰显示图像3，其提供包含三维模型4和縮略图像5的虚拟三维空间6的鸟瞰绘图。 显示图像生成单元60基于运动轨迹信息24识别在成像装置10拾取縮略图像5时成像装置10的位置(縮略图像5的成像位置)和方向，并且将这些縮略图像分别画在虚拟三维空间6中的位置和方向上。在这种情况中，显示图像生成单元60根据縮略图像5和三维模型4在虚拟三维空间6中被画出的位置而改变它们的大小。例如，如果縮略图像5被画在虚拟三维空间6中的后方，则它们将比较小，而如果縮略图像5被画在虚拟三维空间6的前方，则它们将较大。因此，虚拟三维空间6可以被显示为就像是从斜上方视角观看一样，使得可以容易地把握成像状况。 注意，显示图像生成单元60可以将所生成的鸟瞰显示图像3与运动图像数据21相关联并且将其保存到存储单元20中。这消除了重新生成具有相同运动图像数据21的鸟瞰显示图像3的必要。此外，显示图像生成单元60能够基于语音信息23、替换图像27、成像信息的链接信息28或对象信息29来画出鸟瞰显示图像3中的各种附加信息，稍后将描述细节。 显示控制单元70控制显示装置130(例如，LCD)使得显示装置130可以显示由显示图像生成单元60生成的鸟瞰显示图像3。这使得显示装置130显示鸟瞰显示图像3。注意，由显示控制单元70进行的显示控制和由显示图像生成单元60进行的鸟瞰显示图像3的生成可以响应于操作单元160上的用户操作被执行或根据设置被自动执行。[cm7][显示控制流程] 接着，将参考图7给出对根据本实施例的用于显示成像装置10中的鸟瞰显示图像3的方法的描述。图7是示出根据本实施例的用于显示鸟瞰显示图像3的方法的流程图。
如图7中所示，首先成像装置10中的CPU 151分析图6中所示的存储单元20中所存储的运动成像数据21和由距离传感器170和运动轨迹传感器172测量出的数据(S10)。因此，获得如图6中所示的各种信息和数据块22-29。 接着，CPU 151基于距离地图22、运动轨迹信息24和物体信息25来生成存在于所拾取的运动图像中的多个物体的三维模型4(S12)。此外，CPU 151根据预定的提取标准来从运动图像数据21中提取多个縮略图像5(S14)。 然后，CPU 151画出虚拟三维空间6，该虚拟三维空间6中，在S12生成的物体的三维模型4被布置到与物体的实际位置相对应的位置(S16)。随后，CPU 151在虚拟三维空间6中将在S14提取出的多个縮略图像5画到縮略图像5被拾取时成像装置10的位置和方向(S18)。此外，CPU 151基于运动轨迹信息24等来画出按照縮略图像5被拾取的顺序使縮略图像5相关联的运动轨迹线7(S20)。因此，可以生成提供虚拟三维空间6的鸟瞰绘图的鸟瞰显示图像3，该虚拟三维空间6包括与通过执行一次成像操作获得的运动图像有关的三维模型4、縮略图像5和运动轨迹线7 (见图1)。 此外，必要时，CPU 151基于语音信息23、替换图像27、成像信息的链接信息28或对象信息29来画出鸟瞰显示图像3中的附加信息(S22)。例如，可以允许画出例如图标或插图之类的替换图像来代替縮略图像5，在检测到语音的縮略图像5中画出标记，或画出縮略图像5的元数据。 然后，CPU 151向显示装置130发送这样生成的鸟瞰显示图像3的数据使得显示装置130可以在其上显示鸟瞰显示图像3 (S24)。结果，如图1中所示的鸟瞰显示图像3出现在显示装置130上，从而允许用户恰当地把握运动图像的拾取内容和成像状况。
[鸟瞰显示图像的显示示例] 接着，将参考图8至图14给出对根据本实施例的鸟瞰显示图像3的显示示例的描述。注意，下述鸟瞰显示图像3将由以上成像装置10中的显示图像生成单元60生成并且由显示控制单元70显示在显示装置130上。
(1)鸟瞰显示和常规回放显示的组合(图8) 如图8中所示，显示控制单元70提供对鸟瞰显示图像3与常规回放显示图像8的组合的显示。如果用户从鸟瞰显示图像3中选出一个縮略图像5c，则显示控制单元70从与所选择的縮略图像5c相对应的时间开始常规地再现运动图像数据21，从而将常规回放显示图像8再现为运动图像。以这种方式，通过在鸟瞰显示图像3中选择希望确认的縮略图像5c，用户能够从该位置开始观看常规回放显示运动图像8。因此，用户可以更准确地把握所拾取的运动图像的内容。 此外，常规回放显示图像8中的成像位置和正被再现的视频将以可以与其他部分区分开来的方式被显示。在所示示例中，在常规回放显示中正被再现的縮略图像5c上画出箭头状指针12。这使得用户能够识别当前正在常规回放显示中被再现的縮略图像5c和随后的图像的视频以及其再现位置。
(2)鸟瞰显示与菲林胶巻显示的组合(图9) 如图9中所示，显示控制单元70提供对鸟瞰显示图像3与菲林胶巻显示图像9的组合显示。鸟瞰显示图像3的縮略图像5a-5e分别对应于菲林胶巻显示图像9的縮略图像lla-lle。如果用户从鸟瞰显示图像3中选择一个縮略图像5c，则显示控制单元70在菲林胶巻显示图像9中从与所选择的縮略图像5c相对应的縮略图像llc的位置开始再现视频。以这种方式，通过对鸟瞰显示图像3和菲林胶巻显示图像9进行组合，可以以更容易理解的方式来显示所拾取的运动图像的内容，特别是时间轴t的信息。 此外，在菲林胶巻显示图像9中的成像位置和正被再现的视频将以可以与其他部分区分开来的方式被显示。在所示示例中，鸟瞰显示图像3的縮略图像5a与菲林胶巻显示图像9中的縮略图像llc分别被框13和14包围。这使得用户能够识别当前正被再现的縮略图像5c和随后的图像的视频以及其成像位置。
(3)鸟瞰显示中的替换图像和元数据的显示(图10) 如图10中所示，显示控制单元70可以在鸟瞰显示图像3中显示指示縮略图像5的成像状况的内容的替换图像15(例如图标、插图、静止图像或文本)来替代縮略图像5。縮略图像5和替换图像15中的哪一个应该被显示可以由用户任意地选择，或者由显示图像生成单元60根据縮略图像5的大小来自动确定。 现在，将给出对替换图像15的特定示例的描述。例如，替换图像15b可以是縮略图像5b中被部分扩大的静止图像(例如，仅縮略图像5中的人脸的剪切图像)。另一个替换图像15c可以是縮略图像5c的内容的简化插图(例如，縮略图像5c中对象(舞台)整体的插图)。另一替换图像15d可以是表示成像装置10的图标。应当优选以指示成像装置10拾取縮略图像5b时成像装置10的方向的方式来画出该图标。这使得用户能够观看图标化的替换图像15c，从而容易地把握该位置处的成像方向。此外，作为替换图像15，可以显示表示縮略图像5的内容的文本(未示出)。这样的替换图像15b、15c和15d使得用户可以容易的把握縮略图像5的内容。 此外，如果縮略图像5在鸟瞰显示图像3中被显示得太小，则可以用替换图像15来代替縮略图像5。如上所述，在鸟瞰显示图像3中，给出包含縮略图像5的虚拟三维空间6的鸟瞰显示。因此，显示图像生成单元60根据虚拟三维空间6中縮略图像5和三维模型4的绘图位置来改变要画出的相应縮略图像5和三维模型4的大小。例如，如果縮略图像5的绘图位置在虚拟三维空间6中的后方，则縮略图像5被画得小，而如果它在前方，则被画得大。因此，可以三维地提供虚拟三维空间6的鸟瞰显示。 然而，如图1中所示，縮略图像5b、5c和5d由于被画在虚拟三维空间6的后方所以被显示得小，使得在某些情况中，它们的内容可能难以被把握。因此，如果縮略图像5b、5c和5d采用预定的大小或更小，则显示图像生成单元60自动画出以上替换图像15b、15c和15d来替代要画出的縮略图像5b、5c和5d。这给出了对简单地表示小的縮略图像5b、5c和
165d的内容的替换图像15b、15c和15d的显示。以这种方式，用户通过观看鸟瞰显示图像3中显示在前方的大的縮略图像5a和5e以及显示在后方的容易观看的替换图像15b、 15c和15d，能够容易地把握成像内容和成像状况。 接着，将进一步参考图10给出对有关縮略图像5的元数据16的显示的描述。如图10中所述，显示控制单元70在数据16与縮略图像5相关联的条件下，在鸟瞰显示图像3中显示伴随縮略图像5的各种元数据16。元数据16是表示縮略图像5的拾取内容和成像状况的信息。例如，元数据16可以是以上成像者信息30(姓名、行为等)、成像装置信息31 (成像装置10的制造商名称、类型、标识信息、相机设置值、操作)、对象信息29 (对象的名称、大小、行为、环境等)等。在图10的示例中，显示成像装置10的制造商的"制造商A"、类型"ABC123"和对象的名称"儿子和老师"，作为元数据16。通过使用对象估计单元58来分析运动图像数据21和縮略图像5，并且执行脸部识别处理，可以确定縮略图像5中所包含的对象中的人。因此可以显示縮略图像5中的对象的名称，作为縮略图像5的元数据16。通过在这样的元数据16与縮略图像5相关联的条件下显示元数据16，用户能够更准确地把握视频内容和成像状况。 (4)鸟瞰模式中运动轨迹线7的显示(图11和图12) 如图11中所示，显示控制单元70减小縮略图像5的显示间隔，并且代替地，显示成像装置10的运动路径信息。要使用的成像装置10的运动路径信息例如可以是互连多个縮略图像5的运动轨迹线7。运动轨迹线7表示虚拟三维空间6中成像装置10的运动轨迹，并且以按照縮略图像5被拾取的顺序来连接縮略图像5的方式被显示。运动轨迹线7是使多个縮略图像5按照它们被拾取的顺序彼此关联的信息的一个示例。显示图像生成单元60例如基于由运动轨迹传感器172获得的运动轨迹信息24来画出运动轨迹线7。在这种情况中，显示图像生成单元60以按照縮略图像5被拾取的顺序连接虚拟三维空间6中的縮略图像5的方式，沿着实际成像时成像装置10的运动轨迹画出运动轨迹线7。
例如，运动轨迹线7a连接縮略图像5a和5b，并且沿着成像装置10拾取縮略图像5a至5b的运动图像时成像装置10的运动轨迹被画出。类似地，运动轨迹线7b、7c和7d分别被画在縮略图像5b和5c之间、縮略图像5c和5d之间以及縮略图像5d和5c之间。
以这种方式，不是在鸟瞰显示图像3中显示许多縮略图像5，而是减小縮略图像5的显示间隔以显示将縮略图像5彼此连接的运动轨迹线7(成像装置10的路径信息)。因此，可以从鸟瞰显示图像3中排除多余的縮略图像5和当成像装置10正移动时拾取的不希望的縮略图像5，从而以易于理解的方式在鸟瞰显示图像3中显示縮略图像5。并且，通过利用运动轨迹线7将縮略图像5彼此连接，可以示出縮略图像5被拾取的顺序(5a — 5b — 5c — 5d — 5e)并且表示它们的相互关系。此外，以在三维模型4之间穿过的方式将运动轨迹线7画为直线、曲线或折线，可以准确地表示成像装置10拾取运动图像时成像装置10的运动路径。通过在鸟瞰显示图像3中利用这种运动轨迹线7来将縮略图像5按照它们被拾取的顺序彼此相关联，用户能够更容易和更准确地把握运动图像的内容和成像状况。 此外，鸟瞰显示图像3可以多容易地被观看可能受到縮略图像5要被显示在虚拟三维空间6中的哪个成像位置以及运动轨迹线7要被显示在虚拟三维空间6的哪个其他成像位置的影响。例如，如果縮略图像5是以预定的时间间隔从运动图像数据21中提取出的，则存在这样的可能性縮略图像5中的某些縮略图像可能质量不好。因此，在本实施例中，当从运动图像数据21中提取多个縮略图像5时，选择性地提取由于是由静止的成像装置10拾取的因此没有相机晃动的良好的縮略图像5以及具有高图像质量的縮略图像5。因此，可以显示提供成像场景中的基点的(静止时拾取的)縮略图像5和具有高图像质量的縮略图像5，从而改善鸟瞰显示图像3的易于观看的程度。 接着，将参考图12给出对如何通过使用运动轨迹线7来表示成像状况和视频内容的描述。在鸟瞰显示图像3中，可以根据成像时成像装置10的操作状况和视频内容来使用线的类型、文本等恰当地表示运动路径信息(例如，运动轨迹线7)。例如，如图12中所示，对于縮略图像5之间的运动图像的不同内容和成像状况，可以利用不同的线的类型来画出将縮略图像5彼此连接的运动轨迹线7。运动轨迹线7的类型例如包括线的形状(直线、点线、虚线、滚花线等)、线的颜色、线的粗细、线的闪烁/不闪烁等。以下将参考图12的鸟瞰显示图像3的示例，给出对根据运动图像的内容和成像状况来改变运动轨迹线7的线的类型的示例的描述。 (a)根据拍摄期间成像装置10的运动速度来改变线的类型的示例
如图12中所示，縮略图像5a和5b通过所显示出的实线运动轨迹线7e和点线运动轨迹线7g来彼此连接。点线运动轨迹线7g表示成像装置IO在所显示出的区间中的拾取该运动图像时成像装置10的运动速度。在显示中，例如，点线越细，成像装置10的运动速度越慢。此外，实线运动轨迹线7e表示成像装置IO在所显示的区间中的平缓运动。显示图像生成单元60基于表示成像装置10的运动轨迹和姿势的运动轨迹信息24(见图6)，确定成像装置IO在各个区间中的运动速度，从而根据成像装置10的运动速度来改变运动轨迹线7的线的类型。 (b)根据视频的相机晃动情况来改变线的类型的示例 如图12中所示，縮略图像5d和5e通过所显示的滚花线运动轨迹线7f来彼此连接。滚花线运动轨迹线7f表示在所显示的区间中所拾取的运动图像的相机晃动情况。在显示中，例如，线越凹凸，相机晃动越大。显示图像生成单元60基于表示成像装置10的运动轨迹和姿势的运动轨迹信息24(见图6)，确定各个区间中的运动图像的相机晃动情况，从而根据相机晃动情况来改变运动轨迹线7的线的类型。
(c)根据视频中的对象来改变线的类型(线的颜色)的示例 尽管未被示出，然而，可以使用运动轨迹线7的颜色来表示任何给定区间中的运动图像中所出现的对象。例如，蓝色的运动轨迹线7可以指示A先生，红色的运动轨迹线7可以指示B先生，蓝点和红点的运动轨迹线7可以指示A先生和B先生都出现了 。显示图像生成单元60可以基于通过分析运动图像(例如，脸部识别)所获得的对象信息29(见图6)来确定各个区间中的运动图像中所包含的对象，从而根据对象改变运动轨迹线7的颜色。
(d)根据视频中的对象来改变线的类型(线的粗细)的示例 尽管未被示出，然而，可以通过运动轨迹线7的粗细来表示在任意给定区间中的运动图像中出现的对象的重要性。例如，运动轨迹线7越粗，该区间中的视频中出现的对象的重要性越高。例如，粗线指示C先生出现了。显示图像生成单元60基于通过分析运动图像(例如，脸部识别)所获得的对象信息29(见，图6)来确定各个区间中的运动图像中所包含的对象，从而根据对象的重要性来改变运动轨迹线7的粗细。对象的重要性例如可以由用户来预先设置。 (e)根据成像装置10的操作内容来改变线的类型(闪烁/不闪烁)的示例
尽管未被示出，然而，可以用运动轨迹线7的显示模式(例如，闪烁/不闪烁)来 表示成像装置10在各个区间中拾取运动图像时成像装置10的操作。例如，如果运动轨迹 线7闪烁，则其指示成像装置10中的透镜在该区间的成像期间被变焦。显示图像生成单元 60基于成像期间所获得的成像装置信息31 (见图6)中所包含的相机安装值来确定各个区 间中成像装置10的操作内容，从而根据操作内容来改变运动轨迹线7的显示模式(闪烁/ 不闪烁) (f)根据声音内容来改变线的类型(附加信息被追加/不被追加到线上)的示例
尽管未被示出，然而，可以通过将或不将诸如音部记号",'之类的附加信息追加 到运动轨迹线7上来指示有意义的声音是否被记录到给定区间中的运动图像中。例如，如 果该音部记号被添加，则其指示除噪声和环境声音以外的有意义的声音(例如，男人的语 音)被记录。显示图像生成单元60基于通过分析声音数据获得的语音信息23(见图6)来 确定各个区间中的声音内容，从而根据声音内容将附加信息追加到运动轨迹线7上。
如这样参考图12所述，在鸟瞰显示图像3中，将根据多个縮略图像5之间的运动 图像的内容和成像状况，以各种线的类型来显示运动轨迹线7。这使得用户能够容易并且恰 当地把握运动图像被拾取的各个区间中的视频内容或成像状况。
(5)鸟瞰模式中多个运动图像的显示(图13和图14) 已经参考如下情况描述了以上示例，所述情况是通过使用一个鸟瞰显示图像3 来提供对通过一系列程序操作(lrec)而成像并摄录下来的一个文件(一个运动图像文件) 的运动图像的鸟瞰显示。现在，将给出对通过使用一个鸟瞰显示图像17来显示由不同的成 像装置10拾取的或在不同时间拾取的多个运动图像的示例的描述。 如图13中所示，显示控制单元70可以显示在相同地点由不同的多个成像装置 10(相机1-4)拾取的多个运动图像的縮略图像5f-5i。在所示示例中，显示鸟瞰显示图像 17，其示出小学的运动场上运动会的场面。鸟瞰显示图像17给出虚拟三维空间6的鸟瞰显 示，虚拟三维空间6包含运动场上的轨道的三维模型4c以及该场地上由不同的多个成像装 置10(相机l-4)拾取的四个运动图像的縮略图像5f-5i。在这些縮略图像中，三个縮略图 像5f-5h是在2008年的运动会上拾取的，而剩下一个縮略图像5i是在2007年在相同地点 举行的运动会上拾取的。 因此可以通过使用一个鸟瞰显示图像17来同时显示在相同地点拾取的多个运动 图像的縮略图像5f-5i，而不论成像装置10或成像日期/时间的差别如何。因此，即使多个 运动图像是通过在相同地点执行多次成像操作而摄录下来的，这多个运动图像在它们与成 像地点相关的条件下也可以显示在一个鸟瞰显示图像17中。因此，用户能够准确地把握鸟 瞰显示图像17中摄录下来的多个运动图像的内容和成像状况。此外，还可以将它们与过去 在相同地点摄录下来的运动图像相比较。 并且，显示控制单元70可以在图13中所示的多个运动图像的鸟瞰显示图像17和 如图1中所示的一个这样的运动图像的鸟瞰显示图像3被相互切换的条件下显示它们。例 如，假定用户已经从图13的鸟瞰显示图像17中所显示的多个縮略图像5f-5i中选择一个 縮略图像5f。之后，显示控制单元70显示有关所选择的縮略图像5f的运动图像的、如图1中所示的这样一个鸟瞰显示图像3，来替代图13的鸟瞰显示图像17。这使得用户能够通过 观看图13的鸟瞰显示图像17来把握多个运动图像的总体图像，从而通过观看图1的鸟瞰 显示图像3来确认运动图像文件的细节。 此外，如图14中所示，显示控制单元70也可以耦合与在空间上连续的地点处拾取 的运动图像有关的多个鸟瞰显示图像3a-3c，从而显示表示较大范围的虚拟三维空间6的 一个鸟瞰显示图像18。这使得用户能够更容易地把握和管理多个运动图像文件。通过使用 组合这样的多个运动图像文件的合成鸟瞰显示图像17和18，多个用户能够集体显示在不 同时间由不同成像装置IO拾取的多个运动图像文件的主旨。因此可以容易地把握和管理 许多运动图像。 已经参考图8至图14描述了根据本实施例的鸟瞰显示图像3的以上显示示例。通 过使用根据本实施例的鸟瞰显示图像3，用户能够容易并且准确地在整体上把握由成像装
置io拾取的运动图像的拾取内容和成像状况。 〈3.第二实施例> 接着，将给出对根据本发明第二实施例的显示控制设备和方法的描述。
如图15中所示，第二实施例可以是本发明的显示控制设备被应用于信息处理设 备200(例如，个人计算机)的示例。作为在记录介质中所记录的运动图像的再现中的回放 应用，以上鸟瞰显示图像3被显示在信息处理设备200中的显示装置209上。例如，如果用
户想要观看或编辑由成像装置io拾取并且摄录下来的运动图像的数据，则与该运动图像
的数据有关的鸟瞰显示图像3将被显示在显示装置209上。此外，第二实施例提供向以上
使用鸟瞰显示图像3的视频显示方法添加视频再现操作、视频编辑和视频检索的功能的视
频再现/编辑系统。[信息处理设备的硬件结构] 首先，将参考图16给出对根据本实施例的信息处理设备200的硬件结构的描述。 图16是示出根据本实施例的信息处理设备200的硬件结构的框图。 如图16中所示，信息处理设备200例如包括CPU 201、 ROM 202、 RAM 203、主机总 线204、桥接器205、外部总线206和接口 207。信息处理设备200还包括输入装置208、显 示装置209、存储装置(HDD)210、驱动器211、连接端口 212和通信装置213。以这种方式， 信息处理设备200可以包括通用计算机设备(例如，PC)。 CPU 201用作根据各种程序进行操作以控制信息处理设备200中的单元的算术处 理设备和控制设备。CPU 201根据ROM 202中所存储的程序或从存储装置210装载到RAM 203的程序来执行各种处理。ROM 202存储由CPU 201使用的程序和算术参数，并且用作减 少从CPU 201置于存储装置210的存取的缓冲器。RAM 203临时存储由CPU 201在执行处 理和参数等时使用的、在执行期间适当改变的程序。这些装置通过由CPU总线等构成的主 机总线204相互连接。主机总线204经由桥接器205连接到外部总线206 (例如，外围组件 互连/接口 (PCI)总线) 输入装置208例如包括诸如鼠标、键盘、触摸面板、按钮、开关或操纵杆之类的操 作装置以及用来生成输入信号并且将输入信号发送给CPU201的输入控制电路。显示装置 209例如包括液晶显示器(LCD)、有机EL显示器、等离子显示器、阴极射线管(CRT)显示器 等。此外，其还装配了诸如扬声器之类的声音输出装置(未示出)。
20
存储装置210被用来存储各种数据，并且例如包括外部装置，所述外部装置例如 是HDD或内建光盘驱动器。存储装置210驱动作为记录介质的硬盘来将由CPU 201执行的 程序和各种数据存储在硬盘中。驱动器211被用来执行对记录介质的读操作和写操作，并 且内建在信息处理设备200中或从外部安装到信息处理设备200。驱动器211对可移除记 录介质执行各种数据的读/写操作，可移除记录介质例如是磁盘、光盘、磁光盘或装载在信 息处理设备200中的半导体存储器。 连接端口 212被用来连接外部外围装置并且具有诸如USB或IEEE1394之类的连 接端子。连接端口 212经由接口 207、外部总线206、桥接器205或主机总线204连接到CPU 201等。通信装置213是用来连接到网络的、例如由通信装置构成的通信接口。通信装置 213经由网络向具有网络通信功能的外部装置发送各种数据或从外部装置接收各种数据。
例如，信息处理设备200可以经由网络从具有网络通信功能的成像装置10或任何 其它装置获得运动图像数据21及其附加信息。此外，信息处理设备200可以从记录数据的 记录介质中获取由成像装置10获得的运动图像数据21及其附加数据等。
[信息处理设备的功能结构] 接着，将参考图17详细给出对根据本实施例的信息处理设备200的功能结构的说 明。图17是示出根据本实施例的信息处理设备200的功能结构的框图。注意，图17示意 性地示出用来显示表征本实施例的特征的鸟瞰显示图像3的功能单元。
如图17中所示，信息处理设备200包括存储单元20、预处理单元50、显示图像生 成单元60、显示控制单元70、图像处理单元80、显示装置209和输入装置208。在这些装置 中，预处理单元50、显示图像生成单元60、显示控制单元70和图像处理单元80例如是由安 装在信息处理设备200中的软件来实现的。即，例如，图16中所示的CPU 201根据R0M202 等中所存储的程序来进行操作，从而用作预处理单元50、显示图像生成单元60、显示控制 单元70和图像处理单元80。注意，可以经由记录介质或网络向信息处理设备200提供程 序。 与以上根据第一实施例的成像装置IO(图5)相比，根据第二实施例的信息处理设 备200图17)没有装配成像处理单元40、距离传感器170也没有装配运动轨迹传感器172， 但是包括图像处理单元80。除了该差异以外，第二实施例与第一实施例相同，并且将省略对 相同组件存储单元20、预处理单元50、显示图像生成单元60和显示控制单元70的重复描 述。 如图17中所示，信息处理设备200经由记录介质或网络从任何其它装置(例如， 成像装置10)获得运动图像数据21、成像者信息30、成像装置信息31和传感器测量出的数 据32，并且将它们存储在存储单元20中。传感器测量出的数据32与由图6中所述的距离 传感器170或运动轨迹传感器172所测量出的数据相对应。 与第一实施例类似，预处理单元50基于输入数据(例如运动图像数据21和传感 器测量出的数据32)生成各种信息和数据块22-29。注意，如果信息处理设备200能够从诸 如成像装置10之类的外部装置获得那些信息和数据块22-29，则预处理单元50是不必要 的。 此外，如果不可以从成像装置10获得传感器测量出的数据32，则预处理单元50中 的运动轨迹估计单元53可以分析运动图像数据21来估计成像时成像装置10的运动轨迹、来识别和提取由运动图像 数据21表示的视频中所包含的物体，从而估计其三维形状、位置等。 与第一实施例类似，显示图像生成单元60生成鸟瞰显示图像3，然后，鸟瞰显示图 像3由显示控制单元70显示在显示装置209上。 图像处理单元80响应于输入装置208上由用户进行的输入操作来处理(编辑、生 成、检索等)诸如运动图像数据21之类的图像。图像处理单元80包括图像编辑单元82和 图像检索单元84。 图像编辑单元82响应于对显示装置209上所显示的鸟瞰显示图像3中的三维模 型4或縮略图像5的用户操作，编辑运动图像数据21。这使得用户能够仅通过拖放鸟瞰显 示图像3上的编辑目标三维模型4或縮略图像5来编辑视频，因此辅助了编辑工作。稍后 将描述这样的编辑处理的细节(见图18和图19)。 此外，图像编辑单元82响应于对显示装置209上所显示的鸟瞰显示图像3的用户 操作，基于运动图像数据21来生成图像。例如，如果运动图像的角度是由用户在鸟瞰显示 图像3中指定的，则图像编辑单元82根据所指定的角度来处理运动图像数据21，从而生成 在该角度观看到的运动图像的数据。稍后将描述这样的角度改变处理的细节(见图20)。
图像检索单元84检索与由用户从显示装置209上所显示的鸟瞰显示图像3中选 择的三维模型4相同或相似的任何其它三维模型4或包含三维模型4的图像。图像检索单 元84可以通过不仅指定三维模型4的形状并且指定其颜色和大小来检索三维模型4。此 外，图像检索单元84可以在多块运动图像数据21中，通过使用三维模型4来执行检索。稍 后将描述这样的检索处理的细节(见图21)。
[鸟瞰显示图像的显示示例] 接着，将 参考图18至图23来给出根据该实施例的鸟瞰显示图像3的显示示例的 描述。通常使用信息处理设备200来观看、编辑和检索由记录仪(例如成像装置10)摄录 下来的运动图像。以下，将描述将鸟瞰显示图像3应用于对这样的运动图像的观看、编辑和 检索的显示示例的描述。 (1)用来添加/删除图像的视频编辑(图18) 如图18中所示，显示控制单元70在显示装置209上显示有关给定运动图像的鸟 瞰显示图像3、指示附加图像的图标220和221、以及指示场景的选择或删除的图标230和 231 。附加图像可以是运动图像或静止图像中的任何一种。 首先，将给出对现有运动图像进行图像的添加编辑的描述。用户能够通过将指示 希望添加的场景的图像的图标220和221拖放到鸟瞰显示图像3中的縮略图像5上来编辑 该运动图像。当编辑后的运动图像被再现时，所添加的场景的图像将按照它们被添加的顺 序被再现。 更详细地描述，图18中所示的示例在鸟瞰显示图像3的左侧显示指示开始场景的 图像的图标220和指示结束场景的图像的图标221。用户将开始场景的图标220拖放到开 头的縮略图像5a上并且将结束场景的图标221拖放到结尾縮略图像5e上。响应于这样的 用户操作，图像编辑单元82将开始场景的图像添加到由縮略图像5a-5e给出的运动图像的 开头并且将结束场景的图像添加到该运动图像的结尾。以这种方式，用户可以通过在鸟瞰 显示图像3中执行简单的操作来编辑视频。
接着，将给出对运动图像中的场景的选择和删除的描述。用户可以通过将鸟瞰显 示图像3中的縮略图像5拖放到分别指示场景选择和删除的图标230和231上来编辑运动 图像。当编辑后的运动图像被再现时，所选择的场景将被再现，而所删除的场景将不被再 现。 更具体地描述，图18中所示的示例在鸟瞰显示图像3的右侧显示指示场景选择的
图标230和指示场景删除的图标231。用户通过将縮略图像5c拖放到选择图标230上来选
择包含縮略图像5c的场景。此外，用户通过将縮略图像5c拖放到删除图标231上来删除
包含縮略图像5c的场景。响应于这样的用户操作，图像编辑单元82以包含縮略图像5c的
场景可以被留下或被删除的方式来编辑原始运动图像。通过这样的使用縮略图像5的场景
选择和删除，包含縮略图像5的预定区间中的运动图像被选择或被删除。 以这种方式，通过在鸟瞰显示图像3上进行简单的操作来选择和删除运动图像的
场景，用户可以编辑视频。此外，在编辑后，在鸟瞰显示图像3中，可以将与所删除的场景相
对应的运动轨迹线7用点线表示，或可以使该场景的縮略图像5半透明。这使得用户能够
认识到运动图像中的某些场景已被删除。 (2)通过使用三维模型进行的视频编辑(图19) 如图19中所示，显示控制单元70使得显示装置209显示有关给定运动图像的鸟 瞰显示图像3、指示对三维模型4的选择或删除的图标240以及指示希望添加的三维模型的 物体的图标241。 首先，将使用三维模型4从鸟瞰显示图像3中的删除来给出对视频编辑的描述。用 户可以通过将鸟瞰显示图像3中的三维模型4d拖放到指示三维模型删除的图标240上来 编辑运动图像。响应于这样的用户操作，图像编辑单元82删除与所删除的三维模型4相对 应的物体的图像部分，以通过利用所删除部分周围的图像以及删除前后的图像来补充适当 的图像。结果，当编辑后的运动图像被再现时，与所删除的三维模型4d相对应的物体(示 图示例中右后方的桌子)的图像不被示出，并且所产生的空缺部分通过使用周围的有关时 间和有关空间的信息而被适当的图像的绘图填充。通过这样利用三维模型4来编辑视频， 可以容易地选择和删除拍摄期间被不希望地成像的人和物。 接着，将使用将三维模型4到鸟瞰显示图像3的添加来给出对视频编辑的描述。用 户可以通过将指示希望添加的三维模型的物体的图标241拖放到鸟瞰显示图像3中任何给 定的部分上来编辑运动图像。响应于这样的用户操作，图像编辑单元82将与所添加的三维 模型4相对应的物体(所示示例中的圣诞树)的图像添加到指定的位置。结果，当编辑后 的运动图像被再现时，与所添加的三维模型4相对应的图像被画到图标所放落的位置使得 三维模型4可以被添加，从而避免画出被所添加的图像遮住的部分的背景图像。
接着，将使用三维模型4的移动来给出对视频编辑的描述。用户可以通过将鸟瞰 显示图像3中的任意三维模型4a拖放到鸟瞰显示图像3的任意给定部分来编辑运动图像。 响应于这样的用户操作，图像编辑单元82在原来的位置删除与所移动的三维模型4a相对 应的物体(所示示例中的左上方的桌子)的图像并且将它画到移动目的地位置。在原来的 位置，图像编辑单元82通过利用所删除的部分周围的图像以及删除前后的图像来补充适 当的图像。结果，当编辑后的运动图像被再现时，三维模型4a的物体被画到移动目的地位 置，而不是原来的位置。
以这种的方式，通过在鸟瞰显示图像3上进行简单的操作来添加、删除和移动三
维模型4，用户可以编辑视频。
(3)通过角度指定的视频编辑(图20) 如图20中所示，用户可以调节鸟瞰显示图像3中的角度指定箭头250，从而指定与 运动图像被拾取时的角度(箭头250)不同的角度(箭头251)。该角度是指对象被成像的相 机角度(视点)。根据所指定的角度，图像编辑单元82对运动图像数据21执行图像处理， 从而生成以该角度观看到的运动图像的数据。结果，当视频被再现时，生成并且显示以指定 角度观看到的运动图像(常规回放显示图像8)。以这样的方式，用户可以容易地指定所希 望的角度，使得信息处理设备200能够生成并显示将该角度作为其视点的运动图像。通过 这样在不同角度观看运动图像，用户能够更准确地把握运动图像的内容和成像状况。
(4)使用三维模型的图像检索(图21) 如图21中所示，用户可以选择鸟瞰显示图像3中的任何给定的三维模型4a，并且 检索与三维模型4a相同或相似的三维模型4e-4i。更具体地，首先，用户选择鸟瞰显示图 像3中的一个三维模型4a。然后，图像检索单元84在检索窗261中显示所选择的三维模 型4a。如果用户按压检索按钮262，则图像检索单元84检索与所选择的三维模型4a相似 的三维模型4e-4i，并且还搜索整个运动图像以找出包含由所检索出的三维模型4e-4i表 示的物体的图像部分。因此，用户能够容易地检索到出现了所希望的物体(对象)的视频。
此外，通过不仅指定三维模型4的形状还指定其颜色和大小，可以检索包含类似 的三维模型4的图像。也可以通过使用三维模型4来在多个运动图像中检索类似的图像。
此外，用户可以选择鸟瞰显示图像3中的任何给定三维模型4并且给三维模型4 添加元信息。图像检索单元84能够基于该元信息来检索三维模型4，从而检索到包含三维 模型4的图像。还可以通过使用三维模型4的元信息来在多个运动图像中检索类似的图像。
如上所述，鸟瞰显示图像3示出运动图像中的物体的三维模型4使得三维模型4 可以被恰当地用作检索条件。通过使用三维模型4作为检索条件来检索类似的图像或相关 的图像，用户能够容易并且迅速地找出所希望的图像。
(5)包含移动体的对象的鸟瞰显示(图22和图23) 图22示出在从固定点对包含移动体(例如，火车)的对象进行成像的情况中的鸟 瞰显示图像3。在该情况中，移动体例如可以是所示出的交通工具(例如，火车)、动物、人 等。显示控制单元70显示移动体的三维模型4j、任何其它物体(例如，高架桥)的三维模 型4k、以及包含在任意时间拍摄的一个縮略图像5j的鸟瞰显示图像3。在该情况中，由于 移动体随着时间消逝在运动图像中移动，所以产生了应当在虚拟三维空间6中的哪个位置 画出移动体的三维模型4j的问题。 在所示示例中，显示图像生成单元60将移动体的三维模型4j画到给定成像时间 的位置，以画出该成像时间的縮略图像5j。在基于运动图像整体的情况中，显示图像生成 单元60在成像时间的縮略图像5j中填充未出现的移动体的部分271，从而画出移动体的 三维模型4j。图22中由实线椭圆包围的部分272是移动体的三维模型4j中的填充部分。 以这种方式，用户可以恰当地把握从固定点拾取的运动图像的内容，特别是移动体的位置 和大小。 此外，如图23中所示，用户可以通过使用指针273选择鸟瞰显示图像3中移动体
24的三维模型4j并且拖动(即，移动)三维模型4j来控制常规回放显示图像8中的再现时 间。 S卩，如果移动体是以这种方式成像的，则在运动图像中，在移动体的位置和再现时 间之间存在关联。因此，如果移动体的三维模型4j在鸟瞰显示图像3中被用户移动了，则 显示控制单元70根据三维模型4j的位置、移动方向和移动速度来控制常规回放显示图像 8中的再现时间、再现方向和再现速度。在图23的示例中，如果三维模型4j被从右往左移 动，则在正的再现方向中再现常规回放显示图像8。通过这样将移动体的三维模型4的移 动和常规回放显示相互联锁，用户能够通过简单的操作以希望的再现时间、在希望的方向 上并且以希望的再现速度提供运动图像的常规回放显示，从而恰当地把握该运动图像的内 容。〈效果> 因此，已经描述了根据本发明第一和第二实施例的用于显示鸟瞰显示图像的显示 控制设备和显示方法。相关技术(图2)中的常规回放显示和菲林胶巻显示(图3)具有需 要许多时间和精力来把握运动图像的拾取内容并且还不能够把握成像状况的问题。
相比之下，根据按照这些实施例的鸟瞰显示图像3，物体的三维模型4被画到其在 虚拟三维空间6中的实际位置并且被画到多个縮略图像5被拾取时的位置和方向上。此外， 作为使縮略图像5相互关联的信息，按照縮略图像5被拾取的顺序互连多个縮略图像5的 运动轨迹线7被沿着成像装置10的运动轨迹画出。然后，鸟瞰显示图像3提供对包含縮略 图像5和三维模型4的虚拟三维空间6的鸟瞰显示，从而使得通过利用成像装置10的运动 路径和縮略图像5之间的关联可以容易地把握拾取内容和成像状况。 因此，用户可以容易地且即时地把握成像视频(运动图像)的内容和成像状况两
者。因此，用户可以有效地对由成像装置10记录的多个视频进行分类、布置和编辑。结果，
可以逆转许多视频在用户处囤积以致用户不知道如何处理它们的现状。 此外，除了这样容易地把握视频内容以外，在视频编辑中，用户还可以通过诸如拖
放操作之类的简单操作而容易并且快速地对视频进行再现、检索和编辑。因此，即使由于怕
麻烦而不愿编辑的用户也能欣然使用本发明。 可以肯定地预期成像装置未来的进步致力于添加用于获得三维信息的功能，而根 据本实施例的视频显示方法对该功能具有非常高的亲合力。此外，近年来信息处理设备和 图像分析技术的进步已经提高了从视频中自动提取出三维信息的能力。因此，根据本实施 例的视频显示方法也能够适应相关技术中的、在拍摄时尚不能获得其三维信息的视频资 料。 本领域技术人员应当理解，根据设计需要和其它因素，可以进行各种修改、组合、 子组合和更改，只要它们在所附权利要求的范围及其等价物以内即可。 例如，以上实施例将显示控制设备应用到成像装置10 (数字视频相机)或信息处 理设备200(PC)，然而，本发明不限于它们。例如，本发明的显示控制设备可以应用到包括数 字静止相机和监视器相机在内的各种成像装置，以及具有成像功能的任何给定装置，例如， 带摄像头的蜂窝电话等。此外，它还可以应用到任何给定的电子装置，这些电子装置尽管没 有成像功能，但是只要具有视频再现功能即可。这些电子装置可以包括视频记录/再现设 备，例如蓝光光盘/DVD/HDD播放器、个人数字助理(PDA)、便携式视频播放器、游戏机和TV接收机。 此外，已经参考个人用户拍摄个人内容(自己记录的视频)的情况描述了以上实 施例，但是本发明的鸟瞰显示方法可以应用于包括广播节目和视频媒体的再现在内的宽范 围的领域。 此外，用于显示本发明的鸟瞰显示图像3的装置不限于两维监视器。例如，通过使 用三维监视器，可以以更立体的方式来再现鸟瞰显示图像。 此外，尽管以上实施例已经显示了运动轨迹线7作为按照縮略图像5被拾取的顺 序将縮略图像5相互关联的信息，但是本发明不限于此。例如，作为该信息，指示縮略图像5 被拾取的顺序的文本信息可以被显示，或者标记和图标可以以沿鸟瞰显示图像3中的成像 装置10的运动途径移动的方式被显示。 本申请包含与2008年10月10日在日本专利局提交的日本优先权专利申请JP 2008-264112中所公开的主题相关的主题，其全部内容通过引用被结合于此。
权利要求
一种显示控制设备，包括存储单元，所述存储单元存储通过使用成像装置执行一次连续的成像操作所拾取的运动图像；显示图像生成单元，所述显示图像生成单元，在布置了所述运动图像中所包含的物体的三维模型的虚拟三维空间中，将从所述运动图像中提取出的多个缩略图像画到所述缩略图像被拾取时所述成像装置的相应位置上，并且在所述虚拟三维空间中画出按照所述缩略图像被拾取的顺序来关联所述缩略图像的信息，从而生成鸟瞰显示图像，所述鸟瞰显示图像提供对包含所述三维模型和所述缩略图像的所述虚拟三维空间的鸟瞰绘图；以及显示控制单元，所述显示控制单元使得所述显示单元显示所述鸟瞰显示图像。
2. 根据权利要求l所述的显示控制设备，其中所述存储单元存储运动轨迹信息作为所述运动图像的附加信息，所述运动轨迹信息表 示所述成像装置在拾取所述运动图像时的运动轨迹；并且所述显示图像生成单元基于所述运动轨迹信息在所述虚拟三维空间中所述縮略图像 被拾取时所述成像装置的相应位置处画出所述縮略图像。
3. 根据权利要求2所述的显示控制设备，其中按照所述縮略图像被拾取的顺序关联所述縮略图像的信息是表示所述成像装置在拾 取所述运动图像时所述成像装置的运动轨迹的运动轨迹线，并且所述显示图像生成单元基于所述运动轨迹信息、以按照所述縮略图像被拾取的顺序连 接所述縮略图像的方式在所述虚拟三维空间中画出所述运动轨迹线。
4. 根据权利要求3所述的显示控制设备，其中，所述显示图像生成单元根据所述縮略 图之间的运动图像的内容或成像状况、以各种线的类型画出连接所述縮略图像的运动轨迹 线。
5. 根据权利要求1所述的显示控制设备，其中，所述显示图像生成单元将表示所述縮 略图像中的至少一些縮略图像的内容或成像状况的替换图像画到所述縮略图像的绘图位 置来替代所述縮略图像。
6. 根据权利要求5所述的显示控制设备，其中，所述显示图像生成单元 根据所述虚拟三维空间中的縮略图像的绘图位置来改变要被画出的縮略图像的大小；并且如果要被画出的縮略图像的大小是预定的大小或更小，则画出所述替换图像来替代所 述縮略图像。
7. 根据权利要求1所述的显示控制设备，其中，所述显示图像生成单元在元数据与所 述縮略图像相关的条件下，在所述虚拟三维空间中画出有关所述縮略图像的所述元数据。
8. 根据权利要求1所述的显示控制设备，还包括图像编辑单元，所述图像编辑单元响 应于对所述显示单元中所示出的鸟瞰显示图像中的三维模型或縮略图像的用户操作来编 辑所述运动图像。
9. 根据权利要求1所述的显示控制设备，还包括图像编辑单元，所述图像编辑单元响 应于所述显示单元中所示出的鸟瞰显示图像中的角度的指定，生成在所指定的角度观看到 的运动图像。
10. 根据权利要求1所述的显示控制设备，还包括图像检索单元，所述图像检索单元检索包含与从所述显示单元上所显示的鸟瞰显示图像中选出的三维模型相同或相似的三维 模型或与该三维模型相对应的物体的图像。
11. 一种显示控制方法，包括以下步骤将从运动图像中提取出的多个縮略图像画到虚拟三维空间中所述縮略图像被拾取时 成像装置的相应位置上，所述运动图像是通过使用所述成像装置执行一次连续的成像操作 所拾取的，所述运动图像中所包含的物体的三维模型被布置在所述虚拟三维空间中，并且 在所述虚拟三维空间中画出按照所述縮略图像被拾取的顺序关联所述縮略图像的信息，从 而生成鸟瞰显示图像，所述鸟瞰显示图像提供对包含所述三维模型和所述縮略图像的所述 虚拟三维空间的鸟瞰绘图；以及使得显示单元显示所述鸟瞰显示图像。
12. —种程序，使得计算机执行以下步骤将从运动图像中提取出的多个縮略图像画到虚拟三维空间中所述縮略图像被拾取时 所述成像装置的相应位置上，所述运动图像是通过使用成像装置执行一次连续的成像操作 所拾取的，所述运动图像中所包含的物体的三维模型被布置在所述虚拟三维空间中，并且 在所述虚拟三维空间中画出按照所述縮略图像被拾取的顺序关联所述縮略图像的信息，从 而生成鸟瞰显示图像，所述鸟瞰显示图像提供对包含所述三维模型和所述縮略图像的所述 虚拟三维空间的鸟瞰绘图；以及使得显示单元显示所述鸟瞰显示图像。
全文摘要
本发明公开了一种显示控制设备、显示控制方法和程序。所述显示控制设备在被布置了通过使用成像装置执行一次连续的成像操作所拾取的运动图像中所包含的物体的三维模型的虚拟三维空间中，将从运动图像中提取出的多个缩略图像画到缩略图像被拾取时成像装置的相应位置上，并且画出按照所述缩略图像被拾取的顺序关联所述缩略图像的信息，从而生成鸟瞰显示图像，所述鸟瞰显示图像提供对包含三维模型和缩略图像的虚拟三维空间的鸟瞰绘图；并且使得显示单元显示鸟瞰显示图像。
文档编号H04N5/225GK101729781SQ20091017936
公开日2010年6月9日 申请日期2009年10月10日 优先权日2008年10月10日
发明者鹿岛浩司 申请人:索尼株式会社