图像处理设备和图像处理方法

专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及图像处理设备和图像处理方法。
背景技术：
利用图像采集设备釆集诸如人、物体或风景的对象，并且利用
JPEG标准、JPEG 2000标准等压缩所采集的静止图像，以便存储在记 录介质中。作为记录介质，可用的有装入图像釆集设备中的内部存储 器、可拆卸地附装于图像釆集设备的可拆卸记录介质等等。
然后，用户使用计算机将存储在这种记录介质中的静止图像数据 共同移动(存档)到诸如硬盘或光盘的大容量记录介质中。此外，近年 来，诸如高带宽线路或高速线路的宽带线路已经随着网络技术的进步 而风靡。用户利用这种宽带线路以电子邮件传送具有较大数据长度的 静止图像，或将图像上载到普通WEB站点以及由个人或小组操作和更 新的类似日记的WEB站点(日志)。
利用这些不同的使用情况，用户使用图像管理软件应用程序来管 理大量静止图像，这些静止图像通过按釆集日期分类，以一种易于搜 索和易于浏览的方式存储在大容量记录介质中。根据需要，用户利用 图像编辑软件应用程序来编辑目标静止图像。
可以利用可在诸如硬盘或光盘的大容量记录介质中存储通过数 字地面广播/数字卫星广播，或通过网络传送可以得到的节目的计算机 或机顶盒，来使用户随时欣赏期望的节目。
在这种环境中，可能存在用户从多个存储的节目中搜索特定节 目，以便只观看目标特定节目中的特定画面的情况。在这种情况下， 多个节目按记录日期和节目类别(体育、戏剧、新闻等)来分类显示， 而且按缩略图查看方式显示相应节目的相应画面的第一屏幕，从而使
6用户选择其期望的画面。
这样，随着静止图像数据或记录节目的数量的增加，对于用户来 说很难从大量数据中找到特定数据。因此，提出了与用户友好的显示
界面有关的技术(参照例如专利文献1到3)。除了专利文献1到3的技术， 还已知一种分析静止图像本身并且根据分析所获取的其特征量按分 类方式在显示屏幕上排列的技术。
专利文献l: W02000/033455
专利文献2: W02000/033570
专利文献3: W02000/033572
然而，在静止图像数据或节目数据的数量变得极大的情况下，为 了实现用户友好的显示界面，简单地按采集日期、记录日期、类别等 分类静止图像数据或节目数据还不够。
此外，尚未公开在将被管理的数据是活动图像(视频数据)情况下 如何进行分类和显示以便实现用户友好的显示界面的技术。此外，利 用常规显示界面，对用户来说难以直观地识别整个活动图像具有什么 特征，或用户期望的特定画面位于整个活动图像的何处。

发明内容
考虑到上述各点而产生了本发明，本发明的目的是提供能够便于 视频数据的搜索或管理的图像处理设备和图像处理方法。
为解决以上问题，根据本发明的一个方面，提供了一种图像处理 设备，其特征在于包含获取装置，该装置用于获取表示视频数据或 音频数据的特征的特征参数或与所述视频数据或音频数据关联的相 关参数、以及所述视频数据；以及元数据生成装置，该装置用于利用 从所述特征参数指示的特征值或所述相关参数指示的相关值转换的 坐标参数，从通过所述获取装置获取的特征参数或相关参数中生成元 数据，以便通过由显示轴限定的显示空间上的显示窗口显示所述视频 数据，所述显示轴由通过所述获取装置获取的所述特征参数或相关参 数来确定。此外，根据本发明的另一个方面，提供了图像处理方法，其特征在于包含获取表示视频数据或音频数据的特征的特征参数，或与骤；以及元数据生成步骤，该步骤中利用从所述特征参数指示的特 征值或所述相关参数指示的相关值转换的坐标参数，从所述获取步骤 中获取的特征参数或相关参数中生成元数据，以便通过由显示轴限定 的显示空间上的显示窗口显示所述视频数据，所述显示轴由所述获取 步骤中获取的所述特征参数或相关参数来确定。根据本发明，视频数据可被以容易理解和用户友好的形式显示给 用户，所述容易理解和用户友好的形式使用户直观地识别所述视频数 据的特征，其利于视频数据的搜索或管理。


图l是示出根据本发明的实施例的图像处理设备的结构的示意框图。图2是示出根据本发明的实施例的编辑屏幕的结构的示意图。 图3是示出图像组的示意图。图4是示出了第一种结构例子的示意框图，其中微处理器和GPU实现了视频数据的显示功能。图5是示出了第二种结构例子的示意框图，其中微处理器和GPU实现了视频数据的显示功能。图6是示出了第三种结构例子的示意框图，其中微处理器和GPU实现了视频数据的显示功能。图7是示出了元数据提取部分的结构的示意框图。图8是用来说明由平均值计算部分执行的处理的示意图。图9是用来说明由运动检测部分执行的处理的示意图。图10是示出了运动检测部分的另一种结构的示意框图。图ll是用来说明由运动信息计算部分执行的处理的示意图。图12是示出了频率分析部分的结构的示意框图。图13是用来说明由密度信息计算部分执行的处理的示意图。图14是用来说明HLS空间的示意图。图15是示出了元数据文件的内容的表格。图16是示出了构成视频数据的图片(静止图像)的显示处理过程 的流程图。图17(A)到17(G)是每个都示出了三维显示空间中的显示轴的示意图。图18是示出了位于接近DCT水平频率轴的图像组的放大显示例 子的示意图。图19是示出了位于接近R轴的图像组的放大显示例子的示意图。图20是示出了位于接近G轴的图像组的放大显示例子的示意图。图21是示出了视频数据的显示处理过程的流程图。图22是示出了多个视频数据的显示处理过程的流程图。图23是用来说明显示窗口的运动的示意图。图24是示出了坐标补偿处理过程的流程图。图25是示出了画面改变的示意图。图26是用来说明画面改变时的显示窗口的移动的示意图。 图27是示出了重新配置处理过程的流程图。 图28是示出了重新配置前后的图像组的示意透视图。 图29(A)到29(C)是用来说明成组显示处理的示意图。 图30是示出了成组显示处理过程的流程图。图31是示出了当三维显示空间移动，同时显示窗口保持固定不动 时所获取的显示例子(l)的示意图。图32是示出了当三维显示空间移动，同时显示窗口保持固定不动 时所获取的显示例子(2)的示意图。图33是示出了当三维显示空间移动，同时显示窗口保持固定不动 时所获取的显示例子(3)的示意图。图34是示出了保持显示窗口固定不动的同时，所执行的视频数据 的显示处理过程的流程图。图35是示出了扩大的显示窗口中的显示例子的示意图。图36是示出全部轨迹显示模式中的显示图案(1)的示意图。图37是示出了轨迹显示处理过程的流程图。图38是示出过去一侧的轨迹的示意图。图39是示出将来一侧的轨迹的示意图。图40是示出全部轨迹的示意图。图41是示出全部轨迹显示模式中的显示图案(2)的示意图。图42是示出全部轨迹显示模式中的显示图案(3)的示意图。图43是示出全部轨迹显示模式中的显示图案(4)的示意图。图44是利用代表画面示出轨迹显示例子的示意图。图45是示出包含画面改变的轨迹显示例子的示意图。图46(A)到46(C)是每个都示出移动速度控制例子的示意图。图47是示出包含时间代码的轨迹显示的例子的示意图。图48(A)到48(C)是用来说明显示窗口控制处理的示意图。图49是根据本发明的另一个实施例、用来说明二维显示空间的示意图。图50是根据本发明的另 一个实施例、示出四维显示空间的示意图。图51是根据另一个实施例、用来说明与水平滚动条的移动同时操 作的显示窗口移动显示处理的示意图。图52是用来说明可应用的应用程序的示意图。 图53是示出当利用相关参数时所获取的显示例子(1)的示意图。 图54是示出当利用相关参数时所获取的显示例子(2)的示意图。 图55是示出当利用相关参数时所获取的显示例子(3)的示意图。
具体实施方式
下面参照附图详细描述本发明的实施例。 (l)图像处理系统的结构如图l所示，附图标记l表示根据本发明的实施例的图像处理系统，其概略地包含图像处理设备2、存储单元22和多个磁带录像机231 到23n。图像处理系统1被配置成通过图像处理设备2将记录在录像带上 的部分或全部AV(听觉/视觉)数据作为一个剪辑加载到采用RAID(冗 余阵列磁盘机)技术的大容量存储单元22中，或将记录在录像带上的静 止图像数据加载到存储单元22上。进一步地，图像处理系统l被配置成创建指定编辑内容的编辑列 表，以便通过连接期望状态下的、加载到存储单元22上的AV数据来 获取期望的编辑的视频和音频，并且此外，根据创建的编辑列表实际 执行编辑处理，以及将所获取的AV数据在存储单元22中存储为新剪 辑或通过磁带录像机231到23n中的任何一个将AV数据记录在录像带 上。在这种情况下，在图^f象处理系统l中，GPU 4、 EXR (极速数据 率)-RAM以及南桥6被连接到微处理器3上。硬盘驱动器7、 USB接口8 以及音频I/0编解码器9被连接到南桥6上。扬声器41被连接到音频I/0 编解码器9上。此外，鼠标38、键盘39、磁带录像机231到23n、记录装置22以及 操作控制器37通过PCI总线15被连接到南桥上。显示器40被连接到 GPU 4上。微处理器3是一个多核处理器，其中用于执行诸如OS(操作系统) 的基本程序的通用主CPU核心3M、通过内部总线12被连接到主CPU 核心3M上的RISC(精简指令集计算机)类型的多个(在该情况中8个)信 号处理处理器(此后被称作"子CPU核")3SA到3SH、用于在具有例如 256[MByte的容量的XDR-RAM 5上执行存储器控制的存储控制器 13，以及用于管理其自身与南桥6之间的数据输入和输出的I/0 (输入/ 输出)控制器14被集成到一个芯片中。该微处理器3以工作频率例如 4[GHzI工作。图像处理系统1的微处理器3主要充当兼容诸如MPEG-2或 H.264/ AVC(高级视频编码)的现有视频标准的编解码器，并且被配置成将作为解码处理结果所获取的视频数据的重放图像传送给GPU 4， 改变诸如视频数据的重放图像的重放速度(稍后描述)的设置，传送静 止图像数据给GPU4，或执行物理仿真。尤其，在微处理器3中，8个子CPU核3SA到3SH充当通过编码视 频数据而获得的视频流的解码器，并且可并行解码HD(高清晰度)视频 流。被配置成执行不同于由8个子CPU核3SA到3SH所执行的那些处 理或管理的主CPU核3M通过南桥6接收从鼠标38、键盘39或操作控制 器37中提供的指令，并且根据所接收的指令执行各种处理。如上所述，微处理器3被配置成能够利用8个子CPU核3SA到3SH 并行解码视频流，并且利用高带宽总线10以高达30[GByte/secj的传送 速率在微处理器3和GPU4之间传送数据。即，可以快速地解码和传送多个高清晰度视频流。GPU 4执行有关当待显示在显示器40上的视频数据的重放图像 被移动时所需的紋理粘贴的最后着色处理，当在显示器40上显示视频 数据的重放图像或静止图像数据的静止图像时所需的坐标变换计算， 以及视频数据的重放图像或静止图像数据的静止图像的放大/缩小处 理，从而减少微处理器3的处理负荷。实际上，启动时，微处理器3读出存储在硬盘驱动器7中的所需应 用程序，并且基于硬盘驱动器7中的控制程序开发XDR-RAM 5中的应 用程序，之后基于应用程序和用户操作执行所需控制处理。当用户通过鼠标38、键盘39或操作控制器37输入用于将记录在录 像带上的AV流输入到存储单元22中的剪辑捕获窗口的显示指令时， 微处理器3相应地控制硬盘驱动器7，以便读出相应于显示指令的AV 数据，并且同时控制GPU 4基于AV数据在显示器40上显示剪辑捕获窗 口 。在这种状态下，在用户通过鼠标38、键盘39或操作控制器37输入 磁带录像机231到23n的重放操作指令时，微处理器3相应地控制磁带 录像机231到23n,以便执行记录在录像带上的AV数据的重放操作。结果，顺序地通过PCI总线15、南桥6和微处理器3，将从装入磁 带录像机231到23n中的录像带重放的AV流从磁带录像机输出给GPU 4。GPU 4在微处理器3的控制下应用预定信号处理到所提供的视频 数据，并且将所得到的视频数据发送给显示器40,从而在剪辑捕获窗 口中的预定位置处显示基于视频数据的重放图像。同时，微处理器3 将从AV数据中提取的音频信号通过音频I/0编解码器9发送给扬声器 41,从而从扬声器41输出基于音频信号的音频。因此，用户在观看显示在显示器40上的视频数据的重放图像， 以及收听从扬声器41输出的音频数据的重放声音的同时，可以利用鼠 标38、键盘39或操作控制器37指定期望的重放视频/音频部分作为一个 剪辑，并且可以将包含IN点和OUT点的时间代码、剪辑长度、剪辑ID、 剪辑名称、A V数据的拍摄时间和剪辑的创建时间的管理信息寄存为 元数据。该剪辑管理信息在微处理器3的控制下被寄存在硬盘驱动器7 中的剪辑管理数据库中。虽然稍后详细描述，但是微处理器3可以不仅寄存上述剪辑管理 信息，而且还将构成AV数据的视频数据的各种参数的特征量寄存为 元数据文件。之后，当用户通过鼠标38、键盘39或操作控制器37输入AV流的 捕捉指令时，微处理器3相应地控制磁带录像机231到23n以便重放指 定的AV流。结果，从磁带录像机231到23n输出从录像带重放的AV流中包含 的视频流或音频流。然后，顺序地通过PCI总线15、南桥6、微处理 器3和总线10，将视频流提供给GPU4。利用鼠标38、键盘39或操作控制器37,用户可以通过预定操作在 显示器40上显示用于执行编辑工作的编辑窗口(稍后描述)，从而可创 建指定编辑内容的编辑列表，该编辑内容示出如何通过利用编辑窗口 互相连接剪辑。此外，在创建编辑列表之后或同时，用户可根据编辑 列表确认所编辑的视频和所编辑的音频。创建编辑列表之后，当通过鼠标38输入编辑列表的寄存指令时， 微处理器3将编辑列表中指定的所有用户所创建的编辑数据转换成文 件，并且将该文件寄存到硬盘驱动器7中的编辑列表数据库中。进一步地，在创建编辑列表之后或在创建编辑列表当中，当通过 鼠标38、键盘39或操作控制器37输入基于编辑列表的编辑视频/音频的 重放指令时，微处理器相应地控制存储单元22，以便读取包含在所需 AV流中的视频流和音频流。因而，在必要情况下，包含在从存储单元22中读出的AV流中的 读取视频流和音频流被顺序地通过PCI总线15、南桥6、微处理器3和 总线10提供给GPU 4，在微处理器3的控制下进行视频特殊效果处理。在微处理器3的控制下，GPU 4对作为视频特殊效果处理的结果 所获取的视频数据应用预定的信号处理，并且将所得到视频信号发送 给显示器40。同时，微处理器3对到包含在AV数据中的视频数据和音频数据中的音频数据应用音频混合，并且将所得到的音频数据通过音频i/o编解码器9发送给扬声器41。结果，在编辑窗口中的预定位置处显示视频数据的重放图像，并 且从扬声器41中输出音频数据的重放音频。如上所述，图像处理系统 l使用户能在基于编辑列表确认重放图像和重放音频的同时进行编辑 工作。因而，在图像处理系统l中，针对显示器40上显示的编辑屏幕上 的重放图像，图像处理设备2中提供的微处理器3和GPU 4可执行包含 特殊效果处理，以及各种高级处理或编辑处理的视频显示处理。同时被微处理器3中的8个子CPU核3SA到3SH并行解码的视频 数据通过总线10被传送给GPU 4。此时，数据传送速率为例如高达 30[GByte/sec，因此，可以高速并且平稳地显示已经进行特殊效果处 理的甚至高度复杂的视频数据。(2)视频数据的显示处理在图像处理系统l中，准备了编辑模式和观看模式。在编辑模式14中，执行用于产生编辑的视频图像数据的上述编辑处理。在观看模式中，执行用于使用户容易管理或搜索存储在存储单元22中的大量视频 图像数据和静止图像数据的分类显示。 (2-l)编辑窗口的显示内容当用户通过鼠标38、键盘39或操作控制器37输入用于显示编辑窗 口的指令时，图像处理设备2的微处理器3控制硬盘驱动器7和GPU 4， 以便进入观看模式，从而在显示器40上显示图2中所示的编辑窗口50。编辑窗口50具有剪辑列表显示区51、记事板区52、时间线区53、 效果信息显示区54以及对于该编辑窗口50是唯一的显示区55。在该编 辑窗口50上，编辑工作主要在显示区55上进行，记事板区52和时间线 区53仅被补充提供。在这种情况下，剪辑列表显示区51示出了寄存在图像处理设备2 中的各种文件夹和文件。当用户选择期望的文件夹或文件时，该剪辑 列表显示区51示出包含在文件夹或文件中的AV数据列表。然后，用户从AV数据中选择期望的AV数据作为来自剪辑列表显 示区51中显示的剪辑列表的活动图片，将期望的剪辑拖放到显示区55 上，从而在显示区55上显示示出了AV数据的第一个图像(视频数据中 的第一个静止图像)的显示窗口W57。注意到显示区55上可以显示多个 显示窗口W57。在这种状态下，用户可点击显示窗口W57，以使图像处理设备2 在显示区55上重放拖放的AV数据，并且快进、快倒或停止显示的重 放图像。这样，用户通过显示区55上的多个显示窗口W57，在视觉上确认 包含在AV数据中的视频数据的重放图像的同时，可搜索期望的帧， 并且指定从AV数据中截取的期望视频/音频部分的起始点(此后被称 作IN点)和终止点(此后被称作OUT点)。当如此指定IN点和OUT点时，图像处理设备2的微处理器3进入 编辑模式。在这种状态下，用户通过拖放操作，可在记事板区52中粘 贴如此指定的AV数据的IN点和OUT点之间的视频/音频部分作为新AV数据。编辑窗口 50布置记事板区52中的编辑目标AV数据的剪辑，其使 用户容易想象编辑的视频。记事板区52示出了相应于每个粘贴的剪辑 的第一个图像等的主图像的缩略图和详细信息。然后，用户通过拖放操作在时间线区53的视频轨道上顺序地布置 粘贴在记事板区52上的剪辑。此时，相应于每个所粘贴剪辑的长度的 标记(未示出)作为索引与时间线一起出现在视频轨道上。当音频伴随 所粘贴的视频时，具有相同长度的标记(未示出)出现在由时间线指示 的相同位置处的音频轨道上。由于标记存在于时间线区53中的视频轨道和音频轨道上，在时间 线上所指定的时刻显示与输出相应于该标记的剪辑的视频和音频。因 此，可创建这种编辑列表来指定要重放的一系列剪辑作为编辑的视频 /音频。(2-2)图像组的显示进一步地，图像处理设备2的微处理器3显示各自具有预定帧尺寸 的多个显示窗口W57，其在编辑窗口50的显示区55上示出了由用户从 剪辑列表显示区51中显示的剪辑列表中选择的、并且被拖放到显示区 55上的AV数据，从而提供了一个图像组58。在图像处理设备2的微处理器3中，可以从剪辑列表显示区51中拖 放另一个剪辑到显示至少一个显示窗口W57的显示区55上，并且根据 用户的选择/删除操作可以删除存在于显示区55中的一个或一些显示 窗口。此处，如图3中所示，图像组58是指视频数据的多个第一张图片 (静止图像)或表示图片(静止图像)，其在三维显示空间中，基于视频数 据的特征量(图片方式或GOP方式)以显示窗口W57的形式被布置，在 所述三维显示空间中，"红(R)"、"蓝色(B)"和"亮度"的参数被分别设 置成构成显示轴的X轴、Y轴和Z轴。构成三维显示空间中的各个显示轴(X轴、Y轴和Z轴)的参数可共 同被称作表示包含视频数据的AV数据的特征的"特征参数"。基本上，除非相同静止图像在时间方面互相连续，否则对于构成视频数据的每 个图片，包含在特征参数中的特征量有所不同。尽管如图3中所述的三维显示区的各个显示轴实际上不明确地显 示在编辑窗口50的显示区55上，但是基于各个显示轴布置显示窗口 W57，使得显示包含在图像组58中的具有高红色水平视频数据的图片 (静止图像)的显示窗口W57被布置在显示区55的右下方，显示具有包 含在图像组58中的具有高亮度水平视频数据的图片的显示窗口W57 被布置在显示区55的中央上方，以及显示包含在图像组58中的具有高 蓝色水平视频数据的图片的显示窗口W57被布置在显示区55的左下 方。该布置使用户直观地识别包含在作为 一个图像的多个视频数据中 的亮度或彩色分量的粗略分布。附带地，在三维显示空间中，只有相对于原点的正象限用于" 红(R)"(X轴)、"蓝(B)" (Y轴)和，，亮度(Z轴)，，的各个参数，并且多个显 示窗口W57被布置在相应于正象限的空间中。然而，可选地，象限可 包含相对于原点的负向。对于包含在图像组58中的视频数据，图像处理设备2的微处理器3 可以根据显示窗口W57中的预定帧频，以更新速度顺序地更新构成视 频数据的图片，从而将视频数据显示成活动图片。此时，由于构成视频数据的图片的特征量每当更新图片时改变， 所以图像处理设备2的微处理器3根据三维显示空间中的特征量重新 排列显示窗口W57，从而在显示窗口W57在三维显示空间上移动的同 时显示视频数据的显示窗口W57。图像处理设备2通过改变图片的更新速度，可控制视频数据的重 放速度。当更新速度增加时，可以快速重放视频数据，因此，增加显 示窗口W57的移动速度以允许显示窗口 W57在三维显示空间上高速 移动。另一方面，当增加更新速度时，降低显示窗口W57的移动速度 以允许显示窗口 W57低速移动，使得仿佛其浮在三维显示空间上一 样。此外，图像处理设备2可在显示窗口 W57中快倒重放视频数据。在这种情况下，显示窗口W57沿上述情况的相反方向移动。附带地， 在显示窗口W57沿正向或后退方向移动的同时，图像处理设备2可在 用户的期望时刻停止显示窗口 W57，以便显示相应于该时刻的图片(静 止图像)。(2-3)视频数据的显示 当通过显示窗口W57显示视频数据的重放图像时，图像处理设 备2预先提取表示构成视频数据的图片的特征量的特征参数作为元数 据，并且根据将被更新的相应图片的特征量，在三维虚拟空间上重新 排列显示窗口W57。将按照由微处理器3和GPU 4构成的功能模块描述 用于移动显示窗口W57的上述结构。此处，将描述以下三个配置例子。第一个配置例子是一种从构 成视频数据的各个图片中预先提取特征参数作为元数据，并且使用该 提取的特征参数来显示视频数据的方法。第二配置例子是一种在从构成视频数据的各个图片中产生所述元数据的同时，使用元数据来显示 视频数据的方法。第三个配置例子是一种当为进行记录而编码视频数 据时，在产生特征参数作为元数据的同时，使用特征参数来显示视频 数据的方法。(2-3-1)第一个配置例子如图4中所示，元数据提取部分61提取表示包含视频数据的AV数 据中包含的各种特征量的特征参数，并且在元数据数据库62(此后被称 作"元数据DB")中寄存提取的特征参数作为相应于视频数据的图片方 式(例如GOP方式)元数据文件MDF。压缩图像产生部分63压缩通过元数据提取部分61提供的视频数 据的各个图片，以便将压缩的图片在视频数据库(此后被称作"视频 DB") 64中寄存为主视频流HD1，而且以预定速率减少视频数据中的 图片的像素数量，以便在视频DB 64中将像素数量减少的图片寄存为 子视频流LD1。该配置允许其像素数量尚未被减少的主视频流HD1和其像素数18量已被减少的子视频流LD1二者都以视频数据为单位或以预定时间周 期为单位存储在视频DB64中。因而，微处理器3可以根据三维显示空 间上的位置，有选择地使用主和子视频流。例如，当显示窗口W57的 图像尺寸需要被减少时，使用子视频流LD1;反之，当显示窗口W57 的图像尺寸需要是放大时，使用主视频流HD1。显示空间控制器66识别被用来产生由用户通过显示在显示区55 上的图形用户界面(GUI) 65指定的三维显示空间的显示轴的参数；识 别用于将图像组58呈现给用户的视点坐标；或做出涉及显示的各种决 定，例如在三维显示空间上排列由用户选择的AV数据的决定。因此，显示空间控制器66基于决定结果，将相应于构成作为图像 组58(图3)显示在显示区55上的视频数据的多个图片的帧数输出给元 数据DB 62，以允许元数据DB 62利用相应于作为元数据的帧数的图片 的特征参数，从其读出元数据文件MDF，并且发送该元数据文件MDF 到坐标计算部分67。进一步地，基于决定结果，显示空间控制器66将构成视频数据的 图片的帧数输出到视频DB 64中。当通过显示窗口W57显示视频数据 的重放图像时，这允许相应于帧数的子视频流LD1被发送给解码器68， 并且当以放大的方式显示视频数据的重放图像时，允许相应于帧数的 主视频流HD1被发送到解码器68中。解码器68解码从视频DB 64中提供的子视频流LD1和主视频流 HD1，并且将解码的子和主视频数据发送到图像显示部分69。坐标计算部分67将从显示空间控制器66中提供的特征参数设置 成显示空间的显示轴，通过计算将特征参数转换成三维显示空间的坐 标(坐标参数)，并且根据获取的坐标参数值确定三维显示空间上的布 置。然后，基于相对于包含多个将被排列在三维显示空间上的显示窗 口W57的图像组58的视点坐标和各个显示窗口W57的位置，坐标计算 部分67确定每个显示窗口W57的显示尺寸，并且将有关每个显示窗口 W57的显示的各种信息(显示参数)发送给图像显示部分69 。图像显示部分69使用来源于坐标计算部分67的坐标参数来确定从解码器68中提供的子视频数据被排列在其上的三维显示空间上的 三维坐标位置，并且在三维显示空间上排列相应于子视频数据的显示 窗口 W57。执行完相应于其它视频数据的显示窗口 W57的上述处理之 后，图像显示部分69将显示窗口W57的坐标参数转换成显示区55的二 维坐标位置(显示位置参数)，从而在显示区55上显示包含多个显示窗 口W57的图像组58。(2-3-2)第二个配置例子参照图5，其中如图4中的那些相同的构成部件作为图4中的对应 部分用相同参考标记表示，显示空间控制器66识别被设置成三维显示 空间的显示轴的特征参数，所述三维显示空间由用户通过显示在显示 区55上的GUI 65来指定，或识别用于将图像组58呈现给用户的视点坐 标。进一步地，显示空间控制器66做出有关显示的各种决定，例如在 三维显示空间上布置由用户选择的视频数据的决定，并且将该决定发 送给坐标计算部分67。因此，当通过显示窗口W57显示视频数据的重放图像时，显示空 间控制器66基于决定结果，还将构成视频数据的图片的帧数输出给视 频DB 64，以允许相应于该帧数的子视频流LD1被发送给解码器68, 并且当以放大的方式显示视频数据的重放图像时，允许相应于该帧数 的主视频流HD l被发送给解码器68 。附带地，如在上述第一个配置例子的情况下，利用其像素数量未 减少而编码的主视频流HD1和其像素数量减少而编码的子视频流LD1 二者都被预先存储在视频DB 64中。解码器68解码从视频DB 64中提供的子视频流LD1和主视频流 HD1，并且将解码的主视频数据发送给元数据提取部分61，而将解码 的子视频数据发送给图像显示部分69。元数据提取部分61提取从解码器68中提供的主视频数据中包含 的特征参数作为元数据，并且将提取的元数据寄存在元数据DB 62中 作为元数据文件MDF，而且将该元数据文件MDF发送给坐标计算部分67。坐标计算部分67通过计算产生三维显示空间，在该三维显示空间 中从显示空间控制器66中提供的特征参数通过计算被设置成显示轴， 将由显示在各个显示窗口W57上的视频数据的特征参数所表示的特 征量转换成三维显示空间中的坐标参数，并且根据获取的坐标参数值 确定三维显示空间上的布置。然后，基于相对于包含将被布置在三 维显示空间上的多个显示窗口 W57的图像组58的视点坐标和各个显 示窗口W57的位置，坐标计算部分67确定每个显示窗口W57的显示尺 寸，并且将有关每个显示窗口W57的显示的各种信息(显示参数)发送 给图像显示部分69。然后，基于相对于包含将被布置在三维显示空间 上的多个显示窗口 W57的图像组58的视点坐标和各个显示窗口 W57 的位置，坐标计算部分67确定每个显示窗口W57的显示尺寸，并且将 有关每个显示窗口W57的显示的各种信息(显示参数)发送给图像显示 部分69。图像显示部分69使用从坐标计算部分67接收的坐标参数来确定 从解码器68中提供的子视频数据被布置在其上的三维显示空间上的 三维坐标位置(坐标参数)，并且在三维显示空间上布置相应于该子视 频数据的显示窗口W57。执行完相应于其它视频数据的显示窗口W57 的上述处理之后，图像显示部分69将多个显示窗口 W57的三维坐标参 数转换成显示区55的二维坐标位置(显示位置参数)，从而在显示区55 上显示包含多个显示窗口 W57的图像组58。(2-3-3)第三个配置例子参照图6，其中如图5中的构成部件相同的那些作为图5中的对应 部分用相同参考标记表示，显示空间控制器66识别被设置成由用户通 过GUI65来指定的三维显示空间的显示轴的特征参数，或识别用于将 图像组58呈现给用户的视点坐标。进一步地，显示空间控制器66做出 有关显示的各种决定，例如在三维显示空间上排列由用户选择的视频 数据的决定，并且将该决定发送给坐标计算部分67。因此，基于决定结果，显示空间控制器66将构成视频数据的图片 的帧数输出给元数据和视频数据库70 (此后被称作"元数据/视频 DB")。该元数据/视频DB 70存储由图像拾取设备拾取和编码的主视频 流HD1，以及通过编码子视频数据而获得的子视频流LD1，所述子视 频数据通过减少主图像数据的像素数量获取。当通过显示窗口W57 显示视频数据的重放图像时，元数据/视频DB 70将相应于帧数的子视 频流LD1发送给解码器68。当以放大的方式显示视频数据的重放图像 时，元数据/视频DB 70将相应于帧数的主视频流HD1发送给解码器68。进一步地，元数据/视频DB 70将主视频数据中包含的特征参数存 储为元数据文件MDF，所述特征参数由装入图像拾取设备的元数据提 取部分于拍摄主视频数据时提取。因此，元数据/视频DB 70将相应于从显示空间控制器66中提供的 帧数的特征参数发送给坐标计算部分67作为元数据文件MDF。坐标计算部分67通过计算产生三维显示空间，在该三维显示空间 中从显示空间控制器66中提供的特征参数被设置成显示轴，将显示在 各个显示窗口W57上的视频数据的特征参数转换成三维显示空间中 的坐标参数，并且根据获取的坐标参数值确定三维显示空间上的布 置。然后，基于相对于包含将被排列在三维显示空间上的多个显示窗 口 W57的图像组58的视点坐标和各个显示窗口的位置，坐标计算部分 67确定每个显示窗口W57的显示尺寸，并且将有关每个显示窗口W57 的显示的各种信息发送给图像显示部分69。解码器68解码从元数据/视频DB 70中提供的子视频流LD1或主 视频流HDl,并且将解码的主视频数据或子视频数据发送给图像显示 部分69。图像显示部分69使用从坐标计算部分67接收的坐标参数来确定 从解码器68提供的子视频数据被排列在其上的三维显示空间上的三 维坐标位置(坐标参数)，并且在三维显示空间上布置相应于子视频数 据的显示窗口W57。执行完相应于其它视频数据的显示窗口W57的上述处理之后，图像显示部分69将多个显示窗口 W57的三维坐标参数转 换成显示区55的二维坐标位置(显示位置参数)，从而在显示区55上显 示包含多个显示窗口 W57的图像组58。(2-4)元数据提取部分的具体配置下面将描述上述元数据提取部分61的具体配置。如图7所示，元 数据提取部分61包含密度信息计算部分71、运动检测部分72、 DCT垂 直/水平频率分量检测部分73、颜色分量检测部分76、音频检测部分80、 亮度/色差检测部分83和元数据文件生成部分86,以便提取包含相应于 构成视频数据的每个图片的密度(复杂度)、运动向量、DCT(离散余弦 变换)垂直/水平频率分量、颜色分量和音量的各种特征量的特征参数。 元数据提取部分61可包含用于提取不同于上述的参数的特征量的附 加检测部分。(2-4-l)密度信息计算部分的配置密度信息计算部分71包含平均值计算部分1071、差值计算部分 1072和累加部分1073。视频数据被提供给平均值计算部分1071和差值 计算部分1072。平均值计算部分1071顺序地将构成视频数据的帧设置为目标帧， 并且将目标帧分割成例如图8中所示的8x8像素块。进一步地，平均值 计算部分1071计算目标帧上的各个块的像素值的平均值，并且将获取 的平均值提供给差值计算部分1072。这里假定8x8像素块的光栅扫描次序中的第k个像素的像素值为 Pk，平均值计算部分1071根据下列表达式计算平均值Pave:<formula>formula see original document page 23</formula>其中累加和i:表示相对于k从k = l到k - 64( = 8x8)的累加和。 差值计算部分1072用和平均值计算部分1071同样的方法将目标 帧分割成例如8x8像素块，并且计算每个块的像素值Pk与8x8像素块的 像素值的平均值Pave之间的差值的绝对值I Pk-Pave I ，并且将获取的值顺序地提供给累加部分1073。累加部分1073将差值的绝对值I Pk-Pave |累加，该差值针对 从差值计算部分1072中顺序提供的块的各个像素计算而得，以获取累 加值Q-i: I Pk-Pave | ，其中累加和E表示相对于k从k = l到k -64(-8x8)的累加和。进一步地，累加部分1073计算针对目标帧的全部块所获取的累加 值Q的总和，并且将该总和输出给元数据文件生成部分86作为目标帧 密度信息QS1。针对目标帧所获取的累加值Q的总和称为"Intra - AC"。 Intra -AC的值变得越大，目标帧中的像素值中就存在越多的变化。因此， 可以认为，随着作为累加值Q的总和的密度信息QS1变得越大，目标 帧的静止图像就变得越密集(越复杂)。(2-4_2)运动检测部分的配置如图9所示，在运动检测部分72(图7)中，运动向量检测部分1041 将前一帧分割成每个具有16xl6像素的宏块，并且检测与前一帧中的 每个宏块最相似的目标帧中的每个16xl6像素块(此后被称作"相似块 ")。 然后，运动向量检测部分1041计算开始于宏块的左上方，并且 终止于相似块的左上方的向量作为该宏块的运动向量AFO ( h， v )。现在假定前一帧中左端起第h个和顶端起第v个的宏块的位置用 FO(h，v)表示，1^W像素块，即从宏块FO (h， v)移动了一段相应于运 动向量AFO (h， v)的距离的目标帧中的相似块的位置用Fl (h， v)表示， 则宏块FO (h， v)的运动向量AFO (h， v)由以下表达式表示AFO( h， v ) - Fl (h， v) - FO (h， v)统计量计算部分1042计算针对前一帧中的宏块获取的运动向量 的统计量。更准确地说，统计量计算部分1042计算前一帧中全部宏块 的运动向量AFO(h， v)的幅度的总和DO-E I AFO(h， v) I ，并且将获 取的总和DO作为目标帧的运动信息输出。上面表达式中的累加和i:: DO = i: I AFO(h，v) I表示相对于从11=1到11=前一帧中的宏块中水平数量的h,从v-l到v-前一帧中的宏块 中垂直数量的h的累加和。前一帧中每个宏块FO (h， v)的运动向量AFO ( h， v )的幅度越大， 作为运动向量的总和的运动信息DO变得越大。因此，可以认为随着目 标帧的运动信息DO变得越大，目标帧的图像的运动就变得越大(越激 烈)。在上述情况下，获取前一帧中全部宏块的运动向量AFO ( h， v )的 幅度的总和DO-i: I AFO ( h, v) I作为针对前一帧中的宏块所获取的 运动向量的统计量。然而，可选地，针对前一帧中的宏块所获取的运 动向量的离差可被用作统计量。在这种情况下，统计量计算部分1042计算前一帧中全部宏块的运 动向量AFO ( h， v )的平均值Aave，并且利用例如下面的表达式计算前 一帧中的全部宏块FO (h， v)的运动向量AFO ( h， v )的离差o0:o0 - E ( AFO ( h， v ) - Aave ) 2其中累加和i:表示相对于从h-i到h-前一帧中的宏块中水平数量的h,从v^到v-前一帧中的宏块中垂直数量的v的累加和。如在总和DO的情况下，随着目标帧的图像的运动变得越大(越激烈)，离差(TO就变得越大。图10示出了图7的运动检测部分72的另一个配置。该运动检测部 分72A包含直方图创建部分1051 、直方图存储部分1052和差值计算部 分1053。当视频数据被提供给直方图创建部分1051时，直方图创建部分 1051顺序地设置构成视频数据的帧为目标帧，创建目标帧的像素值的 简单直方图，并且将针对每个目标创建的这种直方图提供给直方图存 储部分1052和差值计算部分1053。直方图存储部分1052存储从直方图创建部分1051中提供的目标 帧的直方图。直方图存储部分1052具有足够大的存储容量来存储至少 相应于两帧的直方图，从而存储从直方图创建部分1051中提供的目标 帧的直方图和前一目标帧(即前一帧)的直方图。25差值计算部分1053计算从直方图创建部分1051中提供的目标帧 的直方图与存储在直方图存储部分1052中的前一帧直方图的差值绝 对和(稍后描述)，并且将该计算结果作为目标帧的运动信息DO输出。参考图ll，将更详细地描述图10的运动检测部分72A中执行的上 述处理。假定提供给直方图创建部分1051的视频数据像素值由具有O 到255的值的8位来表示，直方图创建部分1051将0到255的范围相等地 分割成例如0到31、 32到63、 64到95、 96到127、 128到159、 160到191、 192到223、 224到255的八个小范围，并且计算包含在每个小范围内的 像素值的发生频率，从而建立目标帧的简单直方图。假定例如第(i+l)帧是目标帧，差值计算部分1053计算在相同小范 围中作为目标帧的第(i+l)帧中的频率与作为前一帧的第i帧中的频率 之间的差值的绝对值A(图11中的阴影部分)。进一步地，差值计算部分 1053计算针对直方图中相应八个小范围而获得的频率的差值的绝对 值的总和i:A，并且将获取的总和i:A输出给元数据文件生成部分86作 为目标帧的运动信息DO。当目标帧的运动较大(激烈)时，目标帧中的像素值的频率分布不同于前一帧中的。因此，可以认为随着目标帧的差值绝对和i:A变得越大，目标帧的图像就变得越大(越激烈)。(2-4-3) DCT垂直/水平频率分量检测部分的配置 图12示出了DCT垂直/水平频率分量检测部分73(图7)中的频率分 析部分74的一个配置例子。频率分析部分74包含DCT变换部分1061、 加权因数计算部分1062和累加部分1063。当视频数据被提供给DCT变换部分1061时，DCT变换部分1061 顺序地设置构成视频数据的帧为目标帧，并且将目标帧分割成8x8像 素块。进一步地，DCT变换部分1061对目标帧中的相应块进行DCT变 换，并且将针对相应块所获取的8x8 DCT系数提供给累加部分1063。 加权因数计算部分1062计算将被分别加给8x8DCT系数的权重， 并且将该权重提供给累加部分1063。累加部分1063将从加权因数计算 部分1062中提供的权重分别加给从DCT变换部分1061中提供的8x8系数，以便执行累加，从而针对每个块获取累加值。进一步地，累加部分1063计算针对相应块获取的累加值的总和，并且将该总和发送给垂 直线/水平线水平计算部分75(图7)作为目标帧的密度信息。参考图13,将更详细地描述图12的频率分析部分74中执行的处 理。图13的左边示出了DCT变换后的基础图像。该基础图像由8x8图 案(频率分量)组成。在该基础图像中，频率分量朝着右方和下方的方 向变高。图13的右边示出了从每个块的8x8 DCT系数的左边起第i( i=l, 2，…，8)个，以及从顶部起第j(j-l， 2，...， 8)个DCT系数F(i-l， j-l)。 DCT 系数F(i-l， j-l)表示从基础图像的左边第i个和顶部第j个的图案的频率 分量被包含在基础图像中的程度(比率)。出现在图13的左边的基础图像中的每个数字均指示由图12的加 权因数计算部分1062所计算的权重G(i-l，j-l)。 权重G(i-l， j-l)是将被 加到DCT系数F(i-l， j-l)上的权重。加权因数计算部分1062根据下列表 达式计算权重G(i-l， j-l):G(i-l，j-l)-ixj因此，在加权因数计算部分1062中，随着DCT系数F(i-l， j-l)的 频率分量变得越高，将被加给DCT系数F(i-l， j-l)的权重G(i-l， j-l)就 变得越大。累加部分1063 (图12)用从加权因数计算部分1062中提供的权重 G(i-l， j-l)乘以从DCT变换部分1061中提供的块的DCT系数F(i-l, j-l)，得到乘积G(i-l， j-l)xF(i-l， j画l)。然后，累加部分1063累加针对 块中的各个8x8 DCT系数F(i-l， j誦l)而获得的乘积G(i-l， j-l)xF(i-l， j画l)，得到累加值V =SG(i-l， j画l)xF(i-l， j画l)。累加和i:in V -SG(i-l， j画l)xF(i画l， j-l)表示i从i- l到i-8，以及j从j = l到j = 8的累加和。进一步地，累加部分1063计算针对目标帧中的全部块而获得的累 加值V的总和K，并且将该总和K输出给垂直线/水平线水平计算部分 75作为目标帧的密度信息。包含在目标帧中的频率分量变得越高，作为累加值V的总和K的密度信息的值就越大，并且目标帧的静止图像就越密集(越复杂)。DCT垂直/水平频率分量检测部分73的垂直线/水平线水平计算 部分75检测到目标帧的图像包含细垂直线，那就是说，基于目标帧的 区域AR1中的DCT系数，图像沿水平方向具有高频分量；或目标帧的 图像包含细水平线，那就是说，基于目标帧的区域AR2中的DCT系数， 图像在垂直方向上具有高频分量。因而，DCT垂直/水平频率分量检测部分73可以利用频率分析部 分74确定目标帧的图像的密度(复杂度)水平，并且利用垂直线/水平线 水平计算部分75确定水平频率和垂直频率的水平。于是获取的信息被 输出给元数据文件生成部分86作为DCT垂直/水平频率分量信息 FVH。(2-4-4)颜色分量检测部分的配置颜色分量检测部分76包含像素RGB水平检测部分77、 RGB7JC平 统计/离差检测部分78和HLS水平统计/离差检测部分79。所提供的视 频数据被输入到像素RGB水平检测部分77中。的RGB水平，并且将检测到的RGB水平发送给RGB水平统计/离差检 测部分和HLS水平统计/离差检测部分79。RGB水平统计/离差检测部分78计算从像素RGB水平检测部分77 中提供的目标帧中的每个像素的RGB水平的统计数据和离差，并且将 表示目标帧中的RGB的各个颜色分量的水平的统计数据和表示目标 帧中的颜色分量是否全局或局部地增加的离差值输出给元数据文件 生成部分86作为颜色分量信息CL1。HLS水平统计/离差检测部分79将从像素RGB水平检测部分77中 提供的目标帧中的每个像素的RGB水平转换成"色相"、"饱和度"和" 亮度/光亮度"的三个分量，计算在如图14中所示的、由色相、饱和度 和亮度组成的HLS空间中以上要素中的每一个的统计数据和离差值， 并且将检测结果输出给元数据文件生成部分86作为HLS信息CL2 。HLS空间中的色相由从0。到359。的角度表示，其中0°为红色，180。28为与红色相反的蓝绿色。即，在HLS空间中，易于发现相对颜色。HLS空间中的饱和度为色彩的混合率。不同于HSV(色相、饱和 度和值)空间，HLS空间基于饱和形式纯色的减少意味着该颜色具有更 多灰度的概念。即，较低的饱和度意味着颜色接近灰色，而较高的饱 和度意味着颜色远离灰色。在HSV空间中亮度100%被设置成纯色以及表示有多少亮度水平 从100%亮度状态中消失，不同于HSV空间的情况，HLS空间中的亮 度是其中亮度0%为黑色，亮度100%为白色，以及亮度50%为纯白的 指数。因此，HLS水平统计/离差检测部分79可以输出用比RGB空间更 好理解的方式表示色相的HLS信息CL2给元数据文件生成部分86。 (2-4-5)音频检测部分的配置在以上描述中，从视频数据中提取特征参数。然而，在AV数据 包含音频数据的情况下，表示音频数据的特征的特征量可以从相应于 视频数据的音频数据中计算出作为特征参数。即，特征参数是可被应 用于视频数据和音频数据二者的参数。音频检测部分80(图7)包含频率分析部分81和水平检测部分82。频率分析部分81分析相应于视频数据的目标帧的音频数据的频 率，并且通知水平检测部分82其频段。水平检测部分82检测从频率分 析部分81中通知的频段中的音频数据的水平，并且将检测到的水平输 出给元数据文件生成部分86作为音频水平信息AL。(2-4-6)亮度/颜色差检测部分的配置亮度/颜色差检测部分83(图7)包含Y/Cb/Cr水平检测部分84和 Y/Cb/Cr水平统计/离差检测部分85。提供给亮度/颜色差检测部分83 的视频数据被输入到Y/Cb/Cr水平检测部分84。Y/Cb/Cr水平检测部分84针对视频数据的目标帧中的每个像素 检测亮度信号Y的亮度水平和色差信号Cb和Cr的信号水平，以及将检 测到的水平提供Y/Cb/Cr水平统计/离差检测部分85 。Y/Cb/Cr水平统计/离差检测部分85计算从Y/Cb/Cr水平检测部分84中提供的目标帧中的每个像素的亮度信号Y的亮度水平和色差信 号Cb和Cr的信号水平的统计和离差值，并且将表示目标帧中的亮度 信号Y、色差信号Cb和Cr的水平的统计数据，以及亮度信号Y、色差 信号Cb和Cr的离差值输出给元数据文件生成部分86作为颜色分量信 息CL3。(2-4-7)元数据文件生成部分的配置基于从密度信息计算部分71中提供的密度信息QS1、从运动检测 部分72中提供的目标帧的运动信息DO、从DCT垂直/水平频率分量检 测部分73中提供的DCT垂直/水平频率分量信息FVH、从颜色分量检 测部分76中提供的颜色分量信息CL1和HLS信息CL2、从音频检测部 分80中提供的音频水平信息AL，以及从亮度/颜色差检测部分83中提 供的颜色分量信息CL3，元数据文件生成部分86分别生成构成视频数 据的图片的特征参数和相应于该视频数据的音频数据的特征参数，作 为包含元数据的元数据文件MDF，并且输出。如图15所示，在元数据文件MDF中，各种特征参数例如"时间代 码"、"运动量"、"密度"、"红"、"蓝"、"绿"、"亮度"、"红离差"、 ，，绿离差"、"色相"、"饱和度"、"垂直线"、"水平线"、"运动离差" 和"音频水平"针对构成视频数据的各个图片(从第一帧到最后一帧)被 寄存。虽然在该例子中，0和1之间的规格化相对值被用作元数据文件 MDF的各个特征参数中的特征量值，但是可以使用绝对值。进一步地， 元数据文件MDF的内容不局限于上述的特征参数。例如，在三维显示 空间上布置了显示窗口 W57之后，显示窗口 W57实际上已被布置于其 上的三维显示空间上的坐标值可被寄存为元数据。在图像处理设备2中，当三维显示空间上的坐标值如上所述被寄 存在元数据文件MDF中时，不必基于特征参数额外计算三维显示空间 中的坐标参数，以便在三维显示空间上布置视频数据的下一个显示窗 口W57，显示窗口W57从而可被立即布置在三维显示空间上。(2-5)显示处理过程将利用流程图具体描述由图像处理设备2的微处理器3执行的视 频数据的显示处理过程和多个视频数据的显示处理过程。(2-5-l)视频数据的图片(静止图像)的分类显示处理过程 如图16所示，图像处理设备2的微处理器3执行程序RT1的初始化 步骤，并且前进到下一步SP1，其中其确定由用户指定的三维显示空 间的显示轴以及用于向用户显示图像组58的视点坐标，接着前进到步 骤SP2。在步骤SP1中，图像处理设备2的微处理器3可确定显示轴，以便 生成各种类型三维显示空间，例如由表示RGB的颜色分量的R轴、 G轴和B轴限定的三维显示空间(图17(A));由亮度水平轴、R轴和B轴 限定的三维显示空间(图17(B));由运动向量轴、Cb轴和Cr轴限定的 三维显示空间(图17(C));由密度信息轴、亮度水平轴和色相轴限定的 三维显示空间(图17(D));由R轴、DCT垂直频率轴和DCT水平频率轴 限定的三维显示空间(图17(E)); 由DCT垂直频率轴、Cb轴和Cr轴限 定的三维显示空间(图17(F)); 以及由作为HLS空间的要素的L(亮度) 轴、H(色相)轴和S(饱和度)轴限定的三维显示空间(图17(G))。然而， 被用来生成三维显示空间的显示轴不局限于以上所述的，而是可以使 用元数据文件中寄存的特征参数的其它组合作为显示轴。在步骤SP2中，图像处理设备2的微处理器3识别由用户指定的、 将被重放的视频数据的图片(静止图像)，然后前进到步骤SP3。在步骤 SP3中，微处理器3设置该静止图像为目标帧，解码其子视频流LD1， 将解码的子视频数据传送给GPU4，并且前进到步骤SP4。在步骤SP4中，图像处理设备2的微处理器3查询被用作三维显示 空间的显示轴的特征参数的特征量，从与静止图像相关的元数据文件 MDF中接收特征量，并且前进到步骤SP5。在步骤SP5中，图像处理设备2的微处理器3计算三维显示空间上 的坐标位置(坐标参数)，静止图像的显示窗口 W57基于步骤SP4中所接 收的特征参数的特征量粘贴在所述坐标位置上，并且前进到步骤SP6。 即，图像处理设备2的微处理器3将相应于静止图像具有的显示轴的特征量转换成三维显示空间上的坐标值。在步骤SP6中，图像处理设备2的微处理器3确定当前静止图像是 否是将被显示的最新图像。当得到肯定结果时，其意味着不同于当前 静止图像的静止图像尚未被用户指定，那就是说，没有任何其它显示 窗口W57将被显示，微处理器前进到步骤SP7。反之，当在步骤SP6中得到否定结果时，其意味着不同于当前静 止图像的视频数据的图片(静止图像)已被用户指定，那就是说，存在 相应于静止图像的另 一个显示窗口 W57将被显示，图像处理设备2的 微处理器3返回到步骤SP2，重复上述处理，从而根据各个静止图像的 特征参数中设置的特征量，计算相应于多个静止图像的多个显示窗口 W57在三维显示空间上的坐标位置。在步骤SP7中，图像处理设备2的微处理器3允许GPU 4基于步骤 SP5中所计算的坐标参数(坐标位置)，将相应于静止图像的显示窗口 W57粘贴在三维显示空间上，基于在步骤SP1中确定的视点坐标将三 维显示空间上的坐标参数(坐标位置)转换成显示区55的二维屏幕上的 二维坐标位置(显示位置参数)，确定每个显示窗口W57的显示尺寸， 以及在二维坐标位置上画出显示窗口W57以便显示。之后，图像处理 设备2的微处理器3前进到步骤SP8。此时，在多个视频数据的静止图像(图片)由用户指定的情况下， 图像处理设备2的微处理器3根据静止图像的特征参数，在各个坐标位 置(由坐标参数所表示的位置)上布置相应于多个静止图像的多个显示 窗口W57，作为由多个显示窗口W57组成的图^J且58。在步骤SP8中，图像处理设备2的微处理器3基于是否从用户发出 了终止指令或预定时间是否已过，来确定是否结束显示窗口 W57的显 示处理。当得到肯定结果时，微处理器3前进到结束显示处理的步骤 SPll。另一方面，当在步骤SP8中得到否定结果时，图像处理设备2的 微处理器3无需结束显示窗口W57的显示处理就前进到步骤SP9。在步 骤SP9中，图像处理设备2的微处理器3等到显示窗口W57的视点坐标被用户的光标操作改变后才前进到后续步骤SPIO。在步骤SP10中，图像处理设备2的微处理器3确定显示窗口W57 的视点坐标是否实际上已由用户改变了。当得到否定结果时，微处理 器3返回到步骤SP7，继续在最初的坐标位置上显示静止图像的显示窗 口W57。另一方面，当得到肯定结果时，微处理器3返回到步骤SP1， 确定改变之后的新视点坐标，重复步骤SP2和后续步骤的处理，并且 基于该新视点坐标在三维显示空间上重新布置显示窗口W57。当基于新视点坐标在三维显示空间上重新布置显示窗口W57时， 图像处理设备2的微处理器3布置该显示窗口W57,使得显示窗口W57 不论如何改变视点都始终位于用户的正前方，以使用户始终从正面在 视觉上确i人显示窗口W57。如上所述，图像处理设备2的微处理器3可以根据视频数据的静止 图像具有的特征参数，在三维显示空间上的坐标位置上布置静止图像 的显示窗口W57。因而，在指定多个视频数据的图片(静止图像)的情 况下，微处理器3可以呈现多个静止图像作为相应于多个视频数据的、 由静止图像的显示窗口W57所组成的图像组58(图3)，从而使用户通过 图像组58直观地掌握作为 一个图像的多个视频数据的总趋势。在相应于视频数据的图片(静止图像)的显示窗口 W57被布置在 由例如DCT水平频率轴、R轴和G轴限定的三维显示空间上的情况下， 当视点坐标通过用户的放大操作被移动到偏离DCT水平频率轴的水 平频率高的位置时，图像处理设备2的微处理器3可呈现放大图像组 58Z1,其中具有细垂直线的静止图像的大量显示窗口W57如图18所示 被布置在DCT水平频率轴附近。进一步地，在相应于视频数据的静止图像的显示窗口W57被通过 用户的放大操作布置在由例如DCT水平频率轴、R轴和G轴限定的三 维显示空间上的情况下，当视点坐标被移动到偏离R轴的R值大的位 置时，图像处理设备2的微处理器3可呈现放大图像组58Z2，其中具有 强红色分量的静止图像的大量显示窗口 W57如图19所示被布置在R轴 附近。33进一步地，在相应于视频数据的静止图像的显示窗口W57被布置 在由例如DCT水平频率轴、R轴和G轴限定的三维显示空间上的情况 下，当视点坐标通过用户的放大操作被移动到偏离G轴的G值大的位 置时，图像处理设备2的微处理器3可呈现放大图像组58Z3，其中具有 强绿色分量的静止图像的大量显示窗口 W57如图20所示被布置在G轴 附近。(2-5-2)视频数据(活动图片)的分类显示处理过程随后，将描述视频数据(活动图片)的显示处理过程。视频数据(活 动图片)的显示处理过程基本上与上述视频数据的图片(静止图像)的 显示处理例程RT1相同。即，每当根据预定帧频更新构成视频数据的 图片(静止图像)时，执行与静止图像的显示处理例程RT1相同的处理。具体地，如图21所示，图像处理设备2的微处理器3执行例程RT2 的初始化步骤，并且前进到下一步SP21，其中其确定由用户指定的三 维显示空间的显示轴和用于将图像组58显示给用户的视点坐标，继之 以前进到步骤SP22。在步骤SP22中，图像处理设备2的微处理器3识别由用户指定的、 将被重放的视频数据的静止图像，然后前进到步骤SP23。在步骤SP23 中，图像处理设备2的微处理器3设置该静止图像为目标帧，解码其子 视频流LD1，将解码的子视频数据传送给GPU 4，并且前进到步骤 SP24。在步骤SP24中，图像处理设备2的微处理器3查询被用作三维显 示空间的显示轴的特征参数的特征量，从与静止图像相关的元数据文 件MDF中接收特征量，并且前进到步骤SP25。在步骤SP25中，图像处理设备2的微处理器3计算三维显示空间 上的坐标参数(坐标位置)，相应于构成视频数据的静止图像的显示窗 口W57基于步骤SP24中所接收的特征参数的特征量被粘贴在所述三 维显示空间上，并且前进到下一个子程序SRT1。即，图像处理设备2 的微处理器3将特征参数的特征量转换成具有显示轴的三维显示空间 的坐标参数(坐标位置)，构成视频数据的各个图片(静止图像)具有的特征参数被设置成所述显示轴。在子程序SRT1中，图像处理设备2的微处理器3基于先前显示的 静止图像的三维显示空间上的坐标参数(坐标位置)与更新之后显示的 静止图像的三维显示空间上的坐标参数(坐标位置)之间的相互位置关 系执行坐标补偿处理，以计算补偿的坐标，然后前进到步骤SP26。稍 后将描述子程序SRT1中的这个坐标补偿处理过程。在步骤SP26中，图像处理设备2的微处理器3允许GPU 4基于步骤 SP25中计算出的三维显示空间上的坐标位置，或子程序SRT1中得到 的补偿坐标，将相应于构成视频数据的静止图像的显示窗口W57粘贴 在三维显示空间上；基于步骤SP21中确定的视点坐标，将三维显示空 间上的坐标位置转换成显示区55的二维屏幕上的二维坐标位置(显示 位置参数)；确定每个显示窗口W57的显示尺寸；并且按照静止图像的 更新次序在二维坐标位置上画出显示窗口W57以便显示。之后，图像 处理设备2的微处理器3前进到步骤SP27。在步骤SP27中，图像处理设备2的微处理器3基于是否从用户发 出了终止指令或是否预定时间已过，来确定是否结束相应于视频数据 的静止图像的显示窗口W57的显示处理。当得到肯定结果时，微处理 器3前进到步骤SP28，结束显示窗口W57的显示处理。另一方面，如果在步骤SP27中得到否定结果，则图像处理设备2 的微处理器3不结束显示窗口W57的显示处理，而是返回到步骤SP21， 执行相应于接下来指定的视频数据的显示窗口W57的显示处理。如上所述，图像处理设备2的微处理器3将静止图像的显示窗口 W57布置在三维显示空间上的坐标位置上，构成视频数据的静止图像 具有的特征参数在所述三维显示空间上被设置成显示轴；并且根据静 止图像的特征参数的特征量的变化来改变三维显示空间上的坐标位 置(坐标参数)以便重新布置，每当根据预定帧频更新布置在三维显示 空间上的显示窗口W57的静止图像时发生所述变化，从而给用户一种 就寸象每当更新显示窗口W57的静止图像时，显示窗口W57以浮动方式 在三维显示空间上移动的印象。这使用户直观且立即识别视频数据的时间序列特征(趋势)作为随着重放图像的进程一起改变的显示窗口W57的运动图^^。(2-5-3)多个视频数据(活动图片)的同时显示处理过程随后，将描述多个视频数据(活动图片)的显示处理过程。多个视 频数据的显示处理过程基本上与上述一个视频数据的显示处理例程 RT2相同。即，图像处理设备2的微处理器3以同时和并行方式针对每 个视频数据执行显示处理，以便根据静止图像的特征参数的变化，以 运动方式显示显示窗口W57，每当三维显示空间上的位置改变的同时 更新各个静止图像时发生所述变化。具体地，如图22所示，图像处理设备2的微处理器3执行例程RT3 的初始化步骤，并且前进到下一步SP31，其中其确定由用户指定的三 维显示空间的显示轴和用于将图像组58显示给用户的视点坐标，接着 前进到步骤SP32。在步骤SP32中，图像处理设备2的微处理器3识别由用户指定的、 将被重放的多个视频数据的各个静止图像，然后前进到步骤SP33、 SP36和SP39。在步骤SP33、 SP36和SP39中，图像处理设备2的微处理器3设置 静止图像为目标帧，解码其子视频流LD1，将解码的子视频数据分别 传送给GPU4，并且前进到步骤SP34、 SP37和SP40。在步骤SP34、 SP37和SP40中，图像处理设备2的微处理器3查询 被用作三维显示空间的显示轴的特征参数的特征量，从与各个静止图 像相关的元数据文件MDF中接收这些特征量，并且前进到后续步骤 SP35、 SP38和SP41。在步骤SP35、 SP38和SP41中，图像处理设备2的微处理器3计算 三维显示空间上的坐标参数(坐标位置)，相应于构成各个视频数据的 静止图像的显示窗口W57基于在步骤SP34、 SP37、和SP40中所接收 的特征参数的特征量被粘贴在所述三维显示空间上，然后前进到下一 个子程序SRT1。即，图像处理设备2的微处理器3将特征参数的特征量转换成具有显示轴的三维显示空间的坐标参数(坐标位置)，构成多 个视频数据的各个静止图像具有的特征参数被设置成所述显示轴。在子程序SRT1中，图像处理设备2的微处理器3基于先前显示的 静止图像的三维显示空间上的坐标参数(坐标位置)与更新之后显示的 静止图像的三维显示空间上的坐标参数(坐标位置)之间的相互位置关 系执行坐标补偿处理，以计算补偿的坐标，然后前进到步骤SP42。在步骤SP42中，图像处理设备2的微处理器3允许GPU 4分别基于 步骤SP35、 SP38和SP41中计算出的三维显示空间上的坐标位置，将 相应于构成视频数据的静止图像的显示窗口W57粘贴在三维显示空 间上；基于步骤SP31中确定的视点坐标，将三维显示空间上的坐标位 置分别转换成显示区55的二维屏幕上的二维坐标位置(显示位置参 数)；确定各个显示窗口W57的显示尺寸；并且在二维坐标位置上画出 显示窗口W57，从而显示图像组58。 之后，图像处理设备2的微处理 器3前进到后续步骤SP43。在步骤SP43中，图像处理设备2的微处理器3基于是否从用户发 出了终止指令或预定时间是否已过，来决定是否结束图像组58的显示 处理。当得到肯定结果时，微处理器3前进到步骤SP44,其中其结束 由相应于多个视频数据的多个显示窗口 W57组成的图像组58的显示 处理。另一方面，如果在步骤SP44中得到否定结果，则图像处理设备2 的微处理器3不结束图像组58的显示处理，而是返回到步骤SP31，执 行相应于接下来指定的视频数据的显示窗口W57的显示处理。如上所述，图像处理设备2的微处理器3根据多个视频数据中的各 个静止图像具有的显示轴的特征参数的特征量，将相应于多个静止图 像的多个显示窗口W57布置在三维显示空间上的坐标参数(坐标位置) 上，并且根据静止图像的特征参数的特征量的变化，分别改变三维显 示空间上的坐标参数(坐标位置)以便重新布置，每当根据预定帧频更 新布置在三维显示空间上的显示窗口W57的静止图像时发生所述变 化，从而给用户一种每当更新显示窗口W57的静止图像时，显示窗口W57就像以浮动方式在三维显示空间上移动的印象。这使用户直观并 且立即识别多个视频数据的时间序列特征(趋势)，作为随着重放图像 的进程一起改变的显示窗口W57的运动图像。即，在构成多个不同视频数据的静止图像的特征彼此非常相似的 情况下，相应于各个视频数据的显示窗口W57以相同浮动方式并且沿 着相同方向移动。另一方面，在构成多个不同视频数据的静止图像的 特征彼此不同的情况下，相应于各个视频数据的显示窗口 W57以不同 的浮动方式并且沿着不同方向浮动。因而，当用户希望关注的视频数据被用户选择时，用户易于将注 意力仅集中在相应于所选择的视频数据的显示窗口W57上，因此，用 户可以通过表示显示窗口W57的运动的变化的有效图像，可以容易地 掌握视频数据的特征(趋势)。具体地，如图23所示，在相应于给定视频数据的显示窗口W57 的第一个静止图像包含相应于B轴的强蓝色分量的情况下，图像处理 设备2的微处理器3根据由静止图像所具有的、相应于B轴的特征参数 所表示的特征量，将显示窗口W57布置在屏幕的左下角的位置P01处。更新视频数据的静止图像之后，图像处理设备2的微处理器3根据 该更新的静止图像中的蓝色分量的特征量，将更新的静止图像的显示 窗口 W57重新布置在离开位置P01的位置P02处。在进一步更新视频数据的静止图像之后，图像处理设备2的微处 理器3根据该更新的静止图像中的蓝色分量的特征量，将更新的静止 图像的显示窗口 W57重新布置在离开位置P02的位置P03处。如上所述，图像处理设备2的微处理器3根据每当更新视频数据的 静止图像时的各个静止图像的特征参数的特征量，在改变三维显示空 间上的坐标位置的同时重新布置显示窗口 W57。这使用户在视觉上确 认相应于视频数据的显示窗口W57好像以浮动方式在显示区55的屏 幕上移动的状态。(2-5-4)坐标补偿处理过程接下来，下面将描述程序RT2中的子程序SRT1(图21)的坐标补偿 处理过程和程序RT3中的子程序SRT1(图22)的坐标补偿处理过程。两 个过程彼此相同。在图24中所示的坐标补偿处理程序SRT1中，当更新显示窗口 W57的静止图像以使该显示窗口 W57根据其静止图像的特征量顺序 地移动时，图像处理设备2的微处理器3不允许显示窗口 W57在如图25 中所示的画面改变时，在一个单次动作中跳到目的地，而是允许显示 窗口W57在调整显示窗口W57的移动速度的同时逐渐移动到目的地 (允许显示窗口W57以逐步方式移动)。即，图像处理设备2的微处理器 3执行补偿计算以便除了原目的地的坐标之外还得到补偿坐标，从而 允许显示窗口W57—次性移动到由补偿坐标表示的位置，因而4吏用户 跟随显示窗口W57的运动。具体地，图像处理设备2的微处理器3执行子程序RT1的初始化步 骤，并且前进到下一步SP61。 在步骤SP61中，在更新视频数据的静 止图像的时候，图像处理设备2的微处理器3计算相应于当前静止图像 的显示窗口W57在三维显示空间上的当前坐标(位置POn)与相应于下 一个静止图像的显示窗口W57在三维显示空间上的目的地坐标(位置 POn+l)之间的差，以得到假定的移动距离(欧几里德距离)，然后前进 到步骤SP62。在步骤SP62中，图像处理设备2的微处理器3计算目的地坐标与 当前坐标，以得到具有差值，，l"的向量作为移动方向向量，然后前进 到步骤SP63。在步骤SP63中，图像处理设备2的微处理器3确定在步骤SP61中 得到的假定移动距离是否小于先前设定的预定最小移动值。当得到肯 定结果时，其意味着假定移动距离小于最小移动值，也就是说，相应 于当前静止图像的显示窗口W57的位置POn与相应于下一个静止图 像的显示窗口 W57的位置POn+l之间的距离足够小，以使用户跟随显 示窗口W57的运动，然后图像处理设备2的微处理器3前进到后续步骤 SP64。在步骤SP64中，图像处理设备2的微处理器3识别出显示窗口 W57将定位于其上的目的地坐标本身是根据下一个静止图像的特征 量所确定的坐标值，在相应于该坐标值的位置上布置显示窗口W57， 然后前进到步骤SP68，其中图像处理设备2的微处理器3结束该处理流 程。反之，当在步骤SP63中得到否定结果时，其意味着假定移动距 离大于最小移动值，也就是说，相应于当前静止图像的显示窗口W57 的位置POn与相应于下一个静止图像的显示窗口W57的位置POn+l之 间的距离太大，使得用户很难跟随显示窗口W57的运动，然后图像处 理设备2的微处理器3前进到步骤SP65。在步骤SP65中，图像处理设备2的微处理器3确定在步骤SP61中 得到的假定移动距离的1/2 (此后被称作"假定移动距离/2")是否大于 先前设定的预定最大移动距离。当得到肯定结果时，其意味着假定移 动距离/2大于最大移动距离，也就是说，相应于当前静止图像的显示 窗口W57的位置POn与相应于假定移动距离/2的补偿坐标位置之间的 距离仍然较大，因此用户很难跟随显示窗口W57的运动，然后，图像 处理设备2的微处理器3前进到后续步骤SP66。在步骤SP66中，图像处理设备2的微处理器3计算补偿坐标(=当 前坐标+移动方向向量x最大移动值)，设置计算出的补偿坐标为显示 窗口W57的目的地坐标，然后前进到步骤SP68，其中图像处理设备2 的微处理器3給束该处理流程。反之，当在步骤SP65中得到否定结果时，其意味着假定移动距 离/2小于最大移动距离，也就是说，相应于当前静止图像的显示窗口 W57的位置POn与相应于假定移动距离/2的补偿坐标位置之间的距离 足够小，以使用户容易跟随显示窗口W57的运动，然后图像处理设备 2的微处理器3前进到后续步骤SP67。在步骤SP67中，图像处理设备2的微处理器3计算补偿坐标(-当 前坐标+移动方向向量x假定移动距离/2)，设置计算出的补偿坐标为 显示窗口W57的目的地坐标，然后前进到步骤SP68，其中图像处理设备2的微处理器3结束该处理流程。如图26所示，假定出现了一个画面改变，其中给定视频数据的显 示窗口 W57从该时刻相应于静止图像的当前坐标位置POn快速移动 到相应于下一个静止图像的位置POn+l。在这种情况下，显示窗口 W57的位置POn与目的地坐标位置POn+l之间的假定移动距离大于最 小移动距离，图像处理设备2的微处理器3执行上述坐标补偿处理程序 SRT1以计算补偿的坐标，以便将显示窗口W57移动一个相应于假定 移动距离/2或最大移动距离(在这种情况下相应于假定移动距离/2的 坐标位置)的量，并且在相应于计算出的补偿坐标的位置POm处临时 布置显示窗口W57以便显示。此时，图像处理设备2的微处理器3通过显示窗口W57显示画面改 变之后的静止图像。然而，可选地，通过显示窗口W57可显示画面改 变之前的静止图像，直到画面改变之后的位置POn+l。进一步地，可 采用另一种方法，其中通过显示窗口W57显示画面改变之前的静止图 像，直到画面改变前后的位置之间的中间位置，并且在中间位置和后 续位置处通过显示窗口W57显示画面改变之后的静止图像。在显示窗口W57的位置POm与相应于前次更新的静止图像的位 置POn+2之间的假定移动距离仍大于最小移动值的情况下，图像处理 设备2的微处理器3再次计算补偿坐标，以便将显示窗口W57移动一个 相应于假定移动距离/2或最大移动距离的量，并且在相应于计算出的 补偿坐标的位置POm+l处临时布置显示窗口W57以便显示。随后，在显示窗口W57的位置POm+l与相应于进一步更新的静 止图像的位置POn+3之间的假定移动距离仍大于最小移动值的情况 下，图像处理设备2的微处理器3再次计算补偿坐标，以便将显示窗口 W57移动一个相应于假定移动距离/2或最大移动距离的量，并且在相 应于计算出的补偿坐标的位置POm+2处临时布置显示窗口W57以便 显示。此后，在显示窗口W57的位置POm+2与相应于进一步更新的静 止图像的位置POn+4之间的假定移动距离变得小于最小移动值的时间点处，图像处理设备2的微处理器3直接在相应于假定移动距离的位 置POn+4处移动显示窗口W57以便显示。即，当相应于视频数据的显示窗口 W57的静止图像根据预定帧频 被更新，以便根据以帧为单位的显示窗口W57的静止图像的特征参数 的特征量重新布置该显示窗口W57时，即使存在允许显示窗口W57由 于画面改变而明显地跳跃的需要，图像处理设备2的微处理器3也不允 许显示窗口W57在一个单次动作中跳到目的地，而是允许显示窗口 W57逐渐地接近目的地，而同时以逐步方式缩短窗口W57的移动距 离，从而使用户在画面改变时跟随显示窗口W57的运动。(3)重新排列处理在本发明的图像处理设备2中，即使在三维显示空间上的确定显 示轴上布置视频数据的显示窗口W57之后，也可以根据用户的操作任 意改变定义三维显示空间的显示轴，从而重新排列显示窗口W57。下 面将描述显示窗口W57的这种重新排列处理。当在三维显示空间上布置视频数据的显示窗口W57之后，用户通 过GUI 65(图4至6)发出改变显示轴的参数的指令时，图像处理设备2 的微处理器3基于新显示轴重新产生一个新的三维显示空间。具体地，图像处理设备2的微处理器3执行图27中所示的程序RT4 的初始化步骤，然后前进到下一步SP71，其中其识别出针对显示轴的 用户的特征参数改变操作的内容，以确认与将从当前显示轴改变的新 显示轴相应的特征参数，然后前进到后续步骤SP72。在步骤SP72中，图像处理设备2的微处理器3确定新的三维显示 空间的显示轴，以及该时刻所设定的视点坐标，然后前进到步骤SP73。 如果视点坐标没有变化，则微处理器3使用先前设定的视点坐标而不 进行修改。在步骤SP72中，图像处理设备2的微处理器3设置通过构成图像 组58的多个显示窗口W57正在显示的视频数据的静止图像作为目标 帧，查询被用作新三维显示空间的显示轴的特征参数的特征量，从与 目标帧相关的元数据文件MDF中接收所述特征量，然后前进到步骤SP74。在步骤SP74中，图像处理设备2的微处理器3计算新三维显示空 间上的坐标参数(坐标位置)，静止图像的显示窗口W57基于在步骤 SP73中所接收的特征参数的特征量被粘贴在所述三维显示空间上，然 后前进到步骤SP75。在步骤SP75中，图像处理设备2的微处理器3确定没有视频数据 的任何其他静止图像要通过显示窗口 W57显示。当得到肯定结果时，其意味着没有视频数据的任何其他显示窗口 W57将被显示，微处理器3前进到后续步骤SP76。反之，当在步骤SP75中得到否定结果时，其意味着存在要被显 示的视频数据的另一个显示窗口W57，图像处理设备2的微处理器3返 回到步骤SP72,重复上述处理，从而根据各个静止图像的特征参数， 为相应于多个视频数据的多个显示窗口W57计算新三维显示空间上 的坐标位置。在步骤SP76中，图像处理设备2的微处理器3允许GPU 4基于步骤 SP74中计算出的新三维显示空间的坐标位置，在新三维显示空间上粘 贴相应于静止图像的显示窗口W57;基于在步骤SP72中所确定的视点 坐标，将三维显示空间上的坐标参数(坐标位置)转换成显示区55的二 维屏幕上的二维坐标位置(显示位置参数)；确定多个显示窗口 W57的 显示尺寸；并且在二维坐标位置上画出该显示窗口W57以便显示，从 而可显示由新三维显示空间上已经重新排列的多个显示窗口W57所 组成的图像組58。之后，图像处理设备2的微处理器3前进到步骤SP77。在步骤SP77中，图像处理设备2的微处理器3基于是否从用户发 出了终止指令或预定时间是否已过，决定是否结束图像组58的显示处 理。当得到肯定结果时，微处理器3前进到步骤SP80，结束图像组58 的显示处理的步骤SP80。反之，当在步骤SP77中得到否定结果时，图像处理设备2的微处 理器3不结束图像组58的显示处理而前进到步骤SP78。在步骤SP78中， 微处理器3等到显示窗口W57的视点坐标被用户的光标操作改变，然后前进到后续步骤SP79。在步骤SP79中，微处理器3确定显示窗口 W57的视点坐标是否实 际上已由用户改变了。当得到否定结果时，微处理器3返回到步骤 SP76,其中其继续在最初的坐标位置上显示图像组58。反之，当得到 肯定结果时，微处理器3返回到步骤SP71，识别针对显示轴的用户的 特征参数改变操作的内容，以确认要从当前显示轴改变的相应于新显 示轴的特征参数，并且重复步骤SP72和后续步骤的处理。例如，如图28所示，假定显示窗口W571和W572被布置在由B轴、 DCT垂直频率轴和DCT水平频率轴限定的三维显示空间上。在这种情 况下，当定义三维显示空间的显示轴转变为R轴、B轴和G轴时，图像 处理设备2的微处理器3根据相应于新设定显示轴的视频数据的静止 图像的特征参数的特征量，重新排列显示窗口W571和W572。因此，图像处理设备2的微处理器3任意改变定义三维显示空间的 显示轴，以适应用户的需要或偏好而重新排列显示窗口W57，从而使 用户通过重新排列结果直观地掌握视频数据的总特征(趋势)。因而，例如，图24的左边所示的由B轴、DCT垂直频率轴和DCT 水平频率轴限定的三维显示空间上的显示窗口 W571和W572给用户 一个印象，即窗口W571和W572的静止图像(海)具有相似的蓝色分量 的特征量，而图24的右边所示的由R轴、B轴和G轴限定的新三维显示 空间上的显示窗口 W571和W572给用户一个印象，即窗口 W571和 W572的静止图像(海)具有不同的绿色分量和红色分量的特征量。利用 该配置，用户可以容易地管理和搜索视频数据。(4)成组显示处理进一步地，在图像处理设备2中，可以以成组方式显示相应于具 有相似特征的静止图像的显示窗口W57。此处，将描述成组显示处理。例如，如图29 (A)和29 (B)所示，在图像处理设备2的微处理器3 中，在相应于多个视频数据的多个显示窗口W571到W578被排列在三 维显示空间上的情况下，当重放多个视频数据时，每当更新通过显示 窗口显示的静止图像时，显示窗口W571到W578就沿着各个箭头的方向慢慢移动。然后，如图29(C)所示，在重放视频数据当中或之后，图像处理 设备2的微处理器3计算相邻显示窗口之间的距离L1。当距离L1小于预 定阈值TH1时，微处理器3确定相邻静止图像之间的特征量中的相似 度为高；反之，当距离L1大于预定阈值TH1时，微处理器3确定相邻 静止图像之间的特征量中的相似度为低。例如，图像处理设备2的微 处理器3将具有高相似度的显示窗口 W571和W573放在一起作为第一 组，并且将第一预定颜色给予显示窗口W571和W573的帧，类似地， 将显示窗口W572、 W577和W578放在一起作为第二组，并且将第二 预定颜色给予其帧。在这种情况下，对于例如显示窗口W574、 W576和W575，彼此 之间的距离L1大于阈值TH1，并且因而相邻静止图像之间的特征量中 的相似度为低，使得图像处理设备2的微处理器3从成组的目标中移除 显示窗口W574、 W576和W575，并且例如降低显示窗口 W574、 W576 和W575的亮度水平以产生不同于笫 一和第二组的视差。具体地，如图30所示，图像处理设备2的微处理器3执行程序RT5 的初始化步骤，并且前进到下一步骤SP91,关于构成显示区55上显示 的图像组58的多个显示窗口 W571到W578计算相邻显示窗口 W57之 间的距离L1，然后前进到后续步骤SP92。在步骤SP92中，图像处理设备2的微处理器3比较相邻显示窗口 W57与先前设定的预定阈值TH1之间的距离L1，以确定距离L1是否小 于阈值L1。当得到肯定结果时，微处理器3前进到步骤SP93。在步骤SP93中，由于相邻显示窗口 W57之间的距离L1小于阈值 TH1，图像处理设备2的微处理器3识别出多个显示窗口 W57被排列在 三维显示空间上的靠近位置处，即显示窗口W57的静止图像的特征量 之间相类似，以确定显示窗口 W57之间的相似度高并且前进到步骤 SP94。在步骤SP94中，图像处理设备2的微处理器3将第一或第二预定 颜色给予已确定具有相似性的多个显示窗口 W57的显示帧，从而将其45作为具有相似特征量的组来显示，然后前进到后续步骤SP95。在步骤SP95中，图像处理设备2的微处理器3确定图像组58中的 所有显示窗口W57的相似性是否都已被确定。当得到否定结果时，微 处理器3返回到步骤SP91，重复上述处理，并且直到完成有关所有显 示窗口W57的相似性的确定，从而得到肯定结果。然后，微处理器3 前进到步骤SP98,以便结束这种处理流程。反之，当在步骤SP92中得到否定结果时，图像处理设备2的微处 理器3前进到步骤SP96,确定相邻显示窗口W57没有相似性，由于相 邻显示窗口W57之间的距离L1不小于阈值TH1，因此两个显示窗口 W57未被排列在三维显示空间上的靠近位置处，即相邻显示窗口W57 的静止图像所具有的特征量彼此不相似，然后微处理器3前进到步骤 SP97。在步骤SP97中，图像处理设备2的微处理器3不将已确定没有相 似性的相邻显示窗口W57放在一起，而是降低显示窗口W57的亮度水 平，以使用户在视觉上确认这些显示窗口W57不能被分类为一组，从 而导致加亮成组的显示窗口W57。之后，微处理器3前进到步骤SP98， 以便结束这种处理流程。如上所述，图像处理设备2的微处理器3基于重放视频数据期间或 之后的多个显示窗口W57的静止图像，确定相应于多个视频数据的多 个显示窗口 W57 ，以便将图像组58分类成具有相似性的组和没有相似 性的组。进一步地，图像处理设备2的微处理器3将预定颜色给予属于 具有相似性的组的显示窗口W57的帧，而降低属于没有相似性的组的 显示窗口W57的亮度水平，从而使用户根据高亮度立即并且直观的识 别图像组58的各个显示窗口 W57具有的特征量的趋势。图像处理设备2的微处理器3可基于在多个视频数据的重放处理 开始之前的时间点处或每当更新正重放的视频数据的静止图像时的 第 一 个静止图像执行成组显示处理程序RT5 。附带地，取代降低没有相似性的显示窗口W57的亮度水平，图像 处理设备2的孩i处理器3还可给予没有相似性的显示窗口 W57与成组显示窗口W57相反的颜色。进一步地，取代给予成组显示窗口W57以 颜色，微处理器3还可增加成组显示窗口W57的亮度水平，或闪烁成 组显示窗口W57。关键在于仅仅有必要加亮属于具有相似性的组的显 示窗口W57，以便将它们与其它显示窗口W57区别开。可以生成表示视频数据的特征参数彼此相似，或表示具有相似性 的组的相似性信息作为新特征参数或相关参数(稍后描述)。例如，针 对每个视频数据提供用于计数出现相似性的次数的计数器，从而测量 视频数据之间的相似性。在这种情况下，可以只自动显示具有计数 值大于预定阈值的视频数据。(5)显示应用例子随后，将描述图像处理设备2的微处理器3可执行的显示窗口 W57 的显示应用例子。(5-l)当三维显示空间移动，而显示窗口的位置保持固定不动时的 显示处理如上所述，在图像处理设备2中，当相应于视频数据的显示窗口 W57的静止图像被更新时，每个静止图像的特征量被改变。此时，可 采用一种配置，其中在其上更新静止图像数据的特征量的目标显示窗 口W57的位置不改变，而三维显示空间及其他显示窗口W57被移动以 便被重新排列。此处，将描述这种目标显示窗口的位置保持固定不动 的显示处理。在以上描述中，在图像处理设备2中，如图23所示，每当更新显 示窗口 W57的静止图像时，根据静止图像的特征量在其上排列更新后 静止图像的显示窗口W57的三维显示空间上的坐标参数(坐标位置)被 改变，以浮动方式将显示窗口W57从位置P01移动到位置P03，而三 维显示空间保持固定不动。然而，可以采用一种配置，其中在显示区55上的目标显示窗口 W57的显示位置固定的情况下，每次更新显示窗口W57的静止图像 时，三维显示空间本身根据静止图像的特征量被移动和/或旋转，从而 改变目标显示窗口 W57与三维显示空间之间的相对位置关系，允许其它显示窗口W57以浮动方式接近或离开固定的目标显示窗口W57。具体地说，在位于图23中的位置P01处的显示窗口W57C的位置 被固定到如图31所示的显示区55的屏幕中心位置POc的情况下，图像 处理设备2的微处理器3显示存在于显示窗口 W57C周围的其它显示窗 口W57，而保持与显示窗口W57C的相对位置关系。此后，如图32所示，在更新显示窗口W57C的静止图像时，图像 处理设备2的微处理器3根据所更新的静止图像的特征量，将其它显示 窗口W57连同三维显示空间一起移动，而显示窗口W57C的位置被固 定到屏幕中心位置POc上。类似地，如图33所示，在进一步更新显示窗口W57C的静止图像 时，图像处理设备2的微处理器3根据所更新的静止图像的特征量，将 其它显示窗口W57连同三维显示空间一起移动，而显示窗口W57C的 位置被始终如一地固定到屏幕中心位置POc上。即，图像处理设备2的微处理器3在根据按单帧方式变化的静止图 像的特征量移动三维显示空间及其他显示窗口W57的同时，通过显示 窗口W57C显示视频数据的重放图像，而显示窗口W57C的位置保持固 定到屏幕中心位置POc上，从而给关注显示窗口 W57C的用户 一种印 象，即用户本身和三维显示空间上的显示窗口W57C—起移动，而消 除用户跟不上显示窗口 W57C的风险。下面将具体地描述保持显示窗口 W57C的位置固定不动的同时 执行这种显示处理过程。如图34所示，图像处理设备2的微处理器3执 行程序RT6的初始化步骤，并且前进到下一步SP101。在步骤SP101中，图像处理设备2的微处理器3确定由用户指定的 三维显示空间的显示轴，以及用于将图像组58显示给用户的视点坐 标，接着前进到步骤SP102。在步骤SP102中，图像处理设备2的微处理器3识别出由用户指定 的、将被重放的视频数据的静止图像，然后前进到步骤SP103。在步 骤SP103中，微处理器3设置该静止图像为目标帧，解码其子视频流 LD1，将解码的子视频数据传送给GPU 4，然后前进到后续步骤SP104。48在步骤SP104中，图像处理设备2的微处理器3查询被用作三维显 示空间的显示轴的特征参数的特征量，从与静止图像相关的元数据文 件MDF中接收该特征量，并且前进到步骤SP105。
在步骤SP105中，图像处理设备2的微处理器3计算三维显示空间 上的坐标参数(坐标位置)，静止图像的显示窗口W57C基于在步骤 SP104中所接收的特征参数的特征量被粘贴在所述三维显示空间上， 改变视点坐标使得三维显示空间上的坐标位置对应于屏幕中心位置 POc，然后前进到步骤SP106。
在步骤SP106中，图像处理设备2的微处理器3显示目标帧的显示 窗口W57C的位置被固定到屏幕中心位置POc上的状态中的第一个静 止图像，重新排列相应于显示窗口W57C周围存在的其它视频数据的 显示窗口W57,然后前进到后续步骤SP107。
在步骤SP107中，在显示窗口W57C的位置被固定到屏幕中心位 置POc上的情况中，图像处理设备2的微处理器3根据例如预定帧频来 更新显示窗口W57C的静止图像，查询被用作显示轴的特征参数的特 征量，从与所更新的静止图像相关的元数据文件MDF中接收所述特征 量，然后前进到步骤SP108。
在步骤SP108中，图像处理设备2的微处理器3允许GPU 4根据更 新的静止图像的特征量，重画三维显示空间及存在于显示窗口W57C 周围的其他显示窗口 W57，同时保持显示窗口 W57C的位置固定在屏 幕中心位置POc上，然后前进到步骤SP109。
在步骤SP109中，微处理器3基于是否从用户发出了终止指令或 预定时间是否已过，决定是否结束屏幕中心位置POc处的显示窗口 W57C的显示处理。当得到肯定结果时，微处理器3前进到步骤SP110， 结束显示窗口 W57C的显示处理。
反之，当在步骤SP109中得到否定结果时，微处理器3不结束屏 幕中心位置POc处的显示窗口W57C的显示处理，而是返回到步骤 SP101,重复上述处理。
如上所述，图像处理设备2的微处理器3通过显示窗口W57C显示
49视频数据的重放图像，并保持显示窗口W57C的位置保持固定在屏幕 中心位置POc上，同时根据将被更新的静止图像的特征量移动三维显 示空间以及其它显示窗口W57,从而使用户通过显示窗口W57C与三 维显示空间及其他显示窗口 W57之间相对位置关系的改变，直观地识 别目标视频数据的特征为图像。
(5-3)利用子浏览器的放大显示例子
在图像处理设备2的微处理器3中，构成图像组58的各个显示窗口 W57的显示尺寸并不总是足够大。因而，可能有用户不能满意通过显 示窗口W57在视觉上确认视频的重放图像的情况。
为了处理这个情况，在图像处理设备2中，当用户通过双击操作 从显示窗口W57中选出图像组58的显示窗口 W571和W572时，具有相 对较大尺寸的子浏览器弹出，并且如图35所示，在子浏览器上以放大 的方式通过放大的显示窗口BW571和BW572，显示与那些通过显示窗 口W571和W572显示的重放图像相同的重放图像。
利用这个配置，即使当以取决于显示窗口 W571和W572的位置或 显示尺寸的非常小的尺寸来显示重放图像时，图像处理设备2也使用 放大的显示窗口BW571和BW572,以使用户满意地确认重放图^f象的内 容，从相应于多个视频数据的多个显示窗口W57中产生用户期望的视
频数据的每个搜索。
图像处理设备2的微处理器3沿着显示区55的边缘排列放大的显 示窗口 BW571和BW572，将相同颜色给予显示窗口 W571及其相应的 放大的显示窗口BW571的帧，以及将相同颜色(不同于给予显示窗口 W571和放大的显示窗口BW571的颜色)给予显示窗口W572及其相应 的放大的显示窗口 B W572的帧。
该配置使得用户轻易地识别放大的显示窗口BW571与显示窗口 W571上显示的重放图像之间，或放大的显示窗口BW572与显示窗口 W572上显示的重放图像之间的对应关系。
放大的显示窗口BW571和BW572被沿着显示区55的边缘排列， 使得当放大的显示窗口BW571、 BW572的数量过度增加时，图像组58的一些显示窗口会被放大的显示窗口隐藏。为防止这个情况发生，当放大的显示窗口BW571、 BW572的数量超过预定值时，减小放大的显 示窗口的纵向和横向长度以减少其整个屏幕尺寸。 (6)显示窗口轨迹显示处理如上所述，在图像处理设备2中，当通过显示窗口W57显示视频 数据的重放图像时，每当更新构成视频数据的图片(静止图像)时改变 三维显示空间上的显示窗口W57的位置。在这种配置中，可能有给定 位置处的显示窗口W57在一段预定时间过去之后被移动到远离前一 位置的位置上的情况。在这种情况下，用户难以记住正在重放的图像 先前时刻所具有的特征，因此用户不能充分地掌握视频数据的全部特 征(趋势)。考虑到以上问题，在图像处理设备2中，显示窗口W57在三维显 示空间上移动的同时，显示窗口W57的移动过程被显示为轨迹，从而 使得用户在视觉上确认在视频数据的显示期间，重放视频数据图像过 去所具有的和/或将来将具有的特征的类型。因而，即使在显示视频数 据的重放图像的显示之后，用户也可以充分地识别出视频数据的特征 (趋势)。在下文中，将描述实现以上优点的轨迹显示处理。(6-1)普通轨迹显示模式图36示出了选择整个轨迹显示模式的情况。在此情况下，图像处 理设备2的微处理器3每当更新静止图像时，沿着箭头的方向移动视频 数据的显示窗口W57，同时将描述与正在显示的静止图像相关地排列 的显示窗口W57的以往移动的轨迹以及描述显示窗口 W57的将来移 动的轨迹显示为连线。当显示以往轨迹时，每当更新显示窗口W57的静止图像，图像处 理设备2的微处理器3通过连接随着显示窗口W57的移动而移动的显 示窗口W57的重心生成连线，并且用例如红色将所生成线显示为以往 轨迹。当显示将来轨迹时，图像处理设备2的微处理器3基于从现在起将 被更新的显示窗口 W57的静止图像的特征量，计算显示窗口 W57将移动到的坐标参数(坐标位置)，通过顺序连接计算出的坐标位置上的显示窗口W57的将来重心生成连线，并且用例如蓝色将所生成的连线显 示为将来轨迹。也就是说，在图像处理设备2中，从显示窗口W57在后方延伸的 以往轨迹被显示为红线，而从显示窗口 W57在前方延伸的将来轨迹被 显示为蓝线。如上所述，以颜色编码的方式显示以往和将来轨迹，从 而使得用户立即并且直观地识别出显示窗口W57将移动的方向。取代以颜色编码的方式显示以往和将来轨迹，图像处理设备2的 微处理器3可采用任何其他显示方法来表示轨迹。例如，以往轨迹和 将来轨迹可以分别用实线和虚线来显示。虽然在以上描述中，图像处理设备2的微处理器3显示了显示窗口 W57的以往和将来轨迹二者，但是根据用户的模式选择可以只显示以 往和将来轨迹中的一个。将利用图37的流程图描述图像处理设备2的微处理器3执行的上 述轨迹显示处理的过程。图像处理设备2的微处理器3执行程序RT9的初始化步骤，并且前 进到下一步SP161，其中其接收用户的选择以指定将显示其轨迹的视 频数据，然后前进到步骤SP162。在步骤SP162中，图像处理设备2的微处理器3识别相应于构成目 标视频数据的各个静止图像的位置处的显示窗口W57的重心，然后前 进到步骤SP163。在步骤SP163中，图像处理设备2的微处理器3连接在步骤SP162 中所识别出的重心，以生成表示轨迹的连线，该轨迹描述视频数据的 显示窗口W57的移动的，然后前进到步骤SP164。在步骤SP164中，图像处理设备2的微处理器3确定示出以往轨迹 的以往轨迹显示模式是否已被用户选择。当得到肯定结果时，图像处 理设备2的微处理器3前进到步骤SP165，显示在以往方向上从当前显 示窗口W57延伸的连线作为以往轨迹，然后前进到步骤SP169，以便 结束该处理流程。52反之，当在步骤SP164中得到否定结果时，其意味着用户已选择 示出将来轨迹的将来轨迹显示模式或示出包含以往和将来的全部轨 迹的全部轨迹显示模式，图像处理设备2的微处理器3前进到步骤 SP166。在步骤SP166中，图像处理设备2的微处理器3确定将来轨迹显示 模式是否已被用户选择。当得到肯定结果时，图像处理设备2的微处 理器3前进到步骤SP167，显示在将来方向上从当前显示窗口W57延伸 的连线作为将来轨迹，然后前进到步骤SP169，以便结束该处理流程。反之，当在步骤SP166得到否定结果时，其意味着用户已选择全 部轨迹显示模式，图像处理设备2的微处理器3前进到步骤SP168，其 中其显示包含从当前显示窗口W57延伸的以往侧和将来侧连线的全 部轨迹，然后前进到步骤SP169以便结束该处理流程。因而，在图像处理设备2的微处理器3中，在针对显示窗口W57 只显示以往轨迹的情况下，如图38所示，只显示从当前显示窗口W57 沿以往方向(即后方)延伸的连线，使得用户得到一种仿佛移动物体边 排气边移动的印象。此外，在针对显示窗口W57只显示将来轨迹的情况下，如图39 所示，只显示从当前显示窗口W57沿将来方向(即前方)延伸的连线， 使得用户得到一种仿佛移动物体边移动边照亮其行进方向的印象。附带地，在显示将来轨迹的情况下，可采用一种配置，其中起初 没有显示达到结束位置POe(图36)的全部将来轨迹，而只显示了从当 前显示的显示窗口 W57延伸的预定长度的连线作为将来轨迹。如上 所述，当结束位置POe起初未呈现给用户时，用户可以欣赏显示窗口 W57的移动，而估计结束位置POe。进一步地，在针对显示窗口W57显示包含以往和将来轨迹二者的 全部轨迹的情况下，如图40所示，显示从当前显示窗口W57沿前和后 方向延伸的连线，使得用户得到一种仿佛火车在铁轨上移动的印象。如上所述，图像处理设备2的微处理器3使得用户从上述三个模式 中任意选择轨迹显示方法，从而通过最容易识别的轨迹模式呈现视频数据的每个静止图像的特征(趋势)。(6-2)利用多个显示窗口的轨迹显示模式如图36所示，图像处理设备2的微处理器3被配置成不仅显示正在 移动的显示窗口W57，而且在视频数据重放开始时间点的显示窗口 W57的起始位置POs处，以及在视频数据重放结束时间点的显示窗口 W57的结束位置POe处，显示显示窗口W57s和W57e，显示窗口W57s 和W57e各自示出该时间点处的静止图像。图像处理设备2的这种配置使得用户在视觉上确认相应于该视频 数据的显示窗口 W57 ，以直观地识别从三维显示空间上的起始位置 POs到三维显示空间上的结束位置POe的全部过程作为表示显示窗口 W57的全部轨迹的图像。当然，在图像处理设备2的微处理器3中，并不总是必须显示开始 和结束位置Pos和Poe处的显示窗口 W57s和W57e，而是可以通过用户 的选择操作不显示它们。进一步地，当用户双击起始位置POs附近所提供的全部窗口显示 按键Z1(图36)时，如图45所示，图像处理设备2的微处理器3以预定间 隔显示显示窗口 W57的 一部分(W57s到W57e),或由构成视频数据的 多个图片(静止图像)所确定的三维显示空间上的位置处的全部显示窗 口W57s到W57e,从而取代显示以往和将来轨迹或在显示以往和将来 轨迹的同时呈现给用户由多个显示窗口W57 (W57s到W57e)所形成的连续序列作为视频数据的特征(趋势)。进一步地，如附图42所示，当识别出用户对轨迹上给定点的点击 操作时，图像处理设备2的微处理器3通过显示窗口W57开始重放处 理，并且执行直到相应于显示窗口W57e的结束位置POe的重放图像的 预览显示。利用图像处理设备2的这个配置，在使用户从视觉上确认通过重 放视频数据，以移动方式从起始位置POs到结束位置POe通过显示窗 口W57显示静止图像的状态之后，可以在用户的期望位置处通过显示 窗口W57继续进行显示处理，从而显著增强用户的可操作性。附带地，当即使在显示相应于视频数据的显示窗口期间，用户点击轨迹上的给定点时，图像处理设备2的微处理器3在给定点处通过显 示窗口W57开始重放处理，并且同时，就可视能力而言取消此时已显 示的显示窗口W57直到轨迹线上只剩余一个显示窗口W57。然而，当用户确定在图像处理设备2不削弱可视能力时，可同时 在轨迹线上以移动方式显示多个显示窗口W57。在这种情况下，如图43所示，图像处理设备2的微处理器3以移动 方式在轨迹上并行显示两个显示窗口 W57，使得用户更加容易地搜索 其期望的画面。进一步地，如图44所示，图像处理设备2的微处理器3可以保持在 显示窗口 W57的轨迹上的预定位置处显示已经预先被设置成代表画 面的静止图4象的显示窗口W57a， W57b， W57c和W57d。利用这个配置，即使从起始位置POs到结束位置POe以移动方式 显示显示窗口W57之后，轨迹上还保持显示示出了相应于代表画面的 静止图4象的显示窗口W57a、 W57b、 W57c和W57d。因而，仅仅通过 显示窗口W57a、 W57b、 W57c和W57d就在视觉上确认相应于代表画 面的静止图像，用户可以轻易地不仅掌握视频数据的整体趋势，而且 掌握各个代表画面的特征的趋势。在视频数据的来源是DVD的情况下，这种代表画面对应于针对 每个章节已经预先设定的代表静止图像。因此，当通过显示窗口W57 重放DVD的视频数据时，图像处理设备2的微处理器3很容易地实现用 于保持显示代表画面的轨迹显示处理。在图像处理设备2中，虽然相应于代表画面的显示窗口W57按照 以上所述保持显示，但是可以以时间为基础，例如以固定时间间隔保 持显示显示窗口。在这种情况下，用户可以在视觉上确认通过以固定 时间间隔存在的显示窗口 W57所显示的静止图像，使得即使在利用显 示窗口 W57重放处理视频数据之后，用户也可以通过以固定时间间隔 保持显示的显示窗口W57立即掌握视频数据的特征(趋势)。(6-3)画面改变时刻或闪现时刻的轨迹显示才莫式55如图45所示，在通过显示窗口 W57重放视频数据的图像期间存在 画面改变或闪现的情况。在画面改变之前的静止图像的特征量明显不 同于画面改变之后的静止图像的特征量的情况下，有时画面改变之前 的显示窗口 W57before会明显地跳到画面改变之后的显示窗口 W57after。在这种情况下，图像处理设备2如上所述执行坐标补偿处理程序 SRT1，以免使显示窗口 W57before在一个单次动作中跳到显示窗口 W57after，而是从相应于显示窗口W57before的位置顺序地排列显示 窗口W57，同时朝着目的地的方向以逐步方式减小移动距离，从而使 用户在视觉上确认在画面改变的时候从显示窗口 W57before到 W57after的移动。这种坐标补偿处理可用轨迹显示模式实现。在这种情况下，图像处理设备2的微处理器3不允许显示窗口 W57 在其轨迹上在一个单次动作中跳到目标，而允许显示窗口W57以逐步 方式从画面改变之前的显示窗口 W57before的位置移动到画面改变之 后的显示窗口W57after的位置。此时，图像处理设备2的微处理器3仅 突出(例如用半透明颜色或用闪烁方式显示该显示窗口W57)以逐步方 式移动的显示窗口W57。图像处理设备2的微处理器3保持显示画面改变之前的显示窗口 W57before和画面改变之后的显示窗口 W57after二者，从而使用户始 终在视觉上确认画面改变前后的内容。附带地，取代执行上述坐标补偿处理程序SRT1，图像处理设备2 的微处理器3可通过显示窗口 W57after以固定间隔重复显示画面改变 前后的位置之间变化的静止图像。此时，移动显示速度相对于跳跃速 度被极大降低。图像处理设备2的微处理器3可设置移动显示速度，使得显示窗口 W57after的画面改变前后的位置之间的距离L2与显示窗口W57移动 距离L2所需要的移动时间t2具有如图46(A)所示的线性关系，或使得距 离L2与移动时间t2具有如图46(B)和46(C)所示的非线性关系。在这种情况下，当允许显示窗口W57以逐步方式从画面改变之前的显示窗口 W57before的位置移动到画面改变之后的显示窗口 W57after的位置时，图像处理设备2的微处理器3可以用这样的方式改 变显示窗口W57的移动速度，起初以高速移动显示窗口W57,然后逐 渐降低其移动显示速度。进一步地，当识别出针对在轨迹上移动的显示窗口 W57的用户点 击操作时，图像处理设备2的微处理器3在确定的位置处根据此时相应 静止图像的特征量，若干秒或暂时地保持显示所点击的显示窗口 W57。当识别出针对显示窗口W57的另一个点击操作时，图像处理设 备2的微处理器3在该时间点处删除所点击的显示窗口 W57或通过显 示窗口 W57恢复重放图像。(6-4)利用时间代码的轨迹显示模式如图47所示，当显示窗口W57在三维显示空间上的同时通过显示 窗口W57重放视频数据时，图像处理设备2的微处理器3可沿着显示窗 口W57的轨迹上的预定位置显示时间代码显示帧TWl到TWn。图像处理设备2的微处理器3从相应于各个静止图像的元数据文 件MDF中读出在时间代码显示窗口TWl到TWn中显示的与视频数据 相关的时间代码信息，并且使用所读出的时间代码信息显示时间代码 显示帧T W1到T Wn的时间代码。进一 步地，图像处理设备2的微处理器3可以将相应时间代码不仅 添加到轨迹上的位置，而且也添加到示出相应于代表画面的静止图像 的保持显示的显示窗口 W57上，并且通过时间代码显示帧TW3和TWe 在结束位置POe处保持显示的显示窗口W57e。因而，不仅根据视频数据的进程以移动方式显示的显示窗口 W57 的轨迹，而且视频数据的时间信息通过被加到轨迹线上的位置和显示 窗口 W57的时间代码显示帧TWl到TWn到TWe都可被呈现给用户，从 而用户可搜索其期望的画面，同时通过时间代码显示帧TW1到TW4 识别视频数据的时间过程。在具有非常相似的特征的多个视频数据通过其各自显示窗口 W57被重放的情况下，所得到的各个显示窗口W57的轨迹变得彼此非常相似。在这种情况下，显示了三个相似轨迹。通过在视觉上确认该状态，用户基于轨迹之间的相似性可估计三 个视频数据具有相似内容，从而容易地管理和搜索视频数据。(6-5)轨迹显示期间的显示窗口控制模式图像处理设备2根据显示视频数据的重放图像的进程可以移动方 式显示显示窗口W57，同时除了显示其轨迹，还改变显示窗口W57的 尺寸和形状，下面将描述这一点。具体地说，在如图48 (A)所示的RGB颜色分量被设置成显示轴的 参数的三维显示空间上，在以移动方式沿着视频数据的显示窗口W57 的轨迹显示其的情况下，除了被用作显示轴的特征参数的RGB颜色分 量中的特征量之外，图像处理设备2的微处理器3还从静止图像的各个特征量。当密度信息的特征量超过预定阈值时，如图48 (B)所示，图 像处理设备2的微处理器3用预定因子放大该时间点处相应于静止图 像的显示窗口W57的尺寸。当静止图像的密度信息的特征量小于预定阈值时，如图48 (C)所 示，图像处理设备2的微处理器3用预定因子减小该时间点处相应于静 止图像的显示窗口W57的尺寸。也就是说，在静止图像包含大量高频分量，使密度信息的特征量 超过预定阈值的情况下，图像处理设备2的微处理器3放大相应于静止 图像的显示窗口W57的尺寸，从而增强用户可视能力。反之，在静止图像几乎不包含高频分量，使密度信息的特征量变 得小于预定阈值的情况下，图像处理设备2的微处理器3确定即使减小 图像尺寸也几乎不改变用户的可视能力，并且减小显示窗口 W57的尺 寸，从而会处理负荷降低。附带地，虽然除了构成显示轴的颜色分量之外静止图像的密度信 息也被用作参数，以按上述放大或减小显示窗口W57的显示尺寸，但 是其它各种特征量，例如运动量、色相以及音量也可被用于放大或减小显示窗口W57的尺寸。进一步地，不仅可以放大或减小显示窗口58W57的尺寸，而且可以改变显示窗口W57的帧的形状，或控制显示尺 寸和帧形状二者。 (7)操作和优点如上所述，当通过显示窗口W57显示视频数据的重放图像时，根 据构成视频数据的各个静止图像的特征量，每当更新视频数据的帧 时，图像处理设备2的微处理器3在利用由用户指定的显示轴所生成的 三维显示空间上顺序排列显示窗口 W 5 7 。每当更新视频数据的帧时特征量就改变，以改变显示窗口W57 的目的地坐标位置，从而给用户 一种显示窗口 W57仿佛以浮动方式在 三维显示空间上移动的印象。例如，在移动目的地中用摄像机拍摄的视频数据被排列在三维显 示空间上，并且通过显示窗口 W57显示视频数据的重放图像的情况 下，示出例如"海"的显示窗口W57移动到排列有摄于海滩上的视频数 据的大量显示窗口 W57的区域。当视频数据的画面然后被更新到，，山" 的静止图像时，显示窗口W57相应地移动到排列有摄于山林中的视频 数据的大量显示窗口W57的区域。当视频数据的画面然后更新到，，建 筑，，的静止图像时，显示窗口W57相应地移动到排列有摄于市中心区 的视频数据的大量显示窗口W57的区域。显示窗口 W57的运动本身表示视频数据的特征，使得用户通过三 维显示空间上显示窗口W57的位置变化以及显示窗口W57的运动图 像本身，可以直观地识别视频数据的特征(趋势)。在一个常规方案中，只有构成视频数据的多个静止图像的第一个 图像被按缩略图查看方式显示。然而，上述方案不一定表示视频数据 的趋势。在本发明中，由构成视频数据的静止图像特征量变化所引起 的显示窗口 W57的移动本身作为运动图像呈现给用户，使用户正确地 理解视频数据的特征(趋势)，其有利于视频数据的搜索或管理。在视频数据的重放期间存在画面改变或闪现的情况下，图像处理 设备2不允许显示窗口 W57在一个单次动作中从画面改变或闪现之前 的三维显示空间上的位置跳到画面改变或闪现之后的三维显示空间上的位置，而是以移动方式显示显示窗口W57，同时朝着目的地的方 向以逐步方式减小移动距离，从而防止用户跟不上显示窗口W57的轨 迹。因而，用户可不中断地将显示窗口W57掌握为运动图像。进一步地，当相应于多个视频数据的多个显示窗口W57被用来同 时执行重放处理时，每当更新视频数据的帧时，相应于具有相似特征 量的视频数据的显示窗口W57就被汇集在三维显示空间上的特定区 域，从而使用户通过三维显示空间上汇集或分散的显示窗口W57的排 列状态，直观并且容易地识别多个视频数据的特征(趋势)。进一步地，当在重放视频数据的状态下定义三维显示空间的显示 轴的参数被用户的指令改变以显示三维显示空间上的显示窗口W57 时，图像处理设备2生成一个新三维显示空间，从而明显改变了将被 显示在其上的显示窗口W57的排列状态。即，用户可以基于其期望的 参数自由改变显示窗口W57的排列状态。进一步地，当以移动方式显示显示窗口W57时，图像处理设备2 根据用户的选择，和显示窗口 W57—起显示显示窗口 W57的以往轨 迹、其将来轨迹或以往和将来轨迹二者，从而在视觉上提供三维显示 空间上的显示窗口W57的以往和将来移动。因此，仅仅通过比较相应 于多个视频数据的显示窗口 W57的轨迹，用户就可以直观地理解作为 轨迹线图像的视频数据之间是否存在相似性。当在编辑窗口的显示区55上排列相应于视频数据的显示窗口 W57，从而提供显示窗口作为图像组58时，图像处理设备2不显示定 义三维显示空间的显示轴本身，而排列显示窗口W57，使得全部显示 窗口 W57始终被定位于用户的观看的正前方，使用户容易理解在三维 显示空间上排列的多个显示窗口W57。如上所述，在重放视频数据的情况下，每当更新构成视频数据的 各个静止图像时，静止图像的特征量就被改变。根据图像的特征量中 的变化，图像处理设备2以移动方式显示显示窗口W57，同时改变显 示窗口 W57和三维显示空间之间的相对位置关系，从而根据图片的特 征中的变化将视频数据具有的重放图像的特征(趋势)表示为显示窗口W57的运动，使用户直观地识别显示窗口W57的运动图像。因而可以 有利于通过直观图像分类、管理和搜索大量视频数据。 (8)另一个实施例虽然在上述实施例中说明了根据本发明的另 一个实施例的视频 处理装置被应用于图像处理设备2的情况，但是本发明不局限于这个 情况。可选地，视频处理装置可被应用于简单计算机上。在这种情况 下，由摄像机所摄的多个视频数据被存储在计算机的内部硬盘驱动器 中，并且全部视频数据被排列在三维显示空间上以便显示，从而使用 户直观地识别静止图像视频数据的特征或整体趋势，并且容易搜索其 期望的图像。进一步地，虽然在上述实施例中说明了显示窗口 W57被排列在三 维显示空间上的情况，但是本发明不局限于这个情况。可选地，如图 49所示，显示窗口W57可被排列在一个二维显示空间上，并且进一步 地，其轨迹可被显示在该二维显示空间上。此外，虽然上述实施例中说明了利用构成视频数据的图片(静止 图像)已作为特征参数设置成显示轴的R (红)、B (蓝)和亮度产生三维 显示空间的情况，但是本发明不局限于这个情况。可选地，可以使用 与静止图像相关的音频信息或时间信息作为显示轴的参数，或可以使 用R(红)和B(蓝)二者作为显示轴的一个参数。如上所述，根据用户的 偏好可生成用于排列显示窗口W57的各种多维显示空间。例如，如图50所示，图像处理设备2沿着时间轴可排列由亮度、 R(红)和B(蓝)所确定的显示轴限定的三维显示空间，以及由运动量、 DCT垂直频率和DCT水平频率所确定的显示轴限定的三维显示空间 来生成四维显示空间，以便在该四维显示空间上排列视频数据的显示 窗口W57，并且与重放处理一起以移动方式显示显示窗口W57。进一步地，虽然在上述实施例中说明了根据视频数据的重放以移 动方式在三维显示空间显示显示窗口W57的情况，但是本发明不局限 于这个情况。可选地，如图51所示，根据用户对编辑窗口50的显示区 55上提供的水平滚动条66上的TAB67的操作，显示窗口W57可被沿着显示窗口W57的轨迹移动到以往或将来一侧。在这种情况下，用户可以自由地按其自己的意愿控制三维显示空 间上的显示窗口W57的位置，因此更加容易搜索其期望的画面或执行 编辑工作。进一步地，虽然上述实施例中说明了通过显示窗口W57显示显示 视频数据的重放图像的情况，但是本发明不局限于这个情况。例如， 在构成图像组58的显示窗口W57彼此重叠的情况下， 一些显示窗口 W57可能被其它显示窗口W57隐藏。在这种情况下，对于被隐藏的显 示窗口W57，构成视频数据的静止图像的更新速度可以被降低以极大 降低重放速度，分辨率可以被减小，静止图像可以不更新、或可以不 显示图像。如上所述，通过消除用户不能从视觉上确认的显示窗口 W57的重放显示处理，微处理器3上的处理负荷可被降低。进一步地，虽然上述实施例中说明了时间代码显示帧TW (图47) 被加到轨迹线或显示窗口W57上的情况，但是本发明不局限于这个情 况。可选地，只要重放已过的时间可被通知给用户，诸如帧数通知窗 口或字段号通知帧的各种通知窗口可,皮加到显示窗口 W57的轨迹线 上。进一步地，虽然在上述实施例中针对视频数据的每个图片(静止 图像)计算特征参数或相关参数，但是也可以以多个图片为基础，例如 以一个GOP为单位计算。例如，构成一个GOP的全部图片的特征参 数的平均值或从构成一个GOP的图片中被选择的指定的I图片的特征 参数(相关参数)可被用作一个GOP的特征参数。在以多个图片为单位例如一个GOP计算特征参数或相关参数， 以便被存为元数据的情况下，与以图片为基础计算特征参数或相关参 数相比，元数据的尺寸可被降低，分析元数据所需的处理负荷也可被 降低。在用MPEG视频格式编码视频数据的情况下，当在产生元数据的 时候计算图片基础或GOP基础的特征参数或相关参数时，获取的特征频流中的图片头或GOP头中。(9)与视频数据有关系的相关参数虽然上述实施例中说明了构成视频数据的图片(静止图像)的特 征参数，但是本发明可被应用于利用与视频数据关联(相关)的参数(相 关参数)的配置中。相关参数的例子包含表示视频数据被拍摄或记录的 时间的时间信息、表示视频数据被拍摄或记录的地点的位置信息(经/ 辟度信息)、用于识别视频数据的所有者或创建者的识别信息、用于识 别通过网络访问视频数据的用户的识别信息、表示访问视频数据的次 数的访问的次数、用于识别视频数据的组的组识别信息、用于识别包中的标题类别、关键字或副标题信息:。;用l知技术可生成这些相关术语"关联(相关)"状态表示数据和参数(元数据)彼此关联的状 态。例如，即使在视频数据和元数据被记录在不同记录介质中或从 不同传输线路传输时，如果用于识别视频数据或视频数据的图片数的 信息被包含在参数(元数据)中，也可以随后将视频数据与元数据互相 关联起来。在本实施例中，这种情况被归入，，关联(相关)"状态。根据相同处理过程，这种相关参数连同特征参数一起被如上所述 使用以实现上述的显示配置。如图52所示，可以考虑共同管理从服务器(视频DB、元数据/视频 DB)中的多个用户1到N提供(上载)的视频数据，并且允许用户通过网 络访问其感兴趣的视频数据以便确认视频数据的内容的应用。在这种情况下，数据库可以管理每个视频数据的相关参数。例如， 在访问表示视频数据被访问的次数的访问次数被包含在相关参数的 情况下，显示窗口的显示尺寸可根据访问次数的增减来改变(例如，当 访问次数超过预先设置的阈值时，确定相应视频数据受欢迎，则增加 视频数据的显示窗口的尺寸或突出其显示窗口)。此外，在用于识别视 频数据的所有者或创建者的识别信息被包含在相关参数中的情况下， 可为每个用户设置显示空间。进一步地，显示空间可在分类基础上生63例如，如图53所示，用比显示窗口W57J、 W57—3和\￥57_4大的 尺寸来显示显示窗口\￥57_2、 W57一5和W57一6。这意味着访问前者显 示窗口的次数大于访问后者显示窗口的。在图50中，说明了时间轴被用来生成四维显示窗口的情况。当利 用上述相关参数时，可获取各种显示配置。例如，在利用GPS生成的、 与视频数据有关系的位置信息(绵度/经度)被包含在相关参数中的情 况下，如图54所示生成位置信息被增加为显示轴的显示空间。在这种 情况下，视频数据和三维显示空间彼此结合随着位置信息的变化而移 动。进一步地，如图52所示，大量用户提供大量视频数据的情况下， 作为特征参数和相关参数的相似性被用来按照相似性和位置信息分 组视频数据，并且针对每个组生成显示空间。特别地，在类似视频投 送站点和SNS(社会网络服务)的应用中，针对每个组生成的显示空间 可被看作一个团体。因而，从若干用户投送的视频数据被用来促进用 户之间的通信。(IO)本发明适用的装置虽然在上述实施例中说明了本发明被应用于具有如图l所示的配 置的图像处理设备2的情况，但是本发明不局限于这个情况。可选地， 本发明可被广泛地应用于其它各种图像处理设备，只要其可以实现作 为图像处理设备的功能。图像处理设备的例子包含计算机、摄像机、数字照相机、游戏设 备、便携信息终端(便携式计算机、移动电话、便携式游戏设备)、存 储设备(光盘设备、家庭服务器)，以及实现实施本发明的功能的处理 板或处理卡。在任一情况下，上述图像处理设备通常包含外壳、信号处理部分、 以及外部接口，并且根据其产品形式分别包含外围单元。例如，在摄 像机或数字照相机的情况中，除了上述常见部件，其还包含照相机单 元和用于将被摄视频图像数据存储在存储介质中的写入电路。在具有64通信功能的电子装置例如移动电话的情况中，除了上述常见部件，其 还包含发送/接收电路和天线。此外，虽然上述实施例已说明了微处理器3启动存储在硬盘驱动 器7中的视频处理程序，以移动方式在三维空间上显示显示窗口W57 的情况，但是本发明不局限于这个情况。可选地，存储视频处理程序 的程序存储介质可被安装到微处理器3，以便执行上述显示处理。使用于在执行显示处理的视频处理程序在安装程序到硬盘驱动 器7中之后能被执行的上述程序存储介质的例子不仅包含封装介质， 例如软盘、CD-ROM (光盘只读存储器)、DVD(数字通用光盘)，而且 还包含临时或永久存储视频处理程序的半导体存储器或磁盘。此外， 作为用于将视频处理程序存储在上述程序存储介质中的装置，可以使 用有线或无线通信介质，例如局域网、因特网或数字卫星广播，并且 在这种情况下，程序可通过各种诸如路由器或调制解调器的通信接口 存储在程序存储介质中。此外，虽然上述实施例已说明了作为根据本发明的视频处理装置 的图像处理设备2由充当显示空间产生装置和转换装置的微处理器3 ， 以及充当分类/排列装置的微处理器3和GPU 4构成，但是本发明不局 限于这个情况。可选地，根据本发明的图像处理设备可由显示空间产 生装置、转换装置和由其它各种电路结构实现的分类/排列装置构成。在本发明的宗旨和范围内可以进行各种修改。进一步地，可以基 于以上所述的本发明进行各种修改和应用。工业实用性根据本发明的图像处理设备和图像处理方法可以被广泛应用于 在显示屏幕上重放视频数据的各种类型图像处理设备。
权利要求
1.一种图像处理设备，其特征在于包括获取装置，该装置用于获取表示视频数据或音频数据的特征的特征参数或与所述视频数据或音频数据关联的相关参数、以及所述视频数据；以及元数据生成装置，该装置用于利用从所述特征参数指示的特征值或所述相关参数指示的相关值转换的坐标参数，从通过所述获取装置获取的特征参数或相关参数生成元数据，以通过由显示轴限定的显示空间上的显示窗口显示所述视频数据，所述显示轴由所述获取装置所获取的特征参数或相关参数来确定。
2. 如权利要求l所述的图像处理设备，其特征在于 所述获取装置以图片或GOP为单位从所述视频数据中获取所述特征参数。
3. 如权利要求l所述的图像处理设备，其特征在于所述获取装置以预定时间间隔从所述音频数据中获取所述特征参数。
4. 如权利要求l所述的图像处理设备，其特征在于还包括编码所 述视频数据以生成视频流的视频编码器。
5. 如权利要求4所述的图像处理设备，其特征在于还包括记录装 置，该装置用于在记录介质中记录由所述元数据生成装置生成的元数 据和由所述视频编码器生成的视频流。
6. 如权利要求4所述的图像处理设备，其特征在于 所述视频编码器从所述视频数据生成具有第一分辨率的第一视频数据和具有比所述第一分辨率低的分辨率的第二视频数据，并分别 编码所生成的第一和第二视频数据以生成第一视频流和第二视频流。
7. 如权利要求4所述的图像处理设备，其特征在于 所述视频编码器利用第一格式编码所述视频数据以生成第一视频流，以及利用比所述第一格式具有更小数据量的第二格式编码所述视频数据以生成第二视频流。
8. 如权利要求6所述的图像处理设备，其特征在于 所述记录装置在不同记录介质中记录所述第 一视频流和第二视频流。
9. 如权利要求7所述的图像处理设备，其特征在于 所述记录装置在不同记录介质中记录所迷第一视频流和第二视频流。
10. 如权利要求5所述的图像处理设备，其特征在于还包括发送 装置，该装置用于将记录在记录介质中的所述元数据和视频流发送给 重放所述视频流的重放单元。
11. 如权利要求l所述的图像处理设备，还包括选择装置，该装 置用于从多个所述特征参数或相关参数中，选择被用来改变显示所述 视频数据的所述显示窗口的显示模式的特征参数或相关参数作为显 示参数，其特征在于，所述元数据生成装置生成包含所述显示参数的元数 据，以根据所述选择装置所选择的显示参数的值来改变显示所述视频 数据的显示窗口的显示模式。
12. 如权利要求ll所述的图像处理设备，其特征在于 所述显示模式包含所述显示窗口的尺寸、所述显示窗口内的对比度、所述显示窗口内的透明度或所述显示窗口的框的加亮。
13. 如权利要求l所述的图像处理设备，还包括选择装置，该装 置用于从多个所述特征参数或相关参数中，选择被用来选择要显示具 有第一分辨率的高分辨率视频数据还是具有低于第一分辨率的分辨 率的低分辨率视频数据的特征参数或相关参数作为重放模式参数，其特征在于，所述元数据生成装置生成包含所述重放模式参数的 元数据，以根据所述选择装置所选择的重放模式参数的值有选择地显 示所述高分辨率视频数据或低分辨率视频数据。
14. 如权利要求13所述的图像处理设备，其特征在于还包括发送 装置，该装置用于根据所述选择装置所选择的重放模式参数的值，选择通过编码所述高分辨率视频数据而获得的高分辨率视频流或通过 编码所述低分辨率视频数据而获得的低分辨率视频流，以及发送所选 择的视频流.
15. 如权利要求l所述的图像处理设备，还包括选择装置，该装 置用于从多个所述特征参数或相关参数中，选择被用来选择要显示基 于第一格式的视频数据还是基于比所述第一格式具有更小数据量的 第二格式的视频数据的特征参数或相关参数作为重放模式参数，其特征在于，所述元数据生成装置生成包含所述重放模式参数的 元数据，以根据所述选择装置所选择的重放模式参数的值，有选择地 显示基于所述第一格式的视频数据或基于所述第二格式的视频数据。
16. 如权利要求15所述的图像处理设备，其特征在于还包括发送 装置，该装置用于根据所述选择装置所选择的重放模式参数的值，选 择通过编码基于第一格式的所述视频数据而获得的第一视频流或通 过编码基于第二格式的所述视频数据而获得的第二视频流，以及发送 所选择的视频流。
17. 如权利要求l所述的图像处理设备，其特征在于在所述显示空间上多个视频数据之间的距离处于预定值以内的 情况下，所述元数据生成装置生成表示所述视频数据的图像彼此相似 的相似性信息作为所述元数据。
18. 如权利要求l所述的图像处理设备，其特征在于 所述显示空间包含由所述显示轴限定的三维显示空间，所述显示轴由三个不同的特征参数或相关参数确定。
19. 如权利要求l所述的图像处理设备，其特征在于 所述特征参数包含所述视频数据的运动量、亮度、色相、红色分量、蓝色分量和绿色分量中的至少一个。
20. 如权利要求3所述的图像处理设备，其特征在于 所述特征参数包含音频的信号电平。
21. 如权利要求l所述的图像处理设备，其特征在于 所述相关参数包含所述视频数据的时间代码。
22. 如权利要求l所述的图像处理设备，其特征在于所述相关参数包含表示所述视频数据被摄或记录的时间的时间信息。
23. 如权利要求l所述的图像处理设备，其特征在于 所述相关参数包含表示所述视频数据被摄或记录的位置的位置信息。
24. 如权利要求l所述的图像处理设备，其特征在于 所述相关参数包含用于识别所述视频数据的所有者或创建者的识别信息。
25. 如权利要求l所述的图像处理设备，其特征在于所述相关参数包含用于识别已访问所述视频数据的用户的识别"f^息o
26. 如权利要求l所述的图像处理设备，其特征在于 所述相关参数包含所述视频数据被访问的次数。
27. 如权利要求l所述的图像处理设备，其特征在于所述相关参数包含用于识别所述视频数据的组的组识别信息。
28. 如权利要求l所述的图像处理设备，其特征在于 所述相关参数包含用于识别包含在所述视频数据中的人物的面部的面部识别信息。
29. 如权利要求l所述的图像处理设备，其特征在于 所述相关参数包含所述视频数据中包含的标题、关键字或副标题信息。
30. —种图像处理方法，其特征在于包括获取步骤，获取表示视频数据或音频数据的特征的特征参数或与 所述视频数据或音频数据关联的相关参数、以及所述视频数据；以及元数据生成步骤，利用从所述特征参数指示的特征值或所述相关 参数指示的相关值转换的坐标参数，从所述获取步骤中获取的特征参 数或相关参数生成元数据，以通过由显示轴限定的显示空间上的显示 窗口显示所述视频数据，所述显示轴由所述获取步骤中获取的特征参 数或相关参数来确定。
全文摘要
本发明有利于视频数据的搜索或管理。本发明获取表示视频数据或音频数据的特征的特征参数或与所述视频数据或音频数据关联的相关参数以及视频数据，并且利用从所述特征参数指示的特征值或所述相关参数指示的相关值转换的坐标参数，从所获取的特征参数或相关参数产生元数据，以便通过由显示轴限定的显示空间上的显示窗口显示所述视频数据，所述显示轴由获取的特征参数或相关参数确定。
文档编号G06F3/0484GK101326819SQ20078000063
公开日2008年12月17日 申请日期2007年4月23日 优先权日2006年4月24日
发明者荻洼纯一 申请人:索尼株式会社