图像显示系统、装置和方法,图像发送装置和方法,以及程序的制作方法

专利名称：图像显示系统、装置和方法,图像发送装置和方法,以及程序的制作方法
技术领域：
本发明涉及适合应用于例如监视系统的图像显示系统、图像发送装 置、图像发送方法、图像显示装置、图像显示方法、以及程序。具体而 言，本发明涉及这样的图像显示系统等，其中，在图像发送装置侧，通过 对适配成拾取全景图像而生成的来自多个相机部分的各个图像数据执行处 理，来生成和发送通过对高分辨率的图像数据进行压縮编码而获得的第一 压縮图像数据和通过对低分辨率的图像数据进行压縮编码而获得的第二压 縮图像数据，并且在图像显示装置侧，通过使用多条所接收的第二压縮图 像数据的解码数据来显示全景图像，并且通过使用在多条所接收的第一压 縮图像数据中的与在全景图像上确定的预定位置相对应的分割图像(divided image)的第一压縮图像数据的解码数据来显示高分辨率图像， 从而减少数据发送和图像显示期间的数据处理量并减轻处理负荷。
背景技术：
近年来，数码相机和摄像机中提供的像素数目已经增大。大于1000 万像素的数码相机普遍可见，并且用于消费者的HD (高清晰)摄像机也 已投入市场。当传送通过用这些相机拾取图像而获得的图像数据时，为了 减小传送频带而执行编码处理。编码处理的示例主要包括JPEG、 MPEG-2 和MPEG-4。经常进行这样的尝试，即，使用这些编码技术来将高像素图像发布到 诸如因特网之类的网络上。例如，日本未审查专利申请公布No.2003-18583和2005-333552描述了使用多个相机来记录和发布广角图像(广域 图像)。但是，日本未审查专利申请公布No.2003-18583或2005-333552中所描述的发布具有这样一种类型，其中，图像数据被累积在视频服务器 中。由于预期像素数目今后将进一步增加，所以这种类型在可扩展性方面受到限制。在向更高的像素数目的趋势下，例如，如日本未审查专利申请公布No.2003-162018和No.2002-314867所描述的，提出了在视点一致光学系统 (viewpoint coincident optical system)中使用多个相机的装置，并因而提 高了图像传送时的编码处理的重要性。作为限制传送频带的对策，可以设 想根据传送路径的频带或者在接收侧的多分辨率编码或速率控制方法。这 些方法利用基于小波变换的JPEG 2000技术来实施。此外，构想了这样一种方法，其中，根据情形的变化的同时减少其中 的数据传送，而仅仅传送确定为必要的一部分，并且对数据分辨率进行改 变(例如，参考日本未审査专利申请公布No.2005-176301)。但是，根据 日本未审査专利申请公布No.2005-176301所公开的方法，由于确定为不必 要的区域被预先发送，并且必要区域的图像随后被叠加，所以可能生成外 围区域和注意区域(attention area)之间的时间差。在外围区域周围的变 化被认为并不大的情况下，这个方法是有效的，但是在包括外围区域的图 像需要实时显示的体育广播或音乐会广播的情况下，这种方法并不适合。另外，还提出了使用诸如鱼眼镜头之类的广角图像拾取系统的实施 例。但是，在许多情况下，远处的物体变得较小，并且与正常縮放类型的 监视相机相比，可以对进入视野的人执行监视的距离是不利的。此外，作为用于实时地按多个分辨率来拾取图像的相机，例如，如日 本未审査专利申请公布No.7-143439所公开的，构想了这样一种相机，其 中，低分辨率运动图像与高分辨率运动图像相关联，或者如日本未审查专 利申请公布No.2005-197948所公开的，构想了这样一种相机，其中，基于 高分辨率图像来生成低分辨率图像，并且将所述图像形成为运动图像。但 是，这两种装置都不是用于显示高分辨率运动图像的装置。此外，日本未审査专利申请公布No.2004-62103公开了这样一种方 法，其中，基于预先获得了多个相机的信号的坐标转换表格来分割和显示 在单个HD (高清晰)图像上的图像。这个方法的优点在于，当通过使用 坐标转换表格来根据多个经分割的图像生成全景图像时，可以实时地获得 目标图像。发明内容如上所述，在日本未审査专利申请公布No.7-143439禾P No.2005-197948中记载的技术并不表示用于显示高分辨率运动图像的装置。此外， 例如，根据在日本未审査专利申请公布No.2004-62103中公开的方法，多 个相机信号被集合成一个，以获得最终的输出。但是，该方法很难应对在 显示全景图像时的像素数目的增加和更高的帧速率。希望减少数据发送和图像显示期间的处理数据量和显示高分辨率运动 图像时的处理负荷。根据本发明的一个实施例，提供了一种图像显示系统，该系统包括图像发送装置；和图像显示装置，通过网络连接到图像显示装置的图像发送装置， 该图像发送装置包括，多个相机部分，用于输出与通过将全景图像分割成多个片断而获得的 各个分割图像相对应的图像数据，多个图像数据处理部分，用于对从各个相机部分输出的所述图像数据 执行处理，从而通过对第一分辨率的图像数据进行压縮编码来生成第一压 縮图像数据，并通过对第二分辨率的图像数据进行压縮编码来生成第二压 縮图像数据，其中，第二分辨率低于第一分辨率，以及数据发送部分，用于将在各个图像数据处理部分中生成的第一压縮图 像数据和第二压縮图像数据发送到图像显示装置，该图像显示装置包括，数据接收部分，用于接收从图像发送装置发送而来的第一压縮图像数 据和第二压縮图像数据，第一图像数据生成部分，用于使用在数据接收部分中接收的多条所述 第二压縮图像数据的解码数据来生成用于显示全景图像的全景图像数据，视角确定部分，用于确定在所述全景图像上的高分辨率视角，第二图像数据生成部分，用于使用数据接收部分所接收的多条第一压縮图像数据中的与在视角确定部分中确定的所述高分辨率视角相对应的分 割图像的第一压縮图像数据的解码数据来生成用于显示高分辨率图像的高 分辨率图像数据，以及显示部分，用于在显示器上显示基于在第一图像数据生成部分中生成 的全景图像数据的所述全景图像和基于在第二图像数据生成部分中生成的 高分辨率图像数据的所述高分辨率图像。根据本发明的一个实施例，图像显示系统具有这样的配置，其中，图 像发送装置经由网络连接到图像显示装置。该图像发送装置包括多个相机 部分。利用该多个相机部分来拾取通过分割全景图像(广角图像，或广域 图像)而得到的各个分割图像，并且可以获得与各个分割图像相对应的图 像数据。图像发送装置的各个图像数据处理部分对从各个相机部分输出的图像 数据执行处理，从而通过对第一分辨率的图像数据进行压縮编码来生成第 一压縮图像数据，并通过对第二分辨率的图像数据进行压縮编码来生成第 二压縮图像数据，其中，第二分辨率低于第一分辨率。例如，第一分辨率是UXGA (超级扩展图形阵列)，而第二分辨率是QVGA (四分之一视频 图形阵列)。数据发送部分经由网络将在各个图像数据处理部分中生成的第一压縮 图像数据和第二压縮图像数据发送到图像显示装置。这样，根据本发明的 一个实施例，与使用从各个相机部分输出的图像数据来呈递全景图像并将 其从图像发送装置发送到图像显示装置的情况不同，在图像发送装置侧的 处理数据量减少了，并且处理负荷减轻了。应当注意，根据本发明的一个实施例，例如，各个图像数据处理部分 可以生成包括下述检测信息之一的元数据，所述检测信息是通过对从相机 部分输出的图像数据进行处理而检测到的关于移动物体或静止物体的检测 信息以及来自外部传感器的检测信息，并且数据发送部分可以经由网络将 这个元数据发送到图像显示装置。这样，由于包括元数据的检测信息被发 送到图像显示装置，所以可以在图像显示装置上显示关于全景图像的检测 信息，或者进一步地，可以很容易地显示与检测位置相对应的高分辨率图像等。此外，根据本发明的一个实施例，各个图像数据处理部分可以使用比 用于生成第二压縮图像数据的帧数目少的帧来生成第一压縮图像数据。在 这种情况下，在各个图像数据处理部分中，可以减少高分辨率的第一图像 数据的处理帧的数目，并且减轻处理负荷。另外，根据本发明的一个实施例，各个图像数据处理部分可以从相机 部分所输出的图像数据中切出预定图像区域处的图像数据，并对所切出的 图像数据执行压縮编码，从而生成第一压縮图像数据。例如，基于通过对 从相机部分输出的图像数据进行处理而检测到的关于移动物体或静止物体 的检测信息和来自外部传感器的检测信息中的一个来确定所述预定图像区 域。此外，例如，基于关于在信息接收部分所接收的全景图像上设定的、 预定场角的注意区域的信息来确定所述预定图像区域。在这种情况下，各 个图像数据处理部分执行处理，例如，从相机部分所输出的图像数据中仅 切出在图像显示侧有必要的图像区域的图像数据，因此处理数据量很小， 并且处理负荷减轻了。图像显示装置的数据接收部分接收在图像发送装置的各个图像数据处 理部分中生成的第一压縮图像数据和第二压縮图像数据。第一图像数据生 成部分对多条第二压縮图像数据执行解码，并使用该解码数据来生成用于 显示全景图像的全景图像数据。在这种情况下，第二压縮图像数据与上述 的第二分辨率(低分辨率)的数据相关，因此，在第一图像数据生成部分 中，处理数据量很小，并且处理负荷减轻了。显示部分基于该全景图像数 据来在显示器上显示全景图像。例如，在这种情况下，并没有执行将多条 图像数据集合成一条图像数据的这种处理，但是，却在将各条图像数据布置并保持在与视频RAM相对应的地址中时执行显示。在这种情况下，对策变得很容易应对在显示全景图像时的像素数目的增加和更高的帧速率。应当注意，根据本发明的一个实施例，数据接收部分还接收包括下述 检测信息之一的元数据，所述检测信息是通过对从各个相机部分输出的图 像数据进行处理而检测到的关于移动物体或静止物体的检测信息以及来自 为相应的相机部分设置的外部传感器的检测信息。第三图像数据生成部分可以使用在数据接收部分中接收的多条第二压縮图像数据中的与检测信息 所指示的检测位置相对应的分割图像的第二压縮图像数据的解码数据来生 成用于显示检测位置图像的检测位置图像数据，并且显示部分还可以基于 该检测位置图像数据来显示检测位置图像。在这种情况下，可以在显示器 上以索引显示的形式来显示与各个检测位置相对应的检测位置。然后，在 这种情况下，使用了为了显示全景图像而已经获得的第二压縮图像数据的 解码数据，这不会导致处理负荷的实质上的增加。此外，根据本发明的一个实施例，例如，注意区域设定部分在显示在 显示器上的全景图像上设置注意区域。第四图像数据设置部分可以使用数 据接收部分所接收的多条第二压縮图像数据中的与所述注意区域相对应的 分割图像的第二压縮图像数据的解码数据来生成用于显示注意区域图像的 注意区域图像数据，显示部分还可以基于该注意区域图像数据来在显示器 上显示注意区域图像。在这种情况下，可以按索引的形式来显示与各个注 意区域相对应的注意区域图像。然后，在这种情况下，使用了为了显示全 景图像而已经获得的第二压縮图像数据的解码数据，这不会导致处理负荷 的实质上的增加。视角确定部分确定全景图像上的高分辨率视角。例如，基于用户所执 行的位置选择操作来确定所述高分辨率视角。此外，例如，当如上所述在 显示器上显示检测位置图像时，可以基于用户所执行的检测位置图像选择 操作来确定高分辨率视角。此外，例如，当如上所述在显示器上显示注意 区域图像时，可以基于用户所执行的注意区域图像选择操作来确定高分辨 率视角。另外，根据本发明的一个实施例，例如，第二图像数据生成部分可以 通过按预定组合比率使用与在视角确定部分中确定的高分辨率视角相对应 的分割图像的第一压縮图像数据和第二压縮图像数据来生成用于显示高分 辨率图像的高分辨率图像数据。在这种情况下，在第二图像数据生成部分 中，可以减少应当解码的第一压縮图像数据的帧数目，并减轻处理负荷。根据本发明的一个实施例，提供了一种用于生成在显示器上显示的图 像的图像处理装置，该图像处理装置包括数据接收部分，用于接收多条第一压縮图像数据和多条第二压縮图像 数据，其中，第一压縮图像数据是通过对第一分辨率的图像数据进行压縮 编码来获得的，所述第一分辨率的图像数据是通过对与通过将全景图像分 割成多个片断而获得的分割图像相对应的各条图像数据执行处理而生成 的，而第二压縮图像数据是通过对第二分辨率的图像数据进行压缩编码来 获得的，其中，第二分辨率低于第一分辨率；第一图像数据生成部分，用于使用在数据接收部分中接收的多条第二 压縮图像数据的解码数据来生成用于显示全景图像的全景图像数据；视角确定部分，用于确定全景图像上的高分辨率视角；第二图像数据生成部分，用于使用数据接收部分所接收的多条第一压 缩图像数据中的与在视角确定部分中确定的高分辨率视角相对应的分割图 像的第一压縮图像数据的解码数据来生成用于显示高分辨率图像的高分辨 率图像数据；以及输出部分，用于在显示器上输出在第一图像数据生成部分中生成的全 景图像数据和在第二图像数据生成部分中生成的高分辨率图像数据。根据本发明的一个实施例，例如，在图像发送装置侧，通过对来自用 于拍摄全景图像的多个相机部分的各条图像数据执行处理，通过对高分辨 率的图像数据进行压縮编码而获得的第一压縮图像数据和通过对低分辨率 的图像数据进行压縮编码而获得的第二压縮图像数据被生成并被发送，并 且在图像显示装置侧或图像处理装置侧，使用所接收的多条第二压縮图像 数据的解码数据来显示全景图像，并且使用所接收的多条第一压縮图像数 据中的与在全景图像上确定的预定位置相对应的分割图像的第一压縮图像 数据的解码数据来显示高分辨率图像，藉此，可以减少图像显示期间的数 据处理量，并可以减轻处理负荷。


图1是根据本发明一个实施例的图像显示系统的配置示例的框图； 图2示出了多个相机部分的布局示例；图3A示出了在生成全景图像数据时使用的镜头失真校正；图3B示出了构成在生成全景图像数据时使用的图像转换信息的相机倾角信息；图3C示出了关于相邻相机的混合(blending)信息，其构成了在生成 全景图像数据时使用的图像转换信息；图4是图像发送装置的具体示例的框图； 图5是图像显示装置的具体示例的框体；图6示出了与图像发送装置的各个相机部分相对应的高分辨率(第一 分辨率)图像数据和低分辨率(第二分辨率)图像数据的配置； 图7示出了图像显示装置中的图像数据处理部分的功能模块； 图8示出了显示器的屏幕显示示例；图9A和9B示出了有关高分辨率(第一分辨率)的第一压縮图像数据 和有关低分辨率(第二分辨率)的第二压縮图像数据的发送帧示例；图IOA和IOB示出了在显示高分辨率图像时使用的每一帧中的第一压縮图像数据和第二压縮图像数据的组合比率的示例；以及 图11是图像发送装置的另一个配置示例的框图。
具体实施方式
以下，将参考附图来描述本发明的实施例。图1示出了根据本发明一个实施例的图像显示系统100的配置示例。 图像显示系统100具有这样一种配置，其中，图像发送装置110经由网络 150连接到图像显示装置130。网络150由LAN (局域网)、因特网等组 成。图像发送装置110具有数目为n (n是大于等于2的整数)的相机部分 111-1到lll-n。这n个相机部分111-1到lll-n用于通过拾取将作为广角 图像(广域图像)的全景图像分割成n个片断而获得的各个分割图像来输 出图像数据。例如，所述全景图像是在水平方向上延伸的广角图像，并且 该全景图像水平地被分割成n个片断。各个相机部分111-1到lll-n用于 输出第一分辨率的图像数据，例如，UXGA (超级扩展图形阵列，Ultraextended Graphics Array)。应当注意，UXGA表示1600X 1200像素的分 辨率。图2示出了 n个相机部分111-1到lll-n的布局示例。各个相机部分被 布置以便生成在想要拾取的特定连续区域中的全景图像。这时，虽然将省 略详细描述，但是当使用来自各个相机部分的图像数据来生成全景图像 时，图像转换信息是必要的，包括诸如失真或焦距之类的镜头信息(参考 图3A)、关于相机倾角的信息(Roll、 Pitch和Yaw)(参考图3B)、或 者与相邻相机的外围混合信息(参考图3C)。图像发送装置IIO预先获得 这种图像转换信息。图像转换信息是经由网络150从图像发送装置110发 送到图像显示装置130的。这样，由于图像转换信息是从图像发送装置 110发送到图像显示装置130的，所以没有必要在图像显示装置130上保 存每个不同的图像发送装置IIO的图像转换信息。图像发送装置IIO用于通过对从各个相机部分111-1到lll-n输出的 图像数据执行处理来压縮编码第一分辨率的图像数据，从而生成第一压縮 图像数据。此外，图像发送装置110还用于通过对从各个相机部分111-1 到lll-n输出的图像数据执行处理来压縮编码第二分辨率(第二分辨率低 于第一分辨率)的图像数据，从而生成第二压縮图像数据。例如，图像发 送装置IIO通过压縮编码QVGA (四分之一视频图形阵列，Quarter Video Graphics Array)的图像数据来生成第二压縮图像数据。应当注意，QVGA 表示320X240像素的分辨率。如上所述，图像发送装置110用于经由网 络150将所生成的n条第一压縮图像数据和n条第二压縮图像数据发送到 图像显示装置130。图像显示装置130用于接收从图像发送装置110发送的n条第一压縮 图像数据和n条第二压縮图像数据。然后，图像显示装置130使用所述n 条第二压縮图像数据的解码数据来生成用于显示全景图像的全景图像数 据，并基于该全景图像数据来在显示器上显示该全景图像。应当注意，当 图像显示装置130生成全景图像数据时，如上所述，使用了从图像发送装 置110发送而来的诸如镜头信息、关于相机倾角的信息、或者与相邻相机 的混合信息之类的图像转换信息。确定全景图像上的高分辨率视角。然后，图像显示装置130使用所述n条第一压縮图像数据中的与所述高分辨率视角 相对应的分割图像的第一压縮图像数据的解码数据来生成用于显示高分辨 率图像的高分辨率图像数据，并且基于该高分辨率图像数据来在显示器上 显示高分辨率图像。图4示出了图像发送装置110的配置示例。图像发送装置110具有n 个相机部分111-1到lll-n、 n个图像数据处理部分112-1到112-n、 n个外 部传感器113-1到113-n，以及数据传送部分114。如上所述，n个相机部分111-1到lll-n拾取通过将作为广角图像(广 域)的全景图像分割成n个片断而获得的各个图像，并输出第一分辨率 (例如，UXGA)的图像数据。相机部分111-1具有图像拾取部分121和图像拾取信号处理部分 122。图像拾取部分121具有图像拾取镜头和成像器(imager)元件(未示 出)。图像拾取部分121拾取在通过将全景图像分割成n个片断而获得的 各个分割图像中的将由其自身处理的一个分割图像，并输出与该分割图像 相对应的图像拾取信号。成像器元件由CCD (电荷耦合器件)、CMOS (互补金属氧化物半导体)等构成。图像拾取信号处理部分122对从图像拾取部分121输出的图像拾取信 号(模拟信号)执行采样保持、增益控制转换、和从模拟信号向数字信号 的转换，以及白平衡调节、Y校正等，从而生成第一分辨率(例如， UXGA)的图像数据。除了在图像数据处理部分之前通用相机执行的信号 处理之外，图像拾取信号处理部分122执行白平衡调节、增益控制和阴影 校正，以便使得与接下来的相机之间没有差别。图像数据处理部分112-1具有高分辨率编码器123、尺寸改变部分 124、低分辨率编码器125、移动物体/静止物体检测部分126以及元数据 生成部分127。高分辨率编码器123用于对从相机部分111-1输出的第一分辨率的图 像数据执行压縮编码处理，从而生成第一压縮图像数据V1H。高分辨率编 码器123例如执行基于运动JPEG (联合图像专家组)的压縮编码处理。尺寸改变部分124用于对从相机部分111-1输出的第一分辨率的图像 数据执行诸如尺寸调整或重采样之类的处理，从而生成第二分辨率(例如，QVGA)的图像数据，其中，第二分辨率低于第一分辨率。低分辨率 编码器125用于对从尺寸改变部分124输出的第二分辨率的图像数据执行 压縮编码处理，从而生成第二压縮图像数据V1L。类似于上述高分辨率编 码器123，低分辨率编码器125例如执行基于运动JPEG (联合图像专家 组)的压縮编码处理。移动物体/静止物体检测部分126用于对从相机部分111-1输出的第一 分辨率的图像数据执行处理，以基于该图像数据、从图像中检测出移动物 体区域(运动区域)和静止物体区域(物体显现区域、物体消失区域)。 元数据生成部分127用于生成元数据MD1，该元数据MD1包括从移动物 体/静止物体检测部分126输出的关于移动物体或静止物体的检测信息和来 自外部传感器113-1的检测信息。这里，外部传感器113-1被配置用于检 测例如在由相机部分111-1处理的分割图像上的特定位置处的异常，并且 其由红外传感器、温度传感器、声音传感器等构成。虽然省略详细描述，但是相机部分111-2到lll-n的配置类似于上述 的相机部分111-1。相机部分111-2到lll-n各自用于拾取由其自身处理的 分割图像，以生成并输出第一分辨率(例如，UXGA)的与该分割图像相 对应的图像数据。此外，虽然省略了详细描述，但是图像数据处理部分 112-2到112-n的配置类似于上述的图像数据处理部分112-1。图像数据处 理部分112-2到112-n各自用于对来自相机部分111-2到lll-n的图像数据 执行处理，从而生成并输出第一压縮图像数据V2H到VnH、第二压縮图 像数据V2L到VnL、以及包括诸如移动物体和静止物体之类的检测信息在 内的元数据MD2到MDn。数据传送部分114用于经由网络150来将在各个图像数据处理部分 112-1到112-n中生成的第一压縮图像数据V1H到VnH、第二压縮图像数 据V1L到VnL、以及元数据MD1到MDn发送到图像显示装置130。在这 个意义上，数据传送部分114构成了数据发送部分。应当注意，如随后将 描述的，数据传送部分114还设有接收从图像显示装置130发送而来的注意区域信息的功能。此外，数据传送部分114还经由网络150向图像显示 装置130发送上述的诸如镜头信息、相机倾角信息、或与相邻相机的混合 信息之类的图像转换信息。将描述图4所示的图像发送装置110的操作。在用作拾取对象的全景 图像中，由相机部分111-1的图像拾取部分121获得了与由相机部分111-1处理的分割图像相对应的图像拾取信号(模拟信号)。该图像拾取信号被提供给图像拾取信号处理部分122。图像拾取信号处理部分122对该图像 拾取信号执行诸如采样保持和增益控制转换、从模拟信号向数字信号的转 换之类的模拟信号处理，还执行诸如白平衡调节和Y校正之类的数字信号 处理，从而生成第一分辨率(例如，UXGA)的图像数据。在相机部分111-1中生成的图像数据被提供给图像数据处理部分112-1 中的高分辨率编码器123、尺寸改变部分124、和移动物体/静止物体检测 部分126。在高分辨率编码器123中，例如，对从相机部分111-1提供的 图像数据执行基于运动JPEG的压縮编码处理，以生成第一压縮图像数据 V1H。然后，在尺寸改变部分124中，对从相机部分111-1提供的图像数据 执行诸如抽薄或内插之类的处理，以生成第二分辨率(例如，QVGA)的 图像数据，其中，第二分辨率低于第一分辨率。该第二分辨率的图像数据 被提供给低分辨率编码器125。在低分辨率编码器125中，例如，对从尺 寸改变部分124提供的图像数据执行基于运动JPEG的压縮编码处理，从 而生成第二压縮图像数据V1L。此外，在移动物体/静止物体检测部分126中，基于从相机部分111-1 提供的图像数据来执行关于移动物体和静止物体的检测处理。在移动物体/ 静止物体检测部分126中检测得到的关于移动物体和静止物体的检测信息 被提供给元数据生成部分127。此外，还向元数据生成部分127提供来自 外部传感器113-1的检测信息，以检测在由相机部分111-1处理的分割图 像上的特定位置处的异常。元数据生成部分127生成元数据MD1，该元数 据MD1包括从移动物体/静止物体检测部分126输出的关于移动物体和静 止物体的检测信息和外部传感器113-1的检测信息。类似于上述相机部分111-1，在相机部分111-2到lll-n中生成与由其 自身处理的分割图像相对应的第一分辨率(例如，UXGA)的图像数据。 这样，在各个相机部分111-2到lll-n中生成的第一分辨率的图像数据被 提供给相应的图像数据处理部分112-2到112-n。类似于上述图像数据处理 部分112-1，在图像数据处理部分112-2到112-n中，对来自相机部分lll-2到lll-n的图像数据等执行处理，以生成例如第一压縮图像数据V2H到 VnH、第二压縮图像数据V2L到VnL、包括关于移动物体、静止物体等的 检测信息在内的元数据MD2到MDn。在各个图像数据处理部分112-1到112-n中生成的第一压縮图像数据 V1H到VnH、第二压縮图像数据V1L到VnL、和包括诸如移动物体和静 止物体之类的检测信息在内的元数据MD1到MDn被提供给数据传送部分 114。在数据传送部分114中，第一压縮图像数据V1H到VnH、第二压缩 图像数据V1L到VnL、和元数据MD1至l」MDn被转换成文件，并经由网 络150被发送到图像显示装置130。此外，还经由网络150从数据传送部 分114向图像显示装置130发送图像转换信息，例如与相机部分111-1到 lll-n相关的镜头信息、相机倾角信息、或与相邻相机的混合信息。图5示出了图像显示装置130的具体配置示例。图像显示装置130具 有控制部分13K用户接口部分132、数据传送部分133、图像数据处理部 分134、 VRAM (视频随机存取存储器)135和显示器136。控制部分131用于控制图像显示装置130中的各个部分。控制部分 131由CPU和控制程序构成。控制部分处理图像显示装置的执行的开始和 结束并且接受用户接口部分的某种中断，然后在各个部分中执行某种功 能。用户接口部分132由操作按键、远程控制信号接收设备等构成。用户 接口部分132与控制部分131相连接。用户接口部分132用于根据用户操 作来生成操作信号，并将该操作信号提供给控制部分131。数据传送部分133用于经由网络150从图像发送装置IIO接收第一压 縮图像数据V1H到VnH、第二压縮图像数据V1L到VnL和元数据MD1 到MDn。在这个意义上，数据传送部分133构成了数据接收部分。此外， 数据传送部分133还接收从图像发送装置IIO发送而来的与上述相机部分111-1到lll-tl相关的图像转换信息，例如，镜头信息、相机倾角信息、或 与相邻相机的混合信息。图像数据处理部分134用于对数据传送部分133所接收的第二压縮图 像数据V1L到VnL进行解码，使用各条解码数据，并基于上述图像转换 信息来生成用于显示全景图像的全景图像数据。在这个意义上，图像数据 处理部分134构成了第一图像数据生成部分。另外，图像数据处理部分134还对数据传送部分133所接收的第一压 縮图像数据V1H到VnH中的与全景图像上的高分辨率视角相对应的第一 压縮图像数据进行解码，并使用该解码数据来生成用于显示高分辨率图像 的高分辨率图像数据。在这个意义上，图像数据处理部分构成了第二图像 数据生成部分。全景图像上的高分辨率视角是在控制部分131中基于用户 操作来确定的。在这个意义上，控制部分131构成了视角确定部分。稍后 将详细描述在控制部分131中的高分辨率视角的确定处理。图6示出了与上述图像发送装置110的相机部分111-1到lll-n相对应 的高分辨率(第一分辨率)图像数据和低分辨率(第二分辨率)图像数据 的配置。图6所示的相机部分1到n分别表示相机部分111-1到lll-n。在图像数据处理部分134中，相机部分1的各条低分辨率图像数据被 合成，从而生成在水平方向上具有h像素并且在垂直方向上具有v像素的 全景图像数据。在这种情况下，各个相机部分的低分辨率图像数据具有与 相邻相机部分的低分辨率图像数据的重叠区域(阴影区域)。在图像数据 处理部分134中，执行图像数据合成处理，以使得所述区域相互重叠。此外，相机部分1到n的各条高分辨率图像数据分别对应于相机部分 1到n的低分辨率图像数据。这里，相机部分1到n的各条高分辨率图像 数据构成了在水平方向上具有H像素并且在垂直方向上具有V像素的全景 图像。这里，h/H和v/V表示图像发送装置110中的各个图像数据处理部 分112-1到112-n的尺寸改变部分124中的压縮比。构成全景图像数据的各个相机部分的低分辨率图像数据对应于各个相 机部分的高分辨率图像数据。由于该原因，图像数据处理部分134可以容 易地生成与使用上述关系在全景图像上确定的高分辨率图像位置相对应的高分辨率图像数据。例如，如图6所示，在确定了低分辨率全景图像上的用虚线Fa表示的 高分辨率显示区域的情况下，使用相机部分1和相机部分2的高分辨率数 据来生成高分辨率图像数据。此外，例如，如图6所示，在确定了低分辨 率全景图像上的用虚线Fb表示的高分辨率显示区域的情况下，使用相机 部分2和相机部分3的高分辨率数据来生成高分辨率图像数据。应当注意，图6示出了在水平方向上布置各个相机部分的示例，但 是，也可以想到采用在垂直方向上布置各个相机部分的示例或者在矩阵中 布置各个相机部分的示例。此外，图像数据处理部分134还使用数据传送部分133所接收的第二 压縮图像数据V1L到VnL中的与数据传送部分133所接收的元数据MD1 到MDn中包括的检测信息所指示的检测位置相对应的分割信息的第二压 縮图像数据的解码数据来生成用于显示检测位置信息的检测位置图像数 据。在这个意义上，图像数据处理部分134构成了第三图像数据生成部 分。应当注意，如上所述，由于所有的第二压縮图像数据V1L到VnL都 被解码用于生成全景图像数据，所以在生成检测位置图像数据时没有必要 重新执行解码处理。另外，图像数据处理部分134还使用数据传送部分133所接收的第二 压縮图像数据V1L到VnL中的与在全景图像上设定的注意区域相对应的 分割信息的第二压縮图像数据的解码数据来生成用于显示注意区域图像的 注意区域图像数据。在这个意义上，图像数据处理部分134构成了第四图 像数据生成部分。应当注意，如上所述，由于所有的第二压縮图像数据 VI L到VnL都被解码用于生成全景图像数据，所以在生成注意区域图像 数据时没有必要重新执行解码处理。全景图像上的注意区域的设定是在控 制部分131中基于用户设定操作来执行的。在这个意义上，控制部分131 构成了注意区域设定部分。VRAM 135将构成全景图像数据的各个像素处的数据、高分辨率图像 数据、检测位置图像数据和在图像数据处理部分134中生成的注意区域图 像数据保存在与视角相对应的地址中，此外，还按扫描行的顺序顺序地将各个像素的数据输出到显示器136。显示器136例如由LCD (液晶显示 器)、等离子显示器等构成。上述的图像数据处理部分134例如用软件来构成。图7示出了图像数 据处理部分134的功能模块。图像数据处理部分134设有数据接收模块 141、元数据分析模块142、 1/0模块143、显示图像和场角(field angle) 指定模块144、解码器线程145-1到145-m以及渲染器线程146-1到146-m。数据接收模块141用于从数据传送部分133接收第一压縮图像数据 V1H至U VnH、第二压縮图像数据V1L至U VnL、以及元数据MD1到 MDn。元数据分析模块142用于对数据接收模块141所接收的元数据MD1 到MDn进行分析，以获得诸如检测位置或检测类型之类的信息。1/0模块 143用于从控制部分131接收诸如设定的高分辨率显示区域或设定的注意 区域之类的控制信息。显示图像和场角指定模块144用于基于元数据分析模块142所获得的 诸如检测位置或检测类型之类的信息和I/O模块143所接收的控制信息来 向解码器线程145-1到145-m发送在数据接收模块141所接收的第一压縮 图像数据V1H到VnH和第二压縮图像数据V1L到VnL中的必要的压縮图 像数据。例如，为了生成用于显示全景图像的全景图像数据，对第二压縮图像 数据V1L到VnL执行解码。此外，在第一压縮图像数据V1H到VnH之 中，执行与高分辨率显示区域相对应的解码。例如，在高分辨率显示器区 域跨第一和第二分割图像时，对第一压縮图像数据V1H和第二压縮图像数 据V2H执行解码。渲染器线程146-1到146-m用于从解码器线程145-1到145-m所获得 的解码数据中选择全景图像、高分辨率图像、检测位置图像和注意区域图 像的像素数据，以将该像素数据布置在VRAM 135的与全景图像、高分辨 率图像、检测位置图像和注意区域图像的视角相对应的地址中。将描述图5所示的图像显示装置130的操作。数据传送部分133经由 网络150来接收从图像发送装置IIO发送而来的第一压縮图像数据V1H到数据V1L到VnL、和元数据MD1到MDn，以及诸如 镜头信息、相机倾角信息、或与相邻相机的外围混合信息之类的图像转换 信息。第一压縮图像数据V1H到VnH、第二压縮图像数据V1L到VnL、 元数据MD1到MDn、以及图像转换信息被提供给图像数据处理部分 134。在图像数据处理部分134中，对第二压縮图像数据V1L到VnL执行 解码，并基于图像转换信息，通过使用各条解码数据来生成用于显示全景 图像的全景图像数据。然后，在VRAM 135中，构成全景图像的各个像素 的数据被布置并保持在与全景图像的视角相对应的地址中。其结果是，在 显示器136的屏幕上的全景图像显示部分中显示全景图像。在这种情况 下，并没有执行用于收集多条图像数据的处理，而是通过将各条图像数据 布置并保持在VRAM 135的相应地址中来执行显示。因此，为了应对像素 数目的增加和更高的帧速率，在显示全景图像时的对策变得容易了。此外，在图像数据处理部分134中，还对第一压縮图像数据V1H到 VnH中的有关与全景图像上的高分辨率视角相对应的分割图像的第一压縮 图像数据进行解码，并使用该解码数据来生成用于显示高分辨率图像的高 分辨率图像数据。然后，在VRAM 135中，构成高分辨率图像的各个像素 的数据被布置并保持在与高分辨率图像的视角相对应的地址中。其结果 是，在显示器136的屏幕上的高分辨率图像显示部分中显示该高分辨率图 像。另外，在图像数据处理部分134中，通过使用第二压縮图像数据V1L 到VnL中的有关与元数据MD1到MDn中包括的检测信息所指示的检测 位置相对应的分割信息的第二压縮图像数据的解码数据来生成用于显示检 测位置图像的检测位置图像数据。然后，在VRAM 135中，构成检测位置 图像的各个像素的数据被保存在与检测位置图像的视角相对应的地址中。 其结果是，在显示器136的屏幕上的检测位置图像显示部分203中显示诸 如移动物体、静止物体等的检测位置图像。应当注意，虽然以上没有描述，但是在与元数据MD1到MDn中包括 的检测信息所指示的检测位置相对应的同时，还在全景图像上显示了指示出该检测位置的框等。此外，取决于检测类型(例如，移动物体检测、静 止物体检测、或外部传感器的检测)来在该框等中产生色差的效果，以使 得用户可以很容易地区分检测类型。此外，在图像数据处理部分134中，还使用第二压縮图像数据V1L到VnL中的有关与在全景图像上设定的注意区域相对应的分割信息的第二压縮图像数据的解码数据来生成用于显示注意区域图像的注意区域图像数据。然后，在VRAM 135中，构成注意区域图像的各个像素的数据被保存在与注意区域图像的显示位置相对应的地址中。其结果是，在显示器136 的屏幕上的注意区域图像显示部分中显示该注意区域图像。应当注意，虽然以上并没有描述，但是在全景图像上还显示了指示出 注意区域的框等。这里，在控制部分131中基于针对注意区域的用户设定 操作来设置注意区域。所述注意区域可以按任意的场角来设定。如稍后将 描述的，在基于针对注意区域图像的用户设定操作来确定高分辨率显示区 域的情况下，在显示器136的屏幕上的高分辨率图像显示部分中显示与所 选择的注意区域图像相对应的高分辨率图像。在这种情况下，由于可以按 任意场角来设定注意区域，所以在一些情况下，高分辨率图像数据中的像 素数目可能大于高分辨率图像显示部分中的像素数目。在这样的情况下， 例如，通过縮小或修整(trimming)来对高分辨率图像数据执行像素数目 的调整，从而使其适合高分辨率图像显示部分。图8示出了显示器136的屏幕显示示例。全景图像显示部分201设在 屏幕的上方。在全景图像显示部分201中显示了基于在图像数据处理部分 134中生成的全景图像数据的低分辨率的全景图像。此外，在全景图像上 还显示了与诸如移动物体、静止物体等的检测位置图像相对应的框211和 与由用户操作设定的注意区域相对应的框212。另外，检测位置图像显示部分203和注意区域图像显示部分204设在 屏幕的左侧。在检测位置图像显示部分203中显示了诸如移动物体或静止 物体之类的低分辨率的检测位置图像(由全景图像上的框211围住的图 像)。应当注意，围绕诸如移动物体或静止物体之类的检测目标物体的框 被显示在各个检测位置图像上。注意区域中的低分辨率图像(由全景图像示在注意区域图像显示部分204中。此外，高分辨率图像显示部分202设在屏幕的从中间到右侧的位置 处。作为在高分辨率图像显示部分202中显示的高分辨率图像，显示了在 控制部分131中基于用户操作来确定的高分辨率显示区域中的高分辨率图现在，将详细描述在控制部分131中的高分辨率显示区域的确定处 理。如上所述，当用户在显示在全景图像显示部分201上的全景图像上执 行位置选择操作时，控制部分131基于该位置选择操作来确定高分辨率显 示区域。在这种情况下，用户使用用户接口部分132来例如将全景图像上 的光标移动到所需位置并执行点击操作，藉此可以选择高分辨率显示区 域。然后，在这种情况下，在高分辨率图像显示部分202中显示包括基于 用户操作来选择的位置的预定区域中的高分辨率图像。此外，如上所述，当用户从在检测位置图像显示部分203中显示的检 测位置图像中、针对检测位置图像来执行选择操作时，控制部分131基于 该选择操作来确定高分辨率显示区域。换而言之，控制部分131将与基于 用户操作来选择的检测位置图像(框211所围住的区域)相对应的位置确 定为高分辨率显示区域。在这种情况下，用户使用用户接口部分132来例 如将光标移动到所需的检测位置图像，并执行点击操作，藉此可以选择所 需的检测位置图像。然后，在这种情况下，在高分辨率图像显示部分202 中显示所选择的检测位置图像(高分辨率图像)。另外，如上所述，当用户从在检测位置图像显示部分203中显示的注 意区域图像中、针对所需的注意区域图像来执行选择操作时，控制部分 131基于该选择操作来确定高分辨率显示区域。换而言之，控制部分131 将与基于用户操作来选择的注意区域图像相对应的区域确定为高分辨率显 示区域。在这种情况下，用户使用用户接口部分132来例如将光标移动到 所需的注意区域图像，并执行点击操作，藉此可以选择所需的注意区域图 像。然后，在这种情况下，在高分辨率图像显示部分202中显示所选择的 注意区域图像(高分辨率图像)。如上所述，在图l所示的图像显示系统100中，基于从图像发送装置110的相机部分111-1到lll-n输出的图像数据，各个图像数据处理部分 112-1到112-n对第一分辨率(高分辨率)的图像数据执行压縮编码，从而 生成第一压縮图像数据V1H到VnH，此外还对低于第一分辨率的第二分 辨率(低分辨率)的图像数据执行压縮编码，从而生成第二压縮图像数据 V1L到VnL，并且将该第一压縮图像数据V1H到VnH和第二压縮图像数 据V1L到VnL经由网络150来从数据传送部分114发送到图像显示装置 130。因此，在图像显示系统100中，与使用从各个相机部分111-1到lll-ii 输出的图像数据来生成全景图像的图像数据的情况不同，在图像发送装 置110侧的处理数据量减小了，并且处理负荷减轻了。此外，在图1所示的图像显示系统100中，图像发送装置110的各个 图像数据处理部分112-1到112-n生成了这样的元数据MD1到MDn，该 元数据MD1到MDn包括通过对从相机部分111-1到lll-n输出的图像数 据进行处理而检测到的关于移动物体或静止物体的检测信息或者来自外部 传感器113-1到113-n的检测信息，并且所述元数据MD1到MDn还经由 网络150被从数据传送部分114发送到图像显示装置130。因此，在图像 显示系统100中，在图像显示装置130侧，可以很容易地执行在全景图像 上的检测位置的显示，或者更进一步地，与该检测位置相对应的高分辨率 图像的显示，等等。另外，在图1所示的图像显示系统100中，图像数据处理部分134对 数据传送部分133所接收的第二分辨率(低分辨率)的第二压縮图像数据 VlL到VnL进行解码，从而生成全景图像数据，并在显示器136上显示该 低分辨率的全景图像。因此，在图像显示系统100中，减小了在图像显示 装置130侧的处理数据量，并减轻了处理负荷。此外，在图1所示的图像显示系统100中，图像数据处理部分134使 用数据传送部分133所接收的第一分辨率(高分辨率)的第一压縮图像数 据V1H到VnH中的、有关与基于用户操作来确定的高分辨率显示区域相 对应的分割图像的第一压縮图像数据的解码数据来生成高分辨率图像数 据，并在显示器136上显示该高分辨率图像。因此，在图像显示系统100 中，图像显示装置130的图像数据处理部分134仅仅解码并使用第一压縮图像数据V1H到VnH中的必要的第一压縮图像数据，于是减小了在图像 显示装置130侧的处理数据量，并可以减轻处理负荷。此外，在图1所示的图像显示系统100中，图像显示装置130的图像 数据处理部分134基于数据传送部分133所接收的诸如移动物体或静止物 体之类的检测信息、根据第二压縮图像数据V1L到VnL的解码数据来生 成检测位置图像数据，并在显示器136上显示低分辨率的检测位置图像。 因此，在图像显示系统100中，可以在显示器136上以索引的形式显示与 各个检测位置相对应的检测位置图像。应当注意，在这种情况下，由于使 用了为了显示全景图像而己经获得的、第二压縮图像数据的解码数据，所 以不可能显著地增加处理负荷。另外，在图1所示的图像显示系统100中，在图像显示装置130侦IJ， 用户可以在用户接口部分132中、在显示在显示器136上的全景图像上以 任意场角来设置注意区域。然后，在图l所示的图像显示系统100中，图 像显示装置130的图像数据处理部分134基于所设定的注意区域、根据第 二压縮图像数据V1L到VnL的解码数据来生成注意区域图像数据，并且 在显示器136上显示该低分辨率的注意区域图像。因此，在图像显示系统 100中，可以在显示器136上以索引的形式来显示与各个注意区域相对应 的注意区域图像。应当注意，在这种情况下，由于使用了为了显示全景图 像而己经获得的第二压縮图像数据的解码数据，所以不可能显著增加处理 负荷。此外，在图1所示的图像显示系统100中，基于用户针对在显示器 136上显示的全景图像执行的位置选择操作、用户针对在显示器136上显 示的检测位置图像执行的选择操作、或者用户针对在显示器136上显示的 注意区域图像执行的选择操作来确定高分辨率显示区域。因此，在图像显 示系统100中，在图像显示装置130侧，用户可以在显示器B6上以高分 辨率图像来显示和观察任意位置处的全景图像、任意的检测位置图像、或 者任意的注意区域图像。应当注意，根据上述实施例，如图9A所示，图像发送装置110中的 各个图像数据处理部分112-1到112-n在每个帧中生成有关高分辨率(第一分辨率)的第一压縮图像数据V1H到VnH和低分辨率(第二分辨率) 的第二压缩图像数据V1L到VnL,并且数据传送部分114将该数据发送到 图像显示装置130。但是，如图9B所示，低分辨率(第二分辨率)的各条第二压縮图像 数据V1L到VnL在每个帧中生成，但是，可以想到可以在间歇帧中生成 有关高分辨率(第一分辨率)的各条第一压縮图像数据V1H到VnH。在 图9B的示例中，每隔一个帧地生成第一压縮图像数据V1H到VnH，在用 实线指示的帧中生成数据。这样，由于间歇地生成各条第一压縮图像数据V1H到VnH，所以可 以减轻各个图像数据处理部分112-1到112-n中的处理负荷。此外，可以 减小从数据传送部分114向图像显示装置130的发送数据量，并可以减轻 传送负荷。应当注意，在图9A和9B中，数字值表示帧号。另外，根据上述实施例，图像显示装置130的图像数据处理部分134 使用每个帧中的第一压縮图像数据V1H到VnH来显示高分辨率图像，但 是，也可以想到按预定的组合比率来使用第一压縮图像数据V1H到VnH 和第二压縮图像数据V1L到VnL。图IOA示出了这样一个示例，其中， 按1:1的组合比率来使用第一压縮图像数据V1H到VnH和第二压縮图像 数据VlL至ljVnL，而图IOB示出了这样一个示例，其中，按1:3的组合比 率来使用第一压縮图像数据V1H到VnH和第二压縮图像数据V1L到 VnL。应当注意，在图10A和10B中，数字值表示帧号。在这种情况下，在使用第二压縮图像数据V1L到VnL的帧中，通过 内插等来增加像素数目。图像质量随着第二压縮图像数据V1L到VnL的 比率的增加而降低。这样，当显示高分辨率图像时，通过按适当比率来使 用第二压縮图像数据V1L到VnL，可以减轻图像数据处理部分134中的处 理负荷。应当注意，根据上述实施例，图像发送装置110的图像数据处理部分 112-1到112-n在高分辨率编码器123中如其原样地对从相机部分111-1到 lll-n输出的第一分辨率(例如，UXGA)的图像数据执行压縮编码，从 而生成第一压縮图像数据V1H到VnH。但是，例如，当相机部分111-1到111- n在水平方向上或垂直方向上的像素数目更大时，在图像数据处理部分112-1到112-n中，还可以想到从相机部分所输出的图像数据中切出预 定的图像区域，以获得第一分辨率(例如，UXGA)的图像数据，并且对 该第一分辨率的图像数据进行压縮编码，以生成第一压縮图像数据。图ll示出了在上述情况下的图像发送装置110的另一个配置示例。在 图11中，不包括与相机部分U1-2至U lll-n和图像数据处理部分112-2到112- n相对应的部分。在图11中，与图4中的那些相对应的部分被指配了 相同的标号，并且省略对它们的详细描述。除了高分辨率编码器123、尺寸改变部分124、低分辨率编码器125、 移动物体/静止物体检测部分126、和元数据生成部分127之外，图像数据 处理部分112-1还具有区域切出部分128。区域切出部分128用于从相机部分111-1所输出的图像数据中切出预 定图像区域的图像数据，以获得第一分辨率(例如，UXGA)的图像数 据。向区域切出部分128提供在元数据生成部分127中生成的元数据 MD1。此外，还向区域切出部分128提供数据传送部分114从图像显示装 置BO侧接收的注意区域信息。在这个意义上，数据传送部分114构成了 信息接收部分。在区域切出部分128中，例如，基于元数据MD1中包括的诸如移动 物体或静止物体之类的检测信息，将与该移动物体、静止物体等的检测位 置相对应的图像区域设置为应当切出的预定图像区域。此外，在区域切出 部分128中，例如，基于注意区域信息，将在图像显示装置BO侧设定的 注意区域设置为应当切出的预定图像区域。应当注意，在区域切出部分 128中切出的图像区域的数目依据诸如移动物体或静止物体之类的检测的 数目和在图像显示装置130侧设定的注意区域的数目而变化。高分辨率编码器123用于对在区域切出部分128中切出的各个图像区 域中的图像数据执行压縮编码，以生成第一压縮图像数据V1H。在这种情 况下，如上所述，在区域切出部分128中切出的图像区域的数目为2或更 大的情况下，从高分辨率编码器123中获得多条第一压縮图像数据V1H。图像数据处理部分112-1的其它配置和操作类似于图4所示出的那些。此外，图中略去的图像数据处理部分112-2到112-n的配置和操作类 似于图像数据处理部分112-1的配置和操作。在如图ll所示地配置图像发送装置110的情况下，在图像数据处理部 分112-1到112-n中，从相机部分所输出的图像数据中切出预定图像区域 (例如，诸如移动物体或静止物体之类的检测位置区域或者在图像显示装 置130侧设定的注意区域)的图像数据，藉此可以生成第一分辨率的第一 压縮图像数据。因此，即使当相机部分111-1到lll-n的水平方向或垂直方向上的像 素的数目很大时，由于选择性地仅对必要图像区域执行压縮编码以生成第 一压縮图像数据，所以也可以减轻图像数据处理部分112-1至ij 112-n中的 处理负荷。应当注意，在这种情况下，在图像显示装置130中，可以执行 在移动物体、静止物体等的检测位置中和在设定的注意区域处的高分辨率 图像的显示，但是可能无法在全景图像上的任意位置中执行高分辨率图像 的显示。此外，根据上述实施例，已经描述了这样一个示例，其中，仅一种类 型的第二分辨率的第二压縮图像数据被在图像发送装置110侧生成并被发 送到图像显示装置130。但是，还可以想到，在图像发送装置110侧，作 为第二分辨率的第二压縮图像数据，多种类型的分辨率逐步变化的数据可 以被生成并被发送到图像显示装置130。在这种情况下，在图像显示装置 130侧，可以选择性地使用多种类型的第二分辨率，并且可以很容易地执 行图像大小等的改变。在上述实施例中，将要捕获的图像并不限于动画图像(motion picture image)，而可以是静止图像。但是，动画图像具有大于静止图像的数据 容量，因此上述实施例的效果也更加显著。另外，已经作为示例来描述使用多个相机拍摄图像的装置，但是并不 限于以上示例。所述装置可以采用这样一种配置，即，对一个相机执行旋 转控制的同时，可以通过执行多次图像拍摄来获得一个全景图像。此外，在图像显示装置130中，上述实施例当然可以应用于没有显示 器136的图像处理装置。本领域技术人员应当了解，在所附权利要求或其等同物的范围内，根 据设计要求和其它因素可以进行各种修改、组合、子组合和变化。相关申请的交叉引用本发明包含与2007年3月9日在日本专利局提交的日本专利申请JP 2007-059596相关的主题，该申请的全部内容通过引用而结合于此。
权利要求
1.一种图像显示系统，包括图像发送装置；和图像显示装置，所述图像发送装置通过网络被连接到所述图像显示装置，所述图像发送装置包括多个相机部分，用于输出与通过将全景图像分割成多个片断而获得的各个分割图像相对应的图像数据，多个图像数据处理部分，用于对从所述各个相机部分输出的所述图像数据执行处理，从而通过对第一分辨率的图像数据进行压缩编码来生成第一压缩图像数据，并通过对第二分辨率的图像数据进行压缩编码来生成第二压缩图像数据，其中，所述第二分辨率低于所述第一分辨率，以及数据发送部分，用于将在所述各个图像数据处理部分中生成的所述第一压缩图像数据和所述第二压缩图像数据发送到所述图像显示装置，所述图像显示装置包括数据接收部分，用于接收从所述图像发送装置发送的所述第一压缩图像数据和所述第二压缩图像数据，第一图像数据生成部分，用于使用在所述数据接收部分中接收的多条所述第二压缩图像数据的解码数据来生成用于显示所述全景图像的全景图像数据，视角确定部分，用于确定在所述全景图像上的高分辨率视角，第二图像数据生成部分，用于使用所述数据接收部分所接收的所述多条第一压缩图像数据中的与在所述视角确定部分中确定的所述高分辨率视角相对应的分割图像的第一压缩图像数据的解码数据来生成用于显示高分辨率图像的高分辨率图像数据，以及显示部分，用于在显示器上显示基于在所述第一图像数据生成部分中生成的所述全景图像数据的全景图像和基于在所述第二图像数据生成部分中生成的所述高分辨率图像数据的高分辨率图像。
2. —种图像发送装置，包括多个相机部分，用于输出与通过将全景图像分割成多个片断而获得的 各个分割图像相对应的图像数据；多个图像数据处理部分，用于对从所述各个相机部分输出的所述图像 数据执行处理，从而通过对第一分辨率的图像数据进行压縮编码来生成第 一压縮图像数据，并通过对第二分辨率的图像数据进行压縮编码来生成第 二压縮图像数据，其中，所述第二分辨率低于所述第一分辨率；以及数据发送部分，用于发送在所述各个图像数据处理部分中生成的所述 第一压縮图像数据和所述第二压縮图像数据。
3. 如权利要求2所述的图像发送装置，其中所述各个图像数据处理部分还生成包括下述检测信息之一的元数据， 所述检测信息是通过对从所述相机部分输出的图像数据进行处理而检测到 的关于移动物体或静止物体的检测信息和来自外部传感器的检测信息；并 且除了在所述各个图像数据处理部分中生成的所述第一压縮图像数据和 第二压縮图像数据之外，所述数据发送部分还发送在所述各个图像数据处 理部分中生成的所述元数据。
4. 如权利要求2所述的图像发送装置，其中，所述各个图像数据处理部分使用比用于生成所述第二压縮图像数据的帧数目少的帧来生成所述 第一压縮图像数据。
5. 如权利要求2所述的图像发送装置，其中，所述各个图像数据处 理部分从所述相机部分所输出的图像数据中切出预定图像区域处的图像数 据，并对所切出的图像数据执行压縮编码，从而生成所述第一压縮图像数 据。
6. 如权利要求5所述的图像发送装置，其中，所述各个图像数据处 理部分基于所述通过对从所述相机部分输出的图像数据进行处理而检测到 的关于所述移动物体或静止物体的检测信息和所述来自外部传感器的检测 信息之一来确定所述预定图像区域。
7. 如权利要求5所述的图像发送装置，其中所述各个图像数据处理部分还包括信息接收部分，用于接收关于在所 述全景图像上设定的注意区域的信息；并且所述各个图像数据处理部分基于在所述信息接收部分中接收的所述注 意区域信息来确定所述预定图像区域。
8. 如权利要求3所述的图像发送装置，其中，所述全景部分是动画 图像。
9. 如权利要求4所述的图像发送装置，其中，所述全景图像是动画 图像。
10. 如权利要求5所述的图像发送装置，其中，所述全景图像是动画 图像。
11. 一种发送与全景图像相对应的图像数据的图像发送方法， 所述方法包括以下步骤通过使用与通过将所述全景图像分割成多个片断而获得的各个分割图 像相对应的多个相机来捕获图像；通过对在所述捕获时从所述各个相机输出的图像数据执行处理，从而 通过对第一分辨率的图像数据进行压縮编码来生成第一压縮图像数据；通过对在所述拾取时从所述各个相机输出的图像数据执行处理，从而 通过对第二分辨率的图像数据进行压縮编码来生成第二压縮图像数据，其 中，所述第二分辨率低于所述第一分辨率；以及发送所述第一压縮图像数据和所述第二压縮图像数据。
12. —种用于生成在显示器上显示的图像的图像处理装置， 所述图像处理装置包括数据接收部分，用于接收多条第一压縮图像数据和多条第二压縮图像 数据，其中，所述第一压縮图像数据是通过对第一分辨率的图像数据进行 压縮编码而获得的，所述第一分辨率的图像数据是通过对与通过将全景图 像分割成多个片断而获得的分割图像相对应的各条图像数据执行处理而生 成的，而所述第二压縮图像数据是通过对第二分辨率的图像数据进行压縮 编码来获得的，所述第二分辨率低于所述第一分辨率；第一图像数据生成部分，用于使用在所述数据接收部分中接收的多条所述第二压縮图像数据的解码数据来生成用于显示所述全景图像的全景图 像数据；视角确定部分，用于确定在所述全景图像上的高分辨率视角； 第二图像数据生成部分，用于使用所述数据接收部分所接收的所述多条第一压縮图像数据中的与在所述视角确定部分中确定的所述高分辨率视角相对应的分割图像的第一压縮图像数据的解码数据来生成用于显示高分辨率图像的高分辨率图像数据；以及输出部分，用于在显示器上输出在所述第一图像数据生成部分中生成的所述全景图像数据和在所述第二图像数据生成部分中生成的所述高分辨率图像数据。
13. 如权利要求12所述的图像处理装置，其中，所述视角确定部分 基于用户针对在所述显示器上显示的所述全景图像上的位置的选择操作来 确定所述高分辨率视角。
14. 如权利要求12所述的图像处理装置，其中所述数据接收部分还接收包括下述检测信息之一的元数据，所述检测 信息是通过对所述各个图像数据进行处理而检测到的关于移动物体或静止 物体的检测信息，以及来自与所述各个相机部分相对应地设置的外部传感 器的检测信息；所述图像处理装置还包括第三图像数据生成部分，该第三图像数据生 成部分用于使用在所述数据接收部分所接收的所述多条第二压縮图像数据 中的与所述数据接收部分所接收的多条所述元数据中包括的所述检测信息 所指示的检测位置相对应的分割图像的第二压縮图像数据的解码数据来生 成用于显示检测位置图像的检测位置图像数据；并且除了在所述第一图像数据生成部分中生成的所述全景图像数据和在所 述第二图像数据生成部分中生成的所述高分辨率图像数据之外，所述输出 部分还向所述显示器输出在所述第三图像数据生成部分中生成的所述检测 位置图像数据。
15. 如权利要求14所述的图像处理装置，其中，所述视角确定部分 基于用户针对在所述显示器上显示的所述检测位置图像而执行的选择操作来确定所述高分辨率视角。
16. 如权利要求12所述的图像处理装置，还包括注意区域设定部分，用于在显示在所述显示器上的所述全景图像上设 定注意区域；以及第四图像数据生成部分，用于使用与在所述注意区域设定部分中设定 的所述注意区域相对应的分割图像的第二压縮图像数据的解码数据来生成 用于显示注意区域图像的注意区域图像数据，其中，除了在所述第一图像数据生成部分中生成的所述全景图像数据 和在所述第二图像数据生成部分中生成的所述高分辨率图像数据之外，所 述输出部分还向所述显示器输出在所述第四图像数据生成部分中生成的所 述注意区域图像数据。
17. 如权利要求16所述的图像处理装置，其中，所述视角确定部分基于用户针对在所述显示器上显示的所述注意区域图像而执行的选择操作 来确定所述高分辨率视角。
18. 如权利要求12所述的图像处理装置，其中，所述第二图像数据 生成部分按预定比率使用与在所述视角确定部分中确定的所述高分辨率视 角相对应的分割图像的所述第一压縮图像数据和所述第二压縮图像数据来 生成用于显示所述高分辨率图像的高分辨率图像数据。
19. 如权利要求12所述的图像处理装置，其中通过在与通过将所述全景图像分割成多个片断而获得的所述各个分割 图像相对应的所述相机部分中的图像拾取来获得所述各条图像数据；并且 所述全景图像是动画图像。
20. 如权利要求14所述的图像处理装置，其中通过在与通过将所述全景图像分割成多个片断而获得的所述各个分割 图像相对应的所述相机部分中的图像拍摄来获得所述各条图像数据；并且 所述全景图像是动画图像。
21. 如权利要求16所述的图像处理装置，其中通过在与通过将所述全景图像分割成多个片断而获得的所述各个分割 图像相对应的所述相机部分中的图像拍摄来获得所述各条图像数据；并且所述全景图像是动画图像。
22. 如权利要求19所述的图像处理装置，其中，在同一屏幕上显示所述全景图像和所述高分辨率图像。
23. 如权利要求20所述的图像处理装置，其中，在同一屏幕上显示 所述全景图像、所述高分辨率图像和所述检测位置图像。
24. 如权利要求21所述的图像处理装置，其中，在同一屏幕上显示 所述全景图像、所述高分辨率图像和所述注意区域图像。
25. —种图像显示方法，包括以下步骤接收多条第一压縮图像数据和多条第二压縮图像数据，其中，所述第 一压縮图像数据是通过对第一分辨率的图像数据进行压縮编码而获得的， 所述第一分辨率的图像数据是通过在相应的相机部分对通过将全景图像分 割成多个片断而获得的分割图像进行拾取时获得的各条图像数据执行处理 而生成的，而所述第二压縮图像数据是通过对第二分辨率的图像数据进行 压縮编码来获得的，所述第二分辨率低于所述第一分辨率；使用在所述接收时接收的多条所述第二压缩图像数据的解码数据来生 成用于显示所述全景图像的全景图像数据；确定所述全景图像上的高分辨率视角；使用在所述接收时接收的所述多条第一压縮图像数据中的与在所述确 定时确定的所述高分辨率视角相对应的分割图像的所述第一压縮图像数据 的解码数据来生成用于显示高分辨率图像的高分辨率图像数据；以及在显示器上输出基于所生成的全景图像数据的所述全景图像和基于所 生成的高分辨率图像数据的所述高分辨率图像。
26. —种程序，用于指示计算机作为下述装置来进行操作 数据接收装置，用于接收多条第一压縮图像数据和多条第二压縮图像数据，其中，所述第一压縮图像数据是通过对第一分辨率的图像数据进行 压縮编码而获得的，所述第一分辨率的图像数据是通过在相应的相机部分 对通过将全景图像分割成多个片断而获得的分割图像进行拾取时获得的各 条图像数据执行处理而生成的，而所述第二压缩图像数据是通过对第二分 辨率的图像数据进行压縮编码来获得的，所述第二分辨率低于所述第一分辨率；第一图像数据生成装置，用于使用所述数据接收装置所接收的多条所 述第二压縮图像数据的解码数据来生成用于显示所述全景图像的全景图像数据；视角确定装置，用于确定在所述全景图像上的高分辨率视角； 第二图像数据生成装置，用于使用所述数据接收装置所接收的所述多条第一压縮图像数据中的与由所述视角确定装置确定的所述高分辨率视角相对应的分割图像的第一压縮图像数据的解码数据来生成用于显示高分辨率图像的高分辨率图像数据；以及显示装置，用于在显示器上显示基于由所述第一图像数据生成装置生成的所述全景图像数据的全景图像和基于由所述第二图像数据生成装置生成的所述高分辨率图像数据的高分辨率图像。
全文摘要
本发明提供了图像显示系统、装置和方法，图像发送装置和方法，以及程序。相机部分对通过分割全景图像而获得的分割图像进行拾取，以生成高分辨率的图像数据。图像数据处理部分通过编码器来对该高分辨率的图像数据执行压缩编码，以获得第一压缩图像数据。图像数据处理部分执行尺寸改变来获得低分辨率的图像数据，并通过另一个编码器来对该图像数据执行压缩编码，从而获得第二压缩图像数据。数据传送部分通过网络将所述第一和第二压缩图像数据发送到图像显示装置。
文档编号H04N5/262GK101262597SQ200810085508
公开日2008年9月10日 申请日期2008年3月10日 优先权日2007年3月9日
发明者稻熊律夫 申请人:索尼株式会社