远程图像显示方法、图像捕获装置和方法及其程序的制作方法

专利名称：远程图像显示方法、图像捕获装置和方法及其程序的制作方法
技术领域：
本发明涉及一种远程图像显示方法，用于通过图像传感器、即通过输出视频信号的摄像机(以下简称为摄像机)对全景物体进行图像检测，并且用于向位于距离摄像机远处位置的用户显示所捕获的图像；本发明也涉及图像捕获装置及其方法和图像捕获程序。
背景技术：
为了观察在道路上的交通情况，现在一般的方法是设置摇摄摄像机来监控交通情况；通过使用摄像机拍摄而获得的视频信号通过通信线被发送到位于远处的监视装置，其中所接收的视频信号被播放以在显示器上显示交通情况。观看者在观察显示器的同时操纵遥控器的操作按钮或杆，以通过通信线向监控摄像机的控制机构发送用于改变监控摄像机的拍摄方向(水平和垂直方向)的控制信号或/和用于改变摄像机的变焦距镜头的变焦量的控制信号，以便控制监控摄像机来改变其拍摄方向和拍摄条件(参见例如日本专利申请Koukai公开第205775/99(1999年7月30日公布))。
提供了一种服务被，它被称为通过设置在高建筑物的屋顶上的摇摄摄像机的视频直播；用户经由因特网或类似的通信网络从他的个人计算机访问摄像机以占用摄像机预定的时间，通过个人计算机接收摄像机的拍摄视频信号以播放视频信号，以在显示器上显示他们的图像，并且当观看在显示器上的图像的同时，用户操作所述个人计算机以遥控摄像机拍摄方向或透镜的变焦量，以享受观看宽范围全景物体的各个部分。
父母可以在其自己的家中或办公室中控制个人计算机访问在幼儿园中设置的摄像机，以在个人计算机上显示来自所述摄像机播放视频信号，并遥控所述摄像机的拍摄方向或变焦量以观察他的孩子在各种情况下的活动。
而且，当来自在便利店中设置的安全摄像机的视频信号被播放以在远处的显示器上显示图像的时候，警卫有可能在观看被显示的图像的同时遥控安全摄像机的拍摄方向或变焦量。
摄像机的这样的遥控以从其显示视频信号可以用于各种目的。在现有技术中，通过机械控制来改变摄像机本身的拍摄方向，或者通过使用个人计算机的按钮(按键)操作或杆操作来实现用于机械地运动变焦透镜的控制。而且，当一个用户遥控摄像机的同时，其他用户不能控制所述摄像机；即，由一个用户占用摄像机例如预定时间。
因为通过传统的远程图像显示方案来获得期望图像的控制是通过操作按钮(按键)或杆来遥控摄像机本身，因此摄像机的可操作性比在人手中或在遥控云台上手动操作摄像机以获得期望图像的情况差，即，如此获得的图像在一些情况下变得与所期望者有点不同。
本发明的目的是提供一种远程图像显示方法，它使得可以以用户直接通过他的手操作摄像机的相同方式来显示期望的远程图像，本发明并且提供一种图像捕获装置及其方法和图像捕获程序。

发明内容
根据本发明的远程图像显示方法远程图像感测装置执行全景物体的图像检测，并且经由图像捕获装置向在与远程图像感测装置不同的位置的图像显示装置发送被图像检测的全景物体的一部分的视频信号；所述图像显示装置回放和显示所接收的视频信号来做为所述全景物体的一部分的图像；位于可以看见在所述图像显示装置上的显示处配备了摄像机的便携终端执行其周围的图像感测，并且向所述图像捕获装置发送周围的视频信号；图像获取装置根据在前接收的周围视频信号和当前接收的周围视频信号来从配置了摄像机的便携终端获得关于周围图像的变化信息，然后根据所述变化信息从远程图像感测装置来获得对应于周围图像的改变而改变的全景物体的一部分的视频信号，并且向图像显示装置发送所获得的图像信号。
全景物体的宽度足以使不能将其显示为所述显示装置一个显示帧图像的程度，或者它能够将一个显示帧的图像显示到某种程度，但它等于需要使每部分显示都能够被详细看见的视角范围，并且视场角是360度或更少，要显示的图像不必总是连续的。存在用于图像捕获装置的两个方案来从远程图像感测装置获得全景物体的改变部分的视频信号。根据一种方案通过改变检测装置从所接收的周围视频信号中检测的关于当前周围视频信号的图像(以下称为当前图像)相对于从配备了摄像机的便携终端接收的在前周围视频信号的图像(以下称为在前图像)的变化信息；由捕获信号产生装置根据所检测的变化信息来产生用于获得全景物体的一部分的视频信号的捕获信号；所产生的捕获信号被发送到远程图像感测装置；并且由远程图像感测装置接收的视频信号被图像中继装置发送到图像显示装置。使用这种方案，图像捕获装置向远程图像感测装置发送捕获信号，并且从远程图像感测装置接收全景物体的改变部分的视频信号，以由此获得全景物体的改变部分的视频信号的图像。
根据另一个方案，用户在手动操作配备了摄像机的便携终端以在观看图像显示装置上显示的全景物体的一部分的图像的同时拍摄全景物体的一部分，由此有可能远程拍摄和显示全景物体的期望部分；在这种情况下，可以以用户本身在他可以直接观看全景物体的位置操作摄像机的相同方式操作摄像机。因此，摄像机的可操作性是良好的，在全景物体的期望部分和显示的图像之间不会出现偏差。


图1是图解用于说明本发明的原理的系统配置的示例的图。
图2是用于说明全向视频摄像机的图像传感器装置和提取每个部分物体的图像信号的图。
图3A是举例示出当配备了摄像机的便携终端在拍摄图像的方向上转动时被捕获的图像如何在图像传感器上运动的图。
图3B是示出在图像在图3A中运动前后的图像的图。
图4是图解实施例1的系统配置的示例的方框图。
图5是描述图4的变化检测装置12和捕获信号产生装置13的每个的功能配置的示例的图。
图6是示出在图4所示的整个系统的操作程序的示例的图。
图7是示出在图4的图像捕获装置1的程序的示例的流程图。
图8是图解实施例2的系统配置的示例的方框图。
图9是示出在图8中的图像捕获装置1的程序的示例的流程图。
图10是举例而言的在使用多个摄像机的远程图像感测装置2和全景物体6之间的关系的图。
图11是图解实施例3的系统配置的示例的方框图。
图12是用于说明在图11中的摄像机的图像传感装置和提取部分物体的捕获信号的图。
图13是示出在图11中的远程图像捕获装置1的修改形式的方框图。
图14是示出捕获信号产生装置13的具体功能配置的示例和在图11中的摄像机方向存储装置19的存储内容的示例的图。
图15是示出在图14中的摄像机确定部分13b的程序的示例的流程图。
图16是示出摄像机方向存储装置19的存储内容的另一个示例的图。
图17是图解实施例4的系统配置的示例的方框图。
图18是图解实施例5的系统配置的示例的方框图。
图19是示出在图18中的摇摄摄像机的外观的示例的图。
图20是图解实施例6的系统配置的示例的方框图。
图21是图解在图20中的图像捕获装置1的功能配置的示例的方框图。
具体实施例方式
本发明的原理说明将参照图1来说明本发明的原理。
这个示例使用全方向摄像机作为远程图像感测装置2。所述全方向摄像机是一种数字摄像机，它是能够感测360度周围物体的图像的全方向图像传感器；参见例如Kazumasa Yamazaki，“Principle and Characteristics ofOmnidirectional camera with a mirror，”Computer Vision and Image Media，125-21，P.155～160，January 19，2001(Kazumasa Yamazaki，“具有反光镜的全方向摄像机的原理和特性”，计算机视觉和图像媒体，125-21，第155～160页，2001年1月19日)。全方向摄像机是商业可获得的；通过它，具有在如图2所示的0度的预定基准方向的、360度全景物体的图像被形成在诸如CCD的矩形两维图像传感器7上，从它可以提取对应于相应像素的光电转换信号。
在图1中，远程图像感测装置2能够图像感测360度周围全景物体6。在这个示例中，由远程图像感测装置2捕获的全景物体的一部分的视频信号被提取和通过传输线4发送到图像捕获装置1，所述一部分例如是在180度方向中远离所述基准的一部分(以下称为部分物体)61，即在图2中的图像传感器7中的区域71的每个像素信号。
图像捕获装置1通过传输线5向配备了摄像机的便携终端3发送所接收的部分物体的被捕获视频信号，配备了摄像机的便携终端3位于与远程图像感测装置2不同的位置处并且也作为图像显示装置。这个示例使用配备了摄像机的便携电话来做为配备了摄像机的便携终端3，但是它可以是配备了摄像机的PDA(个人数字助理)或固定了摄像机的PDA终端，只要它被配备了数字摄像机和通信装置，并且可以手动操作来拍摄图像。为了在传输线4和5之间区别，以下将它们分别称为远程传输线4和便携相关传输线5。传输线4和5两者都可以是专用的传输线或通过一个或多个通信网络的传输线，所述网络诸如因特网或无线/有线公共电信网络。
顺便提及，在这个示例中，配备了摄像机的便携终端3也被提供了图像显示装置，并且从远程图像感测装置2发送和从图像捕获装置1接收的部分物体61的被捕获适配信号被所述图像显示装置播放，并且在其显示表面32a上被显示。
用户在他的手中拿着配备了摄像机的便携终端3，并且通过终端3的摄像机(便携图像感测装置)33来拍摄周围物体8的图像；当他看见在显示表面32a上显示的全景物体6中的部分物体61时，如果他要看他希望在远处显示的全景物体61中的另一个部分物体，该用户操作配备了摄像机的便携终端3以引导其摄像机33拍摄期望看见的部分物体的图像。例如，在拍摄与部分物体62的右面相距45度方向中的部分物体62的图像的情况下，配备了摄像机的便携终端3的摄像机33的方向33a向右转动45度，如在图1中的点划线所示。
由配备了摄像机的便携终端3的摄像机33进行图像感测的周围物体的视频信号(这个视频信号以下称为周围视频信号)通过便携相关传输线5被发送到图像捕获装置1。图像捕获装置1从先前和当前的周围视频信号检测在由配备了摄像机的便携终端3拍摄的周围图像中的改变。
图3A所示，配备了摄像机的便携终端3拍摄周围物体8的范围是从拍摄范围8a向右运动到拍摄范围8b。因此，在看见部分物体61的再现图像时的所接收的周围视频信号是在图3B的上侧所示的拍摄范围8a的视频信号，但是配备了摄像机的便携终端3的拍摄方向转动45度所接收的周围视频信号是在图3B的下侧所示的拍摄范围8b的视频信号。所接收的周围视频信号的比较指出同一图像部分在附图中从右向左运动，从中可以检测出配备了摄像机的便携终端3的拍摄方向已经右转。
图像捕获装置1检测所接收的周围视频信号相对于在前的变化信息，然后根据所述变化信息来改变要从由远程图像感测装置拍摄的视频信号中提取的视频信号，并且指令远程图像感测装置2以便使对应于所提取的视频信号的全景物体6中的部分物体对应于在所接收的周围视频信号的图像中的改变而改变。在上述示例中配备了摄像机的便携终端3的拍摄方向向右转动45度的情况下，图像捕获装置2经由远程传输线4指令远程图像感测装置2提取对应于全景物体6的部分物体61已经向右转动45度的部分物体62的视频信号，并且提取在图2中的图像传感器7上的区域71已经右转45度的区域72的视频信号。
在接收到所述指令的基础上，远程图像感测装置2从图像传感器7的区域72提取视频信号，并且经由远程传输线4向图像捕获装置1发送所提取的视频信号，图像捕获装置1经由便携相关传输线5向配备了摄像机的便携终端3发送所接收的视频信号。配备了摄像机的便携终端3在其显示表面32a上显示对应于部分物体62的被再现图像。
远程图像感测装置2总是拍摄全景物体6，并且响应于来自图像捕获装置1的捕获指令总是经由图像捕获信号以例如每秒30帧的速率向配备了摄像机的便携终端3发送该部分物体的视频信号。配备了摄像机的便携终端3也总是向图像捕获装置1发送其周围视频信号。
可以从上看出，根据本发明的方法，可以通过下列方式来实现远程拍摄和显示期望的部分物体在直接看见全景物体的同时，操作配备了摄像机的便携终端3以拍摄期望显示的全景物体6的所述部分——这提供了摄像机的增强的可操作性，并且使得不可能带来在期望的部分物体和其视频信号的再现图像之间的偏差。例如，在通过操作诸如便携电话的便携终端的按键来遥控摄像机的情况下，因为按键操作而操作性较差，并且因为按键小和紧密封装，因此可能发生误差的操作，但是本发明的方法没有这种可能。
实施例1图4以方框图形式图解了本发明的实施例1的系统配置的一个示例。在本申请中，相同的附图标号表示相同功能的部件，不重复说明它们。
图像捕获装置1包括周围图像接收装置11，用于通过便携相关传输线5接收从配备了摄像机的便携终端3发送的周围视频信号；变化检测装置12，用于检测作为变化信息的在所接收的周围视频信号的图像中的变化；捕获信号产生装置13，用于根据所检测的变化信息来产生捕获信号；发送装置14，用于通过远程传输线4向远程图像感测装置2发送所产生的捕获信号；图像中继装置15，用于通过远程传输线4接收从远程图像感测装置2发送的被捕获视频信号，并且将其通过便携相关传输线5传送到配备了摄像机的便携终端3。
远程图像感测装置2包括全方向摄像机21，作为用于图像检测全景物体的远程图像感测装置；信号接收装置23，用于通过远程传输线4接收从图像捕获装置1发送的捕获信号；图像提取装置24，用于从全方向摄像机21提取部分物体的捕获视频信号；图像发送装置22，用于通过远程传输线4向图像捕获装置1发送捕获的视频信号。
配备了摄像机的便携终端3包括图像接收装置31，用于通过便携相关传输线5接收从远程图像感测装置2发送的捕获的视频信号；图像显示装置32，用于播放和显示所接收的捕获视频信号；数字视频摄像机33，他说用于图像检测周围物体的便携图像检测装置；发送装置34，用于通过便携相关传输线5从摄像机33向图像捕获装置1发送被提供给它的周围视频信号。
远程图像感测装置2的图像提取装置24从全方向摄像机21提取由所接收的捕获信号确定的一个帧的被捕获视频信号。例如，根据所述捕获信号，图像捕获装置提取对应于关于在图2所示的图像传感器中的一个像素位置(x1，y1)的像素(x+api，y+api)的信号序列(其中i＝0、±1、...、±I，J＝0、±1、...、±J，2I是对应于一个帧的x方向像素的数量，2J是对应于一个帧的y方向像素的数量λ)，如此提取的信号被输出作为区域71的捕获视频信号。即，在这个示例中，期望提取的部分物体的中心位置和变焦量被捕获信号指定。在这个示例中，捕获信号的构成是基准像素位置信号x、y和拉近/拉远信号ap。
被捕获视频信号经由图像捕获装置被发送到配备了摄像机的便携终端3，并且在由远程图像感测装置2图像检测的全景物体中的部分物体的图像——在这个示例中是图1中的部分物体62的图像——被显示在配备了摄像机的便携终端3的图像显示装置32上。
图像捕获装置1的变化检测装置12从所接收的周围视频信号检测关于在当前视频信号的图像(该图像以下将称为当前图像)和从配备了摄像机的便携终端3接收的在前视频信号的图像之间的变化的信息。例如，如图5所示，所接收的周围视频信号被存储在接收缓冲存储器12a中，在此之前，在前被接收和被存储在接收缓冲存储器12a中的周围视频信号被存储在在前帧存储器12b中。在存储器12a和12b中存储的周围视频信号都被输入到变化检测部分12c。变化检测部分12c检测从在前图像到当前图像的运动方向，或者检测运动度(距离)或/和当前图像相对于在前图像的物体的大小的改变，即变焦量。可以例如通过用于分析在拍摄期间的摄像机操作的技术、即所谓的摄像机工作来检测变化信息。摄像机工作分析技术被公开在例如YukinobuTANIGUCHI，et al.，“PanoramExcerptsVideo Cataloging by Automatic Synthesisand Layout of Panoramic Images，”IECEJ Journal D-II，Vol.J82-D-II No.3，PP.392，March 1999(Yukinobu TANIGUCHI等，“全景摘录通过全景图像的自动合成和布局的视频编目”，日本电子通信工程师学会会刊D-II，第J82-D-II卷第3号，392页，1999年3月)和a book supervised by Kenji KOGURE，writtenby Kazuhiko YAMAMORI，“Future Network Technology Series，MediaProcessing Techniques 4，”20，Denki-Tsuushin Kyoukai，First Edition，November10，1999(由Kenji KOGURE监督和由Kazuhiko YAMAMORI撰写的书“未来网络技术系列，媒体处理技术4”，20，Denki-Tsuushin Kyoukai，第一版，1999年11月10日)。
将说明用于分析摄像机工作左右操作(摇摄)、上下操作(倾斜)和通过摄像机透镜改变视角的操作(变焦)的方案示例。设在前图像为f(x，y)并且当前图像为f’(x’，y’)，其中(x’，y’)＝(ax+dx，ay+dy)即，设a、dx和dy分别表示用于说明变焦、摇摄和倾斜的参数。计算最小化下面的在图像f(x，y)和f’(x’，y’)之间的方差的参数a、dx和dy(1/N)∑x，y{f(x，y)-f’(x’，y’)’}2。
这些参数a、dx和dy被用作变化信息。换句话说，变化检测部分12c计算例如a、dx和dy以获得变化信息；即，a是拉近/拉远信息，dx和dy是方向信息。在仅仅检测到配备了摄像机的便携终端3的左右转动的情况下，所述参数仅仅需要被设置在a＝1和dy＝0；在仅仅检测到上下转动行为的情况下，a＝1并且dx＝0；在仅仅检测到在变焦中的改变的情况下，dx＝dy＝0；在仅仅检测到转动行为的情况下，a＝1。
捕获信号产生装置13从由变化检测装置12检测的变化信息和在前捕获信号产生用于获得全景物体的部分物体的被捕获视频信号的捕获信号。例如，如图5所示，在捕获信号产生装置13中，在前产生和当前使用的捕获信号x、y和ap被存储在在前信号存储器13a中；这些信号x、y和ap和诸如a、dx和dy的变化信息的计算通过在相加部分13b中的x+dx→x、在相加部分13c中的y+dy→y和在相乘部分13d中的ap×a→ap，并且它们被补充以产生新的捕获信号x、y和ap，新的捕获信号x、y和ap被提供到在前信号从其13a以更新其中存储的捕获信号，同时它们被输出到发送装置14。当图像捕获装置1未执行图像捕获处理时，在在前信号存储器13a中作为初始值存储了预定的捕获信号。诸如在图2中的传感器的中心x，y和在最大变焦量的半值ap；在图像捕获装置1开始捕获处理时，在在前信号存储器13a中的初始值信号x、y和ap被作为捕获信号发送到远程图像感测装置2。
当变换信息的值小时，例如当dx＝1时，在配备了摄像机的便携终端3上血癌女士的全景物体的部分物体的图像保持基本上不变；为了处理这一点，可取的是提供舍入部分13e、13f和13g，通过它们，如果dx、dy和a小于它们的预定值，则dx和dy被舍入为0，a被舍入为1，它们被提供到相加部分13b和13c和相乘部分13d。在所述丢弃部分13e、13f和13g中设置的上述预定值在所述丢弃部分之中和根据这个远程显示系统的使用模式而不同。在显示远距离场景的部分物体的情况下，所述预定值被选择为较大，并且在使用系统来防止相对空间的误差行为的情况下，它们被选择为较小；对于例如dx，当它最小是5或更小时它被考虑为下舍入为0。
一般，在每次接收一个帧时更新摇发送到周围图像接收装置11的捕获信号不是优选的，因为它增加处理量。即使对于每个帧执行更新，用户也难于感知到在所接收的部分物体图像中的改变。因此，可以适当的时间间隔来向周围图像接收装置11发送捕获信号。可以根据系统的使用模式来适当地确定这个时间间隔例如，当物体的情况像在交通监控的情况下那样较快地改变时为每1/10秒；当物体是景物时，例如每1/3秒，在一些情况下为每几秒。为此，例如在变化检测装置12中提供了更新指令部分12d，并且接收缓冲存储器12a响应于来自更新指令部分12d的指令来以预定的更新时间间隔来捕获一个帧的周围视频信号，变化检测部分12c以更新时间间隔来检测变化信息。或者，对于周围视频信号的每个帧更新接收缓冲存储器12a的内容，并且在每次检测到变化信息时，接收缓冲存储器12a的内容被传送到在前帧存储器12b。当在变化检测部分12c中检测的所有变化信息是零时，即当在这个示例中dx＝dy＝0和a＝1时，不必产生和向远程图像感测装置发送捕获信号，在远程图像感测装置中也不必产生捕获信号。可以仅仅对应于已经经历了改变的那些变化信息来选择性地产生和发送捕获信号。
在远程图像感测装置2中，由信号接收装置23接收的捕获信号被输入到图4所示的图像提取装置24，并且先前接收的捕获信号与新接收的捕获信号被存储在存储部分24a中。根据如此更新的在存储部分24a中的捕获信号，图像提取装置24提取在由全方向摄像机21拍摄的全景物体中的部分物体的视频信号。例如，全方向摄像机21的图像传感器7的输出如图2所示从总是根据待捕获信号(基准像素位置信号)提取在其中心(基准)具有像素(x，y)的一帧区域71的视频信号的状态改变为总是根据更新的捕获信号提取在其中心具有像素(x’，y’)的一帧区域72的视频信号的状态。在图2的示例中，配备了摄像机的便携终端3的拍摄方向不垂直地改变，变焦量和拍摄方向也不仅仅向右转动，即变化信息dy＝0和a＝1和dx被检测，并且捕获信号从x、y、ap变为x←x+dx、y’、a’p←ap。更新的信息x、y、ap每个被加上一个撇[‘]以在它们和待更新的信息之间区别。在图4中dx＝D1。
从远程图像感测装置2提取的被捕获视频信号经由图像捕获装置1被从图像发送装置22发送到配备了摄像机的便携终端3。因此，摇显示在配备了摄像机的便携终端3的图像显示装置32上的图像也改变。即，在全景物体中的期望部分物体根据配备了摄像机的便携终端3的摄像机工作(方向和/或变焦操作)改变，并且改变的部分物体的被捕获视频信号被再现和显示在图像发送装置22上。
将说明变焦量ap；在最大变焦量aPM的时候，图像提取装置24提取图像传感器7(图2)的像素信号在x方向中的2I和在y方向中的2J。当变焦量是ap时，以aPM/ap像素的间隔分别在x和y方向中提取2I和2J信号。以这种方式，当变焦量ap大时，从在图像传感器7中的窄区域中提取部分物体的被捕获视频信号，而当ap小时，从一个宽区域提取部分物体的被捕获视频信号，并且在配备了摄像机的便携终端3的图像显示装置32上显示的图像也随着在变焦量ap中的改变缩小/放大。
图像捕获装置1的图像中继装置15在转换部分15a(见图4)根据配备了摄像机的便携终端3的等级和便携相关传输线5的规格向视频信号引入改变后向配备了摄像机的便携终端3发送从远程图像感测装置2接收的被捕获视频信号，所述改变诸如被捕获视频信号的屏幕大小到图像显示装置32的屏幕大小的转换和每个像素的幅度(亮度)分辨率或压缩编码的转换。
参见图6，将简述图4所示的系统中的处理的流程。配备了摄像机的便携终端3向图像捕获装置1发送开始访问(F1)。图像捕获装置1向远程图像感测装置2发送开始访问或捕获信号(初始值)(F2)。远程图像感测装置2提取预定的或对应于捕获信号的部分物体的被捕获视频信号(该“被捕获视频信号”以下在一些情况下将也称为“被捕获信号”)(F3)，并且被捕获信号被实时地发送到图像捕获装置(F4)。图像捕获装置1向配备了摄像机的便携终端3中继所接收的被捕获信号(F5)。
配备了摄像机的便携终端3播放所接收的被捕获信号以显示部分物体的图像(F6)。周围物体的图像检测被配备了摄像机的便携终端3执行(F7)。通过图像检操作的周围拍摄信号被实时地发送到图像捕获装置1(F8)。
图像捕获装置1从在所接收的周围视频信号的图像中的改变检测在配备了摄像机的便携终端3的摄像机操作中的改变(F9)，并且如果检测到这样的改变，则产生捕获信号(F10)，并且向远程图像感测装置2发送所述捕获信号(F11)。
远程图像感测装置2根据所接收的捕获信号而改变要提取的部分物体的视频信号(F12)。其后重复在根据捕获信号提取被捕获信号的F3后的处理，并且在从配备了摄像机的便携终端3向图像捕获装置1发送结束命令时(F13)，图像捕获装置1向远程图像感测装置2中继所述结束命令(F14)，并且远程图像感测装置2停止发送部分物体的被捕获信号(F15)。
参见图7，下面将说明图像捕获装置1的程序的示例。
步骤S1等待从配备了摄像机的便携终端3接收开始访问。
步骤S2在接收到开始访问时，向远程图像感测装置2发送开始处理或在在前信号存储器13a中的捕获信号(初始值)。
步骤S3确定是否接收到摄像机操作命令。
步骤S4如果未接收到操作命令，则从远程图像感测装置接收部分物体的被捕获信号。
步骤S5向配备了摄像机的便携终端3发送所接收的被捕获信号。
步骤S6如果在步骤S3接收到操作命令，则保存所述命令或设置标记，并且从配备了摄像机的便携终端3接收周围视频信号。
步骤S7查看是否到达改变检测定时，如果如此，则步骤S8通过变换检测装置12来执行变换检测处理以获得变化信息。
步骤S9使用所获得的变化信息和在前捕获信号来产生新的捕获信号，并且使用新产生的捕获信号来更新在前捕获信号。
步骤S10向远程图像感测装置2发送新产生的捕获信号，并且返回步骤S4。
步骤S11在步骤S5后，确定是否接收到操作停止命令，如果没有，则返回步骤S7。
步骤S12如果在步骤S11接收到停止命令，则消除迄今所保存的操作命令或复位所述标记，并且确定是否接收到操作恢复命令。
步骤S13如果未接收到操作恢复命令，则确定是否接收到结束命令，如果没有则返回步骤S4。
如果在步骤S7未到达变换检测定时，则到步骤S4，如果在步骤S12接收到操作恢复命令，则保存所述命令并且例如设置标记，其后返回步骤S6。
使用上述的这样的程序，当用户从配备了摄像机的便携终端3向图像捕获装置1发送开始访问时，部分物体的被捕获信号被播放和显示在配备了摄像机的便携终端3上；如果用户要看与所显示的不同的部分物体的图像或将其放大或缩小，则从配备了摄像机的便携终端3向远程图像感测装置2发送摄像机操作命令以用于期望的摄像机操作，并且在显示期望的部分物体的图像时，发送操作停止命令。因此，允许用户在与其一起携带配备了摄像机的便携终端3的同时保持观看例如部分物体的图像。可以根据需要仅仅通过发出操作恢复命令来转换期望观看的部分物体。
在步骤S13中接收到结束命令时，图像捕获装置1可以根据需要向远程图像感测装置2发送结束命令(S14)以使得远程图像感测装置2在接收到所述结束命令时立即结束发送部分物体的被捕获信号。另一种可能的方法是在第一次发送部分物体的被捕获信号后过去某个时间时结束发送被捕获信号。也可以在接收开始访问和接收由图7中的虚线所示的操作命令之间的间隔中接收周围视频信号。虽然在上面在步骤S7在预定的时间间隔查看变化检测定时以因此执行例如变化检测处理，但是也可能省略步骤S7，并且总是执行变化检测处理。如图7中的虚线所示，变化检测处理后可以确定是否当前接收的周围图像与在前接收的周围图像不同，并且如果未发现改变，则程序进行到步骤S4，而如果发现改变，则程序进行到步骤S9(S15)。
实施例2在实施例1中，全方向摄像机被用作远程图像感测装置2的图像检测装置，并且图像捕获装置1向远程图像感测装置发送捕获信号以使得它提取部分物体的被捕获信号，但是在实施例2中，全方向摄像机被用作远程图像感测装置2的图像检测装置，并且使得远程图像感测装置2向图像捕获装置1发送所有被捕获的视频信号，图像捕获装置1从所接收的被捕获视频信号提取部分物体的被捕获信号。
图8图解了这个实施例的系统配置的一个示例。下面仅仅说明与图4不同的元件。在远程图像感测装置2中省略了图像提取装置24，并且从图像发送装置22向图像捕获装置1发送全方向摄像机21的所有被捕获视频信号。信号接收装置23可以被省略，但是相反也可以被提供以便远程图像感测装置响应于来自图像捕获装置1的开始方位而开始通过全方向摄像机21的图像参见或开始向图像捕获装置1发送被捕获的视频信号，并且响应于结束命令来结束向图像捕获装置1发送被捕获的视频信号。
在图像捕获装置1中，提供了远程图像接收装置16、图像提取装置17和图像发送装置18，并且不向远程图像感测装置2发送捕获信号。来自远程图像感测装置2的被捕获视频信号被远程图像接收装置16接收，并且来自捕获信号产生装置13的捕获信号用于通过图像提取装置17提取部分物体被捕获信号。例如，所接收的被捕获视频信号被存储在图像提取装置17中的缓冲存储器17a中；在这种情况下，视频信号被存储，并且各个像素信号使用与例如图2所示的图像传感器7中的像素排列相同的模式来排列。通过与在实施例1中在远程图像感测装置2中的图像提取装置24提取部分物体被捕获信号的方法相同的方法，根据在捕获信号产生装置中的在前信号存储器13a(见图5)中的捕获信号——在这个示例中是根据基准像素位置信号x、y和缩小/放大信号ap——来从缓冲存储器17a读出部分物体被捕获信号。如此读出的部分物体被捕获信号被从图像发送装置18发送到配备了摄像机的便携终端3。在这种情况下，可以像在实施例1中那样在发送被捕获信号之前在转换部分18a中执行被捕获信号的处理，诸如屏幕大小转换和压缩处理。可以根据要求由发送装置14像远程图像感测装置2发送开始访问和结束命令。这个实施例除了上述这些之外与实施例1相同。
图9示出了在实施例2中的图像捕获装置1的程序的示例。与图7中所述的程序一样，执行步骤S1、S2和S3。如果在步骤S3中未接收到用于摄像机操作的命令，则在步骤S4中从远程图像感测装置2接收到被捕获视频信号，然后在步骤S16中根据在在前信号存储器13a中存储的变换信息来从所接收的被捕获视频信号提取部分物体的被捕获信号，并且在步骤S17中向配备了摄像机的便携终端3发送如此提取的部分物体被捕获信号。
在发送被捕获图像后，程序进行到步骤S11，其中确定是否像在实施例1中那样接收到摄像机操作停止命令，然后依序执行步骤S12和S13，并且如果未接收到结束命令，则程序进行到步骤S4。这个实施例除了上述之外与实施例1相同，并且产生与后者可获得的相同的工作效果。系统的处理流程与在实施例1中相同，除了远程图像感测装置2在步骤F3向图像捕获装置1发送所有被捕获视频信号；省略步骤F12；并且图像捕获装置1执行图9所示的处理。
实施例3实施例3使用多个数字摄像机来作为远程图像感测装置2的图像检测装置，并且图像捕获装置1通过在远程图像感测装置2中提取其来捕获在全景物体中的部分物体的视频信号。
在图10中，举例示出了在实施例3中的在远程图像感测装置2和全景物体6之间的关系。在这个示例中，作为远程图像感测装置2的具有8个摄像机的摄像机21到28被设置在360度上并且以相等的角度间隔来固定它们的拍摄方向。在这个示例中，摄像机21到28每个的视角θ被选择为略大于45度的角距离，以便相邻摄像机的场部分重合以允许图像参见全景物体的连续的部分物体。内容提供者(CP)6在与远程图像感测装置2的相同距离形成柱面，但是为了容易明白部分物体，全景物体6被示出为其下直径小于上直径。
例如，摄像机21拍摄部分物体61，并且摄像机22拍摄从拍摄部分物体61的方向右面的45度方向中的部分物体62。使用这个远程图像感测装置2，有可能拍摄所使用的第2n个摄像机等分全景物体6而得到的任何部分物体。顺便提及，摄像机的数量不特别限于8。拍摄方向的角距离不总是相等的，即当全景物体6包括不必看见的部分时，摄像机被定向为不拍摄这样的不需要部分。
实施例3的系统配置的一个示例被图解在图11中。将仅仅说明与在图4的配置中的那些不同的部分。远程图像感测装置2具有例如多个如图10所示布置的摄像机21到2N。摄像机21到2N具有相同的结构，下面将结合摄像机21来说明它。图像提取装置24像图4中的情况一样被使用，但是它的结构和处理(操作)不同于图4的图像提取装置24。即，从图像捕获装置1接收的捕获信号的构成包括摄像机识别信息IDp并且必要时包括变焦参数aP或/和位置参数y。因此，图像提取装置24包括存储部分24a，用于存储aP、y；ID存储部分24b，用于存储摄像机21的摄像机识别信息ID1。当不使用aP和y的任何一个时，省略存储部分24a。
当在由信号接收装置23接收的捕获信号中的摄像机识别信息IDp匹配存储在ID存储部分24b中的所述摄像机识别信息——在这个示例中是ID1——时，摄像机21的摄像机21开始拍摄，并且执行图像捕获处理；否则，摄像机21总是保持在拍摄状态中，并且从摄像机21捕获图像。分别使用在捕获信号中的aP和y来更新在存储部分24a中的存储内容aP和y。
可以使用与在实施例1中的情况中实质相同的方式来执行图像提取处理，但是当不使用aP和y时，从摄像机21输出的图像信号被捕获作为来自摄像机21的部分物体被捕获信号，并且被输入到图像发送装置22。摄像机21的传感器7例如是矩形的，如图12所示；宽度由像素的数量2(aPM/aPS)I限定，2(aPM/aPS)I是通过将要显示的图像的水平(x方向)像素的数量2I乘以一个值(aPM/aPS)而获得的一个值，(aPM/aPS)是通过将aP的最大值aPM除以aP的最小值aS而获得的一个值，长度被像素的数量2(aPM/aPS)·ΔyM·J限定，即通过将要显示的图像的垂直(y方向)像素的数量2J乘以2(aPM/aPS)并且再乘以用于最大(提升/降低)倾角的像素的数量ΔyM而获得的一个值。相反，通过在装置7的宽度方向中的像素的数量来确定aP的最小值aPS，并且通过基于在装置7的长度方向中的像素数量的最小值aPS来确定最大(提升/降低)倾角ΔyM。
例如，如果在存储部分24a中存储的参数是aP和y，则像素((aPM/aP)i，y+(aPM/aP)j)(i＝0，±1，...，±I，j＝0，±1，...，±J)的信号被捕获作为来自区域71的部分物体被捕获信号，所述区域71的宽度是2(aPM/aP)I，长度是2(aPM/aP)J，其中心在图12中的x方向中的装置7的平分线(中心线)上的一个位置y，当使用aP和y’来更新参数时，像素((aPM/aP’)i，y’+(aPM/aP’)j)的信号被捕获作为来自区域72的部分物体被捕获信号，区域72的宽度是2(aPM/aP’)I，长度是2(aPM/aP’)J，其中心在所述中心线上的一个位置y’。
如上所述，在远程图像感测装置2中，根据从图像捕获装置1发送的捕获信号来从摄像机21到2N的任何一个取出部分物体被捕获信号，并且由图像发送装置22向图像捕获装置1发送所述信号。远程图像感测装置2和图像捕获装置1可以如图11所示相互连接，其中摄像机21到2N经由部分线连接到图像捕获装置1，但是远程图像感测装置2和图像捕获装置1也可以经由在图13中所示的双向传输线4而连接。即，来自图像捕获装置1的捕获信号被信号接收装置23接收，然后所接收的捕获信号被划分装置26分布到摄像机21到2N的每个的图像提取装置24，，然后通过组合装置27来组合来自摄像机21到2N(通常来自它们中的仅仅一个)的各自的摄像机21的部分物体被捕获信号，并且被组合的部分物体被捕获信号被图像发送装置22发送到图像捕获装置1。
转回图11，在图像捕获装置1中，对应于摄像机21到2N的每个的拍摄方向的方向信息被与每个摄像机的摄像机识别信息IDi对应地存储在摄像机方向存储装置19中。例如，在相邻摄像机的拍摄方向之间的角度被存储。图14示出了一个示例。在图14中，摄像机2N的数量N是8，并且摄像机21到2N的各自的摄像机识别信息被表示为ID1到ID8。在拍摄方向中的在摄像机21和22之间的角距离Δ×1(在显示表面上的被捕获图像的像素的数量形式的值；这同样声音源下面的说明)被对于ID1·ID2存储，并且在拍摄方向中的在摄像机22和23之间的角距离Δ×2被对于ID2·ID3存储，并且在其他相邻摄像机之间的角距离被类似地存储。
捕获信号产生装置14在结构和处理(操作)上与在图4中的相应装置有所不同。在图14中，示出了功能配置的一个示例。在这个示例中，变化检测装置12被示出为通过参照图5前述的配置和方法来检测作为变换信息的方向信息dx、dy和变焦信息a。在在前信号存储器13a中，在前摄像机识别信息IDp、y方向位置y和变焦量aP被存储。作为它们的初始值，对于识别信息IDp、y＝0设置预定的摄像机识别信息ID1，并且变焦量aP被设置在其最大值和最小值之间的中间值。
信息dx被输入到摄像机识别部分13b。下面将参照图15来说明在摄像机识别部分13b中的处理。如果dx的符号是正的(S1)，则使用IDp·IDp+1作为地址从摄像机方向存储装置19读出在在前摄像机识别信息IDp中的摄像机拍摄方向和在当前摄像机识别信息IDp+1中的摄像机拍摄方向之间的角度Δx+1(S2)。进行查看以确定是否dx等于或大于Δx+1(S3)，如果它等于或大于Δx+1，则输出IDp+1(S4)，如果它不等于或大于Δx+1，则原样输出IDp(S5)。
如果在步骤S1中dx的符号不是正的，则使用IDp-1·IDp作为地址从存储装置19读出在IDp-1和IDp中的摄像机拍摄方向之间的角度Δx-1(S6)，然后查看以确定是否dx的绝对值等于或大于Δx-1(S7)，如果如此，则输出IDp-1(S8)，如果它不等于或大于Δx-1，则原样输出IDp(S9)。
在相邻的摄像机的拍摄方向之间的角距离小时或当配备了摄像机的便携终端3的拍摄方向突然改变大角度时，省略步骤S4和S8，如图15中的虚线所示；如果在步骤S3 dx等于或大于Δx+1，则从存储装置19读出距离邻接摄像机的拍摄方向的角距离，即在IDp+1和IDp+2中的拍摄方向之间的角距离Δx+1(步骤S10)，然后查看以确定是否dx等于或大于Δx+1+Δx+2(S11)，如果如此，则输出IDp+2(S12)，如果它不等于或大于Δx+1+Δx+2，则输出IDp+1(S13)。
当在步骤S7中|dx|等于或大于Δx-1的时候，则使用IDp-2·IDp-1从存储装置19读出距离邻接摄像机的拍摄方向的角距离，即角距离Δx-2(S14)，并且查看以确定是否|dx|等于或大于Δx-1+Δx-2(S15)，如果如此，则输出IDp-2(S16)，如果不如此，则输出IDp-1(S17)。类似地，可以确定与另一个远距离的摄像机的拍摄方向的角距离。
当像在图10的示例中那样在邻接的摄像机的拍摄方向之间的角距离全相等时，仅仅对应于那个角度——在这个示例中是45度——的像素的数量Δx被存储在摄像机方向存储装置19中，如虚线所示，并且省略步骤S2和S6；在步骤S3中，查看以确定是否Δx≤dx，在步骤S7中查看以确定是否Δx≤|dx|。对于大角度摄像机操作，省略在图15中的步骤S4、S8、S10和S14，如虚线所示，然后在步骤S11中查看是否2Δx≤dx，在步骤S15中查看是否2Δx≤|dx|。也在这个情况下，可以类似地确定距离另一个远距离的摄像机的摄像机拍摄方向的角距离。
转回图14，下面将说明捕获信号产生装置13。对于输入的信息dy和a，在相加部分13c中，dy被加上在前信息y，在相乘部分13d中，a被乘以在前信息aP，如上参照图13所述。来自各个部分13b、13c和13d的输出被提供到信号发送装置14，同时在前信号存储器13a的内容被以上述的相同方式更新。对于各个输入，可以提供丢弃部分13e、13f和13g。在这种情况下，当dx等于或小于在丢弃部分13e中的预定值时，当前值IDp(在存储器13a中的IDp)被输出而不用在摄像机识别部分13b中的处理。
在摄像机方向存储装置19中，可以预先存储多个摄像机的拍摄方向相对于例如如图16所示的其中预定的一个的拍摄方向的角度。在图16的示例中，摄像机识别信息ID4的摄像机的拍摄方向被用作参考标准，并且其他七个摄像机的每个的拍摄方向相对于这个参考方向的角度被存储为在被捕获图像的一个帧中的像素的数量。在这种情况下，在图15所示的处理中，例如在步骤S2读出在IDp和IDp+1中的角度，并且确定是否dx等于或大于在两个角度之间的差。
根据使用模式，当预定了用户要首先看见的部分物体的方向时，必须使得各个摄像机识别信息对应于南北东西方向，例如北、东北、东、...方向。可以通过预定每个摄像机识别信息的摄像机的拍摄方向和因此布置远程图像感测装置2来限定在摄像机识别信息和南北东西方向之间的对应性。但是，在一些情况下，这样地布置远程图像感测装置2是耗时的。为了避免这一点，如图11所示，摄像机信息测量装置25被提供在每个摄像机21到2N中，并且通过磁罗盘或摄像机信息测量装置25的类似方传感器25a来测量拍摄方向相对于正北的角度，以获得关于在南、北、东或西方向中的每个摄像机的拍摄方向的信息。在图解的示例中，也提供了通过加速度计的倾角传感器25b，通过它检测一个值Δy，它以在被捕获图像的帧上的像素的数量来表示相对于水平屏幕的拍摄方向的角度，即摄像机21的图像传感器7的y轴的角度(提升/下降角度)。南、北、东或西方向和由摄像机信息测量装置25测量的倾角Δyn与摄像机2n(n＝1，...，N)的摄像机识别信息IDn一起被在图11和13中的括号中的项目指出的信号发送/接收装置23发送到图像捕获装置1。图像捕获装置1通过图像发送/接收装置15从每个摄像机2n接收其识别信息IDn、南、北、东或西方向和倾角Δyn，并且将它们对应于例如图16所示的标识IDn而存储在摄像机方向存储装置19中。
当用户对图像捕获装置1进行开始访问时，图像捕获装置1读出摄像机的识别信息，在图16的示例中是ID3，其拍摄方向是南、北、东或西方向中的预定的一个，例如是北——在图16示例中的ID3，并且图像捕获装置1读出提升/降低角Δy3，并且向远程图像感测装置2发送这些读出的值，如果必要的话，也发送拉近/拉远参数(变焦值)的初始值aP。初始值aP可以被预先存储在每个摄像机21到2N的图像提取装置24的存储部分24a中。所述提升/降低角Δyn被从在图2中的校正部分h中的相加部分13c的输出中减去，被被提供到信号发送装置14。使用在校正部分13h中待校正的值来执行一个信号存储器13中的y的更新。例如，当用户要看相对于水平方向的部分物体图像时，如果摄像机拍摄方向相对于水平平面略高，则在摄像机21的图像传感器7上形成的部分物体图像从水平方向中的部分物体图像上移对应于向上的拍摄方向的一个值，即Δyn。因此，在校正部分13h中的Δyn的相减提供了相对于水平方向的部分物体图像。顺便提及，y的初始值被设置y＝0。
如上所述，响应于来自图像捕获装置1的捕获信号，从摄像机2n向图像捕获装置1发送部分物体视频信号以捕获所述信号，像在实施例1中的情况那样，所述信号被中继和发送到配备了摄像机的便携终端3；因此，可以容易明白，像在实施例1中那样。用户可以在操作便携终端3的摄像机的同时直接看见全景物体和选择其部分物体。在这种情况下的图像捕获装置1的程序与图7所示的相同。在这种情况下的程序也可以被改变以便在接收到开始处理时，图像捕获装置将其发送到远程图像感测装置2，远程图像感测装置2响应于所述开始访问而从预定的摄像机2n向图像捕获装置1发送部分物体的被捕获信号。
实施例4在也使用多个摄像机21到2N来作为远程图像感测装置2的情况下，像在实施例2中那样，图像捕获装置1可以从自远程图像感测装置2接收的视频信号提取部分物体被捕获信号。实施例4涉及这个操作，将参照图17来说明其与实施例3的差别。
在远程图像感测装置2中，每个摄像机21到2N的图像提取装置24被省略，并且来自每个摄像机21的视频信号被图像发送装置22发送到图像捕获装置1。在这种情况下，在例如ID存储部分24b中存储的摄像机识别信息IDn被加到摄像机21的视频信号上以使得图像捕获装置1能够识别从其接收到视频信号的摄像机2n。顺便提及，如果在图像捕获装置1中的远程图像接收装置16的输入终端是对应于摄像机21到2N而被预定的，则不必发送摄像机识别信息IDn。可以对于每个摄像机21到2N提供图像发送装置22，但是也可以向它们共同提供。而且，可以根据需要提供摄像机信息测量装置25。
在图像捕获装置1中，省略了图像中继装置15，并且在图像提取装置17中，选择步骤17b选择对应于来自捕获信号产生装置13的捕获信号中包括的摄像机识别信息IDp的、那个来自摄像机21到2N的视频信号。换句话说，选择其摄像机识别信息IDn匹配IDp的那个所接收信号。可以通过图像提取装置17本身来进行这个选择。而且，图像提取装置17具有与图8中相同的缓冲存储器17a，在这个缓冲存储器17a中，视频信号被存储，并且其像素信号以与例如在图12中所示的图像传感器7中像素排列相同的模式被排列；图像提取装置24根据如上参照图12所述的捕获信号中的aP和/或y来提取部分物体的被捕获信号。
当捕获信号仅仅包括IDp时，可以省略缓冲存储器17a。可以通过在图像接收装置16中的选择部分16a来取代选择部分17a而进行视频信号的选择；或者，如上所述，分别对应于摄像机21到2N来预定图像接收装置的接收终端，以便选择对应于信息IDp的接收终端以选择所接收的图像信号。
在从配备了摄像机的便携终端3被访问以开始时，图像捕获装置1捕获对应于预定摄像机识别信息或南、北、东和西方向的预定一个的部分物体视频信号，并且向配备了摄像机的便携终端3发送被捕获信号。在实施例4的系统中的图像捕获装置1的程序与在图9中所示的程序相同。因此，容易明白实施例4也产生实施例1-3可获得的相同工作效果。
实施例5实施例5使用在摇摄云台上安装的摄像机来作为远程图像感测装置2的图像检测装置。图18图解了这个实施例的系统配置的一个示例。将说明与图4的配置的差别。
远程图像感测装置2的图像检测装置21是安装在图19所示的摇摄平台27上的摄像机28；可以通过来自远处的控制信号来改变摄像机28的拍摄方向，并且也可以通过透镜来改变被称为变焦量的视场角。图像检测装置21以下将被称为摇摄摄像机21。从图像捕获装置1向图像提取装置24输入作为捕获信号的、方位角信号θ、提升/降低角度信号φ和变焦信号Z。方位角控制信号24c根据方位角信号θ控制方位角控制机构24d，使得摄像机21的拍摄方向的方位角变为θ。提升/降低控制部分24e根据提升/降低角度信号φ来控制提升/降低控制机构24f，使得摄像机的拍摄方向的提升/降低角度变为φ。变焦控制部分24g根据变焦信号Z来控制变焦控制机构24h，使得摄像机21的变焦量变为Z。这些控制部分24c、24e、24g和控制结构24d、24f、14h可以与商业可获得的遥控摇摄摄像机的摇摄平台27中设置的那些相同。
因此，对应于捕获信号的在全景物体6中的全景物体图像信号被从摄像机21去除和发送到图像捕获装置1。远程图像感测装置2也可以被提供参照图11前述的摄像机信息测量装置25。
在图像捕获装置1中，诸如图5所示的捕获信号产生装置13根据由变化检测装置12检测的变化信息来产生信号z、x和aP，这些信号x、y和aP被转换部分13j转换为方向信号方位角信号θ和提升/降低角度信号φ以及变焦信号Z的变焦改变信号，它们被发送到远程图像感测装置2。
在从图像捕获装置1向远程图像感测装置2发送开始访问时，远程图像感测装置2向图像捕获装置1发送通过在预定基准方向和以基准变焦量拍摄而获得的部分物体视频信号。在远程图像感测装置2中，提供了摄像机信息测量装置25，在图像捕获装置1响应于开始处理而获得诸如在北方向和在水平方向中的、在预定方向上的部分视频信号的情况下，初始信号产生部分13k产生初始捕获信号。即，由远程图像感测装置2的摄像机信息测量装置25测量的方位角θi和提升/降低角φi被分别存储在存储部分13m和13n中，并且在基准计算部分13p和13q中计算在所存储的角度θi和φi与预定的参考方位角和参考提升/降低角度之间的差别的方向包含角度信号，这些信号被作为初始捕获信号发送到远程图像感测装置2。即，在摇摄摄像机21的当前拍摄方向和基准方向之间的差别被作为捕获信号发送到远程图像感测装置2，远程图像感测装置2响应于所述捕获信号而控制摇摄摄像机21来根据上述差别改变其拍摄方向。关于变焦量Z，初始捕获信号在差别上是零。在实现这样的控制的情况下，基于由变化检测装置12检测的变化信息的捕获信号——它们指出摇摄摄像机21的当前条件，仅仅在拍摄方向和变焦量上的变化——也被发送到远程图像感测装置2。因此，如图18所示，例如，由变化检测装置12检测的变化信息dx、dy和a被直接输入到捕获信号产生装置13的转换部分13j，并且相应的被转换的输出被作为所产生的捕获信号发送到远程图像感测装置2。远程图像感测装置2分别根据由对应于其的所接收捕获信号表示的变化来控制方位角控制机构24d、提升/降低控制机构24f和变焦量控制机构24h。
如上所述，不及在使用南北东西方向中的预定的一个来作为基准的情况下，而且在使用摇摄摄像机的初始条件来作为基准的情况下，也有可能产生表示对应于由变化检测装置12检测的变化信息的变化的捕获信号；向远程图像感测装置2发送所述捕获信号；并且在图像捕获装置1中实现控制以将摇摄摄像机21的当前方向或/和变焦量改变由所数据的捕获信号表示的变化量。其中产生和向远程图像感测装置2发送仅仅表示基于变化信息的变化的捕获信号的方法也声音源实施例2和4。在这种情况下，在实施例1中，例如在远程图像感测装置2中提供了与在图5中的13相同的捕获信号产生装置。
实施例6实施例6也被适配来允许多个用户使用远程图像感测装置2。例如，如图20所示，图像捕获装置1连接到通信网络50，并且多个配备了摄像机的便携终端31、32、...、3M直接连接到通信网络50或经由另一个网络连接到通信网络50，构成连接到图像捕获装置1的便携相关传输线51、52、...、5M。图像捕获装置1经由远程传输线4连接到远程图像感测装置2。便携相关传输线5可以是专用线路或通过通信网络50的线路。
首先说明远程图像感测装置2在配置上类似于前面参照实施例2所述的情况。在图21中示出了在这个示例中的图像捕获装置1的功能配置的示例。提供了用于与多个配备了摄像机的便携终端3、即多个周围图像接收装置111到11S连接的S个线路；接收缓冲存储器12a1到12aS；在前帧存储器12bs，具有用于存储周围图像信号的S区域，每个周围图像信号对应于行编号s之一(s＝1、2、...、S)；标记存储器92，用于对应于每个行号s来存储一个标记，所述标记用于指出是否对应的摄像机被操作；更新指令部分12ds，对应于每个行号s；一个或多个变化检测部分12c(仅仅示出其中之一)；一个或多个捕获信号产生装置13(仅仅示出其中之一)；图像检测装置18s，与每行的周围图像接收装置11s成对；远程图像装置16；一个或多个图像捕获装置17(仅仅示出其中之一)；控制装置98。在在前信号存储器13a中，提供了存储每个行号s的在前捕获信号(当前使用的)的区域。控制装置93被提供了一个存储器，其中存储了用于控制微处理器或CPU(中央处理单元)来作为图像捕获装置1所需要的一个程序，并且控制装置93执行所述程序以实现每个存储器的读写并且依序操作各个部分。在图21中的一些功能块的功能由控制装置93本身执行。
下面说明下述情况特定的配备了摄像机的便携终端3在连接到行号s的图像接收装置11s以开始后使用所述行s直到完成接收部分物体图像信号。在对于周围图像接收装置11s进行开始访问时，从在对应于所述行s的在前信号存储器13a的区域中读出捕获信号，并且使用所述读出的捕获信号来通过图像提取装置17从由远程图像接收装置17接收的全景视频信号提取部分物体视频信号，，并且被提取的部分物体视频信号被行号s的图像发送装置发送到配备了摄像机的便携终端3。在其初始状态中，在前信号存储器13a在其所有区域中存储了捕获信号x0、y0和aP0——在这个示例中用于预定的部分物体。在配备了摄像机的便携终端3中，在从图像捕获装置1接收到视频信号时，所接收的视频信号被图像显示装置32播放和显示。使用上述对于实施例2的相同方式来执行用于在图像提取装置17中捕获部分物体视频信号的操作。
在通过行s的周围图像接收装置11s接收到摄像机操作命令时，在标记存储器92中对于所述行号s设置一个标记，即所述标记从“0”向“1”转换(所述标记初始被设置为0)，然后设置更新指令部分12dS的计时器，并且在接收缓冲存储器12as中存储了周围图像接收装置11s所接收的周围视频信号。
在每次从更新指令部分12ds发送更新指令时，通过变化检测部分12c从在接收缓冲存储器12as中和在前帧存储器12b中的所接收的周围视频信号两者检测变化信息dx、dy和a，然后捕获信号产生装置13通过根据所检测的变化信息处理在在前信号存储器13a的区域s中的在前产生信号来产生捕获信号，然后以新产生的捕获信号来更新在在前信号存储器13a的区域s中的捕获信号，并且通过图像发送装置18s向配备了摄像机的便携终端3发送通过图像捕获装置17的部分物体视频信号。在接收缓冲存储器12as中的视频信号被传送到在前帧存储器12b的区域s。
在通过周围图像接收装置11s接收到摄像机操作停止命令时，在标记存储器92中的行号s的标记被复位到“0”，停止更新指令部分12ds的操作。根据在在前信号存储器13a的区域s中的捕获信号，部分物体视频信号被捕获，并且它被图像发送装置18s实时地发送。在通过周围图像接收装置11s接收到操作恢复命令时，在标记存储器92中的行s的标记被设置为“1”以使得更新指令部分12ds工作，其后进行与已经接收到摄像机操作命令的情况中相同的处理。当周围图像接收装置11s接收到结束命令时，在在前缓冲存储器12as、在前帧存储器12b的区域s和在前信号存储器13a的区域s中的内容被消除，更新指令部分12ds被从要求的操作停止，并且在标记存储器92中的行s的标记被复位为“0”。
对于快速处理，可以建立在图像捕获装置1和配备了摄像机的便携终端3之间的连接以用于期间的每个信号发送和接收，直到在从配备了摄像机的便携终端3m(m＝1、2、...、M)向图像捕获装置1发送开始访问后完成图像捕获操作。在这样的情况下，配备了摄像机的便携终端3m向每个被发送的信号附加终端识别信息Idm。所使用的终端识别信息Idm例如是配备了摄像机的便携终端3m的电话号码或地址或如果必要的话是配备了摄像机的便携终端3m的设备编号、用户的姓名等。处理编号存储器91被提供来定义在终端识别信息Idm和电路编号的处理编号s(s＝1、2、...、S)之间的对应性。在接收到开始访问时，终端识别信息Idm和空闲处理编号s(用于指出当前不使用的编号)被彼此对应地存储在处理编号存储器91中。其后，在每次从配备了摄像机的便携终端3m接收到信号时，图像捕获装置1使用其终端识别信息Idm来从处理编号存储器91读出处理编号s，并且执行对应于所读出的处理编号s的处理。即，根据终端识别信息Idm，在标记存储器91中的处理编号s的标记被控制，并且更新指令部分12ds的操作被控制；根据周围视频信号，使用在接收缓冲存储器12as和在前帧存储器12b中的区域s，并且在捕获信号产生装置13的在前信号存储器13a中的捕获信号和在图像提取装置17的存储器中的信号；并且通过下述方式来执行部分物体视频信号的发送读出对应于在处理编号存储器91中的处理编号s的终端识别信息Idm，并且将图像发送装置18s连接到上述读出的终端识别信息Idm的配备了摄像机的便携终端3m。如上所述，根据实施例6，多个用户可以通过彼此独立地操作它们的配备了摄像机的便携终端来经由一个远程图像感测装置1看见他们期望的部分物体图像。顺便提及，当处理拥挤时，同时使用多个变化检测部分12c、捕获信号产生装置13和图像捕获装置17。
当所使用的远程图像感测装置1也与图10所示的相同时，多个用户可以同时使用一个远程图像感测装置1。即，在图21所述的配置中，远程图像接收装置16、捕获信号产生装置13和图像提取装置17被如图14和17所示配置；而且，为了执行多个配备了摄像机的便携终端3m的同时处理，图像捕获装置1具有如体21所示的多个周围图像接收装置11s、多个帧存储器12as、多个更新指令部分12ds、具有多个存储区域的在前帧存储器12b、具有多个存储区域的在前信号存储器13a、多个图像发送装置18s、标记存储器92和控制装置93。并且，如在在前信号存储器13a中的括号中所示，使用摄像机标识IDp来取代在捕获信号中的信号x，并且使用与在全方向摄像机的情况下相同的方式来执行对于每个配备了摄像机的便携终端3m的处理，但是向参照如上实施例4所述那样来执行部分物体视频信号捕获操作。也在这种情况下，可以容易地明白，多个用户可以同时在多个配备了摄像机的便携终端3m上看见从多个摄像机21到2N同时接收的在多个方向上的它们期望的视频信号的部分物体图像。
实施例1和3的系统也可以被同时适配来通过配备了摄像机的便携终端3m来捕获部分物体图像。在这种情况下，在图21中的图像提取装置1 7被省略，并且在图像捕获装置1中产生的用于配备了摄像机的便携终端3m的捕获信号被附加例如用于识别用途的处理编号s，并且被发送到远程图像感测装置2；在远程图像感测装置2中，在图4示例的情况下，在图像提取装置24中提供用于存储用于各个处理编号的捕获信号的存储部分24a，如图20中虚线所示，然后更新对应于所接收的处理编号的在存储部分24a中的捕获信号，然后根据如上参照实施例1所述的在各个存储部分24a中存储的捕获信号来提取部分物体视频信号，并且被附加了处理编号的被提取的部分物体视频信号被发送到图像捕获装置1。在图像捕获装置1中，由对应于所接收的处理编号的配备了摄像机的便携终端3m同时接收的部分物体视频信号被中继和发送；图像提取装置17被省略。
在图11所示的系统的情况下，与上述情况一样，在图像捕获装置1的图像提取装置24中提供了用于存储每个处理编号的捕获信号的存储部分24a；对应于所接收的处理编号的、在存储部分24a中的捕获信号被以与所述处理编号同时被接收的捕获信号更新，然后根据在存储部分24a中存储的每个捕获信号IDp、x、aP，从对应的摄像机2n捕获部分物体视频信号，并且被捕获的视频信号被与处理编号一起发送到图像捕获装置1。
修改在上述任何一个实施例中，图像显示装置32可以是用于个人计算机等的固定显示器，如图4、8、18和20中的虚线所示。但是，在任何情况下，所述显示器被用来播放和显示从图像捕获装置1向配备了摄像机的便携终端发送的部分物体视频信号。在这种情况下，用户在看见在固定的图像显示装置32上显示的图像的同时操作配备了摄像机的便携终端3来用于摄像机工作。像在上述示例中那样固定了图像显示装置32的配备了摄像机的便携终端3很方便使用，因为用户有可能在甚至例如行走时的任何位置使用它，以便看见在幼儿园中的他的孩子。
全景物体6不总是需要360度环绕扩展，但是在直接观看物体的同时拍摄它的情况下，物体6仅仅需要允许改变拍摄方向或调整视场角。而且，如上面在实施例3中所述，全景物体6不必是连续的。这可以从下述事实容易明白有时期望例如仅仅拍摄在摄像机之前展开的180度场景的特定部分，或者摄像机被用作安全摄像机，仅仅用于监控建筑物的几个门口。
在任何一种情况下，有可能在上述示例中通过仅仅使用x或IDp来作为捕获信号而左右转动配备了摄像机的便携终端3的拍摄方向以选择期望的部分物体；而且，有可能在上述示例中通过向捕获信号增加y或和aP来上下转动配备了摄像机的便携终端3的拍摄方向或/和前后运动摄像机来选择期望的部分物体。上面，对于每个摄像机操作，检测包括其操作量的变化信息，并且对应于所述变化信息来校正要产生的捕获信号，但是有有可能单独检测在方向上的变化而不检测变化程度(数量)，其向在前捕获信号x增加预定值dx或从其减去它。
有时会发生下述情况其中，在通过配备了摄像机的便携终端3拍摄周围的时候，由于一些原因，强闪光突然照射在摄像机33上，干扰了周围视频信号。如果根据从这样的被干扰的周围视频信号检测的变化信息中产生捕获信号，则接收和显示的是完全不能接受的部分物体图像。为了避免这一点，推荐在每个实施例中的图像捕获装置1的变化检测装置12中提供一种误差检测防止部分。下面结合实施例1来说明误差检测防止部分的示例。如图4中的虚线所示，在滞后存储部分12e中存储了关于被发送到捕获信号产生装置13的变化信息的之后信息。所述滞后存储部分被配置来总是存储通过例如三个紧前的检测获得的变化信息。例如，当在图5中的检测部分12c中检测到变化信息时，确定部分12f通过比较确定是否所述变化信息大大地从在滞后存储部分12e中存储的变化信息的连续性偏离。如果确定当前的变化信息不从所述连续性大大地偏离，即如果当前信息不异常，则向捕获信号产生装置13提供所述变化信息，并且同时，它作为最新的信息被存储在滞后存储部分12e中，从其去除最旧的信息。如果确定部分12f确定当前检测的变化信息不异常，则变化检测装置在拒绝部分12g中丢弃所述信息，或等待下一个更新指令，或接收新的周围视频信号并且执行变化检测处理。
当多个用户同时使用一个远程图像感测装置2时，可以使得当观看在诸如个人计算机的用户的终端3’的图像显示装置的显示表面3a上的图像时，每个用户通过按键、杆、鼠标或跟踪球来操作操作部分3b以从全景视频信号捕获在被图像捕获装置1图像检测的全景物体6中的期望的部分物体的运动或/和变焦的版本。操作部分3b使用通过用于运动在例如个人计算机的显示平面上的显示的操作而产生的x轴控制信号和y轴控制信号来做为在上述变化信息中的dx和上述的dy，并且输出用于放大/缩小在平面上的显示的控制信号来作为在上述变化信息中的a，并且向图像捕获装置1发送这个变化信息dx。在这个示例中，图像捕获装置1仅仅使用信号接收装置11s来做为周围图像接收装置11s的替代，并且捕获信号产生装置13根据基于信号处理装置11s的行号的处理编号或同时接收的用户识别信息来使用由接收装置11s从每个用户终端3’接收的变化信息和在在前信号存储器13a中的在前捕获信号x(或IDp)、y、aP而产生捕获信号。随后的处理与在实施例6中的相同。但是，捕获信号被发送到用户终端3’。
当多个用户共同使用远程图像感测装置2时，可以像在实施例1或3中一样通过图像捕获装置1来执行捕获用于每个用户的部分物体视频信号。在这样的情况下，图像捕获装置1使用如上所述相同的方式来根据对于每个用户终端接收的变化信息dx、dy、a而产生捕获信号，但是所述捕获信号是IDp、y、a，但是如在实施例6的说明的尾端附近所述，例如被附加了处理编号的捕获信号被发送到远程图像感测装置2，并且远程图像感测装置2类似地发送对应于每个处理编号的捕获信号的部分物体视频信号。
虽然用户终端3’已经被描述为像个人计算机那样固定，但是显然，它可以是便携的电话、PDA或乐事的便携终端。即，用户终端要像图像捕获装置1发送例如表示相对于预定基准的方向和/或变焦的变化信息dx、dy、a，以便指定被远程图像感测装置2拍摄的全景物体中的部分物体。
在实施例1-6的每个中使用的1可以通过计算机来被实现。即，用于执行每个图像捕获装置1的功能的程序被从诸如CD-ROM、磁盘和半导体存储器的记录介质安装在计算机上，或者经由通信线路被下载到计算机，以由计算机执行。
权利要求
1.一种远程图像显示方法，其特征在于步骤利用远程图像感测装置对全景物体进行图像感测；经由图像捕获装置向在与所述远程图像感测装置不同的位置的图像显示装置发送所述被图像感测的全景物体的一部分的视频信号；所述图像显示装置回放和显示所接收的视频信号以作为所述全景物体的部分图像；利用位于能够看见所述图像显示装置上的所述显示处的配备了摄像机的便携终端执行其周围的图像检测；图像获取装置根据在前接收的周围视频信号和当前接收的周围视频信号从配置了摄像机的便携终端获得关于周围图像的变化信息；根据所述变化信息从远程图像感测装置来获得对应于所述周围图像的改变而改变的所述全景物体的一部分的视频信号；向所述图像显示装置发送所述被获得的图像信号。
2.一种图像捕获装置，包括周围图像接收装置，用于从配备了摄像机的便携终端接收周围视频信号；变化检测装置，用于从所接收的周围视频信号检测当前周围视频信号的图像、即当前图像相对于由以下称为在前图像的所述周围图像接收装置接收的在前周围视频信号的图像的变化的信息；捕获信号产生装置，用于从用于获得全景物体的一部分的视频信号的所述变化信息产生捕获信号；信号发送装置，用于向执行全景物体的图像检测并且输出视频信号的远程图像感测装置发送所述捕获信号；图像中继装置，用于从所述远程图像感测装置接收所述视频信号，并且用于向在与所述配备了摄像机的便携终端相同位置的图像显示装置发送所接收的视频信号。
3.根据权利要求2的装置，其中所述变化检测装置是这样的装置，它用于检测作为所述变化信息的下列信息对应于所述当前图像相对于所述在前图像的运动方向的方向信息；或/和对应于与所述在前图像的一部分相对应的所述当前图像的一部分的大小上的改变的变焦信息；所述捕获信号产生装置是这样的装置，它用于产生通过下列方式而获得提取基准像素位置信号来做为所述捕获信号根据所述方向信息或/和对应于所述变焦信息的图像放大/缩小信号来校正在前提取基准像素位置信号。
4.根据权利要求2的装置，它还包括摄像机方向存储装置，其中，存储了在所述远程图像感测装置中提供并且在它们的拍摄方向上以角度相分离的多个摄像机中每一个的识别信息；其中所述变化检测装置是这样的装置，它用于检测对应于所述当前图像相对于所述在前图像的运动方向的方向信息；所述捕获信号产生装置是这样的装置，它通过在在前产生的发送摄像机识别信息信号和所述方向信息的基础上参考所述摄像机方向存储装置来确定拍摄方向，以产生作为所述捕获信号的对应于所述确定拍摄方向的摄像机识别信息的发送摄像机识别信息信号。
5.根据权利要求2的装置，其中所述变化检测装置是这样的装置，它用于检测作为所述变化信息的下列信息对应于所述当前图像相对于所述在前图像的运动方向的方向信息；或/和对应于所述当前图像相对于所述在前图像的大小的改变的变焦信息；所述捕获信号产生装置是这样的装置，它用于产生作为所述捕获信号的对应于所述方向信息的拍摄方向改变信号或/和对应于所述变焦信息的变焦改变信号。
6.根据权利要求2的装置，其中所述变化检测装置是这样的装置，它被提供有一在前帧存储器，用于存储周围视频信号，所述周围视频信号用于检测已经发送了其接收的周围视频信号的每个配备了摄像机的便携终端的在前变化信息，所述变化检测装置用于根据下列信息来检测对应于已经发送了所接收的周围视频信号的所述配备了摄像机的便携终端的变化信息所接收的周围视频信号和与已经发送了周围视频信号的所述配备了摄像机的便携终端对应的、存储在所述在前帧存储器中的周围视频信号；所述捕获信号产生装置是这样的装置，它被提供有一在前信号存储器，用于存储已经发送了其接收的周围视频信号的每个配备了摄像机的便携终端的在前被产生的捕获信号，所述捕获信号产生装置用于从对应于所述被检测的配备了摄像机的便携终端的变化信息和对应于所述被检测的配备了摄像机的便携终端的、在所述在前信号存储器中存储的所述在前被产生的捕获信号来产生一个捕获信号，开且用于使用所述被产生的捕获信号来更新在所述在前信号存储器中的对应信号；所述信号发送装置是这样的装置，它用于发送所产生的捕获信号和用于识别与其对应的配备了摄像机的便携终端的信息；和所述图像中继装置是这样的装置，它用于向配备了摄像机的便携终端的所述图像显示装置发送其所接收的视频信号，该配备了摄像机的便携终端由与所述视频信号一起被接收的配备了摄像机的便携终端识别信息指出。
7.一种图像捕获装置，包括周围图像接收装置，用于从配备了摄像机的便携终端接收周围视频信号；变化检测装置，用于从所接收的周围视频信号中检测关于当前周围视频信号、即当前图像、相对于由所述周围图像接收装置接收的在前周围视频信号、即在前图像、的变化的信息；捕获信号产生装置，用于从所述变化信息和在前所产生的捕获信号来产生一个用于获得全景物体的一部分的视频信号的捕获信号；远程图像接收装置，用于接收从已经执行了全景物体的图像感测的远程图像感测装置发送的视频信号；图像捕获装置，用于根据所述捕获信号从所接收的视频信号中捕获全景物体的一部分的视频信号；图像发送装置，用于向与所述配备了摄像机的便携终端位于相同位置处的图像显示装置发送所述被捕获的视频信号。
8.根据权利要求7的装置，其中由所述远程图像接收装置接收的视频信号是全景视频信号；所述变化检测装置是这样的装置，它用于检测作为所述变化信息的下列信息对应于所述当前图像相对于所述在前图像的运动方向的方向信息；或/和对应于与所述在前图像的一部分相对应的所述当前图像的一部分的大小上的改变的变焦信息；所述捕获信号产生装置是这样的装置，它用于产生作为所述捕获信号的通过根据所述方向信息或/和对应于所述变焦信息的图像放大/缩小信号对在前提取的基准像素位置信号进行校正所获得的提取基准像素位置信号；所述图像捕获装置是这样的装置，利用该装置通过相对于在前所发送的被捕获的视频信号的所述图像缩小/放大信号来缩小/放大所述全景视频信号的全景图像的一部分图像，其中所述一部分图像是由一帧的视频信号或/和相对于由所述被校正的提取基准像素位置信号确定的全景图像的位置的在前被产生的提取基准像素位置信号或所述被校正的提取基准像素位置信号定义的；并且所述一个帧的放大/缩小视频信号是从所述全景视频信号中捕获的。
9.根据权利要求7的装置，其中由所述远程图像接收装置接收的视频信号是来自所述远程图像感测装置的多个摄像机的视频信号，所述多个摄像机的拍摄方向以角度分离；它还包括摄像机方向存储装置，其中存储了关于所述多个摄像机的识别信息和对应于它们的拍摄方向的信息；其中所述变化检测装置是这样的装置，它用于检测对应于所述当前图像相对于所述在前图像的运动方向的方向信息；所述捕获信号产生装置是这样的装置，它通过根据在前产生的发送摄像机识别信息信号和所述方向信息并参考所述摄像机方向存储装置来确定拍摄方向，用于作为所述捕获信号来产生对应于所述被确定的拍摄方向的摄像机识别信息的发送摄像机识别信息信号；所述图像捕获装置是用于捕获对应于所述被产生的摄像机识别信号的多个视频信号之一的装置。
10.根据权利要求9的装置，其中所述变化检测装置包括一种装置，它用于检测下列信息来作为所述变化信息对应于在垂直于所述被检测方向信息的运动方向的方向中的、所述当前图像相对于所述在前图像的运动方向的第二方向信息；或/和对应于与所述在前图像的一部分相对应的所述当前图像的那个部分的大小上的改变的变焦信息；所述捕获信号产生装置是这样的装置，它用于产生通过下列方式而获得提取基准像素位置信号来作为所述捕获信号根据所述第二方向信息或/和对应于所述变焦的图像放大/缩小信号来校正在前提取基准像素位置信号；所述图像捕获装置是这样的装置，通过它通过相对于在前被发送的被捕获的视频信号的所述图像缩小/放大信号来缩小/放大所述被捕获的视频信号的图像的一部分图像，其中所述一部分图像的限定是通过相对于由所述被校正的提取基准像素位置信号确定的所述被捕获的视频信号的图像上的位置的一个帧的视频信号或/和在前被产生的提取基准像素位置信号或所述被校正的提取基准像素位置信号；并且所述一个帧的放大/缩小视频信号被从所述全景视频信号捕获。
11.根据权利要求7的装置，其中所述周围图像接收装置，用于从多个配备了摄像机的便携终端的每个接收周围视频信号；所述变化检测装置是这样的装置，它被提供了在前帧存储器，用于存储周围视频信号，所述周围视频信号用于检测已经发送了其接收的周围视频信号的每个配备了摄像机的便携终端的在前变化信息，所述变化检测装置用于根据下列信息来检测对应于已经发送了所接收的周围视频信号的所述配备了摄像机的便携终端的变化信息所接收的周围视频信号和与已经发送了周围视频信号的所述配备了摄像机的便携终端对应的、存储在所述在前帧存储器中的周围视频信号；所述捕获信号产生装置是这样的装置，它被被提供了在前信号存储器，用于存储已经发送了其接收的周围视频信号的每个配备了摄像机的便携终端的在前被产生的捕获信号，所述捕获信号产生装置用于从对应于所述被检测的配备了摄像机的便携终端的变化信息和对应于所述被检测的配备了摄像机的便携终端的、在所述在前信号存储器中存储的所述在前被产生的捕获信号来产生一个捕获信号，并且用于使用所述被产生的捕获信号来更新在所述在前信号存储器中的对应信号；所述图像捕获装置是用于捕获在所述在前信号存储器中存储的、对应于每个配备了摄像机的便携终端的每个捕获信号的视频信号；所述图像发送装置是这样的装置，用于向在与所述每个配备了摄像机的便携终端相同位置的图像显示装置发送所述每个配备了摄像机的便携终端的所述被捕获视频信号。
12.根据权利要求2或7的装置，其特征在于包括变化滞后存储装置，用于存储所述变化信息的滞后；确定装置，用于通过参见在所述变化滞后存储装置中存储的滞后信息来确定是否由所述变化检测装置检测的变化信息是异常的；一种装置，当所述确定装置确定所述变化信息异常时，它禁止向所述捕获信号产生装置提供所述被检测的变化信息。
13.一种图像捕获装置的处理方法，其特征在于第一步骤，确定是否接收到用于改变摄像机的拍摄方向或/和透镜视场角、即变焦量的操作、即摄像机操作命令；第二步骤，当在所述第一步骤中确定接收到所述命令时从配备了摄像机的便携终端接收周围物体的周围视频信号；第三步骤，用于从所接收的周围视频信号检测变化信息，所述变化信息用于指出所述周围视频信号的图像相对于在前周围视频信号的图像的变化；第四步骤，用于根据在前捕获信号和所述变化信息来产生用于捕获全景物体的一部分、即部分物体的视频信号的捕获信号；第五步骤，用于向执行所述全景物体的图像检测的远程图像感测装置发送所述被产生的被捕获信号；第六步骤，用于从远程图像感测装置接收视频信号；第七步骤，用于向在与所述配备了摄像机的便携终端相同位置的图像显示装置发送所述被接收的视频信号；第八步骤，用于确定是否接收到摄像机操作停止命令；其中如果在所述第一步骤中未接收到所述操作命令，则处理进行到所述第六步骤，如果在所述第八步骤未接收到所述停止命令，则处理返回所述第一步骤。
14.一种图像捕获装置的处理方法，其特征在于第一步骤，确定是否接收到用于改变摄像机的拍摄方向或/和透镜视场角、即变焦量的操作、即摄像机操作命令；第二步骤，当在所述第一步骤中确定接收到所述命令时从配备了摄像机的便携终端接收周围物体的周围视频信号；第三步骤，用于从所接收的周围视频信号检测变化信息，所述变化信息用于指出所述周围视频信号的图像相对于在前周围视频信号的图像的变化；第四步骤，用于根据在前捕获信号和所述变化信息来产生用于捕获全景物体的一部分、即部分物体的视频信号的捕获信号；第五步骤，用于从远程图像感测装置接收视频信号；第六步骤，用于根据所述被产生的捕获信号从所述被接收的视频信号来捕获全景物体的一部分的视频信号；第七步骤，用于向在与所述配备了摄像机的便携终端相同位置的图像显示装置发送所述被捕获的视频信号；第八步骤，用于确定是否接收到摄像机操作停止命令；其中如果在所述第一步骤中未接收到所述操作命令，则处理进行到所述第五步骤，如果在所述第八步骤未接收到所述停止命令，则处理返回所述第一步骤。
15.一种远程图像显示方法，其特征在于远程图像感测装置执行全景物体的图像检测，并且向图像捕获装置发送其视频信号；显示终端向图像捕获装置发送其识别信息和操作信息；所述图像捕获装置根据所述被接收的操作信息从所述被接收的视频信号捕获所述全景物体的一部分的视频信号；所述被捕获的视频信号被发送到所述被接收的识别信息的所述显示终端；和所述显示终端显示所接收的视频信号。
16.一种图像捕获装置，包括信号接收装置，用于从多个用户终端接收变化信息信号；捕获信号产生装置，包括在前信号存储器，用于存储用以识别已经发送了所述变化信息信号的用户终端的每个信息、即用户终端识别信息的先前产生的捕获信号，所述捕获信号产生装置用于从所接收的变化信息信号和在先前存储器中存储的用户终端识别信息的在前被产生的捕获信号来产生一个捕获信号，用于捕获全景物体的一部分、即部分物体的视频信号；信号发送装置，用于向执行全景物体的图像检测和输出其视频信号的远程图像感测装置发送所述被产生的捕获信号和对应的用户终端识别信息；图像中继装置，用于从所述远程图像感测装置接收所述视频信号和对应的用户终端识别信息，并且向对应于用户终端识别信息的用户终端的图像显示装置发送所述视频信号。
17.根据权利要求16的装置，其中所述变化信息信号是方向信息信号或/和期望从在前部分物体转换的部分物体的变焦信号；所述捕获信号产生装置是这样的装置，它用于产生通过下列方式而获得提取基准像素位置信号来作为所述捕获信号根据所述方向信息或/和对应于所述变焦信息的图像放大/缩小信号来校正在前提取基准像素位置信号。
18.根据权利要求16的装置，它还包括摄像机方向存储装置，其中存储了在所述远程图像感测装置中被提供并且在它们的拍摄方向中角度分离的多个摄像机的每个的识别信息；其中所述变化信息信号是期望从在前部分物体改变的部分物体的第一方向信息信号和/或第一方向信息从的第二方向信息信号或/和期望的部分物体的变焦信号；所述捕获信号产生装置是这样的装置，它通过根据在前产生的发送摄像机识别信息信号和所述方向信息并参考所述摄像机方向存储装置来确定拍摄方向，用于作为所述捕获信号来产生对应于所述被确定的拍摄方向的摄像机识别信息的发送摄像机识别信息信号和/或通过校正对应于所述第二方向信息信号的所产生的基准像素位置而获得的基准像素位置信号或/和对应于所述变焦信息信号的图像放大/缩小信号。
19.一种图像捕获装置，包括信号接收装置，用于从多个用户终端接收变化信息信号；捕获信号产生装置，包括在前信号存储器，用于存储用于识别已经发送了所述变化信息信号的用户终端的每个信息、即用户终端识别信息、的先前产生的捕获信号，所述捕获信号产生装置用于从所接收的变化信息信号和在先前存储器中存储的用户终端识别信息的在前产生的捕获信号来产生一个捕获信号，用于捕获全景物体的一部分、即部分物体的视频信号；信号发送装置，用于向执行全景物体的图像检测和输出其视频信号的远程图像感测装置发送所述被产生的捕获信号和对应的用户终端识别信息；远程图像装置，用于接收从已经执行了全景物体的图像检测的远程图像感测装置发送的视频信号；图像捕获装置，用于根据用于在所述在前信号存储器中存储的每个用户终端识别信息的捕获信号来从所述被接收的视频信号捕获全景物体的一部分的视频信号；图像发送装置，用于向所述用户终端识别信息的用户终端发送所述被捕获的视频信号。
20.根据权利要求19的装置，其中由所述远程图像感测装置接收的视频信号是全景视频信号；所述变化信息信号是用于期望从在前部分物体转换的部分物体的方向信号或/和变焦信息信号；所述捕获信号产生装置是这样的装置，它用于产生通过下列方式而获得提取基准像素位置信号来作为所述捕获信号根据所述方向信息或/和对应于所述变焦信息的图像放大/缩小信号来校正在前提取基准像素位置信号；所述图像捕获装置是这样的装置，利用该装置通过相对于在前被发送的被捕获的视频信号的所述图像缩小/放大信号来缩小/放大所述全景视频信号的全景图像的一部分图像，其中所述一部分图像由一帧的视频信号或/和相对于通过由所述被校正的提取基准像素位置信号确定的全景图像上的位置在前产生的提取基准像素位置信号或所述被校正的提取基准像素位置信号定义；并且所述一个帧的放大/缩小视频信号是从所述全景视频信号捕获的。
21.根据权利要求19的装置，其中由所述远程图像感测装置接收的视频信号是来自所述远程图像感测装置的多个摄像机的视频信号，所述多个摄像机的拍摄方向以角度分离；它还包括摄像机方向存储装置，其中存储了关于所述多个摄像机的识别信息和对应于它们的拍摄方向的信息；其中所述变化信息信号是期望从在前部分物体改变的部分物体的第一方向信息信号或/和在垂直于第一方向信息信号方向的方向中期望的部分物体的第二方向信息信号或/和期望的部分物体的变焦信号；所述捕获信号产生装置是这样的装置，它通过根据在前产生的发送摄像机识别信息信号和所述方向信息并参考所述摄像机方向存储装置来确定拍摄方向，用于作为所述捕获信号来产生对应于所述被确定的拍摄方向的摄像机识别信息的发送摄像机识别信息信号和/或通过校正对应于所述第二方向信息信号的所产生的基准像素位置而获得的基准像素位置信号或/和对应于所述变焦信息信号的图像放大/缩小信号；所述图像捕获装置是这样的装置，利用该装置从多个视频信号中捕获对应于所述被产生的摄像机识别信号的信号，或者/并且，所述被捕获的视频信号的图像的部分图像被相对于在前被发送的被捕获的视频信号的图像的所述图像缩小/放大信号缩小/放大，所述被捕获的视频信号的图像的部分图像的是由一帧的视频信号或/和相对于由所述被校正的提取基准像素位置信号确定的图像上的位置的在前所产生的提取基准像素位置信号或所述被校正的提取基准像素位置信号定义；并且捕获一个帧的被缩小/放大的视频信号。
22.一种程序，用于操作作为在权利要求2-12和16-21的任何一种中所述的图像捕获装置的计算机。
全文摘要
全方向摄像机执行围绕其的全景物体6的图像检测，并且向图像捕获装置1发送视频信号，然后图像捕获装置1提取全景物体6的视频信号，并且向在全方向摄像机2的远处的用户手中拿着的配备了摄像机的便携终端3发送被提取的视频信号，以在便携终端的显示表面32a上显示视频信号的图像，并且用户使用便携终端3来拍摄周围物体8，并且向装置1发送周围视频信号。当便携终端3的拍摄方向如虚线所示转动时，装置1从在转动便携的前后产生的周围视频信号的差别检测便携终端3的拍摄方向的改变，并且从全景视频信号提取对应于所述差别而从部分物体61转动的部分物体62的视频信号，并且向便携终端3发送被提取的视频信号以所述显示视频信号的图像。
文档编号H04N7/18GK1698380SQ20048000016
公开日2005年11月16日 申请日期2004年1月15日 优先权日2003年1月17日
发明者竹原伸彦, 渡部智树, 安西浩树, 岸田克已 申请人:日本电信电话株式会社