机终端装置200、中心 服务器300和客户端400经由网络500连接。代理服务器600连接至网络500,并且多个相机终 端装置200连接至代理服务器600。进一步，监视器320连接至中心服务器300。在本实施例 中，相机终端装置200例如是置于室内或室外的监视相机。可以通过在中心服务器300的监 视器320上显示每个相机终端装置200所获取的图像来监视提供每一个相机终端装置200的 区域。客户端400经由网络500连接至相机终端装置200、中心服务器300或代理服务器600。 客户端400可具有中心服务器300的功能以及监视器320的功能（其将在稍后描述）。由相机 终端装置200捕获的图像经由网络500发送至客户端400,并且第一全景图像和第二全景图 像连同稍后描述的实时图像（live image)-起显示在每一个客户端400的显示屏幕上。注 意，尽管IP相机示出为相机终端装置200的示例，但是相机终端装置200不限于IP相机，它们 可以是模拟相机。
[0068]全景图像(全视图图像、整体图像(whole image))指示每个相机终端装置200可捕 获的范围。存在各种形状的全景图像，其示例包括诸如图4所示的圆形全景图像和矩形全景 图像，以及如投射在圆柱面上的环形全景图像。以下在本实施例中，将圆形全景图像和矩形 全景图像分别作为第一全景图像和第二全景图像的示例进行说明。
[0069] (2)相机终端装置和中心服务器的配置示例
[0070] 图2是详细示出图1所示成像系统中的相机终端装置200和中心服务器300的配置 的示意图。图2所示的相机终端装置200或中心服务器300的各个结构性要素可以用硬件（电 路等)或者用运算处理单元（如，CPU)和使得运算处理单元起作用的软件(程序)来形成。相 机终端装置200的相机部件201包括成像光学系统。相机部件201基于从稍后所述的终端控 制部件210提供的成像控制信号CTa来执行成像操作，并且生成视频信号Dcam。进一步，相机 部件201将生成的视频信号Dcam经由总线220提供给信号处理部件202。注意，存储器部件 203、成像方向控制部件204、网络接口部件206、全景图像存储部件207和终端控制部件210 也连接至总线220。
[0071] 信号处理部件202对视频信号Dcam执行压缩处理，并且将所获得的视频编码信号 DV存储在存储器部件203中。进一步，信号处理部件202使用通过顺序地移动相机部件201的 成像方向所获得的视频信号Dcam，以生成第一全景图像的视频信号DF(该信号在下文也称 为第一全景图像信号DF)和第二全景图像的视频信号DP(该信号在下文也称为第二全景图 像信号DP)。然后，信号处理部件202将生成的第一全景图像信号DF和第二全景图像信号DP 存储在全景图像存储部件207中。注意，基于从稍后描述的终端控制部件210提供的信号处 理控制信号CTb执行视频信号Dcam的压缩处理以及第一全景图像信号DF和第二全景图像信 号DP的生成。
[0072] 为了将相机部件201的成像方向移至从稍后所述的终端控制部件210提供的方向 控制信号CTc所指令的方向，成像方向控制部件204在移动成像方向时计算速度和加速度。 进一步，成像方向控制部件204基于计算结果生成用以执行摇摄操作(pan operation)的驱 动信号MDP和用以执行倾斜操作的驱动信号MDt，并且将生成的驱动信号MDP和MDt提供给成 像方向调节部件205。进一步，成像方向控制部件204生成指示哪个方向是相机部件201的成 像方向的相机位置信息信号PM，并且将生成的相机位置信息信号PM提供给终端控制部件 210〇
[0073] 成像方向调节部件205包括:摇摄操作电机，其使得相机部件201在左右方向上移 动；以及倾斜操作电机，其使得相机部件201在上下方向上移动。成像方向调节部件205使用 驱动信号MDP驱动摇摄操作电机，使用驱动信号MDt驱动倾斜操作电机。由此，成像方向调节 部件205将相机部件201的成像方向调节至方向控制信号CTc所指令的方向。注意，假设成像 方向调节部件205在对其运动范围没有限制的情况下执行连续的摇摄操作。
[0074] 图3是图示相机终端装置200的摇摄操作和倾斜操作的示意图，其示出了相机终端 装置200附于天花板（ceiling)等的情况。图3B示出了根据本发明实施例的相机终端装置 200的摇摄/倾斜操作。另一方面，为了比较，图3A示出了一般相机终端装置的摇摄/倾斜操 作。如图3A所示，在一般相机终端装置中，执行连续的360度摇摄操作，并且从垂直方向到水 平方向的90度的范围上执行倾斜操作。相比之下，在根据本实施例的相机终端装置200中， 执行连续的360度摇摄操作，并且在以垂直方向为中心的220度的范围上执行倾斜操作。据 此，第一全景图像的视频信号DF可以通过使用稍后所述的技术而生成，并且可以存储在全 景图像存储部件207中。稍后所述的第一全景图像是圆形全景图像。当在圆形的中心的附近 穿越中心操作成像方向时，根据本实施例的相机终端装置200也可以以最短的距离机械地 移至目标成像方向。相比之下，在一般的相机终端装置中，不能穿越图的中心机械地移动相 机成像方向。
[0075]网络接口部件206是用以经由网络500在相机终端装置200和中心服务器300之间 进行通信的接口。
[0076]终端控制部件210使用成像控制信号CTa控制相机部件201，使用信号处理控制信 号CTb控制信号处理部件202,并使用方向控制信号CTc控制成像方向控制部件204。由此，终 端控制部件210在顺序地移动成像方向的同时进行图像捕获。然而，基于所获得的视频信号 Dcam，终端控制部件210生成第一全景图像信号DF和第二全景图像信号DP，并且将它们存储 在全景图像存储部件207中。
[0077]根据本实施例的成像系统100可以连同基于第一全景图像信号DF生成的第一全景 图像或基于第二全景图像信号DP生成的第二全景图像一起，将基于视频信号Dcam生成的实 时图像从相机终端装置200发送至中心服务器300,并且可以将它们显示在监视器320上。注 意，在本说明书中，存在将第一全景图像或第二全景图像称为整体图像的情况。图4是示出 第二全景图像和第一全景图像的显示状态的示意图。中心服务器300可以根据用户选择，将 第一全景图像和第二全景图像之一连同实时图像一起显示在监视器320上。进一步，可以构 造中心服务器300,以使得其连同实时图像一起显示第一全景图像和第二全景图像两者。注 意，将图4右侧的中心附近的图像丢失了的圆形全景图像示出为第一全景图像。然而，第一 全景图像不限于该示例，可以将中心附近的图像未丢失的圆形全景图像用作第一全景图 像。
[0078]相机终端装置200置于天花板等上，其显示从相机终端装置200起向下方向上的图 像。因此，如图4所示，在摇摄360度和倾斜220度的范围上获取第一全景图像，中心在从相机 终端装置200向下延伸的垂直线上，并且第一全景图像的轮廓是圆形的。
[0079]进一步，构造成像方向调节部件205以使得其可以如上所述那样连续地执行摇摄 操作。因此，假设形成存储在全景图像存储部件207中的第二全景图像，以使得图像如图4中 所示那样不重叠。例如，假设第二全景图像的一端与基准方向具有"+180度"的角度差，而第 二全景图像的另一端与基准方向具有"-180度"的角度差。进一步，由于摇摄操作的操作范 围不受限制，因此与例如操作范围受到限制的情况相反，不能将操作范围的中心位置取为 基准方向。据此，预先设置基准方向，并且生成第二全景图像，以使得该基准方向对应于第 二全景图像的中心位置。成像方向控制部件204生成例如指示成像方向相对于预先设置的 基准方向的角度差的信号作为相机位置信息信号PM。
[0080]如果以此方式预先设置了基准方向，则在要生成第二全景图像的成像操作中无需 确定将哪个方向取为基准。进一步，如果由相机位置信息信号PM指示成像方向相对于基准 方向的角度差，则可以在第二全景图像上容易地确定基于相机位置信息信号PM的成像方向 的位置。
[0081 ]此外，在倾斜操作中，假设预先设置基准方向，并且由相机位置信息信号PM指示成 像方向相对于基准方向的角度差。由此，在第一全景图像和第二全景图像两者上，可以容易 地确定基于相机位置信息信号PM的成像方向的位置。注意，在倾斜操作中，当将相机终端装 置200置于天花板上时，可以将垂直方向取为基准方向。
[0082]终端控制部件210分析经由网络接口部件206从中心服务器300提供的命令信号 CM，并且生成成像控制信号CTa、信号处理控制信号CTb和方向控制信号CTc。进一步，终端控 制部件210执行如下的处理:将存储器部件203中存储的视频编码信号DV、全景图像存储部 件207中存储的第一全景图像信号DF和第二全景图像信号DP以及从成像方向控制部件204 提供的相机位置信息信号PM发送至中心服务器300。
[0083]中心服务器300的网络接口部件301是用以经由网络500在相机终端装置200和中 心服务器300之间进行通信的接口。网络接口部件301将从相机终端装置200提供的视频编 码信号DV提供给扩展处理部件302。进一步，网络接口部件301将相机位置信息信号PM提供 给位置确定处理部件303,并且将第一全景图像信号DF和第二全景图像信号DP提供给图像 处理部件304。
[0084]扩展处理部件302对视频编码信号DV执行扩展处理，并且将所获得的视频信号 Dcam提供给显示处理部件305。
[0085] 位置确定处理部件303确定第一全景图像或第二全景图像中的哪个位置对应于由 相机位置信息信号PM所指示的成像方向，并且将位置确定结果KP提供给图像处理部件304。 这里，如果假设相机位置信息信号PM生成第一全景图像信号DF或第二全景图像信号DP，以 使得如上所述那样预先设置的基准方向为摇摄操作和倾斜操作的中心位置，并且使得相机 位置信息信号PM指示基准方向和当前成像方向之间的角度差，则基于相机位置信息信号PM 容易地确定鸟瞰视图（bird's eye view)图像（即，第一全景图像)或第二全景图像中的哪 个位置对应于当前成像方向。
[0086]图像处理部件304基于位置确定结果KP执行图像处理，并且生成第一全景图像的 第一全景图像信号DFC以及第二全景图像的第二全景图像信号DPC。关于第二全景图像信号 DPC，可以生成将由位置确定结果KP确定出的位置设置为中心位置的第二全景图像信号 DPC。在这种情况下，图像处理部件304确定所确定出的位置和第二全景图像的中心位置之 间的差异量。然后，基于所确定出的差异量，处理第二全景图像，以使得所确定出的位置变 为图像的中心位置。更具体地，利用所确定的位置作为中心位置，设置"±180度"的第二全 景图像的显示图像框，并且将偏离第二全景图像的显示图像框的差异量所对应的区域的第 二全景图像粘贴至没有图像的区域。由此，生成了将所确定的位置设置为中心位置的第二 全景图像的第二全景图像信号DPC。此外，在第一全景图像信号DFC的情况下，当处于稍后所 述的"用于旋转第一全景图像的模式"时，以与第二全景图像信号DPC类似的方式，确定所确 定的位置和第一全景图像的摇摄方向中基准位置之间的差异量，并且基于确定出的差异 量，处理第一全景图像以使得将所确定出的位置置于图像上。注意，在未将位置确定结果KP 确定出的位置设置为中心位置的情况下，图像处理部件304在不改变中心位置的情况下，分 别基于第一全景图像信号DF和第二全景图像信号DP而生成第一全景图像的第一全景图像 信号DFC以及第二全景图像的第二全景图像信号DPC。进一步，在第一全景图像信号DFC和第 二全景图像信号DPC的每一个之中，图像处理部件304显示基于位置确定结果KP的位置（即， 相机部件201的成像光学系统的光轴被引向的位置）。进一步，图像处理部件304将已经通过 执行图像处理而生成的第一全景图像信号DFC和第二全景图像信号DPC提供给显示处理部 件 305。
[0087]显示处理部件305使用从扩展处理部件302提供的视频信号Dcam以及从图像处理 部件304提供的第一全景图像信号D