专利名称：使用全景图像的监视装置与监视方法
技术领域：
本发明涉及一种监视装置与一种监视方法，即适合于通过使用在连续改变摄影方向的同时拾取图像所获得的全景图像，来监视宽范围状况的监视装置与监视方法。
背景技术：
到目前为止，广泛使用的电子静态照相机具有这样一种功能通过透镜，把诸如CCD(电荷耦合器件)等固体状态图像拾取器件所拾取的被摄物体图像转换成作为电信号的图像信号，以把该图像信号记录在记录媒体上，从而再现被记录的图像信号。而且，大多数电子静态照相机都包括一个能够显示所拾取的静态画面(图像)的监视器，从而使其能够选择已经记录的静态画面(图像)中的特定的一个，直至显示所选定的静态画面(图像)为止。在这样的电子静态照相机中，由于向监视器所传送的图像信号相应于被摄物体的每幅画面(帧)，所以同时显示的图像导致图像处于窄范围中。因此，不能监视宽范围的状况。为了解决这样的一个问题，提出这样的一种监视方法在对被摄物体进行摄影的同时连续地位移照相机的摄影方向，以合成这些被摄物体图像，来获得全景图像，从而具有监视宽范围的状况的能力。
特别是，近些年来，序号为1998-108163的日本专利申请公开发表物中提出了一种对多个视频信号进行缩小/合成，使得可以提供一帧视频信号的技术。序号为2000-243062的日本专利申请公开发表物中还提出了一种从所安装的(所提供的)多个监视视频照相机中收集监视图像，以将它们记录在诸如录像带等记录媒体上，从而允许进行监视的集中监视记录系统。
在通过利用记录在这样的记录媒体上的图像检测摄影范围内的任何变化的情况下，监视人(观察者)必须从每个角落观察每次扫描即时输入的监视图像的状况(状态)。特别是，监视人必须总要识别精细图像的变化与/或极小被摄物体的外观，因此需要付出繁重的劳动与/或耗费大量的时间。而且，由于系统依赖于这样的监视人的眼睛，所以存在着可能发生漏看这样的状态变化的可能性。
另外，还存在着这样的问题，在检测摄影范围内的变化的情况下，要求追溯曾经记录的图像数据，以参照这样的图像数据来分析详细的状况(状态)或原因，以致进一步增大了监视人的劳动负担。
发明内容
本发明的一个目的是，提供一种新型监视装置与一种新型监视方法、一种用于操作图像拾取设备和监视装置的程序、以及一种可以解决以上所描述的传统技术所存在的问题的监视系统。
本发明另一个目的是，提供一种监视装置与一种监视方法、一种用于操作图像拾取设备与监视装置的程序、以及一种可以减轻监视人的劳动负担并且能够根据宽摄影范围迅速且精确地检测状况(状态)的监视系统。
根据本发明的监视装置适合于把通过在连续改变摄影方向的同时拾取摄影范围的图像所获得的每一单元图像、全景图像连续地记录在记录媒体上，然后，对从该记录媒体所选择的一个单元图像与先于这一单元图像所记录的相同摄影方向上的单元图像之间的每一原始颜色成份的亮度等级加以比较，以根据这一比较结果，针对构成全景图像的每一单元图像显示预先确定的信息，从而引起用户的注意。
具体地讲，本发明关于一种适合于监视通过在连续地改变摄影方向的同时拾取摄影范围的图像所获得的全景图像的监视装置，其中，提供了记录装置，用于把构成全景图像的各单元图像连续地记录在记录媒体上；比较装置，用于对从该记录媒体所选择的一个单元图像与先于这一单元图像所记录的相同摄影方向上的单元图像之间的每一原始颜色成份的亮度等级加以比较；以及显示装置，用于根据比较装置的比较结果，针对构成全景图像的每一单元图像显示预先确定的信息。
根据本发明的监视方法关于一种监视通过在连续地改变摄影方向的同时拾取摄影范围的图像所获得的全景图像的监视方法，该监视方法包括把构成全景图像的各单元图像连续地记录在记录媒体上；对从该记录媒体所选择的一个单元图像与先于这一所选择的单元图像所记录的相同摄影方向上的单元图像之间的每一原始颜色成份的亮度等级加以比较；以及根据比较结果，针对构成全景图像的每一单元图像显示预先确定的信息。
根据本发明的图像拾取设备包括图像拾取装置，用于在连续地改变摄影方向的同时拾取摄影范围的图像，从而生成全景图像的图像信号；记录装置，用于根据所生成的图像信号把构成全景图像的各单元图像连续地记录在记录媒体上；比较装置，用于对从该记录媒体所选择的一个单元图像与先于所选择的这一单元图像所记录的相同摄影方向上的单元图像之间的每一原始颜色成份的亮度等级加以比较；以及显示装置，用于根据比较装置的比较结果，针对构成全景图像的每一单元图像显示预先确定的信息。
根据本发明的计算机可读的程序，是关于用于监视通过在连续地改变摄影方向的同时拾取摄影范围的图像所获得的全景图像的程序，该程序包括把构成全景图像的各单元图像连续地记录在记录媒体上；对从该记录媒体所选择的一个单元图像与先于这一所选择的单元图像所记录的相同摄影方向上的单元图像之间的每一原始颜色成份的亮度等级加以比较；以及根据比较结果，针对构成全景图像的每一单元图像显示预先确定的信息。
根据本发明的监视系统包括图像拾取单元，用于在连续地改变摄影方向的同时拾取摄影范围的图像，从而生成全景图像的图像信号；服务器，用于根据所生成的图像信号连续地记录构成全景图像的各单元图像；服务器控制装置，用于对从服务器所选择的一个单元图像与先于所选择的这一单元图像所记录的相同摄影方向上的单元图像之间的每一原始颜色成份的亮度等级加以比较；以及适合的终端单元，使得服务器控制装置所得的比较结果通过通信网络发送，从而能够根据比较结果，针对构成全景图像的每一单元图像显示预先确定的信息。
通过以下参照附图给出的实施例的描述，本发明的进一步的目的、以及通过本发明可获得的实际的优点，将变会得更加明显。
图1示意了已向其施用了本发明的监视系统的配置。
图2为照相机单元和监视单元的框图。
图3解释了照相机单元在图像拾取角度u拾取由黑色框架所指示的摄影范围内的图像的情况。
图4示意了显示器上显示画面的配置实例。
图5解释了一种检测在所拾取的图像上所产生的差别的方法。
图6A～6C解释了一种针对每一原始颜色成份设置颜色等级和差别检测等级的方法。
图7A和7B解释了选择其中可以检测到差别的被摄物体的大小的情况。
图8示意了在被检测区域和参照图像区域之间进行大小比较的一个实例。
图9解释了对参照块和搜寻块的设置。
图10A和10B解释了一种确定相似性的方法。
图11A和11B解释了一种计算分散积分值的方法。
图12是一个流程图，描述了用户针对显示在整体图像显示单元上的单元图像进行的各种设置过程。
图13是一个流程图，描述了对于各单元图像进行的差别检测过程。
图14是一个流程图，描述了用于向操作终端单元的用户提供与所检测出的差别相关的信息的过程。
最佳实施方式现在，将参照附图，详细描述本发明的实施例。
如图1中所示，已向其施用了本发明的监视系统1包括照相机单元2，用于拾取被摄物体的图像，以生成图像信号；监视单元5，向其发送照相机单元2所生成的图像信号；显示器6，连接于监视单元5；终端单元9，允许多个用户执行应用；网络8，用于在监视单元5和相应的终端单元9之间发送/接收信息；终端显示器10，分别连接于终端单元9；网络服务器11，连接于网络8。
在照相机单元2上，整体地构造了转动(pan)/倾斜器部分3和照相机部分4。把转动/倾斜器部分3构造为一个旋转工作台，用于自由地改变摄影方向，例如相对转动和倾斜的两个轴改变摄影方向。
把照相机部分4放置在构成转动/倾斜器部分3的旋转工作台上，并将其用于拾取被摄物体的图像，同时根据监视单元5的控制，沿水平方向或沿垂直方向调整摄影方向。根据监视单元5的控制，照相机部分4连接地改变摄影画面角度，从而可放大或缩小拾取被摄物体图像的摄影放大比率。针对一个监视单元5，安装(提供)多个照相机部分4，从而能够针对相同被摄物体以互不相同的摄影角度执行图像拾取操作。
由例如个人计算机(PC)等信息处理单元构成监视单元5，并将其用于记录从照相机单元2所发送的图像信号，以通过显示器6向用户显示所记录的图像信号。在由用户指定所希望的图像区域或图像位置的情况下，监视单元5进行控制，旨在从所记录的图像信号中选择最佳的一个，以显示所选择的图像信号。监视单元5还可以作为用于控制整个网络8的所谓的中央控制单元，以根据来自另一个终端单元9的请求，发送图像。
网络8是能够执行双向信息发送/接收的公共通信网络，这种公共通信网络包括例如，因特网，通过诸如连接于TA(终端适配器)/调制解调器等的ISDN(综合业务数字网络)/B(宽带)-ISDN之类的电话线路连接于监视单元5。应该加以注意的是，在监视系统1操作在预先确定的窄区域中的情况下，可以通过LAN(局域网络)构造网络8。除了静止图像外，网络8还可以发送MPEG(运动图像专家组)图像。在这样的情况下，根据因特网协议(IP)从某一个终端连续地发送MPEG数据，并且在每一预先确定的时刻，从不同的通道发送静止图像数据。
终端单元9为PC，使得在各自的家庭或企业等中准备就绪的用户，能够通过网络8从监视单元5获取图像，从而进行所希望的处理。通过把多个终端单元9连接于网络8，将能够同时向多个用户提供监视系统1的应用。终端单元9在终端显示器10上显示从监视单元5所获得的图像。另外，终端单元9还根据用户所指定的操作来生成请求信号，以把该请求信号发送到监视单元5。应该加以注意的是，将按照终端单元9的结构配置来提供以下所述的监视单元5的配置，并将省略对其的解释。
网络服务器11对诸如因特网信息等进行管理，旨在接收终端单元9的请求，以把该请求存储在网络服务器11中，从而从中发送预先确定的信息。
接下来，将详细描述构成向其施用了本发明的监视系统1的照相机单元2和监视单元5的配置。
图2是框图，描述了照相机单元2和监视单元5的配置。在图2中，把照相机单元2和监视单元5的各个部件连接于公共控制器总线21。
构成照相机单元2的转动/倾斜器单元3包括倾斜部分3a和转动部分3b，它们控制用于改变摄影方向的旋转工作台。另外，构成照相机单元2的照相机部分4还包括透镜控制部分23，主要用于改变透镜部分22的画面角度；图像拾取部分24，设置在与透镜部分22的光轴相垂直的位置；IEEE(电气电子工程师协会)1394接口25，用于把图像拾取部分24所生成的图像信号发送到监视单元5；GPS(全球定位系统)接收部分28，用于检测照相机单元2的当前位置；以及元数据生成部分29，固定(安装)在GPS接收部分28上。应该加以注意的是，IEEE 1394接口25可以取代以太网(注册商标)。
监视单元5包括缓冲存储器51，连接于IEEE1394接口25；编码器52，连接于缓冲存储器51；服务器53，用于存储从编码器52输出的图像；图像压缩部分54，用于压缩已从服务器53读出的图像；图形控制器55，连接于服务器53和图像压缩部分54，并用于准备将在显示器6上显示的图像；CPU(中央处理单元)56，用于通过控制器总线21控制各个部分；键盘59以及鼠标器60，分别连接于I/O端口58，用于使用户能够根据显示在显示器6上的图像来指定所希望的图像区域与/或图像位置；以及存储卡61和时钟62，连接于I/O端口58。
倾斜部分3a和转动部分3b根据来自CPU 56的驱动信号，旋转被构造为旋转工作台驱动源的步进马达。于是，能够沿水平方向或垂直方向改变安装在旋转工作台上的照相机部分4的摄影方向。
透镜控制部分23根据来自CPU 56的驱动信号，执行关于透镜部分22的自动光圈控制操作与/或自动对焦控制操作。透镜控制部分23根据这样的驱动信号，相对被摄物体改变摄影画面角度。因此，照相机部分4还能够连续地调整摄影放大倍数(放大比率)，以拾取被摄物体的图像。
使用固体状态图像拾取器件，例如CCD(电荷耦合器件)等构造图像拾取部分24，图像拾取部分24用于在图像拾取表面上形成通过透镜部分22入射的被摄物体图像，以通过光电转换生成图像信号，从而把该图像信号发送到IEEE 1394接口25。
GPS接收部分28根据GPS系统所发射的信号，检测照相机单元2的安装位置与/或摄影方向。通过提供GPS接收部分28，特别是在安装(提供)了多个照相机单元2的情况下，能够以这样的一种方式进行控制，以彼此互锁两个摄影方向。把来自GPS接收部分28的输出信号传送至元数据生成部分29。于是，生成由诸如纬度、经度、方位角与/或高度等位置信息、时间以及各种参数等构成的元数据，这些元数据基于GPS位置测量结果。元数据生成部分29把已经生成的位置信息和元数据传送至编码器52。应该加以注意的是，在本发明中，可以省略GPS接收部分28和元数据生成部分29的配置。
缓冲存储器51根据来自CPU 56的控制信号，临时存储从IEEE 1394接口25所传送的图像信号。把已经临时存储在缓冲存储器51中的图像信号传送至编码器52，并根据诸如JPEG(联合摄影专家组)等标准对其进行压缩编码。编码器52可以针对被压缩编码的图像信号，添加从元数据生成单元29传送的位置信息与/或元数据。编码器52把经压缩编码的图像信号输出到服务器53或图像压缩部分54。应该加以注意的是，在针对将被传送的图像信号没有执行压缩编码的情况下，省略在编码器52处的处理。
服务器53以一种与位置信息或元数据相关的方式连续地记录从编码器52输出的图像信号。服务器53可以替代诸如硬盘或可拆卸盘形记录媒体。根据CPU 56的控制，把记录在服务器53上的图像信号读出到图像压缩部分54或图形控制器55。在这一例子中，进行控制，以把记录在服务器53中的图像信号记录到存储卡61中，从而用户也可以把如此拾取的图像输送到其它PC。另外，还进行控制，以把记录在服务器53上的图像信号记录到网络服务器1 1中，从而用服务器53替代网络服务器11。
图像压缩部分54针对已经从服务器53中读出的JPEG形式的图像信号，分别生成压缩的图像和索引(Thumbnail)图像。图形控制器55根据已从服务器53读出的图像信号或从图像压缩部分54输出的图像信号，关于显示器6进行画面处理。另外，图形控制器55根据CPU 56的控制，对显示器6上的对比度与亮度进行控制。
在用户通过键盘59或鼠标器60指定图像区域和图像位置的情况下，CPU56通过控制器总线21发送用于驱动转动/倾斜器部分3和透镜控制部分23的驱动信号，以及用于控制监视单元5中的各部件的控制信号。CPU 56进行控制，以从终端单元9接收预先确定的请求信号，从而从记录在服务器53中的图像中选择最佳的一个，或选择各种信息，以将它们发送到相应的终端单元9。
以下，将解释向其施用了本发明的监视系统1上的图像拾取操作。
图3描述了照相机单元2在摄影画面角度u拾取由黑色框架所指示的摄影范围内的图像的情况。为了在摄影画面角度u整体地拾取摄影范围的图像，必须在将其沿水平方向或沿垂直方向连续地位移的同时拾取摄影方向的图像。假设摄影范围的大小由这样的值表示该值为通过在一个任意摄影画面角度u执行图像拾取操作所获得的帧(以下将其称为单元图像)的大小的i×j倍，因此必须设置至少i×j种摄影维度。通过粘贴i×j个已经在摄影画面角度u成像的单元图像，能够合成代表整个摄影范围的整体图像。
此处，在图3中，当假设摄影范围的各单元图像的坐标(M，N)相对水平方向从左端起连续地为1，2，…，M，…i，并且那些坐标(M，N)相对垂直方向从上端起连续地为1，2，…，N，…j时，CPU 56把驱动信号发送到倾斜部分3a和转动部分3b，从而使照相机部分4的摄影方向首先变为与位于左上方向的坐标(1，1)相一致，以执行图像拾取操作。把基于作为相对于坐标(1，1)执行图像拾取操作的结果而生成的单元图像的图像信号临时存储在缓冲存储器51中，并根据JPEG标准在编码器52处对其进行压缩编码。另外，同时把位置信息与/或元数据添加于该图像信号。把如此获得的图像信号记录在服务器53上。
相类似地，CPU 56驱动针对倾斜部分3a和转动部分3b的驱动信号，从而把照相机部分4的摄影方向向右侧位移一个画面帧，以按与坐标(2，1)相一致的方式执行图像拾取操作。把作为相对于坐标(2，1)执行图像拾取操作地结果而生成的图像信号类似地记录在服务器53中。照相机部分4沿水平方向向坐标(3，1)，(4，1)，…，(i，1)连续地改变摄影方向，以执行图像拾取操作。
照相机部分4完成了第一列的图像拾取操作，此后，根据CPU 56的控制调整摄影方向，从而产生执行图像拾取操作的第二列的坐标(1，2)，接下来执行图像拾取操作，同时沿水平方向连续地改变摄影方向。当重复这样的操作直至坐标(i，j)，从而完成图像拾取操作时，服务器53处于这样的状态其中记录了基于已针对每一像素拾取的i×j个单元图像的图像信号。
图像压缩部分54相应地读出记录在服务器53上的基于各单元图像的图像信号，并将它们加以压缩，以使它们与显示器6的显示画面的大小相符。经由图形控制器1 5把所压缩的各单元图像显示在显示器6上。通过在显示器6上显示所有i×j个记录在服务器53上的单元图像，一个整体的图像得以合成。通过按预先确定的间隔执行以上所描述的图像拾取操作，能够获得显示摄影范围的最新状态的整体图像。
图4描述了一个实例，其中通过粘贴所拾取的i×j个单元图像而合成的整体图像显示在显示器6的整体图像显示部分70上。监视单元5可允许整体图像显示部分70显示构成整体图像的各单元图像之间的边界，或可允许整体图像显示部分70仅显示无缝的整体图像。另外，作为对全景整体图像的替代，监视装置5还可允许整体图像显示部分70显示通过在一个可以掌握整个摄影范围的摄影画面角度执行图像拾取操作而获得的一个整体图像。
在显示画面45处，还提供了放大的图像显示部分71，用于显示通过放大单元图像而获得的放大的图像。可以按放大的方式，把用户在构成显示在整体图像显示部分70上的整体图像的单元图像当中所指定的一个单元图像显示在放大的图像显示部分71上，或可以相对于这样的一个单元图像的摄影方向，在其上连续地显示移动画面。因此，用户还可以实时地在所指定的单元图像上沿摄影方向确认状况(状态)。
在显示画面45上，显示了WIDE按钮72，用于在摄影放大倍数(放大率)被缩小的状态下，显示在放大的图像显示部分71上显示的单元图像；ZOOM按钮73，用于在摄影放大倍数(放大率)被放大的状态下显示这样的单元图像。在显示画面45上，还显示了摄影方向控制部分75，用于沿水平/垂直方向调整照相机部分4的摄影方向；以及设置按钮76，用于进行各种模式的设置与/或允许服务器在所希望的地址处记录基于单元图像的图像信号。
用户可以通过使用键盘59或鼠标器60，指出相对于整体图像显示部分70或放大的图像显示部分71的所希望的图像区域与/或图像位置。应该加以注意的是，可以进一步把用于以与鼠标器60的移动互锁的方式执行以上所描述的指定操作的瞄准器(sight)与/或指针的光，显示在相应的显示部分70、71上。
接下来，将解释已向其施用了本发明的监视系统1检测所拾取图像上出现的差别的方法。
如以上所描述的，通过按预先确定的间隔所执行的图像拾取操作，把通过拾取最新状态(状况)的图像所获得的整体图像连续地记录在服务器53上。此处，把记录在服务器53上的整体图像当中的显示摄影范围的最新状态的整体图像称为比较整体图像，把紧接在比较整体图像之前所拾取和记录的整体图像称为基本整体图像。
如图5中所示，监视系统1对构成比较整体图像的各单元图像和构成基本整体图像的各单元图像之间每一原始颜色成份R、G、B的亮度等级加以比较。在存在于相同坐标(M，N)上的单元图像之间，即在存在于相同摄影方向的单元图像之间，进行亮度等级之间的比较。因此，可以在每一摄影方向上，相对于基本整体图像，检测比较整体图像的各原始成份的亮度等级的变化。
在作为针对每一单元图像比较亮度等级的结果而检测出差别的情况下，例如在坐标(3，2)、(5，5)、(7，6)处，显示其中仅对这样的单元图像加以着色的帧，从而引起用户的注意。此时，可以把将加以比较的两个单元图像显示在显示画面45上，同时显示着色帧，从而可立即告知这样的差别之原因。
于是，用户可以通过仅对显示画面45上的着色帧所显示的单元图像加以注意，来检查差别的细节。因此，能够减轻劳动负担。
应该加以注意的是，如以上所描述的，在本发明中，可以仅针对构成比较整体图像的部分单元图像比较亮度等级。此时，用户通过使用鼠标器60等指定所希望的单元图像，从而能够仅针对这样指定的单元图像识别亮度等级的差别存在/不存在。于是，将能够对图像进行高精度的和高灵敏度的差别检测。
图6A解释了在原始颜色成份之间比较R(红色)亮度等级的情况。纵坐标指出了对于将加以比较的单元图像针对每一相应像素所计算的差别值(亮度)。图6B描述了图6A中所示的差别值之间水平方向的最大值，图6C描述了图6A中所示的差别值之间垂直方向的最大值。
差别检测等级L1和颜色等级L2为可由用户通过使用键盘59或鼠标器60自由加以设置的两个等级。当所计算的原始成份(R)的亮度等级的差别值超过差别检测等级L1时，则断定已经检测到了差别。颜色等级L2是为提高S/N(信号/噪声)比用于设置将加以计算的差别值的增益的等级。例如，如图6中所示，把一个差别值放大到颜色等级L2，从而可以类似地放大其它的差别值。通过相对于所放大的各差别值设置所希望的差别检测等级L1，将能够实现高精度的差别检测。即，用户能够自由地将颜色等级L2设置为与所希望检测到的差别值的等级相一致。另外，当可以断定检测出差别时，通过根据与颜色等级L2的关系设置差别检测等级L1，能够自由地设置引发的等级变化对于颜色等级L2的比率达到多达程度的情况下，可以断定检测到差别。对于其它的原始颜色成份(G，B)，也能够类似地设置L1和L2。
对于R、G、B的每一原始颜色成份来说，可以把差别检测等级L1和颜色等级L2设置成彼此不同的等级，并且可以针对构成比较整体图像的每一单元图像把它们设置成彼此不同的等级。
即，在监视系统1中，在相应的差别值等级超过针对对于将加以比较的单元图像的每一原始颜色成份所计算的亮度等级的差别值当中至少一个原始颜色成份上的差别检测等级L1情况下，可以断定已对于该单元图像检测到差别。因此，能够地检测每一R、G、B的差别。从而，能够高精度地检测在显示画面45上实际显示的整体图像上肉眼无法检测到的微小的状态变化。
在已向其施用了本发明的监视系统1中，还能够选择其中可以检测出差别的被摄物体的大小。
如图7A中所示，用户可以通过使用键盘59或鼠标器60为各单元图像设置所希望的参照图像区域。还可以把将加以设置的参照图像区域设置成关于一个单元图像的一种参照图像区域或关于一个单元图像的多种参照图像区域。另外，还可以针对每一原始颜色成份设置由彼此不同大小组成的参照图像区域。
此处，如图7B中所示，在其中由用户设置水平方向的长度为W且垂直方向的长度为t的参照图像区域的情况下，CPU 56对于其中已经设置了参照图像区域的这样的单元图像，对所确定的差别值超过差别检测等级L1的被检测区域加以识别。CPU 56比较所识别的被检测区域和参照图像区域之间的大小。
例如，如图8中所示，在其中水平方向的长度为W1和垂直方向的长度为t1的被检测区域R1作为其中差别值超过差别检测等级L1的被检测区域被首先识别出的情况下，关于水平方向把参照图像区域的长度W和W1彼此加以比较，并且关于垂直方向把参照图像区域的长度t和t1彼此加以比较。因此，在被检测区域R1的水平和垂直方向的大小均超过参照图像区域的大小的情况下，断定已经检测到差别。对于被检测区域R1，在水平和垂直方向的大小中的任何一个低于参照图像区域的大小的情况下，则断定还没有检测到差别。
相类似地，在CPU 56把水平方向的长度为W2和垂直方向的长度为t2的被检测区域R2作为其中差别值大于差别检测等级L1的被检测区域识别出的情况下，CPU 56关于水平方向把参照图像区域的长度W与W2加以比较。而且CPU 56还关于垂直方向把参照图像区域的长度t和t2加以比较。因此，CPU 56可以判断差别的存在/不存在。
在已向其施用了本发明的监视系统1中，能够根据用户所设置的参照图像区域，选择用于检测差别的被检测区域。特别是，能够精细地调整参照图像区域的大小，使得不可能对于极小的被检测区域检测出差别。因此，不可能对于包括被检测区域的这样的单元图像按如以上所描述的方式显示着色的帧。从而，能够防止用户过度关注。
另外，在希望对存在于摄影范围内的多个被摄物体中的一个特定被摄物体检测差别的情况下，根据将加以检测的大小，设置参照图像区域的大小，因此可以实现这样的希望。特别是，由于存在着许多这样的情况通过在连续地改变摄影方向的同时拾取被摄物体的图像而获得的整体图像包括不同的摄影被摄物体，所以设置由单元图像之间彼此不同的大小构成的参照图像区域，从而能够实现由单一的系统对各图形对象所进行的差别检测。
远离照相机部分4的摄影被摄物体和照相机部分4附近的摄影被摄物体，即使为相同种类材料，显示在单元图像上的大小也是不一样的。例如，即使远离照相机部分4的路上的汽车和照相机部分4附近的路上的汽车为相同类型的汽车，后面这一情况的汽车也将会以较大的比例得以显示。因此，在包括远离照相机部分4的路的单元图像和包括照相机部分4附近的路的单元图像之间改变将加以设置的参照图像区域的大小，从而能够对相同类型的汽车实现精确的差别检测，而不管距离照相机部分4远近与否。
应该加以注意的是，本发明并不局限于以上所描述的实施例，只要在沿水平方向和垂直方向中任意一个被检测区域的大小大于参照图像区域的大小情况下，就可以断定已检测出差别。
在已向其施用了本发明的监视系统1中，还进行位置调整，以调整其中对亮度等级进行比较的单元图像的位置位移。
CPU 56从构成基本整体图像的单元图像(前一个单元图像)中抽取由预先确定个数的像素(例如16×16个像素)组成的参照块91。以这样的方式设置的参照块91包括所谓的高频区域，例如边缘成份等，例如，如图9中所示。
然后，CPU 56在构成比较整体图像的单元图像(后一个单元图像)上设置搜寻范围94。例如，把搜寻范围94设置成由例如24×24个像素组成的区域，其中所述像素以参照块91为中心，沿水平和垂直方向分别延伸了±4个像素。接下来，CPU 56还在后一个单元图像上，在搜寻范围94中设置搜寻块93。设置是这样进行的使搜寻块93上水平和垂直方向的像素的个数分别等于以上所描述的参照块91的水平和垂直方向的像素的个数。
然后，CPU 56用于在搜寻范围94中沿水平和垂直方向连续地移动搜寻块93。CPU 56还可用于针对每一个像素移动搜寻块93，或可以用于针对每多个像素移动搜寻块93。CPU 56确定被连续移动的搜寻块93和参照块91之间的相似性。另外，CPU 56还检测表明最高相似性的搜寻块93的位置。
在确定了相似性的情况下，CPU 56首先计算搜寻块93的白/黑图像信号的亮度等级和参照块91的白/黑图像信号的亮度等级之间的差别值RD。可以根据以下的公式(1)计算来自R、G、B的原始颜色成份的白/黑图像信号。
白/黑图像信号＝(R×0.30+G×0.59+B×0.11)…(1)图10A描述了出现在搜寻块93中的白/黑图像信号的亮度等级差别。图10A中斜线所指示的区域为由于在后一个单元图像上发生位置位移，关于参照块91和搜寻块93之间的白/黑图像信号的亮度等级出现差别的区域。
另外，图10B的横坐标相应于沿水平方向定位在图10A中的虚线上的像素，该横坐标表示的是由8个比特的数据表示对于定位在这样的虚线上的像素所确定的差别值RD的一个实例。
此处，CPU 56确定由纵坐标所表示的差别值的平均值的平均差别值RA。另外，CPU 56还通过使用以下的公式(2)对于定位在虚线上的各像素确定分散积分值F，其中把所确定的平均差别值RA作为参照。
分散积分值F＝∫(差别值RD-平均差别值RA)…(2)由图10B中的斜线区域表示公式(2)中所确定的分散积分值F。
CPU 56可以确定这样的分散积分值F，同时沿垂直方向连续地位移虚线，如图11A中所示。因此，如图11B中的斜线区域所指示的，可以获得针对每一垂直分量所确定的分散积分值F。通过使用分散积分值F，CPU 56最终确定了由以下公式(3)所指示的分散积分值F′。
分散积分值F′＝∫∫(差别值RD-平均差别值RA)…(3)
在这一方式下，CPU 56根据以上所描述的公式，在于搜寻范围94中连续移动的搜寻块93和参照块91之间连续地确定分散积分值F′，以允许指示最小分散积分值F′的搜寻块93的位置为指示最高相似性的位置。CPU 56根据对已经对这样的搜寻块93加以确定的参照块91的相对位置，对后一个单元图像进行定位。
向其施用了本发明的监视系统1可以对构成整体图像的所有单元图像，按以上所描述的一种的方式进行定位。因此，不可能仅根据单元图像的位置位移进行差别检测。特别是，在单元图像被拾取，同时又连续地对宽摄影范围改变摄影方向的情况下，存在着许多可能以像素为基础发生位置位移的情况。另外，还存在着依赖于执行图像拾取操作的照相机部分4，沿由转动/倾斜器部分3所控制的摄影方向，可能出现微小位移的情况。在这样的情况下，还要对各单元图像进行定位，使它们能够处于最佳位置，从而能够进一步提高差别检测的精度。
尽管结合分别设置一个参照块91和一个搜寻块93的情况解释了以上描述的定位过程，但也可以对各块设置多个块，如图9中所示。于是，即使是在所设参照块91的区域中出现差别的情况下，也能够在另一个参照块上精确地进行定位。
在定位过程中，可以根据普通的块匹配方法，确定指示最高相似性的搜寻块93的位置。
最后，将解释已向其施用了本发明的监视系统1上的操作过程的例子。
图12是一个流程图，描述了允许用户针对显示在整体图像显示部分70上的单元图像进行各种设置的流程。
首先，在步骤S11，对参照块91进行设置。对于参照块91的设置，用户可以通过使用鼠标器60等，对所希望的区域进行这样的设置，或者最好令CPU 56本身来抽取边缘部分，从而进行这样的设置。
然后，处理过程转向步骤S12。在提供了多个参照块91的情况下，执行类似于步骤S11的处理过程。
接下来，处理过程转向步骤S13。于是，用户对原始颜色成份(R)进行颜色等级L2的设置，并还根据所设置的颜色等级L2进行差别检测等级L1的设置。可以针对各单元图像进行对L1、L2的设置，或者在整体图像对其统一设置。
然后，处理过程转向步骤S14。于是，用户对原始颜色成份(G)对颜色等级L2进行设置，并根据所设置的颜色等级L2，进行差别检测等级L1的设置。而且在步骤S15，还对原始颜色成份(B)类似地进行对L1、L2的设置。
接下来，处理过程转向S15，以针对各单元图像进行以上所描述的参照图像区域的设置。当完成了直至步骤S15的设置处理过程时，可以对构成整体图像的各单元图像进行差别检测。
图13是一个流程图，描述对这样的各单元图像进行差别检测的流程。
当执行图像拾取操作时，按以上所描述的方式，根据拾取图像信号，把单元图像连续地记录在服务器53上。CPU 56对构成新近记录在服务器53上的相对整体图像的后一个单元图像，在构成基本整体图像的后一个单元图像和前一个单元图像之间进行定位(步骤S21)。
接下来，处理过程转向步骤S22，以对原始颜色成份(R)，针对各单元图像计算亮度等级的差别值。然后，处理过程转向S23，判断这样的亮度等级的差别值是否超过差别检测等级L1。
相类似，在步骤S24、S25，对原始颜色成份(G)，针对各单元图像计算亮度等级的差别值，并判断相应的差别值是否超过差别检测等级L1。而且还在步骤S26和S27，对原始颜色成份(B)类似地进行判断。
然后，处理过程转向步骤S28，以判断是否已关于作为原始颜色成份的R、G、B中的至少一种颜色检测到差别。作为结果，在已对至少一种颜色检测到差别的情况下，处理过程转向S29。另一方面，当在各原始颜色成份上没有检测到任何差别的情况下，处理过程转向S31，以对将加以比较的单元图像，在不特别引起用户注意的情况下，转向对下一个单元图像的差别检测。
在步骤S29，把被检测区域和参照图像区域的大小彼此加以比较。从而，如以上所描述的，在这些大小在沿被检测区域的水平和垂直方向均大于参照图像区域的大小的情况下，处理过程转向步骤S30。在水平和垂直方向的大小中的任意一个小于参照图像区域的大小的情况下，处理过程转向步骤S31。在步骤S30，对将加以比较的单元图像显示着色的帧，从而引起用户的注意。此后，处理过程转向步骤S31。
对构成整体图像的所有单元图像执行从步骤S21到步骤S31的操作，此后进入下一个图像拾取操作。把在以上所描述的处理过程中的比较整体图像按它们本来的样子连续地记录在服务器53中。在把基于下一个图像拾取操作的单元图像最新地记录在服务器中的情况下，在差别检测时，把这样的单元图像称为基本图像单元。由于执行了新的图像拾取操作，所以顺序地更新了比较整体图像和基本整体图像。
应该加以注意的是，在向其施用了本发明的监视系统1中，还可以把与差别相关的所检测的信息通过图14中所示的过程提供给操作终端单元9的用户。
首先，在步骤S41，操作终端单元9的各用户提供对连接于监视器8的监视单元5的访问。
然后，处理过程转向步骤S42。于是，监视单元5对于在记录于服务器53本身的整体图像当中可以向用户打开的图像准备可打开的图像列表，以将其发送至终端单元9。在这一方面，还存在着这样一些情况其中，不仅把各整体图像的文件名与/或文件大小而且还把所缩小的(减小的)整体图像粘贴在可打开的图像列表中。通过网络8和终端单元9，把可打开的图像列表显示在终端显示器10上。
接下来，处理过程转向步骤S43。于是，用户从可打开的图像列表中选择所希望的整体图像。终端单元9根据用户的选择操作把整体图像发送请求C1发送至监视单元5。
在步骤S44处，监视单元5接收这样的整体图像发送请求C1，以从服务器读出用户所选择的整体图像，并将所选择的整体图像发送至终端单元9。通过网络8和终端单元9把所发送的整体图像显示在终端显示器10上。
然后，处理过程转向步骤S45。于是，用户通过使用鼠标器60等指定点，对显示在终端显示器10上的整体图像或对各单元图像或所希望的单元图像，执行步骤S11～S16中所示的各种设置。终端单元9根据用户的这样的指定操作，发送预先确定的请求信号C2。
接下来，处理过程转向步骤S46。于是，监视单元5接收这样的请求信号C2，以执行在步骤S21～S31处所指示的操作。另外，监视单元5还在步骤S30向终端单元9通告引起用户注意所必须的单元图像的坐标。因此，在步骤S47，对其中已在连接于终端单元9的终端显示器10上检测出这样的差别的单元图像，显示着色的帧。
通过执行以上所解释的过程，向其施用了本发明的监视系统1除了可以向操作监视单元5的用户提供适当的检测信息外，还可以向操作连接于网络8的终端单元9的用户提供适当的检测信息。
尽管在图14所示的例子中结合监视单元5执行步骤S46中所示操作的情况进行了解释，但本发明并不局限于这样的情况。例如，可以把所拾取的单元图像连续地记录在与网络8相连的网络服务器11上，从而终端单元5本身可提供对这样的网络服务器11的访问，以读出单元图像，并执行相应于步骤S46的操作。因此，可以减轻已从多个终端单元9对其访问的监视单元5的负担。
在这一监视系统1中，把过去已经成像的基于图像信号的整体图像累积在服务器53上，从而能够以事后方式对过去已出现的差别进行分析。在这样的情况下，在分析详细的状况或原因的过程中，CPU 56比较单元图像之间的亮度等级，从而具有对其中已出现差别的单元图像加以关注的能力。因此，能够消除用户的劳动负担。
应该加以注意的是，尽管已根据附图中所说明的以及以上描述中所描述的优选实施例对本发明进行了详细的描述，但这一技术领域中的普通技术人员应该意识到，本发明并不局限于这些实施例，在不背离所附权利要求所阐述的本发明的范围与构思的情况下，可以对本发明进行各种修改、结构上的变化，或等效的替换。
工业实用性如以上所描述的，针对各单元图像把通过在连续地改变摄影方向的同时拾取摄影范围的图像所获得的全景图像连续地记录在记录媒体上，以比较从记录媒体上所选择的一个单元图像和先于所选择的单元图像所记录的相同摄影方向上的单元图像之间的每一种原始颜色成份的亮度等级，并根据比较结果，针对构成全景图像的每一单元图像显示预先确定的信息。因此，不要求用户总是把注意力放在精细图像的变化与/或极细微被摄物体的外观等方面。从而，可以减轻劳动负担。能够缩短检测这样的差别所需的时间。而且，还无需依赖用户的眼睛。因此，可以提高差别检测的精度。
本申请要求2003年1月20日提交的、序号为2003-011614的日本专利申请的优先权，将其全部内容并入此处，以作参考。
权利要求
1.一种适合于监视通过在连续地改变摄影方向的同时拾取摄影范围的图像所获得的全景图像的监视装置，该监视装置包括记录装置，用于把构成该全景图像的各单元图像连续地记录在记录媒体上；比较装置，用于对在从所述记录媒体所选择的一个单元图像与先于该单元图像所记录的相同摄影方向上的单元图像之间的每一原始颜色成份的亮度等级加以比较；以及显示装置，用于根据所述比较装置的比较结果，针对构成所述全景图像的每一所述单元图像显示预先确定的信息。
2.根据权利要求1中所述的监视装置，还包括设置装置，用于针对每一原始颜色成份设置所希望的阈值，其中，所述比较装置针对每一原始颜色成份确定亮度等级的差别值，以及其中，当所述比较装置所确定的差别值大于针对每一原始颜色成份所设置的阈值时，所述显示装置显示所述预先确定的信息。
3.根据权利要求2中所述的监视装置，其中，所述设置装置适合于针对每一该单元图像设置所希望的阈值。
4.根据权利要求2中所述的监视装置，其中，所述比较装置针对构成所述单元图像的各像素确定亮度等级的差别值。
5.根据权利要求4中所述的监视装置，其中，所述设置装置适合于针对每一所述单元图像进一步设置参照图像区域，以及其中，所述显示装置连续地抽取由其中由所述比较装置所确定的差别值大于所述阈值的像素组成的图像区域，以当所抽取的图像区域的纵向与横向的各最大长度分别超过在所设参照图像区域中纵向与横向的大小时，显示所述预先确定的信息。
6.根据权利要求1中所述的监视装置，其中，所述比较装置对在已从所述记录媒体读出的一个单元图像与先于该单元图像所记录的相同摄影方向上的单元图像之间的白/黑图像信号的亮度等级加以比较，以根据这一比较结果，移动已经读出的所述一个单元图像的位置，从而针对每一原始颜色成份比较亮度等级。
7.根据权利要求6中所述的监视装置，其中，所述比较装置抽取至少一个构成已从所述记录媒体读出的单元图像的参照块，并从先于该单元图像所记录的该摄影方向上的单元图像抽取搜寻块，同时将其连续地移动，以对已经抽取的所述参照块和所述搜寻块之间的白/黑图像信号的亮度等级的分散积分值连续地加以计算，以及其中，所述显示装置根据所述比较装置所计算的分散积分值显示所述预先确定的信息。
8.根据权利要求1中所述的监视装置，还包括通信控制装置，用于根据所述比较装置的比较结果，通过所连接的通信网络，向其它电子设备通告其中应显示所述预先确定的信息的单元图像。
9.一种监视通过在连续地改变摄影方向的同时拾取摄影范围的图像所获得的全景图像的监视方法，该监视方法包括把构成所述全景图像的各单元图像连续地记录在记录媒体上；对在从所述记录媒体所选择的一个单元图像与先于该单元图像所记录的相同摄影方向上的单元图像之间的每一原始颜色成份的亮度等级加以比较；以及根据所述比较结果，针对构成所述全景图像的每一所述单元图像显示预先确定的信息。
10.根据权利要求9中所述的监视方法，其中，针对每一原始颜色成份设置所希望的阈值，以针对每一原始颜色成份确定亮度等级的差别值，从而当所确定的差别值大于针对每一原始颜色成份所设置的阈值时，显示所述预先确定的信息。
11.根据权利要求10中所述的监视方法，其中，针对每一所述单元图像进一步设置所希望的阈值。
12.根据权利要求10中所述的监视方法，其中，对构成所述单元图像的各像素确定亮度等级的差别值。
13.根据权利要求12中所述的监视方法，其中，针对每一所述单元图像进一步设置参照图像区域，以连续地抽取由其中所确定的差别值大于所述阈值的像素组成的图像区域，从而当所抽取的图像区域的纵向与横向的各最大长度分别大于所设参照图像区域中纵向与横向的大小时，显示所述预先确定的信息。
14.根据权利要求9中所述的监视方法，其中，在已从所述记录媒体读出的一个单元图像与先于该单元图像所记录的相同摄影方向上的单元图像之间对白/黑图像信号的亮度等级彼此加以比较，以根据该比较结果，移动已经读出的所述一个单元图像的位置，以针对每一原始颜色成份比较亮度等级。
15.根据权利要求14中所述的监视方法，其中，抽取至少一个构成已从所述记录媒体读出的单元图像的参照块，并从先于该单元图像所记录的相同摄影方向上的单元图像抽取搜寻块，同时将所述搜寻块连续地移动，以对已经抽取的所述参照块和所述搜寻块之间的白/黑图像信号的亮度等级的分散积分值连续地加以计算，以根据所计算的分散积分值显示所述预先确定的信息。
16.根据权利要求9中所述的监视方法，其中，根据所述比较结果，通过所连接的通信网络，向其它电子设备通告其中应显示所述预先确定的信息的单元图像。
17.一种图像拾取设备，包括图像拾取装置，用于在连续地改变摄影方向的同时拾取摄影范围的图像，从而生成全景图像的图像信号；记录装置，用于根据所生成的图像信号，把构成所述全景图像的各单元图像连续地记录在记录媒体上；比较装置，用于对在从所述记录媒体所选择的一个单元图像与先于该单元图像所记录的相同摄影方向上的单元图像之间的每一原始颜色成份的亮度等级加以比较；以及显示装置，用于根据所述比较装置的比较结果，针对构成所述全景图像的每一所述单元图像显示预先确定的信息。
18.根据权利要求17中所述的图像拾取设备，还包括设置装置，用于针对每一原始颜色成份设置所希望的阈值，其中，所述比较装置针对每一原始颜色成份确定亮度等级的差别值，以及其中，当所述比较装置所确定的差别值大于针对其每一原始颜色成份所设置的阈值时，所述显示装置显示所述预先确定的信息。
19.根据权利要求18中所述的图像拾取设备，其中，所述设置装置适合于针对每一所述单元图像进一步设置所希望的阈值。
20.根据权利要求18中所述的图像拾取设备，其中，所述比较装置针对构成所述单元图像的各像素确定亮度等级的差别值。
21.根据权利要求20中所述的图像拾取设备，其中，所述设置装置适合于针对每一所述单元图像进一步设置参照图像区域，以及其中，所述显示装置连续地抽取由其中由所述比较装置所确定的差别值大于所述阈值的像素组成的图像区域，从而当所抽取的图像区域的纵向与横向的各最大长度分别大于所设参照图像区域中纵向与横向的大小时，显示所述预先确定的信息。
22.根据权利要求17中所述的图像拾取设备，其中，所述比较装置对在已从所述记录媒体读出的一个单元图像与先于该单元图像所记录的相同摄影方向上的单元图像之间的白/黑图像信号的亮度等级加以比较，以根据该比较结果，移动已经读出的所述一个单元图像，从而针对每一原始颜色成份比较亮度等级。
23.根据权利要求22中所述的图像拾取设备，其中，所述比较装置抽取至少一个构成已从所述记录媒体读出的单元图像的参照块，并从先于该单元图像所记录的相同摄影方向上的单元图像抽取搜寻块，同时将该搜寻块连续地移动，以对在已经抽取的所述参照块和所述搜寻块之间的白/黑图像信号的亮度等级的分散积分值连续地加以计算，以及其中，所述显示装置根据所述比较装置所计算的分散积分值显示所述预先确定的信息。
24.根据权利要求17中所述的图像拾取设备，还包括通信控制装置，用于根据所述比较装置的比较结果，通过所连接的通信网络，向其它电子设备通告其中应显示所述预先确定的信息的单元图像。
25.一种使计算机能够对通过在连续地改变摄影方向的同时拾取图像拾取范围的图像所获得的全景图像执行监视的程序，该使所述计算机能够执行处理的程序包括把构成所述全景图像的各单元图像连续地记录在记录媒体上；对在从所述记录媒体所选择的一个单元图像与先于该单元图像所记录的相同摄影方向上的单元图像之间的每一原始颜色成份的亮度等级加以比较；以及根据所述比较结果，针对构成所述全景图像的每一所述单元图像显示预先确定的信息。
26.根据权利要求25中所述的程序，使计算机能够执行这样的处理针对每一原始颜色成份设置所希望的阈值，以针对每一原始颜色成份确定亮度等级的差别值，从而当所确定的差别值大于针对其每一原始颜色成份所设置的阈值时，显示所述预先确定的信息。
27.根据权利要求26中所述的程序，使计算机能够执行这样的处理针对构成所述单元图像的各像素确定亮度等级的差别值。
28.根据权利要求27中所述的程序，使计算机能够执行这样的处理针对每一所述单元图像进一步设置参照图像区域，以连续地抽取由其中所确定的差别值大于所述阈值的像素组成的图像区域，从而当所抽取的图像区域的纵向与横向的各最大长度分别大于所设参照图像区域中纵向与横向的大小时，显示所述预先确定的信息。
29.根据权利要求25中所述的程序，使计算机能够执行这样的处理在已从所述记录媒体读出的一个单元图像与先于该单元图像所记录的相同摄影方向上的单元图像之间对白/黑图像信号的亮度等级加以比较，以根据该比较结果，移动已经读出的所述一个单元图像的位置，从而针对每一原始颜色成份比较亮度等级。
30.根据权利要求29中所述的程序，使计算机能够执行这样的处理抽取至少一个构成已从所述记录媒体读出的单元图像的参照块，并从先于该单元图像所记录的相同摄影方向上的单元图像抽取搜寻块，同时将该搜寻块连续地移动，以对在已经抽取的所述参照块和所述搜寻块之间的白/黑图像信号的亮度等级的分散积分值连续地加以计算，以根据所计算的分散积分值显示所述预先确定的信息。
31.一种监视系统，包括图像拾取单元，用于拾取摄影范围的图像，同时连续地改变摄影方向，从而生成全景图像的图像信号；服务器，用于根据所生成的图像信号分别记录构成所述全景图像的各单元图像；服务器控制装置，用于对在从所述服务器所选择的一个单元图像与先于该单元图像所记录的相同摄影方向上的单元图像之间的每一原始颜色成份的亮度等级加以比较；以及终端单元，其中，通过通信网络发送所述服务器控制装置的比较结果，以根据所述比较结果，针对构成所述全景图像的每一所述单元图像显示预先确定的信息。
32.根据权利要求31中所述的监视系统，其中，把多个终端单元作为所述终端单元提供。
全文摘要
一种用于监视通过在连续地改变成像方向的同时对成像范围进行成像而获得的全景图像的监视装置。根据全景图像，每个单元图像连续地记录在服务器(53)上。在从服务器所选择的一个单元图像和早于该单元图像所记录的相同成像方向上的单元图像之间比较每一原本颜色成分的亮度等级。根据比较结果，针对构成全景图像的每一单元图像，通过显示器(6)显示预先确定的信息。
文档编号H04N5/76GK1698379SQ200480000138
公开日2005年11月16日 申请日期2004年1月14日 优先权日2003年1月20日
发明者藤田博则, 间瀬水纪子, 浜秀树, 长谷川裕之 申请人:索尼株式会社