监视设备、监视系统、监视方法及程序的制作方法

专利名称：监视设备、监视系统、监视方法及程序的制作方法
技术领域：
本发明涉及 一 种从监视照相机获取视频数据和与视频数据理获得的过滤结果输出监视结果的监视设备、监视系统和监视 方法，以及执行该监视方法的程序。
背景技术：
迄今为止，使用了经由网络将监视照相机连接到控制单元 的监视系统。在这种监视系统中，监视照相机经由网络将所拍 摄的视频数据发送到作为控制单元的监视设备。该监视设备记 录所接收到的视频数据并分析该视频数据以检测异常情况的发 生，并输出警报。监视人员可以在确认监视器上所显示的监视 视频和从控制单元输出的警报内容的同时进行监视。另外，新近的监视照相机不仅将所拍摄的一见频数据发送到 监视设备，而且还具有生成关于所拍摄的视频数据的元数据(例如警报信息、温度信息及关于照相机的场角(field angle)信息) 并将元数据发送到监视设备的功能。在使用这样的监视照相机 的监视系统中，监视设备通过设置了用于输出警报的特定条件 的元数据过滤器(以下称为过滤器)过滤从监视照相机提供的元 数据，并当满足所述条件时输出警报。例如，对检测如侵入者 进入特定地点及移动物体(物体)通过特定边界线等异常情况的 元数据过滤器设置这样的条件。专利参考文献l记载了 一种经由网络将作为监视视频的视 频数据从监视照相机提供给监视设备，并且在发生了异常情况 时监视设备对监视视频进行确认的技术(参见并基于由过滤处JP-A-2003-274390)。 发明内容当使用这种类型的监视系统进行监视时，由于系统上的噪 声和亮度的突然变化、以及物体的快速运动等干扰，曾经被识 别为物体(obj ect)的物体(移动物体)有时可能会暂时地消失然后 再出现。在这种情况下，在消失前的物体和再次出现的物体被 识别为不同物体的情况下，被识别为物体的物体的数量是物体 实际数量的两倍。为了防止这种错误，系统设置有时可配置成 将曾经消失并在几乎相同的地点再次出现的物体视为同 一物 体。然而，当将这种设置应用在入口等某些物体可能实际消失 或出现的地点时，可能引起另 一个错误即不同物体被识别为同 一物体。因此，希望提高监视系统中的物体识别的精度。 在本发明的实施例中，在使用从监视成像装置成像和输出 的视频数据进行监视的情况下，从成像数据生成关于监视目标 的视频的信息。然后，存储用于分析的过滤器信息，且关于监 视目标的视频的信息中所包含的物体能够从监视成像装置的监 视目标区域消失的地点被作为具有消失点的区域进行存储。然 后，进行分析以根据分析结果生成警报信息，并且在识别出物 体在具有消失点的区域中曾经消失且在几乎相同的地点再次检测到物体的情况下，将这两个物体识别为不同物体以进行分析。 具体地，在本发明的一个方面，提供一种使用从监视成像 装置成像和输出的视频数据以进行监视的监视设备，该监视设 备包括过滤器设置部，其被配置为存储用于分析所述视频数 据的过滤器信息；消失点设置部，其被配置为将包含在所述视
频数据中的物体能够从所述监视成像装置的监视目标区域消失 的地点，作为具有消失点的区域进行存储；以及过滤部，其被 配置为使用存储在所述过滤器设置部中的过滤器信息来分析所 述视频数据，并根据分析结果生成警报信息，其中，在识别出 物体在具有消失点的所述区域中曾经消失然后在几乎相同的地 点再次4全测到物体的情况下，所述过滤部将这两个物体识另'J为 不同的物体并对所述视频数据进行分析。在本发明的另一方面，提供一种监视系统，该监视系统包括监视成像装置；以及监视设备，其使用从监视成像装置成 像和输出的视频数据以进行监视。该监视成像装置包括成像 部，其被配置为对监视目标进行成像并输出一见频数据。该监视 设备包括过滤器设置部，其被配置为存储用于分析所述视频 数据的过滤器信息；消失点设置部，其被配置为将包含在所述 视频数据中的物体能够从所述监视成像装置的监视目标区域消 失的地点，作为具有消失点的区域进行存储；以及过滤部，其 被配置为使用存储在所述过滤器设置部中的过滤器信息来分析 所述视频数据，并根据分析结果生成警报信息，其中，在识别 出物体在具有消失点的所述区域中曾经消失然后在几乎相同的 地点再次检测到物体的情况下，所述过滤部将这两个物体识别 为不同的物体并对所述视频数据进行分析。在本发明的另一方面，4是供一种监—见方法，该监视方法适 用于由监视成像装置和监视设备构成的监视系统，该监视设备 使用从监视成像装置成像和输出的视频数据以进行监视，该方 法包括以下步骤在所述监视成像装置中，对监视目标进行成 像并输出视频数据，在所述监视设备中，存储用于分析所述视 频数据的过滤器信息;将包含在所述视频数据中的物体能够从 所述监视成像装置的监视目标区域消失的地点，作为具有消失
点的区域进行存储；使用所述过滤器信息来分析所述视频数据，并根据分析结果生成警报信息；以及在识别出物体在具有消失 点的所迷区域中曾经消失然后在几乎相同的地点再次检测到物 体的情况下，将这两个物体识别为不同的物体并对所述视频数 据进行分析。通过这种配置，在物体能够从监视成像装置的监视目标区 域消失的地点、多个物体消失或者它们被再次确认的情况下， 可以排除各个物体被认为是同 一 物体的错误。根据本发明的实施例，在物体能够从监视成像装置的监视 目标区域消失的地点、多个物体消失或者它们一皮再次确:〖人的情 况下，由于识别出各个物体为不同物体，因此通过对满足预定 条件的物体的数量进行计数的过滤器计算的物体的数量更接近 真实值。


图1A和图1B示出描述根据本发明实施例的监视系统的示 例性配置的图；图2示出描述根据本发明实施例的监视照相机的示例性内 部配置的框图；图3示出描述根据本发明实施例的客户端的示例性内部配 置的框图；图4示出描述冲艮据本发明实施例的浮见频it据和元数据的示例性显示的图；图5示出描述根据本发明实施例的示例性监视图像的图； 图6示出描述根据本发明实施例的示例性物体识别处理的流程图；以及图7A ~图7C示出描述根据本发明实施例的示例性监视图
像的图。
具体实施方式
在下文中，将参考

实现本发明实施例的最佳模式。 下述实施例是适合监视系统的例子，在该监视系统中，成像装 置(监视照相机)获取拍摄目标的视频数据并生成元数据，分析 所获得的元数据以检测移动物体(物体)从而输出检测结果。图1A和1B是示出根据本发明的实施例的示例性监视系统 中的连接配置的图。图1A示出作为监视设备的客户端经由网络获取从监视照 相机输出的数据的系统，图1B示出服务器获取从监视照相机输 出的数据并将该数据提供给客户端的系统(服务器/客户端系 统)。首先，将说明图1A中示出的监视系统100。如图1A和1B所 示，监视系统100管理单个或多个监视照相机。在该例子中，管 理了两个照相机。监视系统100配置有监视照相机la和lb，其 拍摄监视目标并生成视频数据，以及从视频数据生成元数据； 客户端3，其存储所获取的视频数据及元数据、分析元数据并输 出结果；以及网络2，其将监视照相机la和lb连接到客户端3。 客户端3经由网络2乂人监一见照相机la和lb所获耳又的元数据通过元 数据过滤器(在下文中，也被称为"过滤器")进行分析。为了控 制监视照相机1 a和lb的操作以根据过滤结果的描述获得适合于 监视的监视视频，客户端3向监视照相机1 a和1 b提供切换指示信号。另外，监视照相机、服务器及客户端的数量自然不限于该 实施例。这里，将说明在监视照相机中所生成的元数据。术语元数
据是由监视照相机的成像部拍摄的视频数据的属性信息。例如， 命名以下。a) 物体信息(当监视照相机检测到移动物体(物体)时关于该移 动物体的ID、坐标和大小的信息)。b) 拍摄时间数据及监视照相机的方位信息(例如全方位摇摄 (pan tilt))。c) 监视照相机的位置信息。d) 所拍摄图像的署名信息。术语物体信息是将元数据中被描述为二进制数据的信息展开成具有如结构等含义的数据结构的信息。术语元数据过滤器是当从物体信息生成警报信,氛-时的判决 条件，术语警报信息是基于从元数据展开的物体信息而过滤的 信息。术语警报信息是通过分析多帧元数据以从移动物体位置 的变化来确定速度、通过确认移动物体是否穿过了特定边界线、 或通过以组合的方式对它们进行分析而获得的信息。例如，关于过滤器的类型，存在以下七种类型，可以使用 它们中给定类型的过滤器。出现(Appearance):判断物体是否存在于特定区域内的过滤器。 消失(Disappearance):判断物体是否在特定区域内出现并从该 区域消失的过滤器。通过(Passing):判断物体是否穿过特定边界线的过滤器。容量(Capacity)(物体数量的限制)对特定区域内的物体数量进行计数并判断所累积数量是否超过预定值的过滤器。滞留(Loitering):判断物体是否在特定区域内停留超过预定时间段的过滤器。未留意(unattended):判断是否有物体进入特定区域并保持静止超过预定时间段的过滤器。
离开(Removed):才全测特定区域内的物体已经离开的过滤器。对于包括在警报信息中的数据，有上述过滤器中的过滤器 "容量"，例如，包括通过使用所检测到的物体的累积总值的过 滤器所生成的"物体的累积数量"、作为与过滤器条件相匹配的 物体的数量的"物体数量"、在特定帧内与过滤器的条件相匹配 的物体数量、以及与过滤器的条件相匹配的物体的属性信息(物 体的ID、 X坐标、Y坐标及大小)。如上所述，可以;故用作^艮告 功能的警报信息包括视频中的数量(人数)及其统计。接着，将参考图2中所示的功能框图说明图1A中所示的监 视照相机1的详细配置。监一见照相机1配置有一见频数据生成部21、 成像操作切换部22和元数据生成部23。首先，将说明构成视频 数据生成部21的各个部件。成像部212对通过镜头部211形成在 成像元件(未示出)上的成像光应用光电转换，并形成成像信号 Sv。例如，成像部212具有未示出的前置放大器部及A/D(模/数) 转换部。该前置放大器部对成像信号Sv的电信号电平进行放大 并去除由相关双采才羊(correlated double sampling)所引起的复位 噪声，A/D转换部将成像信号Sv从模拟信号转换为数字信号。 而且，成像部212调整所提供的成像信号Sv的增益、稳定黑电 平(black level)并调整动态范围。将经过了各种处理的成像信号 Sv提供给成像信号处理部213 。成像信号处理部213对从成像部212提供的成像信号Sv进 行各种信号处理，并生成视频数据Dv。例如，进行如下处理 拐点校正(knee correction),用于对特定电平或更高电平的成Y象 信号Sv进行压缩；y校正，用于根据设定的y曲线来校正成像信 号Sv的电平；白电平限幅(white clipping)或黑电平限幅(black clipping),用于将成像信号Sv的信号电平限制到预定范围；等
等。然后，将视频数据Dv提供给数据处理部214。为了减少与客户端3通信的数据量，例如，数据处理部214 对视频数据Dv进行编码处理，并生成视频数据Dt。此外，数据将其提供给客户端3。基于从客户端3输入的切换指示信号CA,成像操作切换部 22切换监视照相机1的操作以荻得最佳成像视频。例如，成像操 作切换部22切换成像部的成像方向，除此之外，其允许各个部 件进行以下处理将控制信号C M a提供给镜头部211以切换变焦 比(zoom ratio)和光圈(iris),将控制信号CMb提供给成像部212 及成像信号处理部213以切换成像视频的帧频(frame rate),以及 将控制信号C M c提供给数据处理部214以切换视频数据的压缩率。元数据生成部23生成显示关于监视目标的信息的元数据 Dm。在将移动物体设置为监视目标的情况下，元数据生成部使 用在视频数据生成部21中所生成的一见频数据Dv，检测移动物 体，生成表示是否检测到移动物体的移动物体检测信息及表示 所检测到的移动物体的位置的移动物体位置信息，并将它们作 为物体信息包括在元数据中。这时，对每一所检测到的物体分 配唯一的ID。另外，关于监视目标的信息不限于关于移动物体的信息， 其可以是表示将被监视照相机监视的区域的状态的信息。例如， 其可以是关于被监视区域的温度或亮度的信息。作为选择，它 可以是关于在被监视区域中所进行的操作的信息。在温度为监 视目标的情况下，可以将温度测量结果包括在元数据中，而在 亮度为监视目标的情况下，元数据生成部23可例如基于视频数 据Dv确定监视视频的平均亮度，并将确定的结果包括在元数据中。此夕卜，在用户在ATM(automated teller machine,自动耳又款 机)和POS(point of sales,销售点)终端上进行的操作是监一见目标 时，将用户通过操作键和操作面板进行的操作包含在元数据中 就可以了 。而且，元数据生成部2 3将从成像操作切换部2 2提供的成像 操作QF(例如，在对监视目标进行成像时的成像方向或变焦状 态，及视频数据生成部的设置信息)和时间信息包括到元数据 中，由此可将元数据生成的时间和状况作为记录保留。这里，将说明视频数据和元数据的结构。视频数据及元数 据均由数据主体和链接信息构成。在视频数据的情况下，数据 主体是作为监视照相机1 a和1 b所拍摄的监#见视频的视频数据。 另外，在元数据的情况下，数据主体描述了定义表示监视目标 的信息等信息的描述方式的属性信息。另一方面，术语链接信 息是表示视频数据和元数据之间的关联性的关联信息和描述定 义信息描述的描述方式的属性信息的信息。对于关联信息，例如，使用识别视频数据的时间戳(time stamp)和顺序号(sequence number)。术语时间戳是纟会出生成一见频 数据的时间点的信息(时间信息)，而术语顺序号是给出生成内 容数据的顺序的信息(顺序信息)。在存在多个具有相同时间戳 的监视视频的情况下，可以识别生成具有相同时间戳的视频数 据的顺序。此外，对于关联信息，可以使用识别生成视频数据 的装置的信息(例如，制造商名称、产品类型名称、产品编号等)。为了说明关于元数据主体的链接信息，使用通过描述在网 络(WWW:万维网)上交换的信息而定义的标记语言(Markup Language)。通过使用标记语言，可以经由网络2容易地交换信 息。此外，对于标记语言，例如，通过使用用于交换文档与电
子凄史据的XML(Extensible Markup Language,可扩展标i己i吾言)， 可以容易地交换视频数据和元数据。在使用XML的情况下，对 定义信息的描述方式的属性信息，例如，使用XML模式 (schema》可以将由监 一见照相机1 a和1 b生成的— 见频数据和元数据作为 单个流提供给客户端3 ，或者可以将视频数据和元数据在不同的 流中异步地提供给客户端3。另外，如图1B所示，即使服务器功能和客户端功能互相分 离并且应用到由服务器ll和客户端12构成的监视系统，也可以 获得与上述图1A中所示的例子相同的功能和优点。服务器功能 和客户端功能互相分离，由此这种分离使用可能是在具有高 处理性能的服务器ll中处理大量数据，而在具有低处理性能的 客户端12仅浏览处理结果。如上所述，功能被分布成能够发挥 可以构造灵活性提高的监视系统IOO的优点。接下来，将参考在图3中所示的功能框图来说明在图1 A中 所示的客户端3的详细配置。然而，客户端3的功能块可以由石更 件配置，或者可以由软件配置。客户端3具有与监视照相机la和lb传输数据的网络连接部 101、从监视照相机la和lb获取视频数据的浮见频緩冲部102、从 监视照相机1 a和1 b获取元数据的元数据緩冲部10 3 、存储与过滤 处理相应的过滤器设置的过滤器设置数据库107、作为过滤元数 据的过滤部的元数据过滤部10 6 、当将物体能够从监视照相机的 监视目标区域消失的位置设置为"具有消失点的区域"时存储消 失点设置信息的消失点设置数据库113、向监视照相机la和lb 通知设置变化的规则切换部108、存储视频数据的视频数据存储 数据库104、存储元数据的元数据存储数据库105、显示视频数 据及元数据的显示部111、进行处理以在显示部lll上再现视频
数据的^L频f史据处理部109、进4于处理以在显示部111上再现元 数据的元数据处理部110、以及使元数据与视频数据的再现同步 的再现同步部112。视频緩沖部10 2从监视照相机1 a和1 b获取视频数据，并对编 码后的视频数据进行解码。然后，视频緩冲部102在设置在视频 缓冲部102中的未示出的緩沖器中保持所获得的视频数据。此 外，视频緩冲部10 2还将未示出的緩冲器中所保持的视频数据依 次提供给在其上显示图像的显示部lll。如上所述，视频数据保 持在未示出的緩冲器中，由此可以将视频数据依次提供给显示 部111而不依赖于从监视照相机1 a和1 b接收视频数据的定时。而 且，视频緩冲部10 2基于从稍后说明的规则切换部10 8提供的记 录请求信号而将所保持的视频数据存储到视频数据存储数据库 104中。另外，可以执行如下方案将编码后的视频数据存储在 视频数据存储数据库104中，并在稍后说明的视频数据处理部 109中对其进行解码。元数据緩冲部10 3将从监视照相机1 a和1 b所获取的元数据 保持到设置在元数据缓冲部10 3中的未示出的緩冲器中。而且， 元数据緩冲部103将所保持的元数据依次提供给显示部111。另 外，元数据緩冲部103还将保持在未示出的緩冲器中的元数据提 供给稍后说明的元数据过滤部106。如上所述，元数据保持在未依赖于从监纟见照相机la和lb接收元数据的定时。而且，可以将 元数据与视频数据同步地提供给显示部lll。此外，元数据緩冲部103将从监视照相机la和lb所获取的元数据存储在元数据存 储数据库105中。这里，在将元数据存储在元数据存储数据库105 中时，添加关于与元数据同步的视频数据的时间信息。根据这 种配置，不需要读取元数据的描述以确定时间点，而所添加的
时间信息用于从元数据存储数据库105中读出所期望时间点处 的元数据。过滤器设置数据库10 7存储与稍后说明的元数据过滤部10 6 所进行的过滤处理相应的过滤设置，并将该过滤设置提供给元 数据过滤部106。术语过滤器设置是表示判断标准的设置，例如 对于元数据中所包括的关于监视目标的每 一 信息都输出警报信 息以及判断是否切换监视照相机la、 lb的成像操作的必要性。 过滤器设置用于过滤元数据以显示对关于监视目标的每一信息 的过滤结果。过滤结果显示输出警报信息、切换监视照相机la 和lb的成像操作等的必要性。元数据过滤部106使用存储在过滤器设置数据库107中的过滤器设置来过滤元数据以判断是否生成警报。然后，元数据过 滤部106过滤从元数据緩冲部103获取的元数据或从元数据存储 数据库105提供的元数据，并将过滤结果通知给规则切换部108。消失点设置数据库113在将物体能够从例如门等监视照相 机的监视目标区域消失的位置设置为具有消失点的区域的情况 下，存储消失点设置信息。具有消失点的区域例如基于该区域 的坐标信息由多边形来表示，添加表示该区域是具有消失点的 区域的标志，并将该标志设置成消失点设置信息。在元数据过 滤部10 6进行的过滤处理中参考存储在消失点设置数据库113中 的消失点设置信息，并根据该消失点设置信息进行分析。稍后 将详细说明这种情况下的处理细节。基于从元数据过滤部10 6通知的过滤结果，规则切换部10 8 生成切换指示信号，并将成像方向的切换等变化通知给监视照 相机la和lb。例如，规则切换部基于从元数据过滤部106获得的 过滤结果输出切换监视照相机la和lb的操作的指示，以获得适 合于监视的监视视频。而且，规则切换部108基于过滤结果将记
录请求信号提供给视频数据存储数据库1 0 4以将由视频缓冲部102所获得的视频数据存储到视频数据存储数据库104中。视频数据存储数据库104存储由视频緩冲部102获取的视频 数据。元数据存储数据库105存储由元数据緩沖部103获取的元数据。视频数据处理部109进行允许显示部lll显示存储在视频数 据存储数据库104中的视频数据的处理。换句话说，视频数据处 理部109从用户指示的再现位置开始依次读取视频数据，并将所 读取的视频数据提供给显示部lll。另外，视频数据处理部109 将正被再现的视频数据的再现位置(再现时间点)提供给再现同 步部112。使元数据与视频数据的再现同步的再现同步部112将同步 控制信号提供给元数据处理部IIO,并控制元数据处理部110的 操作以通过元数据处理部110使从视频数据处理部10 9提供的再 现位置与存储在元数据存储数据库105中的元数据的再现位置 同步。元数据处理部IIO进行允许显示部lll显示存储在元数据存 储数据库105中的元数据的处理。换句话说，元数据处理部IIO 从用户指示的再现位置开始依次读取元数据，并将所读取的元 数据提供给显示部lll。另外，如上所述，在视频数据和元数据 被再现的情况下，元数据处理部110基于从再现同步部112提供 的同步控制信号来控制再现操作，并将与视频数据同步的元数 据输出到显示部lll。显示部111显示从视频緩冲部102提供的实时(live)(未处理 的)视频数据、从视频数据处理部109提供的再现视频数据、从 元数据緩冲部103提供的实时元数据或从元数据处理部11 O提供 的再现元数据。另外，基于来自元数据过滤部106的过滤器设置，
显示部1 1 1使用监视视频、元数据视频及过滤器设置视频中的任 何一个，或者使用将它们进行组合的视频，并显示(输出)示出 基于过滤结果的监视结果的视频。而且，显示部lll还具有图形用户界面(GUI, graphical user interface)的功能。用户使用未示出的操作键、鼠标或遥控器， 选择显示在显示部lll上的过滤器设置菜单以定义过滤器，或者以GUI来显示关于各个处理部件的分析结果的信息和警报信自图4示出根据该实施例由客户端3的显示部lll进行的视频 数据和元数据的示例性显示。如图4所示，将在监视照相机la 和lb中成像的视频数据1001和元数据1002通过网络2提供给客 户端3。关于监视照相机la和lb生成的元数据的类型，有时间点、 关于视频的分析结果的物体信息(例如，位置、类型、状况等) 和监视照相机的当前状态。而且，客户端或服务器设置有软件 模块且监视照相机不通过网络工作的情况同样有效。如上所述，客户端3获取、分析和存储从监一见照相机la和lb 提供的视频数据1001和元数据1002。将输入到客户端3的视频数 据1001存储在视频数据存储数据库104中，将输入到客户端3的 元数据1002存储在元数据存储数据库105中。客户端3具有过滤 器设置功能，在该功能中，通过在显示部lll上所显示的过滤器 设置画面(过滤器设置菜单)进行各种过滤器设置，且将设置信 息存储在过滤器设置数据库107中。在图4所示的过滤器设置显示画面1003上，显示通过设置过 滤器生成的边界线LN和区域PA。箭头PB示出相对于边界线LN 才全测出的通过方向。监视j见频1004示出— 见频数据1001叠加在过滤器上，并将它 们显示在显示部lll上。边界线LN被设置为通过过滤器。在对 通过该过滤器的物体进行计数的情况下，计算通过边界线L N的物体数量。在该画面上，由于物体MB1和MB2纟皮4企测为通过边 界线LN的物体，因而物体数量为2。然而，由于系统上的噪声和亮度的突然改变、以及物体(移 动物体)的快速运动等的干扰，有时会发生已被识别为物体的物 体暂时消失然后再次出现的情况。在这种情况下，在消失前的 物体和再次出现的物体被识别为不同物体的情况下，被识别为 物体的物体的数量是实际物体数量的两倍。为了防止这种情况， 有时进行如下设置认为在几乎相同的地点曾经消失然后再次 出现的物体是同 一物体。然而，例如，在将该设置应用到入口等物体可能实际消失 或出现的地点的情况下，这时可能发生如下错误即使是另一 个物体，却-陂识别为同一物体。在该实施例中，将入口等物体可能实际消失或再次出现的 地点定义为"具有消失点的区域"。在设置为具有消失点的区域 的地点，进行如下设置不认为曾经在^L觉上从监视画面消失 的物体和在几乎相同的地点出现的物体是同 一物体，由此通过过滤器获得的物体数量大致为物体的实际数量。图5示出将监视画面上的门设置为具有消失点VP的区域的 示例性显示。将门设置为具有消失点VP的区域的设置被存储在 消失点设置数据库113(参见图3)中。消失点的定义和设置可以 基于用户决定，通过来自未示出的操作部的输入来进行，或者 可允许另 一 系统检测和定义消失点以使用从该系统获得的结果 信息。接下来，将参考图6所示的流程图说明根据实施例的物体识 别处理。首先，例如，监视照相机l监视在3x3像素的宏块(macro block)单位中是否存在表示监视目标的物体的运动的像素，并
判断在监视画面上是否存在移动物体(步骤Sll)。该处理步骤继 续直到检测到移动物体为止。如果检测到了移动物体，则进行将表示物体的运动的像素相互连结的聚类(clustering)(步骤 S12),并且将所连结的聚类定义为单个物体(步骤S13)。到此为 止，是在监视照相机l侧的处理步骤，且将由上述方法确定的物 体信息设置为给客户端3的元数据。客户端3接收包括物体信息的元数据，并判断检测到物体的 区域是否是设置了消失点的区域(步骤S14)。如果检测到物体的 区域是设置为具有消失点的区域的区域，则该物体被识别为新 的物体(步骤S16)。如果检测到物体的区域是未被设置为具有消 失点的区域的区域，则在确认该物体是正好在4企测到物体的时 间之前、在几乎相同的地点消失的物体的情况下，将该物体和 检测到的物体识别为同 一物体(步骤S15)。图7A ~ 7C示出描述实际监视画面的示例性显示的图。图 7A 7C示出在画面右上部分的入口被设置为具有消失点VP的 区域。首先，说明在具有消失点VP的区域附近的示例性物体识 别。在图7A所示的画面右上部分确:〖人的物体MB1乂人图7B中的画 面消失，且在图7C中识别了物体MB3。在这种情况下，在进行了 "曾经消失然后在几乎相同的地点 出现的物体被认为是同 一物体"的设置的情况下，认为图7A中 的物体MB1和图7C中的物体MB3是同 一物体。在这种状态下， 当通过对满足预定条件的物体的数量进行计数的过滤器来计算 物体的数量时，该数量被计数为物体MB1 =物体MB3 = 1。然而，假定物体MB1和物体MB3实际上是不同的人，则通 过过滤器获得的物体的数量少于物体的实际数量。由于这个原 因，在该实施例中，在物体曾经消失然后在几乎相同的地点再 次检测到物体，且该地点是具有消失点VP的区域的情况下，认
为消失前的物体和再次出现后的物体是不同的物体。当将类似 定义应用到其它地点时，会出现同 一物体被重复计数的问题。 因此，定义成在具有消失点VP的区域以外的区域中，认为曾经 消失然后在几乎相同的地点再次出现的物体是同 一 物体。再次回到图7A ~ 7C,现在集中注意讨^仑画面中心的物体 MB2。在图7A中，4艮定由于^皮识别为物体MB2的人长时间处于 相同的姿势而未将他/她检测为移动物体，并认为他/她已经作 为物体消失。在这种状态下，在如图7B所示此人再次运动的情 况下，在监视照相机l侧，可能发生如下情况图7A中的物体 MB2和图7B中的物体MB2被识别为不同的物体并对他们分配 不同的物体ID。然而，在该实施例中，在物体已经消失然后再次出现在#皮 设置为具有消失点的区域的区域以外的区域中的情况下，认为 消失前的物体和再次出现后的物体是同一物体。因此，即使使 用对物体数量进行计数的过滤器，也可以认为图7 A中的物体MB2和图7B中的物体MB2是同 一物体，且被计数为物体MB2 =如上所述，在将物体可以视觉上消失然后出现在入口等地 点的区域设置为具有消失点的区域，物体曾经消失然后在几乎 相同的地点再次检测到物体，该地点是具有消失点的区域的情 况下，可以识别出消失前的物体和再次出现后的物体是不同物 体。因此，可排除不同移动物体出入入口且将这些物体识别为 同 一物体的错误，并且使实际物体(移动物体)的数量和通过过 滤器获得的物体的数量之间的误差变小。而且，在具有消失点的区域以外的区域中，可以识别出消 失前的物体和再次出现后的物体是同一物体。因此，即使在尽 管物体实际上并未消失，但由于干扰等某些因素而识别出物体
已经；肖失的情况下，消失前的物体和再次出现后的物体也被识 别为同一物体。由于这个原因，使通过过滤器获得的物体的数 量更接近物体的实际数量。另外，到目前为止所述的实施例，在监^L照相^l侧分配物 体ID，但是该任务可以在客户端侧^丸行。而且，上述实施例的一系列处理步骤可以由硬件来执行， 其也可以由软件来执行。在由软件执行一系列处理步骤的情况 下，可以将构成该软件的程序安装在专用硬件所包含的计算机 中，或者将构成所期望的软件的程序安装在可以通过安装各种 程序执行各种功能的多功能个人计算机上。此外，在上述实施例中，配置成过滤从监视照相机(监视成 像装置)输出的元数据。然而，用于过滤处理的目标不限于元数 据，并且这种配置可以适用于过滤各种形式的数据的各种情况。例如，可以进行如下设置在客户端直接分析乂人监一见照相机输 出的视频数据的视频(图像)。本领域的技术人员应当理解，在所附权利要求书或其等同 内容的范围内，根据设计要求和其他因素，可以发生各种变形、 组合、子组合和变更。本发明包含与2006年7月27日在日本专利局提交的日本专 利申请JP2006-205067相关的主题，其全部内容通过引用包含于 此。
权利要求
1.一种监视设备，其使用从监视成像装置成像和输出的视频数据以进行监视，该设备包括过滤器设置部，其被配置为存储用于分析所述视频数据的过滤器信息；消失点设置部，其被配置为将包含在所述视频数据中的物体能够从所述监视成像装置的监视目标区域消失的地点，作为具有消失点的区域进行存储；以及过滤部，其被配置为使用存储在所述过滤器设置部中的过滤器信息来分析所述视频数据，并根据分析结果生成警报信息，其中，在识别出物体在具有消失点的所述区域中曾经消失然后在几乎相同的地点再次检测到物体的情况下，所述过滤部将这两个物体识别为不同的物体并对所述视频数据进行分析。
2. 根据权利要求l所述的监视设备，其特征在于，所述过滤部是如下过滤器，该过滤器在分析设置部设置的条件下，过 滤与视频数据 一 起由所述监视成像装置输出的且表示关于监视 目标的信息的元数据。
3. 根据权利要求l所述的监视设备，其特征在于，所述警 报信息包括与过滤器的条件匹配的物体的数量或者与过滤器的 条件匹配的物体的累积数量。
4. 根据权利要求l所述的监视设备，其特征在于，具有消 失点的所述区域由多边形来表示。
5. 根据权利要求4所述的监视设备，其特征在于，在所述 消失点设置部中，将由多边形表示的区域信息与表示该区域为 消失点的标志相关联进行存储。
6. 根据权利要求4所述的监视设备，其特征在于，在具有 消失点的所述区域外检测到物体的情况下，紧接在检测到该物 体的时间点之前，确认另 一 物体在检测到该物体的地点附近的 地点消失，则所述过滤部识别出所#r测到的物体和所述另 一 物体为同 一 物体。
7. —种监视系统，包括 监视成像装置；以及监视设备，其使用从所述监视成像装置成像和输出的视频 数据以进行监视，其中，所述监视成像装置包括成像部，其被配置为对监视目标进行成像并输出视频 数据，以及所述监视i殳备包括过滤器设置部，其被配置为存储用于分析所述视频数 据的过滤器信息；消失点设置部，其被配置为将包含在所述视频数据中 的物体能够从所述监视成像装置的监视目标区域消失的地点， 作为具有消失点的区域进行存储；以及过滤部，其被配置为使用存储在所述过滤器设置部中 的过滤器信息来分析所述视频数据，并根据分析结果生成警报 信息，其中，在识别出物体在具有消失点的所述区域中曾经 消失然后在几乎相同的地点再次检测到物体的情况下，所述过 滤部将这两个物体识别为不同的物体并对所述 一见频数据进行分析。
8. —种监视方法，其适用于由监视成像装置和监视设备构 成的监视系统，该监视设备使用从所述监视成像装置成像和输 出的视频数据以进行监视，该方法包括以下步骤在所述监视成像装置中，对监视目标进行成像并输出视频 数据， 在所述监视设备中，存储用于分析所述视频数据的过滤器 信息；将包含在所述视频数据中的物体能够从所述监视成像装 置的监视目标区域消失的地点，作为具有消失点的区域进行存储；使用所述过滤器信息来分析所述视频数据，并根据分析结 果生成警报信息；以及在识别出物体在具有消失点的所述区域中曾经消失然后 在几乎相同的地点再次检测到物体的情况下，将这两个物体识 别为不同的物体并对所述视频数据进行分析。
9. 一种监视程序，其适用于由监视成像装置和监视设备构 成的监视系统，该监视设备使用从所述监视成像装置成像和输 出的视频数据以进行监视，该程序包括以下步骤在所述监视成像装置中，对监视目标进行成像并输出视频 数据，在所述监视设备中，存储用于分析所述视频数据的过滤器 信息；将包含在所述视频数据中的物体能够从所述监视成像装 置的监视目标区域消失的地点，作为具有消失点的区域进行存 储；使用所述过滤器信息来分析所述视频数据，并根据分析结 果生成警报信息；以及在识别出物体在具有消失点的所述区域中曾经消失然后 在几乎相同的地点再次检测到物体的情况下，将这两个物体识 别为不同的物体并对所述视频数据进行分析。
全文摘要
本发明提供一种监视设备、监视系统、监视方法及程序。该监视设备使用从监视成像装置成像和输出的视频数据以进行监视，包括过滤器设置部，其被配置为存储用于分析视频数据的过滤器信息；消失点设置部，其被配置为将包含在视频数据中的物体能够从监视成像装置的监视目标区域消失的地点，作为具有消失点的区域进行存储；以及过滤部，其被配置为使用存储在过滤器设置部中的过滤器信息来分析视频数据，并根据分析结果生成警报信息，其中，在识别出物体在具有消失点的区域中曾经消失然后在几乎相同的地点再次检测到物体的情况下，过滤部将这两个物体识别为不同的物体并对视频数据进行分析。
文档编号H04N7/18GK101118680SQ200710149408
公开日2008年2月6日 申请日期2007年7月27日 优先权日2006年7月27日
发明者小西哲也 申请人:索尼株式会社