专利名称：监视系统、图像处理装置、管理装置、事件检测方法和程序的制作方法
技术领域：
本发明涉及一种用于检测图像捕获范围内的监视事件的发生的系统以及事件检测方法。本发明还涉及一种放置在监视系统中的图像捕获侧的图像处理装置。本发明还涉及一种管理装置，其根据监视系统中系统内的监视事件的发生记录捕获的图像。本发明还涉及一种用于实现所述图像处理装置和所述管理装置的功能的程序。
背景技术：
当前，监视系统被用于如安全系统的建立的各种领域中。
图1示出公知的安全系统结构的示例。参照图1，安全系统包括图像捕获摄像头1和管理图像捕获摄像头1的管理装置3。在图1所示的示例中，显示设备5从外部连接到管理装置3。
运动物体检测是安全系统的一个典型功能。运动物体检测是检测运动物理(如人或车辆)闯入图像捕获范围的功能。通常，当检测到运动物体时，发出警报并且记录捕获图像。
在公知的安全系统中，图像捕获摄像头1仅具有发送捕获图像的功能，而管理装置3执行运动物体检测处理。
例如，图1所示的图像捕获摄像头1包括图像捕获元件11、摄像信号处理器13、中央处理单元(CPU)15、图像压缩器17和网络处理器19。摄像信号处理器13是处理设备，用于执行信号放大处理、模数转换处理、曝光控制处理和将捕获图像转换成视频信号所必需的其他处理。图像压缩器17是处理设备，用于将捕获图像压缩和编码成例如联合图像专家组(JPEG)格式，或者运动图像专家组(MPEG)格式。
管理装置3包括网络处理器31、CPU 33、显示控制器35、图像解压缩器37、事件检测器39、盘控制器41和硬盘设备43。事件检测器39是处理设备，用于利用对通过网络接收的捕获图像的图像处理，检测运动物体的闯入。网络基于例如IEEE 802.3标准定义的通信标准。
图2示出用于运动物体检测的处理算法的功能分配的示例。参照图2，图像捕获摄像头1执行从图像捕获到将捕获图像传输到网络的处理。管理装置3执行从运动检测到警报执行的一系列处理。
例如，在日本未审查的专利申请公开No.2003-233889中描述一种公知技术。
发明内容
如上所述，在现有的安全系统中，管理装置执行运动物体检测处理。因此，需要图像捕获摄像头发送捕获的图像数据。
图3的(a)和(b)部分示出网络带宽占用的示例。图3的(a)部分示出在未检测到运动物体闯入的期间(正常期间)内带宽占用的示例。图3的(b)部分示出在检测到运动物体闯入之后的期间(警报期间)内带宽占用的示例。从图3的(a)和(b)部分能清楚地看出，在现有的安全系统中，不管运动物体是否闯入，所占用的网络带宽是一恒定的量(在本示例中为3Mbps)。
此外，如图4所示，如果管理装置3所管理的图像捕获摄像头1的数量增加，则占用的网络带宽增加。例如，如果管理装置3管理四个图像捕获摄像头1，则正常情况下占用12Mbps(＝3Mbps×4)的带宽。因此，当管理装置3所管理的图像捕获摄像头1的数量增加时，占用的网络带宽的增加成为一个问题。
此外，当停止其操作的图像捕获摄像头1的数量增加时，管理装置3执行集中式的运动物体检测处理。因此，随着管理装置3所管理的图像捕获摄像头1的数量增加，管理装置3必须具有更高的处理能力。例如，当管理装置3管理四个图像捕获摄像头1时，就当前的科技水平而言，为了实现适合实际使用的运动物体检测处理，类似于Pentium3GHz处理器的处理能力是必须的。
此外，为了建立管理许多图像捕获摄像头的大规模的安全系统，需要与管理装置3所管理的图像捕获摄像头1的数量增加成比例地增加管理装置3的数量。
图5示出大规模安全系统的建立的示例。在图5所示的示例中，四个管理装置3管理16个图像捕获摄像头1，并且系统服务器7分级地管理四个管理装置3。
图6示出图像捕获摄像头1的数量与所需的管理装置3的数量之间的关系。参照图6，管理装置3的数量与图像捕获摄像头1的数量增加成比例地增加。
因此，根据本发明一个实施例的一种监视系统包括多个图像捕获装置，每个包括事件检测器，用于对相应的捕获图像执行用来检测监视事件的多个处理算法中的至少一个；和传输控制器，用于当未检测到监视事件时，仅向网络输出所执行的处理算法的处理结果，而当检测到监视事件时，至少向网络输出捕获图像；以及管理装置，用于通过网络管理多个图像捕获装置，并且包括事件确定单元，用于根据接收到的处理结果确定监视事件的发生；和记录控制器，用于记录接收到的捕获图像。
根据本发明另一实施例的一种监视系统包括多个图像捕获装置；多个图像处理装置，每个包括事件检测器，用于对相应的捕获图像执行用来检测监视事件的多个处理算法中的至少一个；和传输控制器，用于当未检测到监视事件时，仅向网络输出所执行的处理算法的处理结果，而当检测到监视事件时，至少向网络输出捕获图像；以及管理装置，用于通过网络管理多个图像处理装置，并且包括事件确定单元，用于根据接收到的处理结果确定监视事件的发生；和记录控制器，用于记录接收到的捕获图像。
在根据上述任一实施例的监视系统中，图像捕获侧执行用来检测监视事件的多个处理算法中的至少一个。在正常状态下，仅向网络发送处理结果。仅当监视事件发生时，将捕获图像发送到网络。
因此，减少了占用的网络带宽，从而可以有效地利用网络资源。
此外，由于减少了管理多个图像捕获侧装置(包括图像捕获装置和图像处理装置)的管理装置的处理负载，因此与公知系统相比，可以使用较少数量的管理装置来建立管理许多图像捕获侧装置的大规模系统。
图1示出公知的安全系统配置的示例；图2示出根据公知技术的、图像捕获装置和管理装置的功能分配的示例；图3示出根据公知技术的、网络带宽占用的示例；图4示出根据公知技术的、其中装置管理图像捕获摄像头的示例；图5示出根据公知技术的、其中管理许多图像捕获摄像头的系统的示例；图6示出当使用公知装置配置系统时、图像捕获摄像头的数量和所需的管理装置的数量之间的关系；图7示出根据本发明一个实施例的安全系统；图8A到8E示出当检测到运动物体的闯入时的处理步骤的示例；图9示出根据该实施例的、图像捕获装置和管理装置的功能分配的示例；图10示出根据该实施例的网络带宽占用的示例；图11示出当管理许多图像捕获摄像头时、根据该实施例的系统的示例；图12示出当使用根据该实施例的装置配置系统时、图像捕获摄像头的数量和所需的管理装置的数量之间的关系；图13示出根据本发明另一实施例的安全系统的示例；图14示出根据本发明另一实施例的安全系统的示例；图15示出当检测到非运动物体的闯入或安装时的处理步骤的示例；图16A到16E示出当运动物体进行闯入时的处理结果；以及图17A到17E示出当非运动物体进行闯入时的处理结果。
具体实施例方式
将描述本发明的实施例。
本发明的技术领域中公知的技术应用到本说明书中未示出或描述的部分。
下面给出的实施例仅仅是示例，并且本发明不限于这些实施例。
第一实施例图7示出监视系统在应用到安全系统时的配置的示例。在图7中，与图1中的部分对应的部分用相同的附图标记指代。
该安全系统包括图像捕获摄像头111和管理图像捕获摄像头111的管理装置131。显示设备5从外部连接到管理装置131。
图像捕获摄像头111包括图像捕获元件11、摄像信号处理器13、CPU 15、图像压缩器17、网络处理器19和事件检测器113。
图像捕获元件11包括固态图像捕获元件，如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。摄像信号处理器13是处理设备，用于执行信号放大处理、模数转换处理、曝光控制处理和将捕获图像转换成视频信号所必需的其他处理。
CPU 15是用于控制整个图像捕获摄像头111的处理操作的控制设备。例如，CPU 15包括微处理器。CPU 15还用作传输控制器，用于选择要输出到网络的数据。
图像压缩器17是处理设备，用于对要输出到网络的捕获图像进行压缩和编码。
网络处理器19是用于执行通过网络的数据发送和接收的通信设备。
事件检测器113是处理设备，用于对图像捕获元件11所捕获的图像数据执行图像处理，并且检测监视事件的发生。用于检测监视事件的处理是通过根据检测目的和处理细节、执行多个处理步骤来实现的。
图8A到8E示出当监视事件指示运动物体闯入设置区域时的处理步骤的示例。在这种情况下，检测处理包括运动检测处理(图8B)、区域积分(integration)处理(8C)、标注处理(图8D)和区域确定处理(图8E)。
在运动检测处理中，检测捕获图像(图8A)中的运动向量。
在区域积分处理中，对于每个运动物体，将包括检测的运动向量的区域一起进行积分。在该处理中，获得每个积分的区域的大小S和坐标(x，y)。
在标注处理中，为每个积分的区域提供一标签。
在区域确定处理中，确定具有标签的每个区域在屏幕上的位置。
通过执行上述处理，可以获得运动物体的闯入与否、以及运动物体闯入的位置。
在本实施例中，当检测到运动物体的闯入时，用作传输控制器的CPU 15给出向网络输出捕获图像和运动物体检测处理所获得的处理结果的指令。相反，当未检测到运动物体的闯入时，用作传输控制器的CPU 15给出仅向网络输出运动物体检测处理所获得的处理结果的指令。即，在产生要记录的捕获图像的情况下，CPU 15仅发送捕获的图像。在其他情况下，CPU 15仅发送当前检测结果。
相反，管理装置131包括网络处理器31、CPU 33、显示控制器35、图像解压缩器37、盘控制器41、硬盘设备43和事件确定单元133。
网络处理器31是用于执行通过网络的数据发送和接收的通信设备。
CPU 33是用于控制整个管理装置131的处理操作的控制设备。例如，CPU33包括微处理器。CPU 33还用作记录控制器，其给出用于将通过网络接收的捕获图像记录到硬盘设备43的指令。
显示控制器35是数据处理器，用于将从所包括的图像捕获摄像头111接收的安全状况和捕获图像输出到显示设备5。
图像解压缩器37是解码器，用于释放对捕获图像的压缩和编码处理，以便恢复原始图像。
盘控制器41是控制器，用于控制硬盘设备43记录和播放包括捕获图像在内的数据。
事件确定单元133是处理设备，用于确定经由网络接收的监视事件是否发生。事件确定单元133对运动物体检测处理所获得的处理结果执行处理。因此，即使管理装置131管理许多图像捕获摄像头111，事件确定单元133也只处理小的处理负载。在本实施例中，当运动物体闯入时，事件确定单元133发出警报。
图9示出运动物体检测的处理算法的功能分配的示例。参照图9，图像捕获摄像头111执行从图像捕获到将运动检测结果(处理结果)传输到网络的处理。管理装置131执行从确定接收的处理结果到警报执行的一系列处理。
这样，由于图像捕获摄像头111执行运动检测处理，因此该安全系统能够最小化在正常期间内占用的带宽。
图10的(a)和(b)部分示出网络带宽占用的示例。图10的(a)部分示出在未检测到运动物体闯入的期间(正常期间)内带宽占用的示例。图10的(b)部分示出在检测到运动物体闯入之后的期间(警报期间)内带宽占用的示例。
如图10的(a)和(b)部分中所示，在图7所示的安全系统中，即使管理装置131管理四个图像捕获摄像头111，在未检测到运动物体闯入的期间内，占用的带宽也可以减少到大约几kbps。此外，在所有四个图像捕获摄像头111检测到运动物体闯入的情况以外的任何情况下，与使用现有安全系统的情况相比，占用的网络带宽也可以减少。
此外，由于管理装置131的处理负载可以急剧减少，因此一个管理装置131能够管理许多图像捕获摄像头111。这样，可以容易地实现图像捕获摄像头数量的增加或减少。因此，即使在系统运行后也可以灵活地改变系统。
图12示出图像捕获摄像头111的数量与所需的管理装置131的数量之间的关系。如图12所示，相对于图像捕获摄像头111数量的增加，管理装置131数量的增加可以被抑制。
其他实施例在第一实施例中，描述了图像捕获摄像头111包括事件检测器113的情况。即，描述了其中事件检测器113安置或安装在图像捕获摄像头111中的产品配置。
然而，在图像捕获侧上的装置的配置不限于此。例如，事件检测器113可以安装在独立于图像捕获装置的图像处理装置中。在这种情况下，图像处理装置具有与网络通信的功能。
图13示出该监视系统的配置的另一示例。在图13中，与图7中的部分对应的部分用相同的附图标记指代。
图13所示的监视系统包括图像捕获摄像头141、图像处理装置151和管理装置131。由于装置内的每个设备与第一实施例中的类似，因此将省略对设备的描述。在该系统配置中，由于仅当检测到运动物体时捕获图像(图像数据)才被发送到网络上，因此可以实现与第一实施例类似的优点。
尽管在前述实施例中描述了图像捕获摄像头的配置，但也可以使用具有图像捕获功能以外的功能的任何类型的图像处理装置161来建立监视系统。
例如，可以使用便携信息终端(如蜂窝电话或移动信息终端)或机器人(如人形机器人或动物机器人)，建立该监视系统。
图14示出这种类型的监视系统的配置示例。在图14中，与图7中的部分对应的部分用相同的附图标记指代。
在图14所示的监视系统中，包含图像捕获元件11的图像处理装置161执行用于检测监视事件的处理，并且经由网络将处理结果发送到管理装置131。在这种情况下，可以实现与前述实施例类似的优点。
尽管在前述实施例中描述了检测到运动物体闯入作为监视事件的情况，但监视事件并不是必须指示运动物体闯入。
例如，本发明也可以应用到检测到非运动物体闯入或装入设置区域作为监视事件的情况。
图15示出用于检测非运动物体的事件检测器113执行的处理的示例。在这种情况下，事件检测器113执行用于检测运动的处理(步骤S1)、用于执行区域积分的处理(步骤S2)、用于确定静态区域的处理(步骤S3)、用于执行标注的处理(步骤S4)、以及用于确定区域的处理(步骤S5)。
通过类似于运动物体检测处理的处理步骤，可以实现确定静态区域的处理步骤以外的处理步骤。在用于确定静态区域的处理中，确定在一时间点被识别为运动物体的区域是否在一位置上保持固定达到预定的一段时间。仅对其静止状态被确认的区域执行标注，并且对其静止状态未被确认的区域不执行检测。
图16A到16E示出对应于屏幕的处理结果，其中屏幕上显示穿过屏幕的车辆的捕获图像。该车辆在车辆闯入图像捕获范围时的时间点被检测为运动物体，并且车辆穿过屏幕。这样，车辆没有被检测为非运动物体。
图17A到17E示出对应于屏幕的处理结果，其中屏幕上显示停止或停放在屏幕中的车辆的捕获图像。
在车辆闯入图像捕获范围时的时间点，该车辆被检测为运动物体。然后，在车辆停止运动并且在屏幕中的一个地点上静止不动之后，车辆被检测为非运动物体。
图17A到17E所示的处理结果指示大小S、坐标(x，y)和积分区域的时间t。
在前面实施例中描述了事件检测器113执行整个检测处理的情况。即，在前面实施例中描述了在运动物体检测处理中，在事件检测器113中执行所有运动检测处理(图8B)、区域积分处理(图8C)、标注处理(图8D)和区域确定处理(图8E)的情况。
然而，也可以采用其中事件检测器113仅执行处理算法中的一些处理功能、而管理装置131(事件确定单元133)执行其他处理功能的过程。例如，事件检测器113可以执行一直到区域积分处理的处理，并且可以通过网络将处理结果发送到管理装置131，并且管理装置131可以执行标注处理和区域确定处理。在这种情况下，与在网络上发送捕获图像的情况相比，可以显著减少占用的带宽。
此外，由于标注处理和区域确定处理不需要大的负载，因此管理装置可以没有困难地管理许多图像捕获装置。
在这种情况下，可以采用这样的过程，即，管理装置根据监视事件的检测，指令图像捕获装置发送捕获图像。
事件检测器113可以自主地确定发送由事件检测器113所执行的处理结果确定的范围内的捕获图像。
在前面实施例中，描述大多集中在安全系统上。
然而，本发明也可以应用到行业摄像系统、视频会议系统、远程摄像系统(用于谈话、演讲和其他教育主题、室内摄影和事件摄影)、以及其他监视系统，只要该系统是用于记录捕获图像并且仅当检测到特定检测事件时发出警报。
尽管在前面实施例中描述了在硬件方面实现检测监视事件的处理的情况，但该处理也可以作为软件处理实现。在这种情况下，程序可以通过网络分发、或者通过存储在存储介质上分发。用于分发的存储介质可以是磁存储介质、光存储介质、半导体存储介质等。
在不背离本发明范围的前提下，可以对本发明进行各种修改。此外，可以根据本说明书中的描述，创建或组合各种修改和应用。
本领域技术人员应当理解，根据设计需要和其他因素，可以进行各种修改、组合、子组合和替代，只要它们在权利要求书及其等效物范围内。
权利要求
1.一种监视系统，包括多个图像捕获装置，每个包括事件检测器，用于对相应的捕获图像执行用来检测监视事件的多个处理算法中的至少一个；和传输控制器，用于当未检测到监视事件时，仅向网络输出所执行的处理算法的处理结果，而当检测到监视事件时，至少向网络输出捕获的图像；以及管理装置，用于通过网络管理多个图像捕获装置，并且包括事件确定单元，用于根据接收到的处理结果确定监视事件的发生；和记录控制器，用于记录接收到的捕获图像。
2.如权利要求1所述的监视系统，其中，监视事件指示运动物体闯入设定区域。
3.如权利要求1所述的监视系统，其中，监视事件指示非运动物体闯入或装入设定区域。
4.一种监视系统，包括多个图像捕获装置；多个图像处理装置，每个包括事件检测器，用于对相应的捕获图像执行用来检测监视事件的多个处理算法中的至少一个；和传输控制器，用于当未检测到监视事件时，仅向网络输出所执行的处理算法的处理结果，而当检测到监视事件时，至少向网络输出捕获的图像；以及管理装置，用于通过网络管理多个图像处理装置，并且包括事件确定单元，用于根据接收到的处理结果确定监视事件的发生；和记录控制器，用于记录接收到的捕获图像。
5.如权利要求4所述的监视系统，其中，所述多个图像处理装置中的每一个包括相应的一个图像捕获装置。
6.如权利要求4所述的监视系统，其中，所述多个图像处理装置中的每一个从外部连接到对应的一个图像捕获装置。
7.一种图像处理装置，包括事件检测器，用于对相应的捕获图像执行用来检测监视事件的多个处理算法中的至少一个；和传输控制器，用于当未检测到监视事件时，仅向网络输出所执行的处理算法的处理结果，而当检测到监视事件时，至少向网络输出捕获图像。
8.一种管理装置，包括事件确定单元，用于通过网络接收用来检测监视事件的处理算法的至少一个处理结果，并且根据接收到的处理结果确定监视事件的发生；和记录控制器，用于当监视事件发生时记录接收到的捕获图像。
9.一种用于监视系统中的事件检测方法，该监视系统包括多个图像捕获装置和通过网络管理所述多个图像捕获装置的管理装置，该方法包括步骤所述多个图像捕获装置中的每一个对相应的捕获图像执行用来检测监视事件的多个处理算法中的至少一个；当未检测到监视事件时，所述多个图像捕获装置中的每一个仅向网络输出所执行的处理算法的处理结果；当检测到监视事件时，所述多个图像捕获装置中的每一个至少向网络输出捕获的图像；管理装置根据接收到的处理结果确定监视事件的发生；以及管理装置记录接收到的捕获图像。
10.一种用于监视系统中的事件检测方法，该监视系统包括多个图像捕获装置、多个图像处理装置和通过网络管理所述多个图像捕获装置和多个图像处理装置的管理装置，该方法包括步骤所述多个图像处理装置中的每一个对相应的捕获图像执行用来检测监视事件的多个处理算法中的至少一个；当未检测到监视事件时，所述多个图像处理装置中的每一个仅向网络输出所执行的处理算法的处理结果；当检测到监视事件时，所述多个图像处理装置中的每一个至少向网络输出捕获的图像；管理装置根据接收到的处理结果确定监视事件的发生；以及管理装置记录接收到的捕获图像。
11.一种事件检测方法，包括步骤使计算机对相应的捕获图像执行用来检测监视事件的多个处理算法中的至少一个；当未检测到监视事件时，使计算机仅向网络输出所执行的处理算法的处理结果；以及当检测到监视事件时，使计算机至少向网络输出捕获的图像。
12.一种程序，该程序使计算机执行包括下列步骤的处理通过网络接收用来检测监视事件的处理算法的至少一个处理结果；根据接收到的处理结果，确定监视事件的发生；以及当监视事件发生时，记录接收到的捕获图像。
全文摘要
一种监视系统包括多个图像捕获装置，每个包括事件检测器，用于对相应的捕获图像执行用于检测监视事件的多个处理算法的至少一个；和传输控制器，用于当未检测到监视事件时，仅向网络输出所执行的处理算法的处理结果，而当检测到监视事件时，至少向网络输出捕获图像。该监视系统还包括管理装置，用于通过网络管理多个图像捕获装置，管理装置包括事件确定单元，用于根据接收到的处理结果确定监视事件的发生；和记录控制器，用于记录接收到的捕获图像。
文档编号H04N7/18GK1913624SQ20061011077
公开日2007年2月14日 申请日期2006年8月11日 优先权日2005年8月11日
发明者大泽克己 申请人:索尼株式会社