图像处理装置及图像处理方法

专利名称：图像处理装置及图像处理方法
技术领域：
本发明涉及用于对图像中检测到的对象应用诸如遮蔽和加密的改变处理的技术。
背景技术：
在以便于进行异常情况观察以及犯罪防止为目的的监视系统中，用于将拍摄图像 分发到网络的网络照相机的使用与日俱增。因此，在公共设施和街道上安装的网络照相机 的数量也在增长。例如，网络照相机用于观光场所和休闲设施的宣传。这些示例性应用使 得需要对用于公开图像的对象进行适当的隐私保护。日本特开2004-180236号公报论述了以下技术，其包括通常通过改变(或处理) 相关图像信号来对经受隐私保护的区域中的图像进行遮蔽；以及例如在火灾事件中解除上 述处理。然而，当要在未应用改变处理的情况下显示与所检测事件有关的对象时，可能存 在不能观察到与所检测事件有关的对象的情况。例如，通常对画面中的多个人物的各个应用改变处理。当检测到拿走时，仅对进行 过拿走的人物解除改变处理，而保护其他人物的隐私。然而，如果不能识别进行过拿走的人 物，则不能观察到与该事件相关的人物。另外，由于从事件发生直到检测到该事件的发生需要时间，因此可能存在即使响 应于事件检测而解除了改变处理之后、仍然不能观察到与事件相关的对象的情况。例如，当检测到遗弃对象时，如果与遗弃相关的人物(进行过遗弃的人物)已经走 出画面，则不能够观察到与所检测事件(遗弃)相关的人物。另外，例如，当检测到拿走对象时，如果与拿走相关的人物(进行过拿走的人物) 已经走出画面，则不能观察到与所检测事件(拿走)相关的人物。

发明内容
本发明旨在提高能够观察到与所检测事件相关的对象的可能性。根据本发明的方面，提供一种图像处理装置，该图像处理装置用于向客户端发送 图像数据，该图像处理装置包括检测单元，其被构造为从所述图像数据中检测对于所述客 户端应当不可识别的不可识别对象；分析单元，其被构造为分析所述图像数据；处理单元， 其被构造为对由所述检测单元检测到的所述不可识别对象应用改变处理，以使得所述不可 识别对象对于所述客户端不可识别；以及确定单元，其被构造为基于所述分析单元对所述 图像数据的分析结果，确定使得应当被所述客户端监视的作为监视对象的不可识别对象对 于所述客户端可识别，其中通过所述改变处理使得不被监视的不可识别对象对于所述客户 端不可识别。从以下参照附图对示例性实施例的详细描述中，本发明的其他方面和特征将变得清楚。


被并入说明书中并构成说明书的一部分的附图，例示了本发明的示例性实施例、 特征和方面，并与文字描述一起，用于说明本发明的原理。图1例示了示例性实施例的系统结构。图2例示了网络照相机和显示单元的内部结构。图3例示了事件发生以及针对被摄体(subject)的隐私保护解除处理。图4例示了对象追踪处理与隐私保护解除处理之间的关系。图5例示了通过网络照相机进行的隐私保护解除处理。图6例示了基于背景差别的对象检测和追踪处理。图7例示了事件检测处理。图8例示了用于事件检测的对象状态确定规则的示例性设置。图9例示了进行用于隐私保护的加密处理的系统结构。图10例示了用于通过照相机进行对象检测以及通过图像处理装置进行事件检测 的系统结构。图11例示了用于通过照相机进行对象检测以及通过图像处理装置进行事件检测 的情况下的网络照相机、图像处理装置以及显示单元的内部结构。图12例示了描述元数据的内容的表。图13例示了以XML格式描述的示例性元数据。
具体实施例方式以下将参照附图来详细描述本发明的各种示例性实施例、特征以及方面。以下示例性实施例中所示的结构仅被当作示例，本发明并不限于此。以下将基于对图像中的特定人物区域应用遮蔽并将该图像分发给客户端(观测 器和记录装置)的系统来描述本示例性实施例。在本示例性实施例中，当网络照相机检测 到图像中的异常情况(事件)时，网络照相机将针对与事件相关的人物解除了改变处理的 图像数据发送给客户端。该改变处理是指例如遮蔽(马赛克、模糊等)和加密。以下将基 于遮蔽处理来描述本示例性实施例。待检测事件(异常情况)包括例如侵入禁区、遗弃和 拿走对象以及徘徊行为。图1中例示了根据本示例性实施例的系统结构。根据本示例性实施例的监视系统 包括经由网络相互连接的网络照相机100、显示单元(观测器)200和记录服务器(记录装 置)400。在本示例性实施例中，显示单元200和记录装置400用作从网络照相机100接收 图像数据的客户端。网络照相机100具有检测对象的功能和基于对象检测的结果检测事件 的发生的功能。网络照相机100将图像数据120和元数据130分发给显示单元200和记录 服务器400。元数据130包括对象信息和事件信息。对象信息是指例如检测对象的显示位 置、面积、外接矩形、存在时间、移动距离(移动路径长度)以及遮蔽状态(是否应用遮蔽) 中的至少任意一者。事件信息通知事件(异常情况)已经发生。元数据130可以被附加到 图像数据120。图像数据120和元数据130可以以不同的流来被分发。显示单元200接收图像数据120和元数据130，并基于图像数据120显示图像。此 外，显示单元200可以将诸如对象框的对象信息叠加到显示图像上。另外，依据事件信息，显示单元200发出警报，以向用户通知事件的发生。记录服务器400存储图像数据120和 元数据130。以下将参照图2来描述本示例性实施例中的网络照相机100和显示单元200的 结构。网络照相机100包括摄像单元101、图像保护单元102、编码单元103、图像发送单元 104、对象检测单元105、事件检测单元106以及通信接口单元110。摄像单元101包括光学系统、图像传感器以及A/D转换功能，以获取图像数据。摄 像单元101将获取的图像数据发送到对象检测单元105。对象检测单元105在所接收到的 图像数据中检测对象。对象检测单元105参照对象识别数据库(未示出)确定检测到的对 象是否是人物。然而，对象检测单元105不仅能够检测所检测到的对象是否是人物，而且能 够将对象分类为多个类型。本示例性实施例中的对象检测单元105在所检测到的对象中识 别被确定为人物的对象，作为对于客户端应当不可识别的不可识别对象。对象检测单元105将检测到的对象与先前帧中检测到的对象相关联。该处理称作 追踪处理。例如，对象检测单元105将在相邻帧中检测到的、具有几乎相同的显示位置和外 接矩形的人物，作为同一人物相关联。具体地，对象检测单元105基于各自的显示区域将多 个检测对象相关联。由对象检测单元105进行的追踪处理包括对象分离和整合处理。例如，当对象检 测单元105检测到在第一帧中检测到的多个对象与在第一帧之前的第二帧中检测到的一 个对象分离时，对象检测单元105将在第一帧中检测到的所述多个对象与在第二帧中检测 到的所述一个对象相关联。另外，当对象检测单元105检测到在第一帧中检测到的一个对 象是在第一帧之前的第二帧中检测到的多个对象的整合时，对象检测单元105将在第一帧 中检测到的所述一个对象与在第二帧中检测到的所述多个对象相关联。另外，在对象分离 和整合处理中，分离的对象基于它们各自的显示区域而相互关联。对象检测单元105将检 测到的对象以及对象的关联的历史存储在对象历史数据库(未示出)中。事件检测单元106基于对象检测单元105的对象检测结果来分析图像数据，以检 测诸如遗弃和拿走等的事件。然后，事件检测单元106确定使得与特定事件相关的不可识 别对象(人物)当中的、应当被客户端监视的监视对象对于客户端可识别。然后，事件检测 单元106向图像保护单元102通知不被监视的不可识别对象(人物)的显示位置信息，以 对该对象应用遮蔽，从而使得该对象对于客户端是不可识别的。对人物应用遮蔽(改变处 理)可以使得该人物对于在客户端(显示单元)侧进行监视的用户、以及对于显示单元进 行的人物识别处理均是不可识别的。例如，当与某一对象分离并具有短的移动路径长度(移动距离)的对象在画面上 存在了超过预定时间段时，事件检测单元106检测到遗弃事件。事件检测单元106向图像 保护单元102通知在被对象检测单元105确定为人物的对象(不可识别对象)当中的、与 所检测事件不相关的对象的显示位置信息。另一方面，事件检测单元106不向图像保护单 元102通知与所检测事件相关的不可识别对象(监视对象)的显示位置信息。图像保护单元102对与事件检测单元106通知的显示位置信息相对应的显示位置 应用遮蔽。更具体地说，图像保护单元102对由对象检测单元105检测到的不可识别对象 (人物)应用改变处理(遮蔽)，以使得该对象对于客户端(显示单元200和记录服务器 400)不可识别。在本示例性实施例中，不可识别对象是指对于客户端应当不可识别的对象。
例如，事件检测单元106向图像保护单元102通知由对象检测单元105检测到的 人物当中的、除进行过遗弃的人物(监视对象)以外的人物的显示位置信息，而不向图像保 护单元102通知进行过遗弃的人物(监视对象)的显示位置信息。然后，图像保护单元102 对与通知的显示位置信息相对应的显示位置应用遮蔽。更具体地说，事件检测单元106确定使得与基于对象检测单元105的检测结果识 别的对象(遗弃对象)相关联的对象(进行过遗弃的人物)，在图像保护单元102不进行改 变处理的情况下可显示在显示单元200上。换句话说，事件检测单元106确定使得监视对 象(进行过遗弃的人物)对于客户端可识别。另一方面，通过图像保护单元102应用改变处理，来显示被确定为在图像保护单 元102不应用改变处理的情况下而不可显示的人物。尽管在本示例性实施例中不可识别对 象为人物，但是不可识别对象不限于此，而可以是例如车牌照以及房屋门牌。事件检测单元106可以同时检测多个事件。另外，用户可以设置和改变针对多个 事件的检测条件。事件检测单元106可以根据需要，对包含针对由对象检测单元105检测 到的对象的对象信息以及针对所检测事件的事件信息的元数据130进行编码，然后经由通 信接口单元110将元数据130发送到显示单元。图像保护单元102应用用于改变对象检测单元105检测到的人物的显示的改变处 理(遮蔽)。尽管根据本示例性实施例的图像保护单元102对由对象检测单元105检测到 的对象当中的人物应用改变处理，但是改变处理的目标并不限于此，而可以是可能会受到 隐私侵害的对象，诸如车牌照和房屋门牌。以此方式应用改变处理使得能够监视与所检测 事件相关的对象，同时保护除人物以外的对象的隐私。编码单元103对经过图像保护单元102的改变处理的图像数据进行编码。尽管本 发明不依赖于特定编码方法，但是可以使用JPEG、MPEG-4、H. 264/AVC等。将编码单元103 编码后的图像数据适当地打包，然后经由图像发送单元104和通信接口单元110发送到显 示单元200。更具体地说，根据本示例性实施例的网络照相机100用作发送图像数据的图像处理装置。显示单元200包括通信接口单元210、图像接收单元221、图像解码单元222以及 图像显示单元223。另外，诸如显示器、键盘和鼠标(未示出)的输入/输出设备连接到显 示单元200。显示单元200可以从网络照相机100提取元数据130中包含的对象信息，并以 在图像中的对象的外围上叠加框的形式来显示。在网络照相机100向显示单元200发送图像数据120和元数据130的同时，显示 单元200向网络照相机100发送各种控制请求和设置请求。通过使用HTTP的GET方法或 SOAP来进行这些通信。以下将描述对本示例性实施例中的人物应用的遮蔽。图3例示了针对同一场景的 4帧al至a4、以及对帧al至a4应用的遮蔽。分别通过帧bl至b4来例示在对帧al至a4 应用遮蔽后的状态。对象检测单元105在帧al中检测到两个人物11和12，并且在帧a2中 检测到两个人物21和22以及对象23。对象23是被人物22遗弃的行李。然而，在帧a2的 定时，由于人物22尚未充分远离对象23，因此事件检测单元106不确定遗弃状态。在帧a3 的定时，当人物32已经充分远离对象33时，事件检测单元106确定对象33已被遗弃并且 因此检测到事件(遗弃)。在帧a4的定时，进行过遗弃的人物32走出了画面。
根据本示例性实施例的对象检测单元105将帧al至a4中的人物12、22和32作 为同一人物相互关联。对象检测单元105将人物11、21、31和41作为同一人物相互关联， 并且将人物22与对象23作为从同一人物12分离的对象相互关联。对象检测单元105以 类似的方式将人物32与对象33相互关联。以下将分别参照帧bl至b4来描述对帧al至a4应用的示例性遮蔽。在帧bl中， 如遮蔽区域14和15所示，分别对人物11和12应用遮蔽。同样，在帧1^2中，如遮蔽区域对 和25所示，在显示人物21和22之前，分别对它们应用遮蔽。然而，尽管对象检测单元105 将对象沈检测为对象，但是由于对象沈不是人物，因此不对其进行遮蔽而进行显示。事件 检测单元106在显示帧1^2与显示帧b3之间的定时检测到事件(遗弃)的发生。然后，事件检测单元106确定使得与所检测事件(遗弃)相关的人物(监视对象) 在显示单元200上可识别。更具体地说，事件检测单元106确定使得与基于图像数据分析 结果识别的对象33相关联的对象(人物32)，作为监视对象对于客户端可识别。事件检测 单元106向图像保护单元102通知代表人物32的显示位置的显示位置信息，以使得其在不 应用遮蔽的情况下可显示。由于人物11、21、31和41是与事件检测单元106检测到的事件 无关的不可识别对象，因此对这些人物应用遮蔽，以使得他们对于客户端不可识别。为了描述追踪处理，以下将参照图4中的时间轴来详细描述图3所示的对象之间 的关系。图4中的人物A对应于图3中的人物11、21、31、41、14、24、34和44。图4中的人 物B对应于图3中的人物12、22、32、15、25和35。对象C对应于图3中的行李23、33、43、 沈、36和46。人物A在时间tl出现，并且停留直到时间伪。人物B在时间t2出现，并且在 时间t6消失(走出画面)。对象C在时间t4出现，并且停留直到时间伪。对象C在时间 t4与人物B分离。在时间t5确定对象C被遗弃。因此，从时间t5至时间t6，从经受遮蔽 的人物中排除人物B。对象检测单元105通过以此方式的追踪处理来存储对象的分离和整 合的历史。这使得当检测到事件时能够仅对与该事件相关的人物解除遮蔽，而继续保护其 他人物的隐私。以下将参照图5至图7来描述本示例性实施例中的遮蔽的流程。图5是例示整个 处理的流程图。图6是例示通过对象检测单元105进行的对象检测处理的流程图。图7是 例示通过事件检测单元106进行的事件检测处理的流程图。参照图5，在步骤S501中，摄像单元101获取图像。在步骤S502 (检测步骤)中， 对象检测单元105进行对象检测处理。在步骤S503(分析步骤)中，事件检测单元106进 行事件检测处理。更具体地说，在步骤S502中，对象检测单元105检测包含对于客户端应 当不可识别的不可识别对象(人物)的对象。在步骤S503中，事件检测单元106基于步 骤S502中的对象检测结果来分析图像数据。以下将分别参照图6和图7描述步骤S502和 S503中的处理。在步骤S504中，事件检测单元106确定在步骤S502中检测到的对象是否是人物。 在步骤S502中，对象检测单元105参照对象识别数据库确定所检测到的对象是否是人物。 更具体地说，在步骤S504中，事件检测单元106通过获取步骤S502中的对象检测单元105 的对象确定结果，来确定在步骤S502中检测到的对象是否是人物。在步骤S505 (确定步骤)中，事件检测单元106确定在步骤S504中被确定为人物 的对象是否是监视对象。所述监视对象是与遮蔽应当被解除的事件相关的人物(不可识别对象)。由用户预先规定遮蔽应当被解除的事件。更具体地说，在步骤S505中，事件检测单 元106确定使得作为应当被客户端监视的监视对象的人物对于客户端可识别。例如，当检测到被指定作为遮蔽应当被解除的事件的遗弃事件时，与遗弃相关的 人物(进行过遗弃的人物)将变为监视对象。另外，例如，当检测到被指定作为遮蔽应当被 解除的事件的拿走事件时，与拿走相关的人物(进行过拿走的人物)将变为监视对象。可 以指定遮蔽应当被解除的多个事件。网络照相机100基于步骤S502中的对象检测结果和步骤S503中的事件检测结 果，存储与先前检测到的事件相关的对象。另外，对象检测单元105通过步骤S502中的对 象追踪处理，将当前帧中检测到的对象与在先前帧中检测到的对象相互关联。因此，事件检 测单元106可以确定在步骤S504中被确定为人物的对象是否是监视对象。当确定在步骤 S504中被确定为人物的对象不是监视对象时，事件检测单元106向图像保护单元102通知 对象的显示位置信息。在步骤S506(处理步骤)中，图像保护单元102对人物应用遮蔽。更具体地说，在 步骤S506中，图像保护单元102对由对象检测单元105检测到的不可识别对象(人物)应 用改变处理(遮蔽)。经受步骤S506中的改变处理的对象是在步骤S502中检测到的对象 当中的、在步骤S505中被确定为不是监视对象并且在步骤S504中被确定为人物的对象。在步骤S507中，对象检测单元105确定是否对在步骤S502中检测到的所有对象 完成了从步骤S504到S506的处理。当对象检测单元105确定并未对所有对象完成处理时 (步骤S507中“否”)，处理返回到步骤S504。在步骤S504中，对象检测单元105对下一个 对象进行确定。否则，当对象检测单元105确定对所有对象完成了处理时(步骤S507中 “是”)，处理进入步骤S508。在步骤S508中，编码单元103对当前帧的图像数据进行编码。 在步骤S509中，图像发送单元104将编码单元103编码后的图像数据发送到请求了图像数 据的显示单元200和记录服务器400。以下将参照图6描述通过对象检测单元105进行的对象检测处理和对象追踪处 理。这些处理对应于图5中的步骤S502的处理。根据本示例性实施例的对象检测单元105 通过利用背景差别来进行对象检测处理。背景差别是指用于通过将当前图像与由先前图像 生成的背景模型进行比较来检测对象的方法。针对背景模型，本示例性实施例使用由用于 JPEG8X8像素块的各个的离散余弦变换(DCT)系数计算出的多个特征量。JPEG是联合图 像编码专家组(Joint Photographic Coding Expert Group)的缩写。由一个块计算出的DCT系数的绝对值的和、以及在相邻帧中的相关联块的DCT系 数分量之差的和用作特征量。然而，对象检测方法并不限于上述用于由DCT系数来获得背 景模型的方法，而可以是例如由像素单元中的浓度分布来获得背景模型的方法。参照图6，在步骤S601中，对象检测单元105由摄像单元101获取的图像数据计算 DCT系数，并提取特征量。根据本示例性实施例的对象检测单元105从能够由Y、U和V分 量的各个获得的DCT系数中的低频分量中提取特征量。在步骤S602中，对象检测单元105将在步骤S601中提取的特征量与已有的背景 模型比较。更具体地说，在步骤S602中，对象检测单元105计算在步骤S601中提取的特征 量与由从多个先前帧提取的特征量而获得的特征量之间的差分。根据本示例性实施例的对 象检测单元105由从先前帧提取的特征量来生成多个背景模型(模式)。更具体地说，对象检测单元105生成多个背景模式，使得从多个先前帧的各个提取的特征量中的多个类似的 特征量形成一个背景模型(模式)。然后，对象检测单元105计算在步骤S601中从当前帧 提取的特征量与对应于多个背景模型(模式)的各个的特征量之间的差分。在步骤S603中，对象检测单元105基于在步骤S602中的差分计算结果来确定当 前帧中是否存在类似模式。当对象检测单元105确定存在类似模式时(步骤S603中“是”)， 处理进入到步骤S604。在步骤S604中，对象检测单元105更新类似模式的特征量。这通过 以下处理来完成以恒定比率将在步骤S601中新提取的特征量与在步骤S603中被确定为 与新特征量类似的已有特征量混合。否则，当对象检测单元105确定不存在类似模式时(步骤S603中“否”)，处理进 入到步骤S605。在步骤S605中，对象检测单元105确定从中提取特征量的块是否是阴影。 当在用于特征量计算的Y、U和V分量中的色度分量(U和V分量)的变化等于或小于预定 值时，对象检测单元105确定块为阴影。当对象检测单元105确定块为阴影时(步骤S605中“是”)，处理进入到步骤S606。 在步骤S606中，对象检测单元105不更新已有特征量，并且处理进入到步骤S608。否则，当 对象检测单元105确定块不是阴影时(步骤S605中“否”)，处理进入到步骤S607。在步骤 S607中，对象检测单元105生成新模式，并且处理进入到步骤S608。在步骤S608中，对象检测单元105确定是否对当前帧的所有块均完成了处理。当 对象检测单元105确定对所有块均完成处理时(步骤S608中“是”)，处理进入到步骤S609。 否则，当对象检测单元105确定并未对所有块完成处理时(步骤S608中“否”)，处理返回 步骤S601。在步骤S601中，对象检测单元105对未处理块进行处理。在步骤S609中，对象检测单元105将当前帧的各个块划分为背景块和诸如对象的 前景块。对象检测单元105识别被确定为例如不具有类似背景模型(模式)的块作为前景 块。另外，对象检测单元105识别被确定为例如具有类似背景模型的块作为背景块。在步骤S610中，对象检测单元105通过连接相邻的前景块来进行区域生成处理。 更具体地说，在步骤S610中，对象检测单元105连接在步骤S609中被确定为前景块的相邻 块，以生成前景块区域。在步骤S611中，对象检测单元105移除作为噪声的小区域。更具体地说，当在步 骤S610中生成的前景块区域的面积等于或小于预定面积时，对象检测单元105识别该区域 作为背景块。在步骤S612中，对象检测单元105检测前景块区域作为对象，并且同时获取所检 测对象的对象信息。如上所述，发送到图像数据目的地的对象信息包括例如所检测对象的 显示位置、面积、外接矩形、存在时间、移动距离(移动路径长度)和区域遮蔽状态(是否应 用区域遮蔽)中的至少任意一者。当步骤S613的处理完成时，可以提取发送到图像数据目 的地的多项对象信息中的存在时间信息。当步骤S613的处理完成时或者当事件检测处理 (下述)完成时，可以提取关于遮蔽状态的信息。在步骤S612中，对象检测单元105参照对象识别数据库(未示出)确定所检测对 象是否是人物。例如，对象检测单元105依据所检测对象的图像图案是否包括存储在对象 识别数据库中的面部图像图案，来确定所检测对象是否是人物。例如，对象检测单元105还 可以依据所检测对象的形状是否对应于存储在对象识别数据库中的人物，来确定所检测对11象是否是人物。在步骤S613中，对象检测单元105进行对象追踪处理。更具体地说，在步骤S613 中，对象检测单元105将在当前帧中检测到的对象与在先前帧中检测到的对象相关联。在步骤S613中进行的对象追踪处理将帧中的对象与相邻帧之间的对象相关联。 该关联包括通过对象分离和整合处理对对象的关联。更具体地说，当在先前帧中检测到了 与在步骤S612中检测到的对象具有类似图像特征的对象时，对象检测单元105将这些对象 相互关联。可以使用色彩分布、纹理、模板、纵横比等作为图像特征。另外，对象检测单元105将在步骤S612中检测到的对象与在相同帧内跟其接近的 对象相关联。例如，对象检测单元105将人物与遗弃对象相关联。更具体地说，对象检测单 元105基于所检测对象的显示位置将多个对象相关联。另外，对象检测单元105将在步骤S612中检测到的对象与在先前帧中几乎相同位 置处检测到的对象相关联。更具体地说，当在第一帧中检测到的对象的显示位置与在先前 帧(第二帧)中检测到的对象的显示位置之间的距离等于或短于预定距离时，对象检测单 元105将这些对象相互关联。另外，当在先前帧中既未检测到与在步骤S612中检测到的对象具有类似图像特 征的对象、也未检测到与在步骤S612中检测到的对象几乎相同位置处检测到的对象时，对 象检测单元105将在步骤S612中检测到的对象登记为新对象。例如，图3中的人物11、21、31和41作为具有类似图像特征的对象相互关联。当人 物遗弃行李时，在步骤S613中对象检测单元105检测到，在某一帧(第一帧)中检测到的 多个对象(人物和行李)从在第一帧之前的帧(第二帧)中检测到的一个对象(具有行李 的对象)中分离。在这种情况下，对象检测单元105将在第一帧中检测到的多个对象(人 物和行李)与在第二帧中检测到的对象(具有行李的人物)相关联。以下将参照图7和图8来描述通过根据本示例性实施例的事件检测单元106进行 的事件检测处理。该处理对应于图5中的步骤S503的处理。事件检测处理基于对象检测 处理的结果，检测诸如对象的遗弃、拿走、出现以及消失的事件。根据本示例性实施例的事 件检测单元106通过确定由对象检测单元105检测到的对象的显示位置、面积、存在时间和 移动距离是否均在预定范围内，来检测事件的发生。图8例示了用于检测事件的示例性条 件设置。图8例示了示例性ID、设置值名称、描述以及示例性值。根据本示例性实施例的网络照相机100可以设置规则名称(ID 00和ID 01)、使 能标记(enable flag) (ID 02)、面积下限和面积上限(ID 03和ID 04)以及存在时间下限 和存在时间上限(ID 05和ID 06)作为事件检测条件。另外，网络照相机100可以设置移 动距离下限和移动距离上限(ID 07和ID 08)、对象数量下限和对象数量上限(ID 09和ID 10)、检测区域顶点数量(ID 20)以及检测区域顶点坐标值(ID 21至ID观)。另外，尽管未 示出，但是网络照相机100设置用于表示对象检测单元105检测到的对象是从其他对象中 分离的对象还是作为多个对象的整合结果而形成的对象的标记。事件检测单元106基于上述条件中被对象检测单元105检测到的对象满足的条 件，来检测事件。事件检测单元106通过对象检测单元105确定被关联作为一个对象的多 个对象的存在时间以及其他条件。例如，当从其他对象中分离的对象在画面上的预定范围内保持静止的时间超过固定时间时，事件检测单元106检测到遗弃事件。更具体地说，当检测到从画面边缘以外的区 域内的其他对象中分离的对象(其中存在时间达到预定时间段并且移动距离等于或短于 预定距离)时，事件检测单元106检测到遗弃事件。更具体地说，当检测到满足事件检测条 件中的顶点坐标值(ID 21至ID观)、存在时间下限以及移动距离上限的对象时，以及当分 离标记被设置为开启(ON)时，事件检测单元106检测到遗弃事件。另外，当检测到对象(其中面积在预定范围内、存在时间达到预定时间段并且移 动距离达到预定距离)时，事件检测单元106检测到徘徊(prowl)事件。更具体地说，当检 测到满足事件检测条件(图8)中的面积上限、存在时间下限和移动距离下限的对象时，事 件检测单元106检测到徘徊事件。当检测到满足以下条件的新对象时，事件检测单元106检测到拿走事件。更具体 地说，当检测到满足与预定的检测区域交叠的区域相对于检测区域的比率等于或大于预定 值、两个区域之差等于或小于预定值、以及存在时间等于或大于预定时间段的新对象时，事 件检测单元106检测到拿走事件。事件检测单元106设置检测区域，从而囊括检测对象的 边界。然后，当检测对象被拿走时，原始背景出现并被检测作为新对象。在检测区域中检测 到的新对象的面积和外接矩形几乎与检测对象的相同。更具体地说，当检测到满足事件检测条件(图8)中的面积下限和面积上限、顶点 坐标值(ID 21至ID 28)和存在时间下限的对象时，事件检测单元106检测到拿走事件。然 而，还可以通过使用上述条件中的任意一者来检测拿走。事件检测单元106针对要检测的 各事件设置条件值。例如，事件检测单元106独立地将存在时间设置作为用于检测遗弃的 条件，以及将存在时间设置作为用于检测徘徊的条件。当在画面边缘检测到新对象时，事件检测单元106检测到出现事件。当事件检测 单元106不再能够在画面边缘处检测到已有对象时，事件检测单元106检测到消失事件。以 此方式，事件检测单元106基于对象检测单元105检测到的对象是否满足图8所示的事件 检测条件中的至少任意一者，来检测事件的发生。图7是例示通过事件检测单元106进行的事件检测处理的流程图。事件检测单元 106针对检测到的各事件进行步骤S701至S708的处理。参照图7，在步骤S701中，事件检 测单元106确定通过对象检测单元105检测到的对象的显示位置是否在预设范围内。更具 体地说，事件检测单元106确定所检测对象的显示位置是否在针对各对象预设的显示位置 (X和Y坐标)上限与下限之间的范围内。当不进行显示位置确定时，事件检测单元106将 显示位置上限和下限分别设置为可行的最大值和最小值。因此，所检测对象的显示位置恒 定满足条件。在步骤S702中，事件检测单元106确定对象的画面上尺寸(面积)是否在预设范 围内。在步骤S703中，事件检测单元106确定对象的存在时间是否在预设范围内。在步骤 S704中，事件检测单元106确定对象的移动距离是否在预设范围内。与步骤S701类似，当 不需要显示位置确定时，事件检测单元106分别将上限和下限设置为可行的最大值和最小值。在步骤S705中，事件检测单元106确定是否针对由对象检测单元105检测到的所 有对象完成了确定处理。当事件检测单元106确定针对所有对象完成了确定处理时(步骤 S705中“是”)，则处理进入到步骤S706。否则，当事件检测单元106确定并未针对所有对13象完成确定处理时(步骤S705中“否”)，处理返回到步骤S701。在步骤S701中，事件检测 单元106针对另一对象进行确定处理。在步骤S706中，事件检测单元106确定满足步骤S701至S704的条件的对象的数 量是否在预设范围内。例如，当存在被确定为满足从步骤S701至S704的处理的遗弃条件 的两个对象、并且存在被设置用于遗弃的1至5个对象时，事件检测单元106确定满足条件 的对象的数量在预设范围内。另外，例如，当存在被确定为满足从步骤S701至S704的处理 的拿走条件的6个对象、并且存在被设置用于拿走的1至2个对象时，事件检测单元106确 定满足条件的对象的数量在预设范围之外。当事件检测单元106确定满足条件的对象的数量在预设范围内时(步骤S706中 “是”)，处理进入步骤S707。否则，当事件检测单元106确定满足条件的对象的数量在预设 范围外时(步骤S706中“否”)，处理进入到步骤S708。在步骤S707中，事件检测单元106将事件确定结果设置为真(将事件状态设置为 开启)。参照图3，事件检测单元106确定使得与所检测事件(遗弃)相关的不可识别对象 (人物3 对于客户端(显示单元200)可识别。更具体地说，事件检测单元106确定不向 图像保护单元102通知人物32的显示位置信息，以使得其在图像保护单元102不应用改变 处理的情况下在显示单元200上可显示。更具体地说，在步骤S707中，事件检测单元106 确定使得与基于对象检测单元105的对象检测结果识别的对象(对象3 相关的对象(人 物32)，作为监视对象而对于客户端可识别。另外，事件检测单元106指示图像保护单元102对由对象检测单元105检测到的 人物当中的、在步骤S707中被确定为不是监视对象的不可识别对象应用遮蔽，以使得其对 于客户端不可识别。在步骤S708中，事件检测单元106确定是否针对所有事件均已完成步骤S701至 S707的处理。当事件检测单元106确定处理完成(步骤S708中“是”)，则结束针对当前帧 的事件检测处理。根据本示例性实施例的网络照相机100基于图像数据目的地是观测器(显示单 元)还是记录服务器，来解除或不解除遮蔽。例如，图像保护单元102在不考虑是否发生了 事件而对所有人物应用遮蔽的情况下，向常规观测器发送图像数据。另一方面，图像保护单 元102在仅对与事件相关的人物解除遮蔽的情况下、向受限观测器发送图像数据。另外，图 像保护单元102在不考虑是否发生了事件而对所有人物解除遮蔽的情况下向管理员的观 测器发送图像数据。因此，网络照相机100依据客户端(观测器)的权限、解除或不解除针 对与事件相关的不可识别对象的遮蔽。尽管基于对象检测单元105具有人体检测功能的情况对本示例性实施例进行了 描述，但是对象检测单元105可以不具有人体检测功能。当对象检测单元105不具有人体 检测功能时，例如参照图3，对象检测单元105检测人物21和22以及行李23作为对象21、 22和23。结果，图像保护单元102不仅对遮蔽区域M和25、而且对对象沈应用改变处理 (遮蔽)。参照图4，图像保护单元102从时间t4至时间t5对对象C应用遮蔽，并且在时间 t5之后解除对对象C的遮蔽。尽管着重针对与所检测事件有关的人物解除改变处理的情况描述了本示例性实 施例，但是根据本示例性实施例的网络照相机100还可以在针对事件检测之前的帧中检测到的人物当中的、与事件相关的人物解除改变处理的情况下，发送图像数据。例如，参照图 4，当在时间t5检测到遗弃时，图像发送单元104在时间t5之后针对人物B解除改变处理 的情况下，发送图像数据。除此以外，图像发送单元104在时间t5之前针对人物B解除改 变处理的情况下，发送图像数据。在这种情况下，将具有与已经发送的帧相同序列号的帧的 图像数据发送到显示单元200。当接收到具有与已经接收的帧相同序列号的帧的图像数据时，显示单元200在该 序列号的帧尚未被再现的情况下，再现最后接收的帧的图像数据。该算法提高了能够观察 到与所检测事件相关的人物(监视对象)的可能性。另外，当在记录服务器中再现图像数 据时，与事件相关的对象在不应用改变处理的情况下是可显示的。在这种情况下，在图7的步骤S707 (确定步骤)中，事件检测单元106确定使得与 在图4中的时间t5处的帧(第一帧)中检测到的事件(遗弃)相关的对象(人物32)对 于客户端可识别。另外，事件检测单元106确定使得在时间t5之前的帧(第二帧)中检测 到的、与人物32相关的对象(人物2 对于客户端可识别。然后，事件检测单元106向图 像保护单元102通知第二帧的识别信息和人物22的显示位置信息。在针对已经经受了改 变处理并且已被发送到显示单元200的、来自第二帧的图像数据的人物22解除改变处理的 情况下，图像保护单元102生成图像数据。将生成的图像数据经由编码单元103和图像发 送单元104发送到显示单元200。更具体地说，在步骤S707中，事件检测单元106基于对象检测单元105的对象检 测结果，确定使得在第一帧的图像数据中检测到的对象当中的监视对象(与事件相关的人 物)对于客户端可识别。另外，事件检测单元106确定使得在第二帧的图像数据中检测到 的、与第一帧的图像数据中检测到的监视对象相关联的对象对于客户端可识别。作为遗弃以外的示例性事件，以下将描述徘徊的检测。如上所述，当满足针对所检 测事件的事件检测条件中的面积下限、面积上限、存在时间下限和移动距离下限时，检测到 徘徊事件。在步骤S706中，当事件检测单元106检测到人物A的徘徊时，事件检测单元106 确定解除针对在第一帧(检测到徘徊)与第一帧之前的第二帧之间检测到的人物A的改变 处理。更具体地说，当在从第二帧至第一帧的图像数据中持续检测到与在第一帧中检测到 的人物A相关的对象时，事件检测单元106确定使得相关对象对于客户端可识别。以下将描述遗弃的检测。如上所述，当检测到满足事件检测条件中的顶点坐标值、 存在时间下限以及移动距离上限，并且分离标记被设置为开启的对象时，检测到遗弃事件。 另外，当人物A遗弃对象A时，对象检测单元105将被遗弃对象(对象A)与遗弃对象A的 对象(人物A)相互关联。更具体地说，在第一帧中检测到与在第一帧之前的第二帧的图像 数据中检测到的对象(人物A)相关联的多个对象(人物A和对象A)。在这种情况下，事件 检测单元106确定使得在第一帧中检测到的多个对象中的至少一个(人物A)对于客户端 可识别，并且确定使得在第二帧中检测到的人物A对于客户端可识别。以下将描述拿走的检测。如上所述，当与预定的检测区域交叠的区域相对于检测 区域的比率等于或大于预定值、这两个区域之差等于或小于预定值、并且存在时间等于或 长于预定时间段时，检测到拿走事件。更具体地说，当从第三帧至第一帧的检测区域中的 图像数据与第二帧的检测区域的中图像数据持续不同时，事件检测单元106检测到拿走事 件。第三帧位于第一帧与第一帧之前的第二帧之间。15
更具体地说，第二帧比第一帧领先第一预定数量的帧，第三帧比第一帧领先第二 预定数量的帧。当新检测到的对象满足拿走条件时，对象检测单元105将具有与新检测到 的对象接近(或交叠)的显示区域的对象与新检测到的对象相关联。在步骤S706中，当事件检测单元106在第一帧中检测到对象B的拿走时，事件检 测单元106确定使得在第一帧的图像数据中检测到的人物当中的、与对象B相关联的人物 对于客户端可识别。另外，事件检测单元106确定使得在第二帧的图像数据中检测到的、并 且与在第一帧中检测到的对象B相关联的对象对于客户端可识别。图像保护单元102对由对象检测单元105检测到的不可识别对象(人物)当中 的、除被使得对于客户端可识别的对象(监视对象)以外的对象应用改变处理(遮蔽)，从 而使其对于客户端不可识别。即使与事件相关的对象在检测到事件时已经消失，上述结构也能够提高能够观察 到与事件相关的对象的可能性。如上所述，根据本示例性实施例的网络照相机100对在图像中检测到的各人物应 用遮蔽，同时对与特定事件相关的人物解除遮蔽。这提高了能够观察到与所检测事件相关 的对象的可能性。另外，根据本示例性实施例的网络照相机100使得能够在考虑到隐私的 情况下构造监视系统。以下重点就与第一示例性实施例的不同来描述第二示例性实施例。图9例示了本 示例性实施例中的网络照相机150和显示单元250的结构。网络照相机150将图像数据发 送到请求了图像数据的显示单元250和记录服务器(未示出)。根据本示例性实施例的网络照相机150具有加密功能，显示单元250 (观测器)和 记录装置具有加密解除功能。网络照相机150将具有各个加密人物(不可识别对象)的图 像数据发送到显示单元250。当检测到事件时，网络照相机150将用于解除与事件相关的人 物的加密的密钥信息发送到显示单元250或记录装置。显示单元250和记录装置通过使用 从网络照相机150接收的密钥信息来解除对人物的加密，并显示该人物。尽管将基于对所 检测人物加密的情况来描述本示例性实施例，但是可以对除人物外的任何其他对象加密。根据第一示例性实施例的图像保护单元102出于隐私保护的目的而应用遮蔽(马 赛克、模糊等)。另一方面，根据本示例性实施例的图像保护单元113出于该目的进行加密 处理。该加密处理可以使得某一人物对于客户端(显示单元250)不可识别。然后，网络 照相机150发送用于响应于事件检测解除对人物的加密、并且取决于显示单元250的权限 的密钥信息。例如，网络照相机150向多个显示单元250当中的具有特定权限的显示单元 250发送用于解除对与所检测事件相关的人物的加密的密钥信息。另一方面，网络照相机 150不向不具有特定权限的显示单元250发送用于解除对与事件相关的人物的加密的密钥 fn息ο该方法使得即使在向具有不同权限的多个显示单元250发送图像数据时也无需 生成多个流就能够发送图像数据。参照图9，编码单元112对通过对象检测单元105检测到的各个不可识别对象(人 物)进行编码。图像保护单元113对由编码单元112编码的各个人物进行加密。图像保护 单元113通过针对各人物使用不同加密密钥来进行该处理。人物与用于加密的加密密钥之 间的对应被存储在加密密钥数据库111中。当通过事件检测单元106检测到事件时，密钥发送单元114将用于解除与事件相关的人物的加密的密钥信息发送到显示单元250和记录 服务器(未示出)。更具体地说，密钥发送单元114将密钥信息发送给显示单元250，所述 密钥信息用于生成在图像保护单元113对被事件检测单元106确定为对于客户端(显示单 元250)可识别的对象应用改变处理以前的图像数据。根据本示例性实施例的显示单元250与根据第一示例性实施例的显示单元200的 不同之处在于其包括密钥接收单元230和保护解除单元231。保护解除单元231解除对 与密钥接收单元230接收到的密钥信息相对应的人物的加密。可以使用以下方法作为用于交换密钥信息的技术。更具体地说，网络照相机150 通过使用与显示单元250共用的密钥，来对用于解除与所检测事件相关的人物的加密的密 钥信息进行加密，然后将该密钥信息发送到显示单元250。当接收到通过使用共用密钥加密 的密钥信息时，保护解除单元231通过使用所获取的密钥信息来解除对与事件相关的人物 的加密。作为另一方法，密钥发送单元114还可以将密钥信息存储在图像数据的头区域 中，然后发送图像数据。另外，例如，密钥发送单元114还可以将密钥信息作为异常条件消 息进行发送。在这种情况下，密钥发送单元114将密钥信息作为简单对象访问协议(SOAP) 消息或者作为附加物通过简单邮件传输协议(SMTP)来发送。如上所述，根据本示例性实施例的网络照相机150的图像保护单元113在应用改 变处理(加密)的情况下对各人物加密，以使得在图像数据中检测到的各人物可显示在图 像数据目的地(显示单元250)上。在检测到事件时，事件检测单元106向密钥发送单元 114通知用于识别与事件相关的人物(监视对象)的识别信息。密钥发送单元114从加密 密钥数据库111中检索用于解除与识别信息对应的人物(监视对象)的加密的密钥信息， 然后将该密钥信息发送到显示单元250。更具体地说，事件检测单元106确定使得与所检测 事件相关的人物(监视对象)，在图像保护单元113不应用改变处理(加密)的情况下可显 示在显示单元250上。换句话说，事件检测单元106确定使得在不可识别对象(人物)当 中的与事件相关的对象对于客户端(显示单元250)可识别。显示单元250的图像接收单元221从网络照相机150接收图像数据。显示单元 250的密钥接收单元230从网络照相机150接收密钥信息。保护解除单元231通过使用由 密钥接收单元230接收的密钥信息，来解除在图像接收单元221接收的图像数据中的人物 当中的、与事件相关的人物的加密。因此，图像显示单元223可以在未加密对象的情况下显 示与网络照相机150检测到的事件有关的对象(监视对象)。根据本示例性实施例，例如，当依据显示单元提供的隐私相关权限、对与所检测事 件相关的对象解除改变处理时，可以统一要发送的图像数据。更具体地说，根据本示例性 实施例的网络照相机150的密钥发送单元114向具有隐私相关权限的显示单元250发送 用于解除与事件相关的人物的加密的密钥信息，而不向不具有该权限的显示器发送密钥信 息。因此，网络照相机150向具有权限的显示单元和不具有权限的显示单元发送同一图像 数据。在这种情况下，能够使得图像数据仅在具有权限的显示单元上可显示，同时通过使用 密钥信息对与事件相关的对象解除改变处理。另外，根据本示例性实施例，显示单元250可以解除针对在接收的图像数据中的 人物(不可识别对象)当中的、与网络照相机150检测到的事件相关的对象(监视对象)的改变处理(加密)。以下将着重就与第一和第二示例性实施例的差别来描述第三示例性实施例。在本 示例性实施例中，通过使用图像处理装置来分配处理。更具体地说，网络照相机100进行对 象检测处理，图像处理装置进行事件检测和图像保护处理。因此，即使网络照相机100不具 有充足的处理能力，也能够对各对象应用或解除改变处理。作为针对人物的改变处理，根据 本示例性实施例的图像保护单元305以与第一示例性实施例类似的方式来对其应用遮蔽 处理。图10例示了本示例性实施例的系统结构。除了图1所示的结构以外，根据本示例性 实施例的系统还包括图像处理装置300。图11例示了根据本示例性实施例的网络照相机160、图像处理装置300和显示单 元200的示例性结构。显示单元200具有与根据第一示例性实施例的显示单元类似的结构。网络照相机160包括摄像单元101、编码单元103、图像发送单元104、对象检测单 元107、元数据发送单元108、通信接口单元110以及对象识别数据库(未示出)。根据本示 例性实施例的对象检测单元107参照对象识别数据库来确定所检测对象是否是人物。元数据发送单元108生成包括对象信息(诸如由对象检测单元107检测到的对象 的位置、面积(尺寸)和外接矩形)的元数据，然后将该元数据发送到图像处理装置300。 元数据发送单元108生成包括面部检测信息(用于识别被对象检测单元107确定为人物的 对象的个体)的元数据，然后将该元数据发送到图像处理装置300。以下将详细描述元数据 的内容。图像处理装置300包括通信接口单元310、元数据接收单元302、对象追踪单元 303、事件检测单元304、图像接收单元301、图像保护单元305、编码单元306、图像发送单元 307以及个体验证数据库311。元数据接收单元302从网络照相机160接收元数据。对象追踪单元303进行与根 据第一示例性实施例的对象检测单元105类似的对象追踪处理。事件检测单元304通过使 用从网络照相机160接收的元数据来检测事件的发生。当元数据中包括面部检测信息时， 事件检测单元304通过使用个体验证数据库311来识别个体。图像接收单元301从网络照 相机160接收图像数据，并解码该图像数据。图像保护单元305、编码单元306和图像发送 单元307分别具有与图2中的图像保护单元102、编码单元103和图像发送单元104类似的 功能。以下将参照图12来描述从网络照相机160发送到图像处理装置300的元数据的 内容。图12例示了 ID、元数据标识符、元数据描述以及示例性数据格式。元数据包括帧信息(ID 10至ID 13)、对象信息(ID 20至ID 28)以及对象区域遮 蔽信息(ID 30至ID 32)。通过ID 10至ID 13来描述帧信息。ID 10是代表帧信息的开 始的标识符。ID 11表示帧编号，ID 12表示帧时间，以及ID 13表示对象所存在的空间的 大小。通过ID 20至ID观来描述对象信息。ID 20是代表对象信息的开始的标识符。 ID 21表示对象的数量，ID 22表示对象大小，ID 23表示外接矩形，ID M表示代表点，ID 25表示存在时间，ID沈表示移动路径长度(移动距离)，ID 27表示运动(对象速度)。ID 21至ID观具有针对各对象(人物)的数据。代表点(ID 24)表示代表显示位置的坐标值，可以是对象的重心。存在时间(ID25)表示自检测到对象起经过的时间。移动路径长度(ID 26)表示对象在画面上移动过的 距离。运动(ID 27)表示例如能够从先前帧中检测到的对象的显示位置获得的对象速度。 对象识别结果(ID 28)是诸如人物和车的识别对象的结果。通过ID 30至ID 32来描述对象区域遮蔽信息。ID 30是代表对象区域遮蔽信息 的开始的标识符。ID 31表示压缩方法，即诸如未压缩编码以及游程限制编码(rim-length limited encoding)的无损压缩方法。ID 32描述了具有块编号阵列的遮蔽对象区域。存在用于元数据发送的一些方法。一种方法将以XML格式表现的元数据与图像 数据分开进行发送。另一种方法将以二进制格式表现的元数据附加到图像数据进行发送。 XML方法具有能够容易地以不同的帧速率来发送图像数据和元数据的优势。更具体地说， XML方法的使用使得元数据发送单元108能够例如在一帧中检测到多个对象的情况下容易 地利用多帧来发送一帧的元数据。另一方面，由于二进制方法的使用容易使得能够进行元 数据与图像数据之间的同步，因此该方法具有针对JPEG编码方法尤其有效的优势。图13是以XML格式表现的示例性元数据。这是当在一帧中检测到两个对象时的 示例性元数据。由于根据本示例性实施例的网络照相机160发送上述元数据，因此图像处 理装置300能够进行事件检测处理，并且基于事件检测处理的结果来解除对监视对象的遮 蔽。返回图11，以下将描述根据本示例性实施例的网络照相机160、图像处理装置300 以及显示单元200之间的处理流程。网络照相机160从图像数据检测对象，生成元数据，然 后将编码的图像数据和元数据发送到图像处理装置300。图像处理装置300的图像接收单元301对接收到的图像数据进行解密。对象追踪 单元303基于元数据接收单元302接收到的元数据进行对象追踪处理。事件检测单元304 进行事件检测处理。对象追踪处理对应于图6中的步骤S613的处理。事件检测处理对应 于图7中的处理。图像保护单元305以与根据第一示例性实施例的图像保护单元102类似 的方式应用改变处理(遮蔽)。更具体地说，图像保护单元305不对与事件检测单元304检 测到的事件相关的人物(监视对象)应用改变处理，而对网络照相机160的对象检测单元 107检测到的对象当中的与事件无关的人物应用改变处理。然后，编码单元306对来自图像 保护单元305的图像数据进行编码，并且图像发送单元307将编码后的图像数据发送到显 示单元200。因此，显示单元200在不应用改变处理的情况下显示与事件相关的对象(监视 对象)，并在应用改变处理的情况下显示与事件无关的不可识别对象(人物)。根据本示例性实施例的图像处理装置300包括个体验证数据库311，以进行高级 事件确定处理。更具体地说，仅当对象检测单元107检测到未登记在个体验证数据库311 中的人物时，图像处理装置300确定人物是监视对象。然后，图像处理装置300对被确定为 监视对象的人物应用改变处理，以使得其对于客户端(显示单元200)不可识别。例如，仅当满足徘徊条件的人物未被登记在个体验证数据库311中时，事件检测 单元304确定徘徊事件已发生，并且使得与事件相关的对象(正在徘徊的人物)在不应用 改变处理的情况下可显示。如上所述，当除网络照相机100以外的图像处理装置300以此方式进行由根据第 一示例性实施例的网络照相机100进行的处理当中的事件检测处理时，即使在网络照相机 100处理资源不充足的情况下，也能够实现高级事件检测处理。
以下将以包括网络照相机100和显示单元200的第一示例性实施例的结构为基 础，基于当检测到除遗弃以外的事件时解除改变处理(遮蔽或加密)的情况，来描述第四示 例性实施例。例如，当事件检测单元106检测到拿走事件时，进行过拿走的人物已经离开第一 检测对象(拿走的对象)所在的位置。然而，通过对象检测单元105的追踪处理，将在检测 到拿走后出现在第一检测对象的区域中的对象，与进行过拿走的人物相关联，由此使得进 行过拿走的人物对于客户端可识别。另外，当对象检测单元105检测到多个人物的集合时，事件检测单元106确定解除 针对这些人物的改变处理，从而观察他们从哪里来以及去往何处。更具体地说，事件检测单 元106对检测区域中的人物数量进行计数，并且当计数值达到一定值时，事件检测单元106 检测到集合事件。另外，事件检测单元106确定解除改变处理(遮蔽或加密)，直到在检测 到集合事件时存在于检测区域的人物走出画面为止。利用该算法，能够使得与集合事件相 关的人物对于接收图像数据的客户端可识别。除了上述事件外，其他应当被检测的事件还包括抢夺、暴行以及其他伤害行为。为 了使与这种伤害行为相关的人物可识别，根据本示例性实施例的事件检测单元106检测伤 害行为。例如，当对象检测单元105检测到两个人物接近并且保持静止超过预定时间段、然 后一个人物走出画面而另一人物保持静止，则事件检测单元106检测到伤害行为事件。利用该算法，事件检测单元106可以例如在以下场景发生时检测到伤害行为的发 生。更具体地说，人物1从后面接近人物2，进行大约10秒的伤害行为，然后逃出画面。同 时，人物2蹲伏在地并在同一位置保持静止。另外，当事件检测单元106检测到这种伤害行为的发生时，针对人物1和2解除改 变处理。更具体地说，事件检测单元106确定使得与伤害行为相关的对象(人物1和2)，在 未被图像保护单元102应用改变处理的情况下在显示单元200上可显示。换言之，事件检 测单元106确定使得对象检测单元105检测到的不可识别对象(人物)当中的、与伤害行 为有关的人物(人物1和幻，作为监视对象对于客户端(显示单元)可识别。如上所述，根据本示例性实施例的事件检测单元106能够基于检测到多个对象和 人物的情况来检测各种事件。然后，事件检测单元106解除针对与事件相关的人物的改变 处理，以使得其对于客户端可识别。已经基于对由对象检测单元105检测到的对象当中的人物应用了改变处理的情 况，来描述了根据本示例性实施例的图像保护单元102。然而，改变处理可以应用于除人物 以外的任何对象，并且针对与事件相关的人物和对象来解除改变处理。例如，对与事件无关 的车牌照和房屋门牌应用改变处理，以使得它们对于客户端不可识别，并且针对与事件相 关的车牌照和房屋门牌解除改变处理，以使得它们对于客户端可识别。这使得能够监视与 事件相关的对象，同时保护了与其无关的对象的隐私。其他实施例还可以由读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统 或装置的计算机(或诸如CPU或MPU等的设备)，来实现本发明的各方面；并且可以利用由 通过例如读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的 计算机来执行各步骤的方法，来实现本发明的各方面。为此，例如经由网络或从充当存储设备的各种类型的记录介质(例如，计算机可读介质)将程序提供给计算机。在这种情况下， 系统或装置以及存储程序的记录介质被包括在本发明的范围之内。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不局限于 所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有的 这类变型例及等同结构和功能。
权利要求
1.一种图像处理装置，其用于向客户端发送图像数据，该图像处理装置包括检测单元，其被构造为从所述图像数据中检测对于所述客户端应当不可识别的不可识 别对象；分析单元，其被构造为分析所述图像数据；处理单元，其被构造为对由所述检测单元检测到的所述不可识别对象应用改变处理， 以使得所述不可识别对象对于所述客户端不可识别；以及确定单元，其被构造为基于所述分析单元对所述图像数据的分析结果，确定使得应当 被所述客户端监视的作为监视对象的不可识别对象对于所述客户端可识别，其中，通过所述改变处理使得不被监视的不可识别对象对于所述客户端不可识别。
2.根据权利要求1所述的图像处理装置，其中，所述检测单元检测所述不可识别对象 以及要被使得对于所述客户端可识别的可识别对象，其中，所述分析单元基于所述检测单元检测到的对象的位置信息来将所述对象相互关 联，并且同时确定在第一帧的图像数据中是否检测到，与在所述第一帧之前的第二帧的图 像数据中检测到的不可识别对象相关联的多个对象，以及其中，当所述分析单元确定在所述第一帧中已经检测到与在所述第二帧的所述图像数 据中检测到的所述不可识别对象相关联的所述多个对象时，所述确定单元确定使得所述多 个对象中的至少一个在所述处理单元不应用所述改变处理的情况下对于所述客户端可识 别。
3.根据权利要求1所述的图像处理装置，该图像处理装置还包括设置单元，其被构造为在所述图像数据的显示区域中设置检测区域，其中，所述检测单元检测所述不可识别对象以及要被使得对于所述客户端可识别的对象，其中，所述分析单元基于所述检测单元检测到的对象的位置信息来将所述对象与所述 检测区域相关联，同时确定第二帧的所述检测区域中的图像数据、与从第三帧至第一帧的 所述检测区域中的图像数据是否持续不同，其中所述第二帧比所述第一帧领先第一预定数 量的帧，并且所述第三帧比所述第一帧领先第二预定数量的帧，并且其中，当所述分析单元确定所述第二帧的所述检测区域中的所述图像数据、与从所述 第三帧至所述第一帧的所述检测区域中的所述图像数据持续不同时，所述确定单元确定使 得与所述检测区域相关联的至少一个不可识别对象对于所述客户端可识别。
4.根据权利要求1所述的图像处理装置，其中，所述处理单元不对作为由所述确定单 元确定为使得对于所述客户端可识别的作为所述监视对象的所述不可识别对象，应用所述 改变处理。
5.根据权利要求1所述的图像处理装置，该图像处理装置还包括发送单元，其被构造为向所述客户端发送密钥信息，所述密钥信息用于生成，在所述处 理单元对所述确定单元确定为使得对于所述客户端可识别的所述不可识别对象应用所述 改变处理之前的图像数据。
6.一种图像处理装置，其用于向客户端发送图像数据，所述图像处理装置包括检测单元，其被构造为从所述图像数据中检测对象；处理单元，其被构造为对不可识别对象应用改变处理，以使得所述不可识别对象对于所述客户端不可识别，所述不可识别对象是由所述检测单元检测到的对象并且应该被使得 对于所述客户端不可识别；以及确定单元，其被构造为基于所述检测单元对所述对象的检测结果，确定使得在第一帧 的图像数据中检测到的所述不可识别对象对于所述客户端可识别，并且同时使得在所述第 一帧之前的第二帧的图像数据中检测到的、与在所述第一帧的所述图像数据中检测到的并 且被确定为使得对于所述客户端可识别的所述对象相关联的所述不可识别对象，对于所述 客户端可识别，其中，在所述第二帧的所述图像数据中检测到的不可识别对象当中的、未被所述确定 单元确定为使得对于所述客户端可识别的所述对象被使得，在所述处理单元不应用所述改 变处理的情况下，在所述客户端上可显示。
7.根据权利要求6所述的图像处理装置，其中，当在所述第一帧的所述图像数据中检 测到的、与被确定为使得在所述处理单元不应用所述改变处理的情况下可显示的所述不可 识别对象相关联的所述不可识别对象，在从所述第二帧至所述第一帧的所述图像数据中被 持续检测到时，所述确定单元确定使得相关的不可识别对象对于所述客户端可识别。
8.根据权利要求6所述的图像处理装置，其中，当在所述第一帧的所述图像数据中检 测到与在所述第二帧的所述图像数据中检测到的一个不可识别对象相关联的多个对象时， 所述确定单元确定使得在所述第一帧的所述图像数据中检测到的所述多个对象当中的、至 少一个不可识别对象对于所述客户端可识别，并且同时确定使得在所述第二帧的所述图像 数据中检测到的所述一个不可识别对象对于所述客户端可识别。
9.根据权利要求6所述的图像处理装置，该图像处理装置还包括设置单元，其被构造为在图像数据的显示区域中设置检测区域，其中，当所述第二帧的所述检测区域中的图像数据，与第三帧至所述第一帧的所述检 测区域中的图像数据持续不同时，所述确定单元确定使得在所述第一帧的所述图像数据中 检测到的、与在所述第一帧的所述检测区域中的所述图像数据中检测到的所述对象相关联 的所述不可识别对象，对于所述客户端可识别，并且同时确定使得在所述第二帧的所述图 像数据中检测到的、与被确定为使得对于所述客户端可识别的所述不可识别对象相关联的 所述不可识别对象，对于所述客户端可识别，其中所述第三帧比所述第一帧领先第二预定 数量的帧。
10.根据权利要求6所述的图像处理装置，其中，所述处理单元对所述图像数据应用所 述改变处理，以使得由所述检测单元检测到的人物对于所述客户端不可识别。
11.根据权利要求6所述的图像处理装置，该图像处理装置还包括发送单元，其被构造为向所述客户端发送密钥信息，所述密钥信息用于生成，在所述处 理单元对所述确定单元确定为使得对于所述客户端可识别的所述不可识别对象应用所述 改变处理之前的图像数据。
12.—种由图像处理装置执行的图像处理方法，该图像处理装置用于向客户端发送图 像数据，该图像处理方法包括以下步骤从所述图像数据中检测对于所述客户端应当不可识别的不可识别对象；分析所述图像数据；对所检测到的不可识别对象应用改变处理，以使得所述不可识别对象对于所述客户端不可识别；以及基于所述图像数据的分析结果，来确定使得作为应当被所述客户端监视的作为监视对 象的所述不可识别对象，对于所述客户端可识别，其中，通过所述改变处理使得不被监视的不可识别对象对于所述客户端不可识别。
13. —种由图像处理装置执行的图像处理方法，所述图像处理装置用于向客户端发送 图像数据，所述图像处理方法包括以下步骤 从所述图像数据中检测对象；对不可识别对象应用改变处理，以使得所述不可识别对象对于所述客户端不可识别， 所述不可识别对象是所检测到的对象并且对于所述客户端应当不可识别；以及基于所述对象的检测结果，确定使得在第一帧的图像数据中检测到的所述不可识别对 象对于所述客户端可识别，并且同时确定使得在所述第一帧之前的第二帧的图像数据中检 测到的、与在所述第一帧的所述图像数据中检测到的并且被确定为使得对于所述客户端可 识别的所述对象相关联的所述不可识别对象，对于所述客户端可识别，其中，在所述第二帧的所述图像数据中检测到的不可识别对象当中的、未被确定为使 得对于所述客户端可识别的所述对象被使得，在应用所述改变处理的情况下对于所述客户 端可显示。
全文摘要
本发明提供一种图像处理装置及图像处理方法。网络照相机的对象检测单元从图像数据中检测包括人物的对象。事件检测单元基于所述对象检测单元的对象检测结果分析所述图像数据。基于所述图像数据的分析结果，事件检测单元确定使得应当被客户端监视的人物对于所述客户端可识别，并且对不应当被所述客户端监视的人物应用遮蔽以使得其对于所述客户端不可识别。
文档编号H04N5/232GK102045543SQ201010527870
公开日2011年5月4日 申请日期2010年10月22日 优先权日2009年10月23日
发明者大矢崇 申请人:佳能株式会社