专利名称：在大量并行图像序列中有效进行事件检测的方法和系统的制作方法
技术领域：
本发明涉及视频处理领域。更具体地，本发明涉及下述方法和系统，该方法和系统通过有效地处理大量并行输入的图像序列和/或从所获取的图像获得的特征，来实时地从多个并行压缩的图像序列中获得有意义的信息(knowledge)。
背景技术：
已经进行很多努力来提高从通过视频和静物摄像机获取的图像中提取有意义数据的能力。这种能力可用于多种应用，例如消费、工业、医药和商业应用。作为标准安全措施，在街道、机场、学校、银行、办公室、住宅中设置有许多摄像机。这些摄像机用于使得操作者能够远程实时地观察安全情况，或者用于在稍后时间记录和分析安全情况。
新技术的引入使视频监视业转向显著提高这种系统的功能的新方向。对于实时和离线应用使用多种处理算法。根据应用，在从纯软件到纯硬件范围的平台上实现这些算法。然而，由于图像处理需要相当大的计算资源，而使得这些平台通常被设计为同时处理相对小数量的输入图像序列。此外，大多数的通用图像处理系统被设计为只处理未压缩的图像数据，例如美国专利6,188,381中所公开的系统。现代网络化视频环境需要高效地处理从多个图像源收集的大量压缩视频流的能力。
日益增加的操作需求以及成本限制导致对自动事件检测的需要。这种事件检测方案提供了更高的检测水平、节省了人力、替代了其它类型的传感器并降低了错误报警率。
尽管存在用于自动入侵者检测、牌照识别、人脸识别、交通违章检测和其它基于图像的应用的多种传统方法，但是它们通常使用需要现场安装的昂贵的硬件平台来支持少数的同时视频源，这意味着较高的安装、维护和更新成本。
传统的监视系统采用数字视频网络化技术和自动事件检测。数字视频网络化由于数字视频压缩技术的发展和基于IP的网络的可用性而得以实现。诸如MPEG-4的压缩标准和类似格式使得能够以相对较窄的带宽来传输高质量的图像。
使用数字视频网络的主要限制因素是带宽要求。因为始终传输所有的摄像数据非常昂贵，所以将网络设计为仅并行传输来自少数摄像机的数据。仅传输来自在任何给定时刻获取重要事件的摄像机的数据对于建立有效且节省成本的数字视频网络很关键。
为此，自动的基于视频的事件检测技术变得很有效。该技术包括一系列算法，这些算法能够实时地分析摄像机图像，并且如果发生特殊事件，则提供特殊事件的通知。现有的事件检测方案使用需要大量处理资源的传统图像处理方法。此外，它们为每一个摄像机输入分配固定的处理能力(通常为一个处理器)。因此，这些系统由于资源的限制而提供较低的性能，或者极其昂贵。
结果，任何现有的自动事件检测方案不能满足大规模的数字监视安装的需求，即，可靠检测、有效带宽使用、灵活的事件定义、大规模设计以及成本需求。
例如，在美国专利6,349,114、WO 02/37429、美国专利申请公报2002，041,626、美国专利申请公报No.2002，054,210、WO 01/63937、EP1107609、EP1173020、美国专利6,384,862、美国专利6,188,381、美国专利6,130,707以及美国专利6,069,655中公开了视频运动检测(VMD)方法。然而，上述所有这些方法都不能提供满意的方案以解决有效地从多个并行图像序列实时获得有意义的信息的问题。
本发明的一个目的是提供一种用于从多个并行图像序列实时地获取有意义的信息的方法和系统。
本发明的另一目的是提供一种用于从多个并行图像序列获取有意义的信息的方法和系统，该方法和系统节省成本。
本发明的另一目的是提供一种用于以减少的带宽资源量从多个并行图像序列获取有意义的信息的方法和系统。
本发明的另一目的是提供一种用于从多个并行图像序列获取有意义的信息的方法和系统，该方法和系统可靠，并且在噪声环境中具有高灵敏度。
本发明的另一目的是提供一种用于从多个并行图像序列获取有意义的信息的方法和系统，该方法和系统降低了安装和维护成本。
随着描述的进行，本发明的其它目的和优点将变得明了。
发明内容
尽管本说明书主要讨论视频摄像机，但是本领域的技术人员将认识到本发明延及任何合适的图像源，例如静物摄像机、计算机生成的图像、预先记录的视频数据等，并且应将这些图像源认为是等同的。类似地，应将术语视频和视频流广义地解释为包括视频序列、静态图像、计算机生成的图形、或被设置或转换为可由计算机处理的电子格式的任何其它图像序列。
本发明涉及一种用于对图像流进行事件检测和对象跟踪的方法。现场安装一组图像获取装置，以使每一个装置都包括本地可编程处理器，用于将所获取的包含一个或更多个图像的图像流转换成数字格式；以及本地编码器，用于根据图像流生成多个特征。这些特征是与图像流中的对象的属性相关的参数。每当特征的数量和类型超过对应阈值时，各个装置就传输特征流。各个图像获取装置都通过对应的数据通信信道与数据网络相连。与数据网络相连的图像处理服务器确定该阈值并处理该特征流。每当该服务器通过其对应的数据通信信道和数据网络从本地编码器接收到特征时，该服务器通过处理特征流来获得该图像流中与事件相关的指示，并将该指示传输给操作者。
本地编码器可以是合成编码器，该合成编码器为还包括用于压缩图像流的电路的本地编码器。该合成编码器可以根据从服务器发送的命令以第一模式和第二模式进行操作，在第一模式中，其生成特征并将这些特征传送给服务器，而在第二模式中，其除了将特征传送给服务器之外，还以期望的压缩水平将图像流的至少一部分传送给服务器。优选地，各个合成编码器都由从服务器发送的命令控制，以在其第一模式下进行操作。只要服务器从合成编码器接收到特征，就由从服务器发送的命令来控制该合成编码器，以在其第二模式下进行操作。服务器通过处理特征流来获得图像流中与事件有关的指示，并将这些指示和/或其对应的图像流传送给操作者。
每当通过操作台对所期望的包含事件的一个或更多个压缩图像流进行解码时，将所解码的图像流传送给操作者的显示器，以用于观察。可以记录压缩图像流，这些压缩图像流是在它们的本地编码器以其第二模式进行操作时获得的。
优选地，在服务器中，可以将附加图像处理资源动态地分配给接收图像流的数据通信信道。在以第一模式进行操作时获得的特征流可以只包括图像的一部分。
可以由服务器生成图形多边形，并显示给操作者，以用于观察，该图形多边形包围位于图像框架内或位于图像中的AOI(关注区域)内的关注对象。此外，该服务器可以生成并显示图形轨迹，该图形轨迹表示位于图像框架内或位于图像中的AOI内的关注对象的移动历史记录。
图像流可以选自包括视频流、静止图像、计算机生成的图像以及预先记录的数字、模拟视频数据或者使用MPEG格式压缩的视频流在内的一组图像。编码器可以在各种模式的操作过程中使用不同的分辨率和帧频。
优选地，这些特征可以包括运动特征、颜色、图像的多个部分、边缘数据和与频率相关的信息。
该服务器可以使用从至少一个图像获取装置的本地编码器接收的特征流来执行以下操作中的一个或更多个和/或这些操作的任何组合-牌照识别(LPR)；-人脸识别(FR)；-违反交通规则检测；-行为识别；-火灾检测；
-交通流量检测；-烟雾检测。
本发明还涉及用于对图像流进行事件检测和对象跟踪的系统，其包括a)现场安装的一组图像获取装置，每一个图像获取装置都包括a.1)本地可编程处理器，用于将所获取的图像流转换成数字格式。
a.2)本地编码器，用于根据该图像流生成多个特征，这些特征是与图像流中的对象的属性相关的参数，并且每当运动特征超过对应的阈值时，该本地编码器传送特征流；b)数据网络，各个图像获取装置通过对应的数据通信信道与该数据网络相连；c)；以及d)与该数据网络相连的图像处理服务器，该服务器能够确定该阈值，能够通过处理该特征流来获得与图像流中的事件相关的指示，并且能够将该指示传送给操作者。
该系统还包括操作者显示器，用于接收和显示包含事件的一个或更多个图像流；以及网络视频记录器，用于记录一个或更多个图像流，该一个或更多个图像流是在它们的本地编码器以其第一模式进行操作时获得的。
通过下面参照附图对本发明优选实施例的示例性但非限制性的详细描述，将更好地理解本发明的上述和其它特征和优点，其中图1示意性地表示根据本发明优选实施例的监视系统的结构，该监视系统包括与数据网络相连的多个摄像机；图2表示根据本发明优选实施例的使用AOI(关注区域)来指定待进行事件检测的区域以及减少系统资源的使用；以及图3A至3C表示根据本发明优选实施例的关注对象的生成及其运动轨迹。
具体实施例方式
通过应用本发明提出的新的数据缩减技术可以显著地节省系统资源。在数以千计的摄像机与单台服务器相连的情况下，只有少数摄像机真正获取应该进行分析的重要事件。大规模的系统仅在其具有识别可能包含有用信息的输入的能力时才能适当地工作，并且仅对这些输入进行进一步处理。这种过滤机制需要最少的处理和带宽资源，从而可以将其并行地应用于大量数据流。本发明提出了被称为大规模并行图像处理(MCIP)技术的这种过滤机制，该技术基于对从所获取的图像获得的输入图像序列和/或特征流的分析，以满足在大规模数字视频网络环境中对自动图像检测能力的需求。
MCIP技术组合了多种技术，例如大规模数据缩减、有效服务器设计和最优图像处理算法，由此提供主要针对安全市场并且传统方案不能比拟的平台，该平台尤其具有相当大数量的潜在用户。MCIP是用于分布式安装中的事件检测的网络方案，该分布式安装是为并行支持数以千计的摄像机输入的大规模数字视频监视网络而设计的，其中这些摄像机输入分布在任意大的地理区域并具有实时性能。MCIP采用了一种独特的特征传输方法，该方法占用较窄的带宽，同时保持高的检测灵敏度和可能性。MCIP是基于服务器的方案，其与现代监视和数字视频记录系统兼容，并执行复杂的检测算法，减少现场维护并提供了经改善的可量测性(scalability)、高的实用性、低的每信道成本和后备效用。该系统并行地提供了多种应用，例如VMD、LPR和FR。此外，不同的检测应用可以与同一摄像机相关联。
MCIP包括具有各种应用的服务器平台、摄像机编码器(在摄像机内部或外部)、网络视频记录器(NVR)以及操作台。该服务器包括计算机，该计算机包括专有硬件和软件组件。MCIP基于图像处理算法在低水平特征提取和高水平处理应用之间的分布，其中该低水平特征提取由位于现场(即，摄像机附近)的编码器执行，而该高水平处理应用由收集和分析这些特征的远程中央服务器来执行。
下述MCIP系统不但解决了带宽问题，而且降低了服务器的负载，并使用独特类型的数据流(不是数字视频流)，并且在大规模视频监视环境中执行有效的处理，以实时地检测事件。
MCIP中的主要要素为数据缩减，该数据缩减通过图像处理算法的分布来实现。由于并行传输需要事件检测的所有视频源，所以通过在各个摄像机附近生成经减少的带宽特征流来减少所需的网络带宽。为了通过分析所传输的经减少的带宽特征来检测并跟踪数字传输的视频源中的运动对象，不必传输所有的视频流，而仅传输包含与运动对象相关的信息的部分数据。
由此，使用明显较小的数据带宽，这降低了对网络带宽和事件检测处理能力的要求。此外，如果仅需检测形状、尺寸、运动方向和速度，则不必传输与它们的亮度或颜色相关的数据，并由此实现带宽的进一步减少。如果发送端的编码器滤出处于运动阈值之下的所有运动，则可以实现进一步的带宽优化，该运动阈值由远程中央服务器确定。该阈值可以是移动目标的AC水平(level)、运动距离或其任何组合，并且可以根据所获取的图像的属性(例如分辨率、AOI、压缩水平等)来动态地确定和改变该阈值。将处于该阈值以下的运动对象视为噪声或非关注的运动。
一种用于在编码器端提取特征的方法是通过对现有的基于时间的视频压缩器进行稍微修改和降级来实现的，该视频压缩器最初被设计用来传送数字视频。也可以通过与视频压缩算法不相关的特定特征提取算法(例如任何运动矢量生成算法)来生成这些特征。当以这种减少带宽模式进行工作时，这些编码器的输出流绝对不是视频流，因此不能由任何接收方用来生成视频图像。
图1示意性地表示根据本发明优选实施例的监视系统的结构，该监视系统包括与数据网络相连的多个摄像机。系统100包括n个图像源(在该示例中，为n个摄像机，CAM1、…、CAMn)，每一个图像源都与数字编码器ENCj相连，该数字编码器ENCj用于将由CAMj获取的图像转换成压缩数字格式。每一个数字编码器ENCj在点pj处与数字数据网络101相连，并且能够通过其对应的信道Cj来传送数据，这些数据可以是减少的带宽特征流或者完全压缩的视频流。数据网络101收集从所有信道传送的数据，并通过数据总线103将其转发给MCIP服务器102。MCIP服务器102处理从各个信道接收的数据，并控制传送该减少的带宽特征流和完全压缩的视频流的任意组合的一个或更多个摄像机，减少的带宽特征流和完全压缩的视频流的任意组合可由MCIP服务器102实时进行分析或者由NVR 104进行记录并稍后由MCIP服务器102进行分析。操作台105也与MCIP服务器102相连，用于实时监视所选择的完全压缩视频流。操作台105可在需要时手动控制MCIP服务器102的操作。
MCIP(大规模并行图像处理)服务器通过数据总线103和网络101与图像源(在附图中表示为摄像机，但是也可以是任意图像源，例如录像带(taped video)、静物摄像机、视频摄像机、计算机生成的图像或者图形等)相连，并接收压缩格式的特征或图像。广义地说，这是任何类型的网络，有线或者无线的。可以采用任何类型的压缩技术来压缩图像。实际上，可以使用基于IP的网络，以及使用DCT、视频局域网客户端(VLC，其为WO 01/63937中公开的用于各种音频和视频格式以及数字通用光盘(DVD)、视频压缩光盘(VCD)和各种流传输协议的高度便携式多媒体播放器)和诸如MPEG的运动估测技术的压缩方案。
系统100使用可选择的负载平衡模块，该模块使得能够容易地度量可以进行处理的输入的数量，并且还通过建立备用MCIP服务器来提供去除单个故障点的能力。系统100还具有配置组件，用于限定对于各个输入应该执行的处理的类型、和处理结果的目的地。该目的地可以是另一计算机、电子邮件地址、监视应用或者能够接收文本和/或可视消息的任何其它设备。
另选地，该系统可以与外部数据库相连以帮助进行图像处理。例如，可以利用可疑的被盗汽车牌照号码的数据库来识别车辆。
图2表示根据本发明优选实施例的使用AOI(关注区域)来减少系统资源的使用。AOI为多边形(在该图中为六边形)，其包围待进行检测的区域。矩形表示与摄像机不同距离处的估测对象尺寸。在该示例中，该关注场景包括检测现场人员的移动(在第一矩形中示出)。可以将该关注场景用于过滤单元，以确定是否需要进一步处理。在这种情况下，该过滤单元检查特征数据。分析特征流以确定在AOI中是否存在足够的重要特征。如果位于AOI中并包括变化的特征数超过阈值，则将该帧指定为可能包含事件并传送该帧以进行进一步的处理。否则，丢弃该帧且不进行进一步的处理。
MCIP服务器从需要进行事件检测的所有视频源接收减少的带宽特征流(这种特征流根本不是视频流，因此不能重构其可视图像)。当在从特定视频源传发送的减少带宽流中检测到事件时，中央服务器可以指示该视频源将其操作模式改变为视频流模式，在视频流模式中该视频源可以作为普通的视频编码器来进行操作并发送标准视频流，该标准视频流可以由服务器或任何接收方解码，以用于观察、记录、进一步的处理或任何其它目的。可选择地，该视频编码器同时还继续发送特征流。
根据该方案进行工作，大多数的视频源都保持为减少的带宽模式，同时发送窄带宽数据流，而在MCIP服务器处足以以高的分辨率和帧频来检测事件。只将极小部分的源(其中检测到事件)控制为以视频流模式并行工作。这使得总网络带宽比从所有视频源并行传输所需的网络带宽显著降低。
例如，如果传统视频监视安装使用1000个摄像机，则为了以适当的质量来进行传输，每一个摄像机都需要大约500Kbp/s的带宽。在减少的带宽模式中，每一个摄像机只需要大约5Kbp/s的带宽来以相同的分辨率和帧频传输与运动对象相关的信息。因此，以这种模式工作的所有摄像机使用的总带宽为5Kbp/s乘以1000＝5Mbp/s。假设可疑对象以稳定的状态出现在1％的摄像机(10个摄像机)中，并且这些摄像机以视频流模式工作，则需要500Kbp/s乘以10＝5Mbp/s的额外带宽。因此，使用本发明提出的方案所需的总网络带宽为10Mbp/s。如果1000个摄像机都并行发送视频流，则传统系统将占用500Mbp/s的总的所需网络带宽。
所提出的方案不仅适用于在实况摄像机中的高水平移动对象检测和跟踪，而且适用于记录视频。由许多监视系统记录大量的视频镜头。为了在该记录视频中检测所关注的事件，需要大规模的处理能力。通过将数字或模拟的记录视频转换为根据上述技术的减少带宽流，使得事件检测变得更加容易，同时使处理要求更低并且操作更快。
本发明提出的系统包括以下组件1、一个或更多个MCIP服务器。
2、一个或更多个双模视频编码器，该视频编码器可以根据远程指令以减少带宽模式或视频流模式进行操作。
3、数字网络，LAN或者WAN、IP或其它网络，其在系统组件之间建立通信。
4、一个或更多个操作台，通过该操作台，操作者可以限定事件标准和其它系统参数，并实时地管理事件。
5、可选择的网络视频记录器(NVR)，其能够在需要时记录和播放网络上现有的任何所选择的视频源。
安全应用的实现以下是可以非常有效地使用本发明提出的方法而实现的图像处理应用的类型的部分列表视频运动检测—用于室内和室外应用。这种应用通常用于检测保护区的入侵者。希望忽视诸如运动的树、灰尘和动物等障碍。在本发明的该实施例中，以流级别对输入图像进行操控，以过滤特定图像和图像变化。这种过滤的示例为低于与过滤相关的预定阈值、尺寸或速度(全部优选地应用于AOI内)的运动，由此大大减少进一步处理所需的系统资源量。由于该系统是基于服务器的，并且不必在现场安装设备(除了摄像机之外)，所以该方案对于诸如住宅市场的低预算应用非常有吸引力。
异常静态对象检测—该应用用于在静态对象需要报警的情况下对这些对象进行检测。例如，这些对象可以包括在机场无人看管的包、停在公路上的汽车、在保护区域停留的人员等。在该实施例中，本发明以流级别对输入图像进行操控，并检查AOI处的运动矢量。对停止运动的对象进行进一步的处理。
牌照识别—该应用用于车辆访问控制、被盗或可疑汽车检测和泊车自动化。在该实施例中，可以使用安装在现场的数以百计或更多的摄像机来检测所期望的汽车，由此提供实用的检测方案。
人脸识别—该应用旨在用于生物统计确认或者检测装置，用于诸如定位罪犯或者恐怖分子的任务，以及用于个人访问控制目的。使用该实施例，为现场的许多摄像机提供人脸识别能力。这对于诸如机场和公众监视的大规模安装是非常有用的工具。
烟雾和火焰检测—该应用用于火灾检测。使用本发明的该实施例，除了没有安装任何烟雾或者火焰检测器的其他应用以外，所有配备有摄像机的场所都可以接收该服务。
交通违章—该应用检测各种交通违章，例如闯红灯、跨分隔线、在禁区泊车或停车等。使用该实施例，可以将该功能应用于沿道路和十字路口设置的许多摄像机，由此大大地优化警察的工作。
交通流量分析—该应用通过自动地检测任何异常交通事件(例如交通堵塞、事故、太慢或太快或者太拥挤的交通等)，而对于交通中心非常有用。使用该实施例，交通中心可以使用根据需要设置在覆盖区域处的许多摄像机，以提供明显更好的控制水平。
可疑车辆或人员跟踪—该应用用于跟踪所关注的对象。这需要将窃贼与逃脱的汽车相关联、定位逃跑的疑犯等。使用该实施例，可以将该功能与任何所选择的摄像机或现场摄像机相关联。
应该注意，将这些应用或其组合中的每一个认为是本发明的单独实施例，尽管特定的实施例可以采用专门的组件，但是这些应用或其组合中的每一个都使用了这里所述的基本结构。对于本领域的技术人员来说，应该清楚这种组件和在此提供的特征和应用的组合的选择是技术选择问题。
图3A到3C表示根据本发明优选实施例的关注对象的生成及其运动轨迹。图3A是所选择的AOI的图像(在该示例中为一细长区域，其中禁止存在任何人员)，MCIP服务器102在该AOI上生成对象，根据从对应的编码器接收的预定义尺寸和运动参数来确定该对象。该对象包括进入禁区并从右向左行走的人体。连续更新该运动参数，以跟踪对象的中心。MCIP服务器102生成轨迹(实线)，该轨迹提供与对象在禁区内的运动相关的图形表示。图3B是同一所选择的AOI的图像，MCIP服务器102在该AOI上生成对象和轨迹(实线)，该轨迹提供与对象在禁区内从左向右并且更靠近摄像机的运动相关的图形表示。图3C是同一所选择的AOI的图像，MCIP服务器102在该AOI上生成对象和轨迹(实线)，该轨迹提供与对象在禁区内再次从右向左并且更靠近摄像机的运动相关的图形表示。由对应编码器执行的过滤防止生成背景运动，例如树梢和低矮植物，将它们看作为背景噪声。
上述示例和描述当然仅用于示例的目的，并不旨在以任何方式限制本发明。本领域的技术人员应该理解，可以在不超出本发明的范围的情况下，采用上述那些技术中的一种以上的技术以多种方式来实施本发明。
权利要求
1.一种用于在多个图像流中进行事件检测和对象跟踪的方法，包括a)在现场安装一组图像获取装置，每一个图像获取装置都包括本地可编程处理器，用于将所获取的包括一个或更多个图像的图像流转换成数字格式；以及本地编码器，用于根据所述图像流生成多个特征，这些特征为与所述图像流中的多个对象的属性相关的多个参数，并且该本地编码器用于每当所述运动特征超过对应的阈值时发送特征流；b)通过对应的数据通信信道将各个图像获取装置连接到数据网络；c)将图像处理服务器连接到所述数据网络，所述服务器能够确定所述阈值，并且能够处理所述特征流；以及d)每当所述服务器通过其对应的数据通信信道和所述数据网络从本地编码器接收到多个特征时，通过由所述服务器对所述特征流进行处理来获得与所述多个图像流中的多个事件相关的多个指示，并将所述多个指示传送给操作者。
2.根据权利要求1所述的方法，其中所述本地编码器可以是合成编码器，该合成编码器为还包括用于压缩所述图像流的电路的本地编码器，所述合成编码器能够根据从所述服务器发送的命令以第一模式和第二模式进行操作，在第一模式期间，所述合成编码器生成所述多个特征并将这些特征传送给所述服务器，而在第二模式期间，所述合成编码器除了将所述多个特征传送给所述服务器之外，还以所期望的压缩水平将所述图像流的至少一部分传送给所述服务器。
3.根据权利要求2所述的方法，还包括，通过从所述服务器发送的命令控制各个合成编码器，以在其第一模式下进行操作；只要所述服务器从合成编码器接收到多个特征，则a)通过从所述服务器发送的命令控制该合成编码器，以在其第二模式下进行操作；以及b)通过由所述服务器对所述特征流进行处理来获得与所述多个图像流中的多个事件相关的多个指示，并将所述多个指示和/或其对应的图像流传送给操作者。
4.根据权利要求1或2所述的方法，还包括通过所述服务器对包含对多个事件的一个或更多个压缩图像流进行解码，并将所解码的图像流传送到操作者的显示器，以用于观察。
5.根据权利要求1或2所述的方法，还包括记录一个或更多个压缩图像流，这些压缩图像流是在它们的本地编码器在其第二模式下进行操作时获得的。
6.根据权利要求1或2所述的方法，还包括在所述服务器中，将额外的图像处理资源动态地分配给接收图像流的数据通信信道。
7.根据权利要求1或2所述的方法，其中在以第一模式进行操作时获得的一个或更多个特征流仅包括所述图像的一部分。
8.根据权利要求6所述的方法，还包括生成并显示一图形多边形，该图形多边形包围位于图像框架内或者位于所述图像中的AOI内的关注对象。
9.根据权利要求8所述的方法，还包括生成并显示一图形轨迹，该图形轨迹表示位于图像框架内或者位于所述图像中的AOI内的关注对象的运动历史记录。
10.根据权利要求1或2所述的方法，其中所述图像流选自包括视频流、静止图像、计算机生成的图像、以及预记录的数字或模拟视频数据在内的一组图像。
11.根据权利要求1或2所述的方法，其中所述多个图像流是使用MPEG格式压缩的多个视频流。
12.根据权利要求1或2所述的方法，其中在各种模式期间，所述编码器使用不同的分辨率和帧频。
13.根据权利要求1或2所述的方法，其中所述多个特征选自以下组-运动特征；-颜色；-所述图像的一部分；-边缘数据；以及-与频率相关的信息。
14.根据权利要求1或2所述的方法，还包括由所述服务器使用通过其数据通信信道从至少一个图像获取装置的本地编码器接收的特征流来执行以下多个操作中的一个或更多个，和/或其任意组合-牌照识另(LPR)；-人脸识别(FR)；-违反交通规则的检测；-行为检测；-火灾检测；-交通流量检测；-烟雾检测。
15.一种用于在多个图像流中进行事件检测和对象跟踪的系统，其包括a)现场安装的一组图像获取装置，每一个图像获取装置都包括a.1)本地可编程处理器，用于将所获取的图像流转换成数字格式a.2)本地编码器，用于根据所述图像流生成多个特征，这些特征为与所述图像流中的多个对象的属性相关的多个参数，并且该本地编码器用于每当所述多个运动特征超过对应的阈值时传送特征流；b)数据网络，每一个图像获取装置通过对应的数据通信信道与该数据网络相连；c)；以及d)与所述数据网络相连的图像处理服务器，所述服务器能够确定所述阈值，通过处理所述特征流获得与所述多个图像流中的多个事件相关的多个指示，并将所述多个指示发送给操作者。
16.根据权利要求15所述的系统，其中所述本地编码器是合成编码器，该合成编码器为还包括用于压缩所述图像流的电路的本地编码器，所述合成编码器能够根据从所述服务器发送的命令以第一模式和第二模式进行操作，在第一模式期间，所述合成编码器生成所述多个特征并将这些特征发送给所述服务器，而在第二模式期间，所述合成编码器除了将所述多个特征发送给所述服务器之外，还以所期望的压缩水平将所述图像流的至少一部分发送给所述服务器。
17.根据权利要求15或16所述的系统，还包括操作者显示器，用于接收由所述服务器解码并包含多个事件的一个或更多个图像流。
18.根据权利要求15或16所述的系统，还包括网络视频记录器，用于记录一个或更多个图像流，该一个或更多个图像流是在它们的本地编码器以其第一模式进行操作时获得的。
19.根据权利要求15或16所述的系统，其中所述服务器能够将额外的图像处理资源动态地分配给接收图像流的数据通信信道。
20.根据权利要求15或16所述的系统，其中在以第一模式进行操作时获得的一个或更多个图像流仅包括与所期望的AOI相对应的图像的一部分。
21.根据权利要求15或16所述的系统，其中所述服务器还包括处理装置，用于生成和显示图形多边形，该图形多边形包围位于图像框架内或者位于所述图像中的AOI内的关注对象。
22.根据权利要求21所述的系统，其中所述服务器还包括处理装置，用于生成和显示图形轨迹，该图形轨迹表示位于图像框架内或者位于所述图像中的AOI内的关注对象的运动历史记录。
23.根据权利要求15或16所述的系统，其中所述图像流选自包括视频流、静止图像、计算机生成的图像以及预先记录的数字或模拟视频数据在内的一组图像。
24.根据权利要求15或16所述的系统，其中，所述多个图像流是使用MPEG格式压缩的多个视频流。
25.根据权利要求15或16所述的系统，其中在各种模式期间，所述编码器使用不同的分辨率和帧频。
26.根据权利要求15或16所述的系统，其中所述多个特征选自以下组-运动特征；-颜色；-所述图像的一部分；-边缘数据；以及-与频率相关的信息。
27.根据权利要求15或16所述的系统，其中所述服务器还包括处理装置，用于使用通过其数据通信信道从至少一个图像获取装置的本地编码器接收的特征流来执行以下操作中的一个或更多个，和/或其任意组合-牌照识另(LPR)；-人脸识别(FR)；-违反交通规则的检测；-行为检测；-火灾检测；-交通流量检测；-烟雾检测。
28.一种用于在图像流中进行事件检测和对象跟踪的方法，其基本上与所述和所示的相同。
29.一种用于在图像流中进行事件检测和对象跟踪的系统，其基本上与所述和所示的相同。
全文摘要
一种用于通过在现场安装一组图像获取装置来在图像流中进行事件检测和对象跟踪的方法和系统，其中每一个图像获取装置包括本地可编程处理器，用于将所获取的包括一个或更多个图像的图像流转换成数字格式；以及本地编码器，用于根据该图像流生成多个特征。这些特征是与该图像流中的多个对象的属性相关的多个参数。每当该多个运动特征超过对应的阈值时，该编码器该发送特征流。每一个图像获取装置都通过对应的数据通信信道与数据网络相连。确定该阈值并处理该特征流的图像处理服务器也与该数据网络相连。每当该服务器通过其对应的数据通信信道和该数据网络从本地编码器接收到多个特征时，该服务器通过处理该特征流来获得与该多个图像流中的事件相关的多个指示，并将该多个指示发送给操作者。
文档编号G06K9/36GK1666528SQ03815824
公开日2005年9月7日 申请日期2003年7月3日 优先权日2002年7月5日
发明者加德·塔尔蒙, 兹维·阿沙尼 申请人:阿斯佩克特斯有限公司