专利名称：联网的监视和控制系统的制作方法
技术领域：
本发明通常涉及监视系统，尤其是涉及一种用于获取和存储有关安全事件的信息、并利用一个网络对那些事件作出响应的监视系统。
背景技术：
运动图象专家组(MPEG)是一族用于以数字压缩格式表示视频和音频信息的质量和高效编码的标准。存在几个MPEG标准，例如用于静止图象编码的MPEG-1、用于运动图象(视频)编码的MPEG-2、用于多媒体编码的MPEG-4。
最近MPEG委员会采用的标准化成果是MPEG-7，正式称为“多媒体内容描述接口”。这个标准计划将一组用于说明各种类型多媒体内容的描述符和描述方案(DS)结合起来。描述符和描述方案允许快速而有效地搜索一个特定用户感兴趣的内容。
要注意到很重要的一点，即MPEG-7标准不意味着取代先前的编码标准、它建立在先前的标准表示之上。此外，这个标准和内容存储格式无关。
预计MPEG-7的首要用于搜索与检索应用中。在一个简单应用环境中，一个用户指定一特定对象的某些属性。在这个低级表示中，这些属性可包含用来说明该特定对象的纹理、运动和形状的描述符。为了获得一个高级的表示，可以考虑结合了几个低级描述符的更多详尽的说明方案。
现有的接收器100如
图1所示。接收和解码分两个基本阶段进行。在第一阶段，从压缩的影像提取特征，然后在第二阶段，用提取的特征来重构影像。
在解码的第一阶段，多路分解器(demux)110接收一个压缩的位流101。多路分解器使收到的位流包同步，并将位流的视频、音频和数据部分分成基本位流102。利用一个存储控制器130将仍然压缩的基本位流发送到一个共享存储器单元120。一个前端语法分析器140对压缩位流进行语法分析。语法分析器140负责提取位流的高级语法，例如在MPEG-2标准的片层上面。
在这个级别以下，将位传送到一个符号处理器150，它主要负责可变长度解码(VLD)操作。例如在MPEG位流中，可以通过可变长度代码对运动矢量和离散余弦变换(DCT)系数以及其它信息例如宏模块模式等进行编码。
在解码的第二阶段，打开其它程序块以重构视频信号。将提取的宏模块和运动矢量信息从符号处理器发送到一个地址发生器160，并将DCT信息发送到一个逆DCT170。
地址发生器160负责产生将要在存储器单元120写入和读取视频数据的存储地址。地址发生器严重依赖于如一个预测模式、当前程序块的位置、和运动矢量值等这样的信息。将某些这种信息传送到一个运动补偿单元180，由它将存储器单元读取的数据和IDCT170接收的数据结合起来。
就内部模式预测来说，由于从存储器读取的数据是预测性信息，因此可以不从存储器中读取数据。将重构的数据从运动补偿单元180写入到存储器120中。当要显示这些数据时，一个显示处理器190读取这些数据用于其他可能需要的任何附加处理。一个用户接口195与存储控制器130相互作用，这样就能够实现有限的、定位的访问。
目前计算机技术是足够便宜的，从而有可能将许多遍及家庭和企业的智能电子设备联网。目前也有可能利用万维网，以声音、图象和视频的格式在设备之间传送数字数据，从而能够和其他用户共享这些数据信息。
通用的即插即用(UPNP)是一个向联网设备提供易用、灵活、基于标准的连接性的开始。UPNP是一种用于网络化PC、数字设备、和无线设备的结构。UPNP使用TCP/IP和网络或其它简单控制协议(SCP)在家庭、企业和所有能够进行网络连接的各个联网设备之间控制和传输数据。
UPNP打算在一个没有专门配置的网络中进行工作。一个设备能够动态地加入网络，获得一个网络协议(IP)地址，按要求宣布它本身和它的性能，并获悉有关网络中其它设备的存在和性能。除加入网络以外，该设备能够离开网络而不用留下任何不想要的状态。
大部分现有技术的监视系统使用闭路电视(CCTV)以获得一个室内和室外场景的视频。安全体系通常在监视器上显示视频用于保安人员的同时查看，和/或以一个延时模式记录视频用于以后的重放。
在这些方法中存在严重的局限性。人们在如视频监视这样的任务中所能够处理的可视信息数量会受到限制。一段时间以后，能够很容易地忽视重大的安全事件。当必须监视多个视频时，监视效率会进一步下降。记录的用于以后分析的视频不提供实时干涉。此外，视频记录容量有限，而且容易发生故障。
通常，视频是没有结构而且没有索引的。如果没有一个有效的装置来定位一个重大安全事件，安全人员监视或记录来自于所有可用摄像机的输出是不划算的。运动视频检测可用于粗略地检测安全事件。例如，在一个安全区域内的任何运动能够认为是一个有效事件。然而，在复杂的场景下，大多数简单的运动检测方案是不够。
美国专利5,594,842描述了一种使用群集运动矢量来检测事件的监视系统。美国专利6,031,582描述了一种使用对应于运动矢量的信号-强度差来检测事件的监视系统。
美国专利6,064,303描述了一种监视周围环境以检测可疑的或不典型的事件、基于PC的家庭安全体系。当检测到一个阈值事件时，该系统会实施对附加事件的密切监视。当累积检测到的事件超过某一阈值时，该安全体系就采取一个适当的补救动作。该系统通过模式识别检测声音和视频事件。声音事件使用通过一个快速傅里叶变换处理的事先录制的文件以，提供在各种离散的特征频率上的振幅作为一个时间函数，而且检测到的视频事件是运动(大小和持续时间)的，亮度对比发生变化，而且由暗到亮变化。这些事件是严重相关的。反应是用事先录制的信息向适当的号码打电话。
美国专利5,666,157描述了一种异常性检测和监视系统，它具有一个视频摄像机用于把一个区域的实时图象变成第一级分辩率的电子视频信号。该系统包含用于对位于该区域内部的个体运动进行取样的装置。取样运动的视频信号与表现出犯罪意图的个体运动的巳知特征进行电子比较。然后确定个体的犯罪意图级别，并产生一个适当的报警信号。
1999年7月的MPEG-7文档ISO/IEC JTC1/SC29/WG11/N2861“MPEG-7 Applications Documentv.9”，描述了一个监视应用，其中有一个摄像机监视敏感区域，如果有某一事件发生的话系统必须触发一个动作。该系统可以由没有信息或有限信息来构造它的数据库，并随时间的流逝积累一个视频数据库和元数据。元内容提取(在一个“编码器”位置)和元数据利用(在一个“解码器”位置)必须利用同一个数据库。
然而，许多安全应用要求实时的事件分析。MPEG-7应用文档没有提供关于如何获得实时性能方面的信息。此外，没有指定被提取用来完成快速、强大和准确的事件检测的实际元数据。最后，该文档没有说明任何关于提取单元及其他联网设备操作的事情。
希望提供一种改进的使用如上所述的视频编码和网络化技术的监视系统。
发明概述本发明提供了一种监视和控制系统，它包含一个特征提取单元，用于从一个压缩的数字视频信号中动态地提取低级特征；和一个与特征提取单元相连的描述编码器，用于将低级特征编码为内容描述符。该系统还包含一个与该描述编码器相连的事件检测器，用于从内容描述符中检测安全事件；以及一个与事件检测器相连的控制信号处理器，用于响应安全事件的检测而产生控制信号。
该系统还可以包含一个电话机、一个个人计算机、以及一个录像机，彼此通过网络相连。该网络包含一个用于传送控制信号的低带宽网络，以及一个用于传送压缩数字视频信号和内容描述符的高带宽网络。一个存储器单元保存压缩的数字视频信号、内容描述符、控制信号、用户输入、以及可配置的用户偏爱项。
监视和控制系统进一步包含一个与特征提取单元相连的符号处理器，用于从压缩的数字视频信号中提取运动矢量、宏模块和DCT系数；以及一个与存储器单元相连的位流处理器，用于产生一个包含压缩的数字视频信号和内容描述符的输出压缩数字视频信号。
附图简要说明图1是一个现有技术中的视频接收器的框图；图2是一个包含了一个依据本发明的监视和控制系统的网络框图；图3是一个用于从一个压缩视频信号中检测安全事件并产生信号的一种监视和控制系统的高级框图；图4是一个图3中的监视和控制系统的低级框图；以及图5是一个图3中的监视和控制系统的一个存储器单元框图。
最佳实施例的详细说明图2显示了一个包含一个依据本发明的监视和控制系统300的网络200。该系统包含一个或多个数字视频摄像机201-202、一个监视器(TV)203、一个遥控器203’、一个录像机(VCR)204、一个电话机205、一个无线电话206、一个存储设备(HDD)207、一台个人计算机208、一个数字通用盘(DVD-RW)209以及一个远程PC210。设备201-210与监视和控制系统300能够经由一个网络相互通信。在这儿，网络有局域网211、广域网212，例如国际互连网、以及无线网213等几个部分。
在操作期间，网络传送低带宽的控制信号、和高带宽的数据信息或视频内容。
控制信号可以在使用UPNP、电源线、家用插头、电话线或其它协议的设备之间进行传输。控制信号允许不同的兼容设备控制其它设备，以及彼此之间进行共享和通信。例如，控制信号能够使摄像机101-102打开和关闭、运动(向上/向下、向左/向右)、缩放(缩小/放大)。这些信息可以是自动的或是由用户产生的。例如，摄像机可以是周期性地打开和关闭，或者用户能够用遥控器203’、PC(当地的208或远程的209)、VCR 204、DVD 209、或TV来控制摄像机。相似地，PC或者电话机可用于向其它应用和消费者电子设备例如VCR和DVD发送控制信号。
可以使用IEEE-394标准通过网络211发送视频信号。当摄像机打开时，可以在作为一个完整窗口、或画中画(PIP)窗口在监视器上显示视频。该视频还可以是由VCR、DVD或HDD记录。对视频进行编码以包含高级的元数据，例如MPEG-7基于内容的描述符，用于将来的操作和查看。可以在摄像机、PC或监视和控制系统300上完成编码过程。PC还可以执行代码转换，即，将一个视频从MPEG-2或4转换成另一个更可取的、可能是一个低比特率、一个低空间分辨率、或NTSC格式的代码表示。编码后的视频可以记录在VCR、DVD、或HDD上。以下将非常详细地描述编码过程。
为了快速和有效地访问记录的安全事件，一个用户可以在记录之后使用一个视频浏览器检查视频。例如，如果用户已经记录了一个家庭持续一星期的视频，则该用户能够仅仅查看带有接近房屋的人们的视频，而不用查看没有重大安全事件的其它几百小时的视频。
做为对一个安全事件检测的响应，通过向电话使用控制信号，系统能够向一个适当的紧急事件处理机构例如警局、消防队、或急救中心拨号。该系统还可以取决于事件的性质向任何其它选定的电话号码拨打电话。此外，随着第三代(3G)移动电话的出现，就使得向任何启用3G的电话发送摄影机输出信号变得可能。
图3显示了监视和控制系统(SCS)300的主要组成部分。SCS包含一个视频接收器/解码器/显示器(“解码器”)与一个描述编码器320和一个事件检测器330相连。描述编码器320和事件检测器330也是连接在一起的，将在下面对它们进行非常详细的描述。一个控制信号处理器340与一个事件检测器的输出端相连。解码器接收用户输入305以配置SCS。下面将对能够接收的输入类型和它对SCS的操作的影响进行非常详细的描述。就图1中所示的系统来说，通过视频解码器310接收一个压缩的数字输入位流301，SCS的输出309能够包含一个可显示的视频信息流、控制信号和一个扩充的位流。控制信号发生器根据检测到的安全事件提供控制信号341。其优点是扩充的位流包含可用于检测安全事件的信息。
为了能使联网的设备201-210提高安全操作，我们的系统使用描述编码器320来执行特征提取。描述编码器向扩充的输出位流产生内容描述。扩充的位流能够包含原来的输入位流301。
事件检测器330使用提取的特征以产生对内容的一个高级理解并向解码器310发送安全事件信号。作为对这些安全事件的响应，控制信号处理器340产生控制信号以传送给联网设备201-210。
图4非常详细地显示了SCS300。在内部操作和输出方面我们的SCS不同于图1中的回放系统。图4中的虚线表示现有技术的视频回放系统所没有的组成部分的连接。
SCS300包含一个多路分解器(demux)410、一个存储器单元500、一个存储控制器430，一个前端语法分析器440、以及一个符号处理器450。这些系统组件用于在对输入位流进行解码的第一阶段期间的特征提取445。
系统还包含一个地址发生器460、一个逆DCT(IDCT)470、一个运动补偿器480、以及一个显示处理器490。这些组件用于在解码的第二阶段期间的图象重构和显示402。在如下所述的某些操作模式中，和现有技术中的接收器相比，它能够将用于第二阶段的这些稍后组件关闭，从而使所有的存储器带宽和处理优先权都专用于特征提取和解码的第一阶段。
内部操作的改变是一个特征提取单元410和一个MPEG-7描述编码器320的结果。这里将描述特征提取单元455如何执行动态特征提取。包含运动矢量信息、DCT系数和波形信息在内的低级数据从符号处理器450传送到特征提取单元455。
如下所述，这些低级数据能够映射到MPEG-7描述符，这些可用于搜索与检索。这种映射是通过描述编码器320执行的。该编码器还可以从前端语法分析器440和系统多路分解器410接收信息。
在一个最佳实施例中，编码器依据一个选定标准例如MPEG-7标准用具体事例说明了一个描述方案。应当明白其它类型的编码器能够用具体事例说明其它标准。到一个标准的编码允许设备201-210的互操作性。将描述方案传送到事件检测器330。提取的数据还可以通过存储控制器430传送到主存储器单元500。这里，提取的数据可用于扩充输入位流。
事件检测器330负责检测安全事件，并向系统的其余部分、尤其是向控制信号处理器340发送此类事件信号。用户输入305用于配置系统的个人信息和优先选择。个人信息包含联系电话号码，例如办公电话、蜂窝电话、传呼机、电子邮件地址、警局电话、消防队电话、急救电话，联系的优先级，(即首先发送电子邮件，然后给警局打电话，或者是如果在一个指定数量的时间内无应答就向所有联系方面发出警告，时间/日期定制，例如在下午6点以前打办公电话并发送电子邮件，在下午6点之后打蜂窝电话)，向哪儿发送视频输出，例如VCR、DVD、TV、PC、监视器等等。
如图5所示，安全系统的存储器500存储四种视频数据，初始压缩的位流(BS)的全部或一部分510、为了重构或概括所关心的视频而选取的帧(安全帧)520、描述方案(DS)530以及用户输入(UI)540。存储器还存储由事件检测器输出的控制信号(CS)501、以及配置的用户偏爱信息(UP)502。
除具有特征提取功能之外，该系统还可以经由一个位流处理器491输出一个扩充的位流401。位流处理器从主存储器单元经由存储控制器接收这些数据。输出位流能够包含压缩的内容，即初始位流301、内容概述、以及内容说明。位流处理器以一种适于向一个远程用户发送的方式，或是适于通过网络传输到一个记录装置的方式来格式化信息。
输出内容和/或它的相应描述的目的是向一个用户提供能够有助于追溯那些已经被发送了信号的安全事件信息。该描述能够用于内容中关键点的快速检索。
通过网络传送的实际控制信号341由一个控制信号处理器340产生。控制信号处理器接收有关已经从事件检测器检测到一个安全事件的通知，查阅用户偏爱信息，并向相应的网络设备产生适当的控制信号。
控制信号的类型可以分为三类(i)安全联系信息，由用户输入提供；(ii)设备控制参数，例如摄像机运动、转换和操作，以及操作数据，例如记录、启动电话呼叫；以及(iii)路由信息，例如向HDD 207发送扩充的位流401，以及向电话205或PC210发送适当的电话号码。
SCS300从一个压缩的数字视频信号中动态地提取特征。使用这些特征，可以检测到安全事件，并且能够自动地启动操作。
该系统的一个主要特点是它和其它设备的互操作性。通过使用标准压缩技术来传递并重放一段视频的内容，以及使用标准描述方案(DS)来描述、检索并访问该内容，就可以实现互操作性。该SCS能够取决于事件的状态而运行在多个不同的模式下。
在第一模式下，由我们的SCS对收到的压缩位流进行语法分析，并部分解码。部分解码被定义为仅仅包含第一个阶段的解码操作。在这种模式下，第二阶段的解码用来重构视频是无效的。换句话说，在这个部分解码模式下，与一个传统的接收器不同，没有地址生成、没有逆DCT的计算、没有运动补偿，当然也没有显示。这样就绕过了第二阶段解码。在这个模式下SCS的主要目标是借助于已经从压缩的视频信号中提取的这些特征搜索一个安全事件。
由于没有显示，所有的存储器带宽都能够用于部分解码和特征提取、编码和事件检测。因此，在这个模式下，该系统能有效地处理压缩的输入位流的选定单元以便提取有关内容的低级和高级信息。部分解码能够在一个相对短的时间内提取重要的特征。例如，几个小时的视频能够在几分钟内或更少时间内进行处理。
对这个目的来说是有用的提取的位流单元例子为位流中的运动矢量、DCT系数和图象/宏模块编码模式。这些单元从符号处理器450和前端语法分析器440中输出。此外，信息还可以从补充的位流中提取。这种信息从系统多路分解器(demux)410中输出。这种数据的一个例子是MPEG-7元数据，并且可以包含有关内容的注释信息，例如日期与时戳信息。
在部分解码位流和提取信息过程中可以获得的优点是能够在一个相对短的时间内收集特征，并且检测安全事件。这个部分解码模式最适于被动监视，当还没有检测到特定事件时。
和第一个部分解码模式相比，第二种模式的不同之处在于被分析的视频还要进行重构并输出到一个当地的显示设备中。在这个完全解码模式下，提取特征并将其作为内容描述符进行编码，如同部分模式下描述的一样。然而，在特征提取的同时显示该视频数据。也就是说，当视频正在重放时特征提取和编码是动态的。
这个操作模式适用于这样的系统具有一个或多个摄像机、一个或多个正在输入到SCS的位流，并总有一个信号正被显示。可以有单个或多个显示设备。在有多个摄像机和少一些的显示设备时，SCS能够控制要重构的位流，而且要显示重构的位流。重点是在重构和显示视频时分析压缩的视频信号。
在一个特定情况下，有一个摄像机和一个显示设备时，当已经检测到一个安全事件时，SCS能够进入完全解码模式。
在第三模式下，当收到压缩位流并以一个最可能高的位速度进行处理时，对位流进行部分解码。将部分解码的位流保存在存储器单元500中。同时，还从保存在存储器单元中的解码位流中进行第二阶段重构，直到能够显示该视频为止。在提取和编码这些特征并检测事件所需要的时间内，能够将帧速率减少到例如每秒十五帧或更少，以致使更多的系统资源用于进行特征提取、编码和事件检测。
在这种模式的一个典型实例应用中，连续地从视频中提取特征。在检测到一个安全事件之后，可能需要更多的系统资源来分析该事件。在那种情况下，用于解码的资源具有一个较低优先级，可能仅仅有足够的资源用于显示、纪录或传送一个较低时间分辩率的视频信号，它仍然是足够的。
在任何一种模式下，关键一点是那些遵从选定标准的元数据是从有效的压缩数据中提取的。有效数据可以仅仅是那些从压缩位流中提取的低级特征或是从一个补充的数据流中提取的信息，甚至包含某些MPEG-7元数据，它可以是或不是完整的。这样，就实现了和其它设备的互操作性。
从压缩位流中提取特征已经在文献中进行了广泛地报导。这种提取的主要优点是由于它通过依靠多路分解器、语法分析器、和符号处理器的输出而避免了逆DCT的计算，因此它计算简单。符号处理器的输出包含运动矢量信息和DCT系数。
最适于这种提取的特征是颜色、亮度和运动。还应注意到特征提取单元455的输出传送到描述编码器320，由它用具体例子说明描述符的值。然后由事件检测器330使用这些描述符示例。
亮度和颜色－－注意到有I-帧时，符号处理器340的输出包含块的亮度和色度的“dc”值。因此，能够使用符号处理器450的输出构造I-帧的“dc图象”。如何使用dc-图象来检测场景变化是公知的。从dc-图象中也可能确定颜色描述符例如主颜色、颜色直方图、压缩颜色、GOF/GOP颜色直方图、颜色结构直方图、颜色布局等等。例如，考虑以下的表A中主色描述符的二进制语法
表A
注意到在一个MPEG压缩视频信号中，颜色空间缺省值为YUV或YcrCb、颜色量化即二进制数、颜色阈值的开始值等是由特征提取单元本身决定的，主颜色数目也是如此。然后，从图像本身通过使用一个宏模块的颜色dc值作为宏模块每个像素的颜色来确定置信度测量、颜色值和百分比。这简要地说明了如何从符号处理器450的输出中确定主颜色。
符号处理器的输出必须进行不同的处理以从P-帧中获得dc-图象。由于宏模块通常是进行预测性编码的，因此这个处理是不同的。为获得dc分量，可以使用在DCT域实行运动补偿的方法，例如在美国专利申请08/742,124“Digital video decoder and method ofdecoding a video signal”中所描述的方法。注意这个计算开销与计算逆DCT需要的计算开销相比要小得多。
运动－－由于对运动补偿的帧来说符号处理器的输出包含每个宏模块的运动矢量，因此在压缩域中提取运动特征要相对容易。可以有几种从运动矢量中提取特征的方法，参见美国专利申请09/236,838“Method of feature extraction of video sequences”。
能够在压缩域中确定的MPEG-7运动描述符包含运动行为、摄像机运动、运动轨迹和参数运动。运动行为描述符的二进制表示语法如表B所示
表B
注意到以上显示的所有字段能够由从符号处理器输出的运动矢量计算得到。例如，通过首先计算运动矢量幅值的标准偏差、然后将标准偏差量化成一个3位值来计算强度参数。
在MPEG-2或MPEG-4中，必须使用一个规定好的编码器结构来产生一个兼容位流。一致之处是都基于规范/等级定义，即一个MPEG-2主规范@高级(MP@HL)编码器限制于图像尺寸、数据率等项。然而，我们知道必须有某一模块进行运动估计，某一模块进行DCT等等。如果我们在一个可扩充的规范内操作，我们就必须对一个基础和增强层进行编码，然后我们知道编码器结构需要怎样变化。这由标准明确定义。
在MPEG-7中，用具体例子说明的描述方案象一个MPEG-7编码器。然而，描述方案的广阔队列适合于许多不同类型的元数据。每一种类型数据如何产生，可能是独特的，是不能用标准加以规定的。由于MPEG-7不可能规定描述方案将如何用具体例子说明，这是标准的一个规范部分，因此一个MPEG-7编码器没有结构。这样，每一DS必须是在逐个情况基础上用具体例子说明，并能够在一个特定应用内起作用。
在这儿，一个普通的MPEG-7编码器没有意义，除非是有一个特定的目的或应用。我们的目的是提供改进的基于内容的访问，因此我们的SCS将用具体例子说明的描述方案和实例化方法是该系统独有的，并将在随后的部分中进行描述。
另一点要阐明的是我们的安全体系对元数据进行编码以实现和其它设备的互操作性。如果不是为了互操作性，是不需要遵照MPEG-7标准对元数据进行编码的。一个系统可以简单地使用它自己所有的内部并且仅仅由该特定系统知晓的专用描述符和描述方案。在这种情况下，也就不需要输出扩充位流。
描述方案(DS)能够被看作是用于描述符的容器。它们还可以被看作是组织各种描述符的数据结构。考察从MPEG-7多媒体描述方案工作草案获得的，在附录A中描述的MPEG-7视频片段描述方案(DS)的语义。
要注意视频片段DS如何包含我们在描述符部分中提到的颜色和运动描述符。在这种情况下，能够通过确定前面所述的每个组成描述符，来用具体例子说明该描述方案。注意到视频片段DS让它本身通过压缩域下的特征提取来进行例示。因此，DS允许各个描述符自己本身使用，以及其它描述符的集合一起使用，从而允许这儿描述的监视应用。
视频片段DS是MPEG-7 DS的一个例子用来描述内容的结构特性。其它这样的DS包含段DS以及它的衍生如移动区域DS等等。其它的DS强调应用，这样的概括可以通过概括DS来启用。
权重DS表示在一个描述方案中各个描述符的相对权重，因此它能够按需要由MPEG-7 DS的示例用具体事例说明。实体关系图DS表示在不同实体之间的相互关系。符号处理器的输出允许标识这样的关系如更活跃的或最活跃的、或更快的、更大的、更绿色的等等。这样相应的实体关系图的类别就能够在压缩域中用具体事例说明。
基本的DS如时间DS、介质定位器DS、网格、直方图适用于所有的DS并且因此是最重要的。在编码器320中处理符号处理器450的输出能够产生所有的这些描述方案。例如使用存在于压缩位流中时戳信息能够产生时间DS，这对于监视应用程序来说是一个非常重要的特征。
MPEG-7还包含“高级的”DS，如表示纹理的描述(注解DS)、概念方面(例如，语义DS)以及内容的本征性质(例如，模式DS)。
简而言之，由系统多路分解器110，前端分析器440以及符号处理器450提供的信息可用于用具体事例说明一个描述方案的强大子集。
自动的安全事件检测涉及根据低级信息推导高级信息，因为只有低级信息能够直接并且自动地获取。在一个简单的例子中，考虑检测一个进入安全区域的入侵者。监视该区域的监测者，通过注意到该区域的语义或高级特征的改变，当然，会立即检测到该入侵者。我们的自动安全事件检测系统，从另一方面来说，不得不仅仅依赖由摄像机获取的视听信息的自动处理。来自摄像机的视听信息(信号)仅仅包含低级特征如颜色、运动、音量等等，并没有包含如标记的安全区域和入侵者这样的语义信息。然而，一般说来，语义事件，如入侵者的进入，对由摄像机记录的视听场景的低级特征有直接影响。
在上面描述的简单例子中，在没有入侵者时安全区域的活动动作为零，因为在该场景中没有活动物体。一旦有入侵者进入，活动动作会突然增加。在该入侵者离开之后，该活动动作再一次减少到它的平常低值。在这种情况下，仅仅视听场景的活动特征就足以检测侵入的开始和结束。类似地，如果入侵者的面部暴露的话，就会引发场景纹理上的变化，这将表示在该场景中存在一个面部。进入还将导致在音量方面的增加。
关键一点在于在记录的视听信息低级特征方面的改变经常表示该场景语义内容方面的改变。入侵者进入安全区域仅仅是一个事件的简单例子。我们的系统不局限于这样的简单事件，而是指所有使用低级特征能够检测出来的事件。
还要注意到我们的系统还能够检测在先前记录的视听信息中的事件。这样的“事后”监视在安全系统中还是有价值的。
在事件检测器330中另一个使用低级特征的具体例子是注意到该事件已经结束(例如，入侵者已经从摄像机观图中退出)以及提取导致事件发生的对象的参数化活动。参数化活动是一个已经被MPEG-7采纳的视觉描述符。使用该参数化活动，摄像机201-202的位置能够自动地调节来跟踪该事件。如果不可能使用检测到该事件的摄像机继续跟踪该事件，则该参数化活动还可以用来选取其它策略位置上的摄像机。
总而言之，我们监视系统的目标是从标准状态中辨别出反常状态。在入侵者的例子中，状态方面的改变是通过在音频和活动动作方面的改变识别出来的，其中标准状态的视听特征实质上为零。然而，在大多数实际的安全应用中，标准状态是非零的。我们称这个为非零正常状态(NZ-NS)监视。
作为第一个说明NZ-NS监视的例子，考察一个在高处监视交通区域的摄像机，该交通区域具有静止和移动的人、骑自行车者、汽车、巴士以及卡车、和一个很复杂的声频信号。使用MPEG 7描述符，以及训练数据，就有可能提取这样的安全事件如事故、攻击、违反交通规则，等等。NZ-NS监视还可以用于自选商店来检测商品盗窃，或用于娱乐场所来检测作弊。该系统还可以用于自动化生产设施，如检测在运输带上未对准的零件，来自一个机器的烟或奇怪的噪音。
CSP 340接收来自事件检测器330的中断，并且向连接在图2网络中的其它设备产生适当的控制信号。当检测到一个安全事件时，该控制信号能够在一个电视上显示一个PIP窗口；拨一个电话号码以及播放一个预先录制的信息；或者发送一个电子邮件；或在PC上启动一窗口到显示来自一个摄像机的视图。能够根据用户的偏好定制控制信号。还可以设置优先级，也就是设置反应活动的次序。
在一个局部的监视应用中，SCS 300向一个监视器/电视以及记录装置提供视频内容。它检测事件，触发警报，并且经由电话接通个人。该用户还可以经由其它兼容设备如遥控器控制该摄像机。在一个远程监视应用中，SCS 300执行所有的局部监视系统活动之外，还有扩展的外部监视。该外部监视与控制能够用远程PC 210来完成。
在一个商业应用中，该系统能够有效地消除用二十个监视器窗口来监视二十个不同的区域的需要。CSP 340能够取决于检测的事件来自动地选取要监视的场景。此外，通过仅仅记录异常事件，要记录的视频数量能够大大地减少。
虽然已经通过最佳实施例描述了本发明，应理解可以在本发明精神和范围之内做出其它各种适应和修改。因此，附加权利要求书的目的是含盖本发明真实精神和范围之内的所有这样的变化和修改。
权利要求
1.一种监视和控制系统，包含一个特征提取单元，用于从一个压缩的数字视频信号中提取低级特征；一个与特征提取单元相连的描述编码器，用于将低级特征编码为内容描述符；一个与描述编码器相连的事件检测器，用于从内容描述符中检测安全事件；以及一个与事件检测器相连的控制信号处理器，用于响应安全事件的检测而产生控制信号。
2.如权利要求1所述的监视和控制系统，进一步包含一个电话机、一个个人计算机，以及一个录像机，彼此通过一个网络相互连接。
3.如权利要求1所述的监视和控制系统，其特征在于该网络包含一个低带宽网络，用于传送控制信号；以及一个高带宽网络，用于传送压缩的数字视频信号和内容描述符。
4.如权利要求1所述的监视和控制系统，进一步包含一个存储器单元，用于存储压缩的数字视频信号、内容描述符、控制信号、用户输入、和用户配置偏爱信息。
5.如权利要求1所述的监视和控制系统，进一步包含一个与特征提取单元相连的符号处理器，用于从压缩的数字视频信号中提取运动矢量、宏模块和DCT系数。
6.如权利要求4所述的监视和控制系统，进一步包含一个与存储器单元相连的位流处理器，用于产生一个包含压缩的数字视频信号和内容描述符的输出压缩数字视频信号。
7.如权利要求6所述的监视和控制系统，其中输出的压缩数字视频信号经由一个网络传送到一个远程视频接收器。
8.如权利要求1所述的监视和控制系统，其特征在于依据一个视频编码标准编码内容描述符。
9.如权利要求1所述的监视和控制系统，其特征在于编码器依据内容描述符产生一个对压缩的数字视频信号的概述。
10.如权利要求9所述的监视和控制系统，其特征在于将压缩的数字视频信号的概述保存在一个存储器单元中。
11.如权利要求1所述的监视和控制系统，其特征在于内容描述符基于在压缩的数字视频信号中的运动动作。
12.如权利要求1所述的监视和控制系统，进一步包含至少一个摄像机、一个监视器、一个录像机、一个电话机、一个存储设备、一台个人计算机、一个数字通用盘、以及一个远程PC，彼此通过一个网络相互连接，并由控制信号进行操作。
13.如权利要求1所述的监视和控制系统，其特征在于控制信号包含安全联系信息、设备控制参数和路由信息。
14.如权利要求1所述的监视和控制系统，其特征在于为在压缩的数字视频信号中检测安全事件，一个正常的非零状态不同于一个异常的非零状态。
15.如权利要求1所述的监视和控制系统，其特征在于控制信号具有相关的优先级。
16.一种用于对安全事件作出响应的方法，包含从一个压缩的数字视频信号中动态地提取低级特征；将低级特征作为内容描述符进行编码；从内容描述符中检测安全事件；以及响应于安全事件的检测产生控制信号。
全文摘要
一种监视和控制系统包含:一个特征提取单元,用于从一个压缩的数字视频信号中动态地提取低级特征;一个与特征提取单元相连的描述编码器,用于将低级特征编码成为内容描述符。一个事件检测器与描述编码器相连,用于从内容描述符中测安全事件;以及与事件检测器相连的一个控制信号处理器用于响应安全事件的检测而产生控制信号。
文档编号G06F17/30GK1338873SQ0112282
公开日2002年3月6日 申请日期2001年7月9日 优先权日2000年7月10日
发明者P·达格拉卡, A·维特罗, A·迪瓦卡兰, H·孙, 浅井光太郎, 西川博文, 关口俊一, 村上笃道, 守屋芳美 申请人:三菱电机株式会社