专利名称：一种智能视频监控系统及其监控方法
技术领域：
本发明涉及一种智能视频监控系统及其监控方法，属于数字图像和通信技 术领域，是一种能够自动发现、跟踪和识别运动目标，并能结合设定警戒线或 警戒区域进行目标行为识别的智能视频监控系统。
背景技术：
随着多媒体技术的发展，以及平安城市建设的需要，视频监控系统正变得 日益需要。视频监控系统被用在银行、百货公司、工业区甚至街道。现有技术 的视频监控系统典型的是基于以下概念摄像机被安装在待监视的地区，拍摄 的图像序列经过专门的视频线路或者网络传输到控制中心，由专门的监视人员 不停地盯着显示屏幕观看，如发现异常情况，则启动报警装置，以便警示犯罪 分子，或指派保安人员前去査看，或者同时将传输过来的视频流全部存入硬盘， 以便发生意外后再来査寻先前的录像，为公安部门提供可靠证据。以上所述的是典型传统视频监控系统，它有两个致命的缺点 一是，监视 人员在看显示屏幕约二十分钟就会产生视疲劳，很容易发生漏报警事件；二是， 全部的视频数据存入硬盘，将会占据很大磁盘容量，或者是会利用很大的传输 带宽。同时，此类视频监控系统不具备智能性，需要专门的监视人员来参与。中国专利号为ZL03116154.5的一种异常目标自动发现及跟踪摄像机系统， 能自动跟踪发现视野中的异常目标，在向监控中心报警的同时，能对目标进行 自动跟踪，并自动调整镜头放大倍数，得到清晰完整的目标图像。该系统具备 了自动发现物体的移动(有人、物体进入)或产生明火、浓烟等情况下视频图 像特征变化的异常情况。但是，在实际情况中，并不是摄像机所拍摄的范围内 有运动目标均是异常情况，更多是目标只有在到达某一区域，或者穿过某一位 置才被认为是异常情况。基于以上情况，我们提出一种克服传统视频监控系统的弱点，同时比一般 智能监控系统更加优越的智能视频监控系统及监控方法
发明内容
本发明的一个目的在于，克服上述现有技术的不足，提供一种智能视频监 控系统第一，该系统能让用户方便地设置报警规则，经过对视频内容分析后， 结合报警规则便能对监视区内的目标作实时行为智能自动监控，无须另外设置 监视人员；第二，在异常情况下除了报警外，系统还会存储监控时间段内的视 频流，以供日后查询；第三，由于设定报警规则，具有自动智能分析能力，被 触犯后才开始存储视频，区别于传统监控系统需全部存储视频数据，因而能极 大节约存储空间。本发明的另一个目的在于，提供一种适用于本发明智能视频监控系统的监 控方法-.该方法程序合理。为了实现本发明提出的智能视频监控系统，本方法 有效地提供该系统的核心技术途径。由于采用了实用的运动物体检测和跟踪算 法，保证该方法能有效地检测出监控视频场景中的运动物体(包括人，物，车 辆等)，并跟踪检测出的运动目标，以便进行视频分析。针对当前视频监控中常 见的问题，如监控场景发生变化、场景内存在目标阴影等影响物体跟踪的因素， 在本方法中加以处理，使该方法更加实用有效。本发明智能视频监控系统的技术方案是所述的一种智能视频监控系统， 它包括摄像机组l、报警器2、控制模块3、 PC终端软件4;其中，摄像机组l、 报警器2及PC终端软件4分别与控制模块3连接；所述控制模块3包括中央处 理模块3.1、数据存储模块3.2、视频分析模块3.3、报警模块3.4、视频采集 模块3.5、通讯模块3.6和网络连接器3. 7;所述数据存储模块3. 2、视频分析 模块3. 3和通讯模块3. 6均与中央处理模块3. 1双向相联，报警模块3. 4与中 央处理模块3. 1单向相联；视频采集模块3.5通过视频分析模块3.3与中央处 理模块3. 1相联；网络连接器3. 7通过通讯模块3. 6与中央处理模块3. 1相联， 用于提供报警规则及视频数据的传输。所述的PC终端软件4包括显示模块4. 1、报警规则模块4. 2和报警日志模 块4. 3，通过TCP/IP与网络连接器3. 7相联；所述的网络连接器3. 7选自RJ-45。所述的视频分析模块3.3是能将视频内容分析程序固化在其内的外部高速 程序存储器，用于检测出监控范围内感兴趣的运动物体并加以跟踪和识别，将 处理结果传输给中央控制器。所述的视频分析模块3. 3选自于美国TI公司的TMS320C6000数字信号处理器。所述的报警规则模块4. 2是存有特定的报警规则的报警规则模块，该报警规
则是用户根据其实际需要设置的以下几种不同类型的报警规则的一种或其组合.1) .场景变化，包括物体被移动、遮盖异常；2) .单警戒线，包括设置穿越方向，即物体按指定方向穿过指定的防线；3) .双警戒线，包括设置穿越方向，即物体按指定方向穿过指定的两条防线；4) .警戒区域，即设置任意多边型的警戒区域。 所述的报警规则模块4.2是存有报警类型为进入警戒区域内即时或/和在警戒区域内逗留指定时间即开始报警的报警规则模块。所述的报警规则模块4. 2是存有报警类型为场景变化报警规则设置成在指定 区域内是否有物体移走或留下即开始报警的报警规则模块。所述的数据存储模块3. 2是当报警规则模块4. 2设定的报警规则被触犯后才 开始存储视频的数据存储模块。本发明智能视频监控系统的监控方法技术方案，它包括下述步骤A、 系统初始化初始化成功后进入下一歩骤，否则，再次进行初始化；B、 报警规则读入报警规则读入成功，则进入下一步骤，否则，继续进行 报警规则读入；C、 视频分析对视频图像进行分析，有异常发生，则进入下一步骤，否则， 继续进行视频分析；D、 视频处理将视频分析程序送来的有异常发生的信息进行处理，包括 触发报警模块，存储异常数据，以及写报警日志；所述的触发报警模块是触发 报警模块3. 4后启动报警器2;完成视频处理后再次进行视频分析。所述的视频分析程序包括-a、 监控视频获取在适当位置安装监控摄像头，以获取最有利于处理的视 频流；b、 视频预处理对于获取的视频流进行预处理，包括去除噪声，调整帧率 和帧大小；c、 背景建模建立合理真实的背景，以便得到准确的前景目标；d、 前景分割利用减背景技术得到前景目标，同时对于虚假前景予以消除；e、 阴影消除利用HSV颜色空间法及阴影的方向去除各种阴影；f、 目标跟踪克服目标跟踪中遮挡等问题，对于场景中的多目标进行跟踪， 记录其运动轨迹及运动方向；
g、运动轨迹的分析根据目标的轨迹和报警规则的设定，分析目标的运动 轨迹是否属于异常活动，若是，则触发报警；h、目标识别对前景物体进行识别分类，分类的种类包括人或/和车、或/ 和物体。本发明的技术效果显著，主要表现在1、 视频分析模块(3.3)能够准确的检测、跟踪运动目标同时亦能识别人、 车、物体及其它类物体；2、 系统只有在报警规则触犯的情况下开始存储视频数据，这样可以大大节 约存储空间，同时也能为异常情况发生后提供可以查询的依据。3、 本系统具有行为识别的能力，能够监视指定范围内是否有物体移走和物 体留下的情况，能够检测车辆超速的情况。4、 本系统能够通过PC终端软件4设置不同类型的报警规则，这些报警规 则全面可靠K可以是场景变化，包括物体被移动、遮盖异常；2、单警戒线(可以设置穿越方向)，即物体按指定方向穿过指定的防线；3、双警戒线(可 以设置穿越方向)，即物体按指定方向穿过指定的两条防线；4、警戒区域，即 可以设置任意多边型的警戒区域，报警的类型还可以分为进入警戒区域和在警 戒区域内逗留指定时间开始报警情况，这些规则可以是其中的一种或者是多种 不同的组合。5、 本系统针对视频流处理的巨大数据量而选用美国TI公司的TMS320C6000 数字信号处理器，并在视频预处理阶段适当降低帧率和帧的大小，从硬件和软 件上保证系统的实时性。6、 针对监控场景发生变化的情况，在实现方法中加入了背景更新技术，保 证后处理的正确性。7、 系统具有抑制物体阴影、地面反光对前景检测带来的不利影响，同时还 能适应监控范围内有树叶晃动、波光粼粼的水面等场合，与一般的智能视频监 控系统有更广的使用范围和更强的适应能力。下面结合附图和实施例对本发明作进一步的说明。
图1是本发明智能视频监控系统的连接框图。图2是本发明智能视频监控系统的监控方法流程图。图3是本发明智能视频监控系统的监控方法中视频分析程序流程图。
具体实施方式
实施例1:如图1所示是用于银行防盗的智能视频监控系统。它由摄像机组1、报警器2、 控制模块3、 PC终端软件4组成，还可以有远程报警装置(检测到异常行为 时自动向公安机关报警)；其中，摄像机组1、报警器2 (是扬声器或光报警器 等)及PC终端软件4分别与控制模块3连接；所述控制模块3有中央处理模块3. 1、数据存储模块3. 2、视频分析模块3. 3、报警模块3. 4、视频采集模块3. 5、 通讯模块3.6和网络连接器3. 7;所述数据存储模块3. 2、视频分析模块3. 3和 通讯模块3. 6均与中央处理模块3. 1双向相联，报警模块3. 4与中央处理模块 3. 1单向相联；视频采集模块3. 5通过视频分析模块3. 3与中央处理模块3. 1相 联；网络连接器3.7通过通讯模块3.6与中央处理模块3. 1相联，用于提供报 警规则及视频数据的传输。所述的PC终端软件4由显示模块4. 1、报警规则模 块4. 2和报警日志模块4. 3组成，通过TCP/IP与网络连接器3. 7相联；所述的 网络连接器3. 7选自RJ-45。所述的视频分析模块3. 3是能将视频内容分析程序 固化在其内的外部高速程序存储器，用于检测出监控范围内感兴趣的运动物体 并加以跟踪和识别，将处理结果传输给中央控制器。所述的视频分析模块3.3 选自于美国TI公司的TMS320C6000数字信号处理器。所述的报警规则模块4. 2 是存有特定的报警规则的报警规则模块，该报警规则是用户根据其实际需要设置的以下几种不同类型的报警规则的一种或其组合1).场景变化，包括物体 被移动、遮盖异常；2).单警戒线，包括设置穿越方向，即物体按指定方向穿 过指定的防线；3).双警戒线，包括设置穿越方向，即物体按指定方向穿过指 定的两条防线；4).警戒区域，即设置任意多边型的警戒区域。所述的报警规 则模块4.2是存有报警类型为进入警戒区域内即时或/和在警戒区域内逗留指定 时间即开始报警的报警规则模块。本实施例为即时开始报警，也可以同时设为 在警戒区域内逗留指定时间即开始报警。所述的报警规则模块4.2还可以选为 存有报警类型为场景变化报警规则设置成在指定区域内是否有物体移走或留下 即开始报警的报警规则模块。所述的数据存储模块3.2是当报警规则模块4.2 设定的报警规则被触犯后才开始存储视频的数据存储模块。按银行的需要，本 实施例具体属于下述设置在银行的金库门口划一条虚拟的警戒线，并设置穿 越警戒线报警的方式，在按规定不允许有人员进入的时候设定其规则有效；若 有人进入，本系统将会自动检测到异常情况的发生，在触发报警装置的同时也 开始存储异常时间里的视频数据；考虑到金库门口背景比较单一，光照条件比 较固定或者变化比较缓慢，而且运动目标出现的情况比较少，进行视频内容分 析的难度较小，误报和漏报的几率很小，所以系统尤其实用于这种场景；与传 统的视频监控相比具有主动和智能性，无须监视人员直盯屏幕和存储大量的无 用数据。此实例还可应用于国界线、港口、码头等场合。本发明智能视频监控系统的运行是由摄像机组1所得到的模拟视频信号 均接入视频采集模块3.5转换成数字信号，视频分析模块3.3釆用计算机视觉 处理技术实现对运动目标的检测、跟踪及识别并结合报警规则得出相应的处理 结果，中央处理模块3. 1根据处理结果向报警模块3. 4和数据存储模块3. 2发 出是否报警及是否开始存储视频数据指令；通讯模块3. 6则通过网络连接器3. 7 (RJ-45)为控制模块3与PC终端软件4实现报警规则设定及视频的实时传输。如图2、图3所示，是适用于上述本发明智能视频监控系统的监控方法其 步骤如下(见图2): A、系统初始化初始化成功后进入下一步骤，否则，再次 进行初始化；B、报警规则读入报警规则读入成功，则进入下一步骤，否则， 继续进行报警规则读入；C、视频分析对视频图像进行分析，有异常发生，则 进入下一步骤，否则，继续进行视频分析；D、视频处理将视频分析程序送来 的有异常发生的信息进行处理，包括触发报警模块，存储异常数据备查，以 及写报警日志；所述的触发报警模块是触发报警模块3.4.后启动报警器2;完 成视频处理后再次进行视频分析。所述的视频分析程序按下述步骤进行(见图 3): a、监控视频获取在适当位置安装监控摄像头，以获取最有利于处理的视 频流；b、视频预处理对于获取的视频流进行预处理，包括去除噪声，调整帧 率和帧大小；c、背景建模建立合理真实的背景，以便得到准确的前景目标； d、前景分割利用减背景技术得到前景目标，同时对于虚假前景予以消除；e、 阴影消除利用HSV颜色空间法及阴影的方向去除各种阴影；f、目标跟踪克 服目标跟踪中遮挡等问题，对于场景中的多目标进行跟踪，记录其运动轨迹及 运动方向；g、运动轨迹的分析根据目标的轨迹和报警规则的设定，分析目标 的运动轨迹是否属于异常活动，若是，则触发报警；h、目标识别对前景物体 进行识别分类，分类的种类包括人或/和车、或/和物体，即为人，或是车， 或是物体，也可以是他们的组合，如人和车，人和物体，车和物体；物体还可 以是其它可感应的物体。实施例2:本实例是一种用于博物馆防盗的智能视频监控系统系统和监控方法，与上
述实施例l不同的是它是按博物馆的特点设置。 一般博物馆分布成三大区域-监视区(一般为警戒区域内逗留指定时间即开始报警)、防护区(进入警戒区域 内即时或/和在警戒区域内逗留指定时间即开始报警)和禁区(在进入警戒区域 时即开始报警)。禁区是指存储、保管防护目标的库房、保险柜、修复室和其它 不允许公众出入的区域。我们可以在需要防护的目标(比如墙壁上悬挂供游览 者观看的艺术品)设置多边形区域将其覆盖如果有人进入此展区受保护的艺 术品警戒区内超过逗留指定时间即开始报警，同时设置有人将此艺术品取走， 则触发报警规则即时发出警报，以达到实时监视的目标，满足这种要暴露在外 而又要防止其被盗走的特殊应用场合。此实例还可应用于机场恐怖分子在敏感 区域故意丢弃物品的情况，夜间有嫌疑人在银行外闲荡试图有不轨行为的情况。
实施例3:
本实例是一种用于交通监控的视频监控系统和监控方法，与上述实施例1、 2不同的是它是为实现交通中的车流量和违规驾驶的监控。车流量的监控是这 样实现的它是通过计算单位时间内穿过虚拟警戒线车辆的数量来判断路况信 息。处理的大致流程首先检测出运动前景(运动的车辆)，对每个车辆进行跟 踪得到其物理中心位置，中心穿过警戒线则计数器加1，最后统计单位时间内的 个数便可得知车流量的大小。对于违规驾驶本系统可以识别出车辆超速和车辆 闯红灯的两种情况。车辆超速的监控的实现同样对检测出的车辆进行跟踪处 理，同时结合摄像机的定标信息，计算出两帧间的物体移动实际距离，从而得 到车辆的速度判断是否超速。闯红灯的监控的实现利用双警戒线，在十字路 口的两个斑马线分别设置两条虚拟境界线，在红灯的时间间隔内使其生效，对 监控范围内的所有车辆进行跟踪，若有车辆在红灯时同时穿过了两条警戒线则 视为闯红灯，因为只穿越第一条警戒线有可能是车辆右拐的情形，而此类情况 并不违反交通规则。此实例还可应用于政府办公大楼、奥运会场所、领事馆等。
本发明的保护范围不限于上述实施例。
权利要求
1、 一种智能视频监控系统，其特征在于，它包括摄像机组(l)、报警器(2)、 控制模块(3)、 PC终端软件(4);其中，摄像机组(1)、报警器(2)及PC终 端软件(4)分别与控制模块(3)连接；所述控制模块(3)包括中央处理模块(3.1)、数据存储模块(3.2)、视频分析模块(3.3)、报警模块(3.4)、视频 采集模块(3.5)、通讯模块(3.6)和网络连接器(3. 7);所述数据存储模块(3.2)、 视频分析模块(3.3)和通讯模块(3.6)均与中央处理模块(3.1)双向相联， 报警模块(3.4)与中央处理模块(3.1)单向相联；视频采集模块(3.5)通过 视频分析模块(3.3)与中央处理模块(3. l)相联；网络连接器(3.7)通过通讯模 块(3.6)与中央处理模块(3.1)相联。
2、 根据权利要求l所述的智能视频监控系统，其特征在于，所述的PC终 端软件(4)包括显示模块(4. 1)、报警规则模块(4.2)和报警日志模块(4.3)， 通过TCP/IP与网络连接器(3.7)相联；所述的网络连接器(3.7)选自RJ-45。
3、 根据权利要求1所述的智能视频监控系统，其特征在于，所述的视频分 析模块(3.3)是能将视频内容分析程序固化在其内的外部高速程序存储器，用 于检测出监控范围内感兴趣的运动物体并加以跟踪和识别，将处理结果传输给 中央控制器。
4、 根据权利要求1或3所述的智能视频监控系统，其特征在于，所述的视 频分析模块(3.3)选自于美国TI公司的TMS320C6000数字信号处理器。
5、 根据权利要求2所述的智能视频监控系统，其特征在于，所述的报警规 则模块(4.2)是存有特定的报警规则的报警规则模块，该报警规则是用户根据 其实际需要设置的以下几种不同类型的报警规则的一种或其组合1) .场景变化，包括物体被移动、遮盖异常；2) .单警戒线，包括设置穿越方向，即物体按指定方向穿过指定的防线；3) .双警戒线，包括设置穿越方向，即物体按指定方向穿过指定的两条防线；4) .警戒区域，即设置任意多边型的警戒区域。
6、 根据权利要求2所述的智能视频监控系统，其特征在于，所述的报警规 则模块(4.2)是存有报警类型为进入警戒区域内即时或/和在警戒区域内逗留 指定时间即开始报警的报警规则模块。
7、 根据权利要求2所述的智能视频监控系统，其特征在于，所述的报警规 则模块(4.2)是存有报警类型为场景变化报警规则设置成在指定区域内是否有 物体移走或留下即开始报警的报警规则模块。
8、 根据权利要求书l所述的智能视频监控系统，其特征在于，所述的数据 存储模块(3.2)是当报警规则模块(4.2)设定的报警规则被触犯后才开始存 储视频的数据存储模块。
9、 一种用于权利要求1的智能视频监控系统的监控方法，其特征在于，它 包括下述步骤A、 系统初始化初始化成功后进入下一步骤，否则，再次进行初始化；B、 报警规则读入报警规则读入成功，则进入下一歩骤，否则，继续进行 报警规则读入；C、 视频分析对视频图像进行分析，有异常发生，则进入下一步骤，否则， 继续进行视频分析；D、 视频处理将视频分析程序送来的有异常发生的信息进行处理，包括 触发报警模块，存储异常数据，以及写报警日志；所述的触发报警模块是触发 报警模块(3.4)后启动报警器(2);完成视频处理后再次进行视频分析。
10、 根据权利要求9所述的智能视频监控系统的监控方法，其特征在于， 所述的视频分析程序包括a、 监控视频获取在适当位置安装监控摄像头，以获取最有利于处理的视频流；b、 视频预处理对于获取的视频流进行预处理，包括去除噪声，调整帧率和帧大小；C、背景建模建立合理真实的背景，以便得到准确的前景目标；d、 前景分割利用减背景技术得到前景目标，同时对于虚假前景予以消除；e、 阴影的消除利用HSV颜色空间法及阴影的方向去除各种阴影；f、 目标跟踪克服目标跟踪中遮挡等问题，对于场景中的多目标进行跟踪， 记录其运动轨迹及运动方向；g、 运动轨迹的分析根据目标的轨迹和报警规则的设定，分析目标的运动 轨迹是否属于异常活动，若是，则触发报警；h、 目标识别对前景物体进行识别分类，分类的种类包括人或/和车、或/ 和物体。
全文摘要
本发明涉及一种智能视频监控系统及其监控方法。系统的摄像机组、报警器及PC终端软件分别与控制模块连接；控制模块包括中央处理模块、数据存储模块、视频分析模块、报警模块、视频采集模块、通讯模块和网络连接器；数据存储模块、视频分析模块和通讯模块均与中央处理模块双向相联，报警模块与中央处理模块单向相联；视频采集模块通过视频分析模块与中央处理模块相联；网络连接器通过通讯模块与中央处理模块相联。监控方法包括下述步骤A.系统初始化；B.报警规则读入；C.视频分析；D.视频处理。本发明优点是能作实时智能自动监控，无须设置监视人员；能报警和存储监控时间段内的视频流；具有自动智能分析能力，按需存储视频，能极大节约存储空间。
文档编号G06T7/20GK101123721SQ200710053439
公开日2008年2月13日 申请日期2007年9月30日 优先权日2007年9月30日
发明者沈志伟, 晖 聂, 赵忠祥, 昆 陈, 黎 陈, 马天宇 申请人:湖北东润科技有限公司