专利名称：一种视频内容采集及处理装置的制作方法
技术领域：
本实用新型涉及一种智能视频监控系统，尤其涉及一种视频内容采集及处理装置。
背景技术：
继第一代模拟视频监控、第二代数字视频监控技术之后，第三代视频监控是完全 建立在全数字化的基础上，以网络为依托，以数字视频的压缩、传输、存储和播放为核心，以 智能实用的视频内容处理为特色的网络智能视频监控技术。现有的网络视频监控系统与设备虽然在功能和性能上得到了极大的提高，但是仍 然受到了一些固有因素的限制，其中既包含人作为监控者自身在生理上的弱点，也包含视 频监控系统配置和以及视频监控设备在功能和性能上的局限性。监视人员的行为不稳定，如注意力不集中，随意，易被干扰；并非每个监控点每时 刻都处在监控视野中；无选择的记录所有的视频，需要大量的存储空间，而且录像数据无法 被有效的分类存储；只能“监”，不能及时地“控”，更多是用于事后处理和查证。这些因素使 各类视频监控系统均或多或少的存在报警精确度差、误报和漏报现象多、报警响应时间长、 录像数据处理困难等缺陷，从而导致整个系统在安全性和实用性的降低。
实用新型内容鉴于目前的监控设备中人为监控出现的不稳定性和无法有效处理录像数据的技 术问题，因此有必要提供一种视频内容采集及处理装置。一种视频内容采集及处理装置，其特征在于包括传感器和与传感器相应的处理单 元及外围的应用库模块、控制单元、存储单元、数据库模块；所述传感器与其处理单元之间 有连接关系，所述处理单元分别与所述应用库模块、存储单元和数据库模块有连接关系，所 述控制单元分别与所述处理单元、存储单元、数据库模块、应用库模块有连接关系。优选地，所述传感器为视频传感器；所述与传感器相应的处理单元为视频处理单兀。所述视频内容采集及处理装置还包括客户单元，所述客户单元包括客户计算机和 打印机，所述客户单元分别与所述存储单元、数据库模块、控制单元、应用库模块有连接关系。所述视频处理单元可以包括接收视频传感器输出的模拟视频信号后将其转换成 数字视频信号的视频A/D转换器、处理模块、内部控制单元和通信单元组成；所述处理模块 分别与所述视频A/D转换器、内部控制单元、通信单元有连接关系，所述内部控制单元与所 述通信单元有连接关系。所述视频处理单元也可以包括接收视频传感器输出的IP视频信 号后将其转换成数字视频信号的IP视频/数字视频转换器、处理模块、内部控制单元和通 信单元组成；所述处理模块分别与所述IP视频/数字视频转换器、内部控制单元、通信单 元有连接关系，所述内部控制单元与所述通信单元有连接关系。所述处理模块为数字处理器。所述应用库模块包括文件处理程序、视频压缩处理程序和视频内容分析处理程序集。所述内部控制单元接收所述应用库模块来的应用处理程序，在所述处理模块中安 装应用处理程序；所述内部控制单元接收所述控制单元的指令，当对应一个规则的状态检 出时，向所述控制单元报警；所述通信单元实现所述处理模块、内部控制单元与所述存储单 元、数据库模块、应用库模块、控制单元之间的数据传输。所述处理模块能压缩视、音频信号，并将压缩的视、音频数据经通信单元，传送到 存储单元进行存储；处理模块将索引数据和运行应用程序的结果经通信单元，传送到数据 库模块进行存储。系统操作人员通过所述客户计算机进行控制，指令所述控制单元安装与应用相关 的内部规则，查询所述数据库模块存储的分析结果和查看所述存储单元存储的数字视频。本实用新型的有益效果通过在传感器中连接相应的处理单元运行视频内容分析 处理程序，使系统自动对所监控的画面进行处理，改变了以往完全由工作人员对监控画面 进行监视和处理的模式，减少人为监控的不稳定性，减少无用数据量并更加精确的定义安 全威胁的特征，有效降低误报和漏报现象。说明书附图
图1是一种视频内容采集及处理装置框图；图2是视频内容采集及处理装置简化的工作流程图；图3A是视频A/D转换器接收模拟视频信号后转换成数字视频信号的视频处理单 元框图；图;3B是IP视频/数字转换器接收IP视频信号后转换成数字视频信号的视频处 理单元框图；图4是应用库模块中视频内容分析处理程序集的软件结构框架；图5是视频处理单元中视频内容分析处理程序的工作流程。
具体实施方式
下面结合说明书附图，具体说明本实用新型的具体实施方式
。如图1所示的视频内容采集及处理装置框图。(1)系统中可以包含一个或者多个视频传感器与视频传感器相应的视频处理单兀。视频传感器输出模拟或数字视频信号，数字视频信号经视频处理单元后，可以形 成网络上传输的数据包(如IP视频信号)。视频处理单元接收视频传感器输出的视频信号，视频处理单元可以在靠近视频传 感器的位置或远程连接视频传感器。另一种情况是视频处理单元可以嵌入视频传感器。为了提高报警精确度，补充视频内容处理的不足，系统可加入其它类型的传感器 和相应的处理单元。不受下列传感器示例的限制，如声音传感器、烟雾传感器、温度传感器寸。(2)系统进一步包含连到视频处理单元的一个应用库模块。[0029]应用库模块至少由一个文件处理程序、视频压缩处理程序和视频内容分析处理程 序集组成。应用库模块中的视频内容分析处理程序集可分为行为识别类信息的处理程序 集，不受下列处理程序示例的限制，如警戒区越界检测，滞留侦测，逆行检测等和数据获取 类信息的处理程序集，不受下列处理程序示例的限制，如流量检测，车牌识别，人脸识别等。 前者可作为报警输入；后者用于前端的字幕叠加、录像索引、抓拍图片索引、智能PTZ(Pan/ Tilt/Zoom，云台上下/左右/变倍)等。应用库模块中的视频内容分析处理程序集内的视 频内容分析处理程序不受下列视频内容分析处理程序示例的限制，如应用1是警戒线越界 检测应用处理程序，应用2是人脸识别应用处理程序，应用3是高级移动侦测应用处理程 序，应用4是车牌识别应用处理程序。(3)系统进一步包含一个存储单元和一个数据库模块。存储单元接收视频处理单元输出的视频数据并按控制单元建立的内部规则存 储，不受下列内部规则示例的限制，如按时间策略的存储、手动存储、报警存储等。存 储单元不受下列存储单元示例的限制，如计算机的存储器、硬盘、磁带机、DVD(Digital Video Disk)、NAS (Network Attached Storage)、SAN (Storage Area Network)禾口 ISCSI (Internet Small Computer System Interface)等。数据库模块按控制单元建立的内部规则，不受下列内部规则示例的限制，如按时 间策略的存储、手动存储、报警存储等，存储时间、日期和对特定记录输入的视频段的索引。 例如，一个与某个视频传感器关联的输入通路，输入到存储单元存储的位置。记录触发的类 型，手动或按策略，都同样存储在数据库模块中。另一方面，最好用记录压缩的视频段数据 也存储在数据库模块中。(4)系统进一步包含一个控制单元。控制单元控制任一个视频处理单元和应用库模块。控制单元内至少安装一组内部 规则，不受下列内部规则示例的限制，如一组安装规则，一组记录规则，一组报警规则、一组 报警后动作规则和一组授权规则等。一组安装规则确定视频处理单元中安装应用处理程序 的准则，一组记录规则确定记录视频数据的准则，一组报警规则确定视频处理单元向控制 单元报警的准则，一组报警后动作规则确定视频处理单元中激活/去激活已安装的应用处 理程序或者再安装应用处理程序的准则。当安装在控制单元的内部规则请求时，控制单元指令应用库模块在视频处理单元 中安装各种应用处理程序。安装可能在多个视频处理单元中进行，如在一个视频处理单元 中安装警戒线越界检测应用处理程序，在另一个视频处理单元中安装人脸识别应用处理程序，等等。当对应一个规则预定义的状态被所述安装了一个视频内容分析处理程序的视频 处理单元在一段视频数据中检出时，向控制单元报警并转发报警信息到相关所述客户单 元。根据报警后动作规则，同时在数据库模块和存储单元，存储报警期视频段的索引及压缩 的视频段数据。其后，控制单元或者指令应用库模块在视频处理单元中安装另一个视频内 容分析处理程序，或者指令视频处理单元激活/去激活另一个已安装的视频内容分析处理 程序。例如一个视频处理单元运行高级移动侦测应用处理程序，在防区检出一个移动人员 的出现，报警后，立即运行人脸识别应用处理程序进行人脸识别。随时按照来自安装在控制单元中基于时间策略的指令，可能改变应用处理单元的安装或者由操作人员手动触发来改变。(5)系统进一步包含客户单元和打印机。客户单元至少包括一台具有显示器的客户计算机。至少包括一台打印机和一台扬 声器。客户计算机、打印机或者直接，或者通过网络连到数据库模块，存储单元，控制单元和 应用库模块。网络可能是局域网(LAN)，也可能是广域网(WAN)。系统操作人员通过客户计算机进行控制，指令控制单元安装与应用相关的内部规 则。客户计算机能请求播放一个实时流的视频数据。另一方面，客户计算机也能请求重播 存储在数据库模块或存储单元中的视频数据。重播包含多个视频通路中记录的数据，分同 步或不同步两种情况。视频在客户计算机的显示器上播放，音频经扬声器播放。客户计算机也能编辑收到的数据及执行离线探查。所谓“离线探查”按如下方式 操作。客户计算机能请求重播存储在存储单元中的某个视频数据。客户计算机也能指令应 用库模块至少下载一个应用处理程序到客户计算机。在收到应用处理程序和视频文件后， 应用处理程序通过客户计算机离线执行，完成了离线探查。此功能在视频处理单元未安装 该应用处理程序或未激活该应用处理程序时，从记录的视频数据来进行处理。根据安装在控制单元中的一组授权规则，每个操作员拥有个人授权以执行某些操 作。至少安装在控制单元中的某些内部规则允许某些操作员通过客户计算机改变授权。这 种改变包括立即激活或去激活一个视频处理单元中的一个应用处理程序。客户计算机也能查询数据库模块，例如“XX视频传感器检出移动，时间8:00 AM 至9:35 AM”。客户计算机也能请求发送报告到打印机。如图2所示的视频内容采集及处理装置简化的工作流程图。(1)控制单元指令应用库模块在视频处理单元内安装各种应用处理程序。(2)不同的视频处理单元可能安装不同的应用处理程序。然后，视频处理单元接 收从视频传感器来的视频输入。如果视频输入是模拟信号，视频处理单元经模/数处理，转 换成数字视频信号。(3)视频处理单元执行各个视频单元安装的应用处理程序。(4)视频信号可能被压缩，根据安装在控制单元中的一组预定义的记录规则，将 被压缩的视频信号存储在存储单元中。(5)视频处理单元在数据库模块存储索引数据。不受下列索引数据示例的限制， 如可能包括记录的时间，匹配一个人脸出现的时间。另外的例子，如视频通路号，数量统计 的结果如人数，人脸识别的标志和移动侦测检出的运动方向等。(6)当安装在视频处理单元中的一个应用处理程序在运行中检测出由告警规则 预定义的一种状态时，报警控制单元。报警规则的例子，如在一个视频传感器监视的区域 内，人数超过预定义的数字。另外的例子，如在一个视频传感器监视的区域内，检出特定的 人脸等。一个视频处理单元向控制单元的每个报警都在数据库模块存储报警的索引数据。 该数据包括报警的细节，如出现的时间，提供报警传感器的标志等。(7)根据接收到的报警，控制单元至少通知一个客户机有关的报警消息。另一方 面，控制单元指令应用库模块在某个视频处理单元内，安装新的应用处理程序或者控制单 元指令视频处理单元激活/去激活已安装的应用处理程序。根据安装在控制单元中的报警 后动作规则，发出新的指令。例如一个特定人脸被视频处理单元识别后，启动视频压缩处理程序，记录连到该视频处理单元的传感器的视频信号。控制单元的内部规则，至少有某些报警的内部规则应根据存储在控制单元中的基 于时间的策略，如时间表等。如图3所示的视频处理单元框图。(1)在图3A中的视频处理单元，包含视频A/D转换器。视频A/D转换器接收一 个视频传感器输出的模拟视频信号，将其转换成数字视频信号。(2)在图:3B中的视频处理单元，包含IP视频/数字视频转换器。IP视频/数字 视频转换器接收一个视频传感器输出的IP视频信号，将其转换成数字视频信号。(3)视频处理单元进一步由处理模块，内部控制单元和通信单元组成。内部控制 单元接收应用库模块来的应用处理程序，在处理模块中安装应用处理程序。内部控制单元 接收控制单元的指令，当对应一个规则的状态检出时，向控制单元报警。(4)处理模块是数字处理器，能执行由应用库模块安装的应用处理程序。可以有 多个应用处理程序安装在视频处理模块中。(5)视频处理模块能压缩视、音频信号，并将压缩的视、音频数据经通信单元， 传送到存储单元进行存储。处理模块将索引数据和运行应用处理单元的结果经通信单 元，传送到数据库模块进行存储。不受下列通信单元接口示例的限制，如软件接口，CTI (Computer Telephony Integration)接 口禾口 IP Modem 等。如图4所示的应用库模块中视频内容分析处理程序集的软件结构框架，其中包括 视频内容处理预置部分、视频内容处理算法部分和视频内容处理结果及报警部分。在该框架中，系统用户可以在客户计算机上预置视频内容分析处理算法模式，如 警戒线越界检测、物品保全检测、逆行检测等各种视频内容分析处理模式，然后在该模式上 进行该规则下的各项参数细节配置，如防区设置、停留时间设置、目标速度过滤、尺寸过滤 等。再进行事件设置，如目标类型、事件类型、时间表等。这样，符合预设规则的场景将会触 发报警事件，反馈给客户机的用户。通常，视频内容处理算法部分包括以下几个主要的模块背景建模与维护、前景探 测、目标跟踪、目标分类、轨迹处理、事件识别等。视频预处理过程实现数字图像去噪及格式转换，满足VCA算法的要求。(1)背景建模与维护背景建模就是通过某种模型得到视频场景的“背景表示”。其基本思想是利用背景 的参数模型来近似背景图像的像素值，并且背景图像必须是随着光照或外部环境的变化而 实时更新的，因此背景的维护及其更新是非常重要的，它将影响前景目标的探测、跟踪与识 别。通常情况是系统进入视频处理过程前，需要对背景进行自动学习，以完成背景建立。(2)前景目标探测背景建模完成后，一旦前景出现目标，系统进行背景前景分离。通常采用前景检测 技术是利用当前视频帧与背景的差异来检测发生变化的像素区域，即当前帧图像和背景图 像相减来产生差图像。在获得差图像之后要用阈值结合边缘检测来将图像二值化，从而得 到二值化图像。(3)目标跟踪目标跟踪的实质是在连续多帧视频之间建立基于位置、速度、形状等特征的对应匹配，目的是在连续视频图像的帧之间建立目标的对应关系。有两种常用的目标跟踪方法 一种是基于匹配对应关系，另一种是通过位置预测或者运动估计来明确跟踪目标。系统通 过目标的跟踪，可以了解前景动态信息，如出现的时间、出现的位置、运动的轨迹、运动的方 向、运动的速度、停留时间等，而这些信息可用于后续的行为识别。(4)目标过滤目标跟踪的过程系统对前景区域的目标建立“数据库模块”，包括尺寸、位置、速 度、形状等基本信息，然后系统与预设的“目标过滤规则”进行比对，对“不感兴趣”的不再 进行下一步处理，集中精力继续跟踪“感兴趣”的前景目标，形成轨迹、分配ID等。(5)目标分类为了让算法系统更好地理解实际发生的事件和目标行为，在完成目标的检测及跟 踪后，需要将跟踪的目标分类为事先定义好的类别，然后再完成行为识别。基于运动特性的识别利用目标运动的周期性进行识别，受颜色、光照的影响较小。 基于形状信息的识别利用检测出的运动区域的形状特征与模板或者统计量进行匹配。为使系统具有目标识别能力，通常需要利用已知的目标特征(如人、动物或车辆 等)，对系统进行训练，系统将会在大量已知样本信息上，学习不同目标的特征(大小、颜色、 速度、行为方式等)。这样当系统发现一个目标时，系统将自动与已建立好的模型进行比对 并匹配特性，从而对目标进行分类与识别。(6)轨迹处理过程轨迹处理技术对跟踪成功的目标的运动轨迹进行处理，对运动轨迹进行平滑及误 差修正，使目标的运动轨迹更加接近于真实状态。(7)事件判定识别有了先前先的目标探测与跟踪，有了目标分类，那么将这些采集到的信息与用户 预先设定的报警规则进行比对，即逻辑判断过程，对于触发报警规则的(如入侵探测)，或 者符合事件规则的(如人数统计)，则自动发送报警信息或自动更新统计数据。除了利用视频处理的结果外，事件判定识别还需处理其它传感器接收的数据，综 合判定识别，以提高报警的准确度，减少漏报率。如图5所示的视频处理单元中视频内容分析处理程序的工作流程(1)加载算法过程系统开始工作前，加载用户的预定义规则，如视频内容处理模式、防区、景深参数、 目标尺寸过滤、典型目标参考等信息到视频内容采集及处理装置。(2)过滤器加载为了使视频内容处理算法在不同的应用环境尤其是室外场合有较强的适应性，通 常在视频处理算法框架中加载一些附加模块(各类过滤器及辅助工具)到视频内容采集及 处理装置，实现对特殊场景更好的处理效果，如防抖动、雨雪、灯光抑制等。(3)背景建模及更新视频内容处理开始工作，迭取1-3分钟自适应学习来建立背景模型并自动学习更 新和维护背景。(4)目标提取与跟踪背景模型建立完成后，如果前景出现移动目标，并且满足防区范围及设置的尺寸大小，则系统自动提取并跟踪目标。目前，目标提取的主要方法是背景减除法结合及边缘检 测法。(5)目标分类与识别目标分类与识别是系统对先前提取与跟踪的目标进行分类(如人、动物或车辆等) 与识别(大小、颜色、速度、行为方式等)。(6)视频处理判断过程根据规则判断视频处理的结果是否符合规则预定义的状态。(7)触发报警过程确认目标活动违反规则，根据规则预定义的状态，触发报警并传输报警信息到指 定的用户。本实用新型并不局限于前述的具体实施方式
。本实用新型扩展到任何在本说明 书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
权利要求1.一种视频内容采集及处理装置，其特征在于包括传感器和与传感器相应的处理单元 及外围的应用库模块、控制单元、存储单元、数据库模块；所述传感器与其处理单元之间有 连接关系，所述处理单元分别与所述应用库模块、存储单元和数据库模块有连接关系，所述 控制单元分别与所述处理单元、存储单元、数据库模块、应用库模块有连接关系。
2.如权利要求1所述的视频内容采集及处理装置，其特征在所述传感器为视频传感 器；所述与传感器相应的处理单元为视频处理单元。
3.如权利要求2所述的视频内容采集及处理装置，其特征在于所述视频内容采集及处 理装置还包括客户单元，所述客户单元包括客户计算机和打印机，所述客户单元分别与所 述存储单元、数据库模块、控制单元、应用库模块有连接关系。
4.如权利要求2所述的视频内容采集及处理装置，其特征在于所述视频处理单元包括 接收视频传感器输出的模拟视频信号后将其转换成数字视频信号的视频A/D转换器、处理 模块、内部控制单元和通信单元组成；所述处理模块分别与所述视频A/D转换器、内部控制 单元、通信单元有连接关系，所述内部控制单元与所述通信单元有连接关系。
5.如权利要求2所述的视频内容采集及处理装置，其特征在于所述视频处理单元包括 接收视频传感器输出的IP视频信号后将其转换成数字视频信号的IP视频/数字视频转换 器、处理模块、内部控制单元和通信单元组成；所述处理模块分别与所述IP视频/数字视频 转换器、内部控制单元、通信单元有连接关系，所述内部控制单元与所述通信单元有连接关 系。
6.如权利要求4或5所述的视频内容采集及处理装置，其特征在于所述处理模块为数字处理器。
专利摘要本实用新型公开一种视频内容采集及处理装置，包括传感器和与传感器相应的处理单元及外围的应用库模块、控制单元、存储单元、数据库模块；所述传感器与其处理单元之间有连接关系，所述处理单元分别与所述应用库模块、存储单元和数据库模块有连接关系，所述控制单元分别与所述视频处理单元、存储单元、数据库模块、应用库模块有连接关系。通过在传感器中连接相应的处理单元运行视频内容分析处理程序，使系统自动对所监控的画面进行处理，改变了以往完全由工作人员对监控画面进行监视和处理的模式，减少人为监控的不稳定性，减少无用数据量并更加精确的定义安全威胁的特征，有效降低误报和漏报现象。
文档编号G06F17/30GK201830388SQ20102055940
公开日2011年5月11日 申请日期2010年10月13日 优先权日2010年10月13日
发明者吴承治, 罗正华, 陈绍祥 申请人:成都创烨科技有限责任公司