一种视频监控数据存储管理系统的制作方法

专利名称：一种视频监控数据存储管理系统的制作方法
技术领域：
本发明涉及视频监控领域，尤其涉及一种视频监控数据存储管理系统。
背景技术：
现有的监控系统一般只起着监视的作用，监视器画面上播放的都是来自各个摄像机的实时视频数据流。由于用户不可能时刻盯着监控画面，所以绝大部分监控视频数据都是在用户没有观看的情况下自动存储。只有在发生了事故(比如爆炸、偷窃)之后，才会通过类似看电影的方式从大量的视频数据中寻找证据。很显然，这种浏览、检索的效率很低。
为此，现有技术中又出现了采用抽帧的方式存储视频数据。这种方式是基于时间均等采样，从视频数据中抽取帧。由于是对视频数据进行采样，因而其影响了画面的流畅性；并且，有用的监控图像和无用的监控图像同等对待，在情况方式下，有用的图像就很可能不被抽取到。
另外，现有技术中由于是完整的存储整个视频数据，因而占用较多的存储空间，使得设备成本加大。

发明内容
本发明所要解决的技术问题在于提供一种浏览检索效率高的视频监控系统。为了解决上述技术问题，本发明提出一种视频监控数据存储管理系统，包括视频分析装置，用于对获得的视频监控数据进行背景参考帧建模以获得背景参考帧，并根据该背景参考帧进行运动对象检测以获得运动对象；提取该运动对象的特征信息作为索引
信息，并根据所述运动对象检测的结果中运动对象的数目对所述视频监控数据进行分割形成
分段视频监控数据；
视频编码器，用于对每段视频监控数据进行视频编码；存储器，用于存储所述视频编码器编码后的视频数据；数据管理器，作为数据库管理系统用于存储管理所述索引信息；
输入输出装置，用于显示所述索引信息及视频数据；并根据用户输入对所述数据管理器所存储索引信息进行査询/编辑，也根据所述所以信息读取所述存储器中的视频数据显示输出。其中，所述背景参考帧建模利用高斯混合模型对每段视频监控数据进行建模得到背景参 考帧。其中，所述运动对象检测包括将所述背景参考帧与当前视频监控数据的当前帧图像的 灰度图像相减获得运动对象。其中，当所述视频监控图像为彩色图像时，所述运动对象检测中还记录所述运动对象的 位置坐标，并通过该位置坐标在所述当前帧图像的彩色图像中确定彩色的运动对象。其中，所述运动对象的特征信息至少包括其直方图信息、形状信息、边缘信息中的一个其中，所述根据所述运动对象检测的结果中运动对象的数目对所述视频监控数据进行分 割包括将没有运动对象的帧所在位置作为分界对所述视频监控数据进行分割；或者，若某 一帧的运动对象的数目少于预设值，则将其所在位置作为分界对所述视频监控数据进行分割其中，该系统应用于交通控制领域。其中，所述索引信息还包括每段所述视频监控数据的关键帧。 其中，所述视频分析装置还用于当确定了所述运动对象的特征信息后，与预设的警报事件进行匹配，若满足所述警报事 件，则通过所述输入输出装置输出报警信号。 其中，所述输入输出装置包括应用系统中间件，用于接收来自所述视频分析装置的索引信息并输出至下述监视器显示 ;还作为与所述数据管理器的接口接收用户的输入信息对所述数据管理器中存储的索引信息 进行査询/编辑，并将査询结果显示于所述监视器，也根据所述索引信息从所述存储器中读 取视频监控数据解码输出至所述监视器显示；还用于对来自视频编码器的视频监控数据进行 解码输出至所述监视器显示；监视器，用于进行索引信息及视频监控数据的显示。本发明中，由于根据运动对象检测得到了包含运动对象特征信息的索引信息，并将该索 引信息进行显示及存储，从而可以通过该索引信息进行视频的査询和检索，使得査询和检索 效率大大提高。并且，由于对视频数据进行了分段，将不包含运动对象的帧或者包含运动对 象少的帧(少于设定值)舍弃，从而减少视频数据的存储量，降低了设备成本。

图l是本发明一种视频监控数据存储管理系统的一个实施例的结构示意图; 图2是图1所示实施例的工作流程图；图3是监视画面显示结构的一个实施例的示意图； 图4是本发明进行视频分割的一个实施例的示意图；图5是图1所示实施例中数据流向的示意图。
具体实施方式
下面结合附图对本发明进行详细阐述。参考图l，图示了本发明一种视频监控数据存储管理系统的一个实施例的结构示意图。如图所示，为虚线框的范围，包括视频分析装置12，用于接收来自摄像机ll的视频监控数据，并对该数据进行背景参考帧 建模，建模完成后进行运动对象检测以提取运动对象；提取运动对象后，计算得到该运动对象的特征信息以作为索引信息；还根据每帧图像中 运动对象的数目对视频监控数据进行分割以形成分段视频监控数据，将该分段视频监控数据输入至下述视频编码器13;还用于根据预设的警报事件与运动对象进行匹配，若匹配成功， 则产生报警信号至下述应用系统中间件16和数据管理器14;其中，所述索引信息针对分割后的每段视频监控数据，每段视频监控数据对应一个索引 信息。该索引信息不仅包括所述运动对象的特征信息，还包括视频监控数据的录制时间信息 ，以及该段视频监控数据关键帧。所述的关键帧可以取该段视频监控数据的第一帧，或者其 它任意一帧。视频编码器13，用于对来自所述视频分析装置12的分段视频监控数据进行编码。并将编 码后的分段视频数据一路输出至存储器15进行存储，另一路输出至所述应用系统中间件16。数据管理器14，用于作为数据库管理系统存储管理来自所述视频分析装置12的索引信息 及报警信号；存储器l5，用于存储所述视频编码器l3输出的编码后的分段视频数据； 应用系统中间件16，用于接收来自视频分析装置12的索引信息和报警信号，并将该索引 信息和报警信号实时的输出至所述监视器17进行显示输出；并且，还作为用户与数据管理器 14之间的接口，向用户提供视频监控数据的査询/编辑界面，接受用户的输入，并根据用户 的输入在所述数据管理器14中査找/编辑对应的索引信息。还用于接收来自视频编码器13的编码后的分段视频监控数据，将其解码后实时的输出至所述监视器17显示。
对于本实施例的工作过程可以参考图2所示实施例的阐述。
参考图2，图示了图l所示实施例的工作流程图。如图所示，包括以下步骤步骤21，视频捕获。本步骤中获得来自摄像机的视频监控数据；步骤22，背景参考帧建模。
本步骤对所述视频监控数据进行背景参考帧建模，例如可以采用高斯混和模型对每一个像素进行建模，建模之后便可以得到一个背景参考帧。
本步骤每间隔一定的时间执行一次以确定最新的背景参考帧，例如每30分钟执行一次。步骤23，运动对象检测。
本步骤中，若摄像机采集的视频监控图像是彩色的，则首先将所述背景参考帧与所述彩色的视频监控数据转换为灰度图像。在灰度图像之下将所述视频监控图像的每一帧与所述背景参考帧相减，从而得到其中的运动对象。
若所述摄像机本身所采集的就是灰度图像，则不需要进行转换直接做减的操作即可得到运动对象。
对于彩色视频监控数据来说，当确定了灰度运动对象后还需要根据该灰度运动对象的位置坐标，在对应的彩色图像上确定真实的运动对象。步骤24，视频分割。
本步骤中，按照每帧图像中运动对象的数目对视频监控数据进行视频分割，得到分段的视频监控数据。例如
参考图4，图示了本发明进行视频分割的一个实施例的示意图。如图所示，展示了包含7帧图像的视频序列，分别是a、 b、 c、 d、 e、 f、 g所标示。
其中，a帧中经过运动对象检测确定包含6个运动对象(椭圆所示)，b帧中经过运动对象检测确定包含3个运动对象，c帧中经过运动对象检测确定包含4个运动对象，d帧中经过运动对象检测确定包含l个运动对象，e帧中经过运动对象检测确定包含6个运动对象，f帧中经过运动对象检测确定包含3个运动对象，g帧中经过运动对象检测确定包含5个运动对象。
假设预先设定运动对象的数目的阈值为2，即当一帧图像中运动对象的数目小于等于2时，则认为该帧图像包含的运动对象较少，应在此处进行分割。
所以，d帧仅包含l个运动对象，小于阈值2，因而在其所在位置进行分割。这样便将图4中所示的视频序列分割为两段。对于整个视频监控数据亦按此法进行分割，便可以得到若干 段分段视频数据。并且，对于d帧来说，其可以归入前一段，亦可归入后一段，后者将其删除，以节省存 储容量。步骤25，计算特征信息。本步骤在视频分割步骤结束后，计算每一个分段视频数据中运动对象的特征信息。这里 的特征信息包括了运动对象的直方图、形状、边缘等属性。由于在一般的数字图像处理书中 都有比较详细的介绍，故在此不进行赘述。步骤26，产生索引信息。本步骤中，将计算得到的特征信息，以及摄像机采集视频监控数据时的时间信息31作为 对应的分段视频数据的索引信息；该索引信息还包括对应分段视频数据的关键帧，例如可以 是对应段视频数据的第一帧或中间一帧等等。其中，所述时间信息31包括对应分段视频数据的录制开始时间、录制结束时间、时长及 帧数等信息。步骤27，数据管理器及中间件。本步骤中，将步骤26得到的索引信息发送至所述数据管理器进行存储管理，以及发送至 所述应用系统中间件。所述应用系统中间件收到所述索引信息后，便将其输出至监视器中进行显示。所述监视 器的显示可以参考图3所示实施例。 步骤28，视频编码器。本步骤中，将经步骤24视频分割得到的分段视频数据进行视频编码，例如可以采用 H. 264/MPEG-4/AVS等视频编解码标准，并将编码后的分段视频数据输出至存储器及所述应用 系统中间件。步骤29，输出至存储器及中间件。本步骤中，所述存储器接收到所述编码后的分段视频数据后便进行存储；所述应用系统 中间件接收到所述编码后的分段视频数据后，首先进行解码，解码完毕后发送至所述监视器 进行显示。所述监视器的显示的一个实施例可以参考图3。步骤30，警报产生。本步骤中，根据运动对象检测步骤23检测确定的运动对象与预先设置好的警报定义事件 进行匹配，若匹配成功，则表明发生了某个需要报警的事件，此时便将该报警信号输出至所述数据管理器和应用系统中间件。
例如，预先定义的警报事件为检测到红色的运动对象时便进行报警，则当步骤23检测得到的运动对象为红色，则向所述数据管理器和应用系统中间件发送报警信号。
所述警报事件的定义，主要依据所述运动对象的特征信息及数目，例如运动对象的边界、颜色、个数、形状、直方图等。
由于本步骤的存在，可以免去监控人员的实时的监控，仅当发生警报事件后才通过报警信号的方式通知监控人员。这样一来，便节省了人力及监控工作的劳累程度。
参考图3，图示了监视画面显示结构的一个实施例的示意图。如图所示，包括磁盘信息块，其包括了当前索引信息在所述数据管理器的位置，以及对应的分段视频数
据存储在所述存储器中的位置。例如
当用户确定査看某一索引信息所在的分段视频数据时，则通过录制时间等信息从所述存
储器中读取对应的分段视频数据进行显示；或者，也可以在存储所述分段视频数据时即建立
存储地址与所述索引信息的对应关系以方便査找。
索引信息及对应分段视频帧序列(也即对应分段视频数据)，所述索引信息来自步骤26所产生的信息，而所述对应段的视频序列则来自步骤28输出至应用系统中间件并经解码后的视频数据。
所述索引信息则有包括了对应段的视频序列的录制开时间、录制结束时间、关键帧图
像、运动区域及特征、运动速度等级、帧数与时长。
对于录制开时间、录制结束时间、关键帧图像、运动区域(运动对象)及特征、帧数与时长的说明不再重复，可以参考上文。
其中，所述运动速度等级是相对的，即只有慢、中、高几种相对的速度。这三种速度的
确定采用模式识别中的训练学习方法，首先确定聚类的数目为3 (慢、高、中)，然后进行训练，基于这些训练，利用聚类方法，将新检测到的运动对象的速度分为上述速度中的某一种。
所述运动速度等级信息对于基于交通监测的视频监控来说是非常必要的，其可以得到某一道路上车辆的相对速度，从而为交通控制提供了有价值的参考依据。
上述的视频分割可以将连接的视频监控数据按照运动对象的多少进行分割， 一方面节省了存储空间的大小；另一方面，与产生的索引信息配合，有利于按照索引信息进行检索，已
9提高检索的效率。
图l所示实施例的检索过程的一个实施例如下
(1) 用户通过图3中显示的索引信息可以从所述存储器中读取到每个索引信息对应的分 段视频数据，以进行回放；
(2) 用户可以通过运动对象的直方图、形状等特征信息，按时间顺序遍历数据管理器 中的每个关键帧中的运动对象，通过欧式距离等方法量度它们之间的相似性，最后按相似性 大小的顺序把匹配结果显示给用户，实现基于内容的图像检索和视频检索。因此，避免了现 有技术中人工的目视检索，提高了检索的效率及简便性。
在本发明的一个优选的实施例中，所述存储器为基于IP-SAN的存储器，其与所述应用系 统中间件及所述视频编码器之间采用基于i SCSI /RTP/RTCP/RTSP协议的视频传输。
优选的，图l所示实施例应用于交通监测系统，其能够检测到车辆(也就是运动对象) 的各种特征信息及数目，从而为交通控制决策提供了可靠的依据。
参考图5，图示了图l所示实施例中数据流向的示意图。如图所示，其分为前端、后端及 网络部分。
处于前端的包括摄像机、视频分析装置、视频编码器，而处于后端的则包括应用系统中 间件和监视器，网络部分则包括存储器(IP-SAN存储器)。
其中，摄像机采集到的视频监控数据经过视频分析装置后，得到分段视频数据及索引信 息；该分段视频数据又经视频编码器编码后，通过Rtp/Rtsp服务器一部分直接通过网络发送 至后端的应用系统中间件，由应用系统中间件的Rtp/Rtsp客户端进行接收并由解码器进行解 码，再由分段视频数据读取模块进行解析并输出至监视器显示；
而对于索引信息来说，其同样一路直接通过网络发送至应用系统中间件，并由索引解析 模块解析好通过监视器显示。
而分段视频数据及索引信息均还通过另一路，由图中索引存储模块、分段视频数据存储 模块通过iSCSI封装模块后发送至存储器进行存储。其中，所述分段视频数据存储于所述存 储器，而所述索引信息则存储于同样位于网络上的数据管理器(图未示)。
当需要从所述存储器读取分段视频数据时，则从所述存储器读取后，通过iSCSI解封模 块进行解封并进行解码后显示于所述监视器。
其中，所述Rtp/Rtsp客户端、解码器、索引解析模块、分段视频数据读取模块、iSCSI解封模块均是所述应用系统中间件的组成部分。而所述Rtp/Rtsp服务器、索引存储模块、分 段视频数据存储模块、iSCSI封装模块则属于所述视频解码器的组成部分。
图中所示的实时播放数据流即是实时传输的分段视频数据，所述索引数据流则是所述索 引信息，所述视频检索数据流是指用户通过应用系统中间件提供的检索接口进行检索后，从 所述存储器所读取的分段视频数据。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围 ，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
权利要求
1.一种视频监控数据存储管理系统，包括视频分析装置，用于对获得的视频监控数据进行背景参考帧建模以获得背景参考帧，并根据该背景参考帧进行运动对象检测以获得运动对象；提取该运动对象的特征信息作为索引信息，并根据所述运动对象检测的结果中运动对象的数目对所述视频监控数据进行分割形成分段视频监控数据；视频编码器，用于对每段视频监控数据进行视频编码；存储器，用于存储所述视频编码器编码后的视频数据；数据管理器，作为数据库管理系统用于存储管理所述索引信息；输入输出装置，用于显示所述索引信息及视频数据；并根据用户输入对所述数据管理器所存储索引信息进行查询/编辑，也根据所述所以信息读取所述存储器中的视频数据显示输出。
2.根据权利要求l所述的视频监控数据存储管理系统，其特征在于，所述背景参考帧建模利用高斯混合模型对每段视频监控数据进行建模得到背景参考帧。
3.根据权利要求l所述的视频监控数据存储管理系统，其特征在于，所述运动对象检测包括将所述背景参考帧与当前视频监控数据的当前帧图像的灰度图像相减获得运动对象。
4.根据权利要求3所述的视频监控数据存储管理系统，其特征在于，当所述视频监控图像为彩色图像时，所述运动对象检测中还记录所述运动对象的位置坐标，并通过该位置坐标在所述当前帧图像的彩色图像中确定彩色的运动对象。
5.根据权利要求l所述的视频监控数据存储管理系统，其特征在于，所述运动对象的特征信息至少包括其直方图信息、形状信息、边缘信息中的一个。
6 根据权利要求l所述的视频监控数据存储管理系统，其特征在于， 所述根据所述运动对象检测的结果中运动对象的数目对所述视频监控数据进行分割包括将 没有运动对象的帧所在位置作为分界对所述视频监控数据进行分割；或者，若某一帧的运动 对象的数目少于预设值，则将其所在位置作为分界对所述视频监控数据进行分割。
7 根据权利要求l所述的视频监控数据存储管理系统，其特征在于， 该系统应用于交通控制领域。
8 根据权利要求l所述的视频监控数据存储管理系统，其特征在于， 所述索引信息还包括每段所述视频监控数据的关键帧。
9 根据权利要求1至8中任一项所述的视频监控数据存储管理系统， 其特征在于，所述视频分析装置还用于当确定了所述运动对象的特征信息后，与预设的警报事件进行匹配，若满足所述警报 事件，则通过所述输入输出装置输出报警信号。
10 根据权利要求1至8中任一项所述的视频监控数据存储管理系统， 其特征在于，所述输入输出装置包括应用系统中间件，用于接收来自所述视频分析装置的索引信息并输出至下述监视器显 示；还作为与所述数据管理器的接口接收用户的输入信息对所述数据管理器中存储的索引信 息进行査询/编辑，并将査询结果显示于所述监视器，也根据所述索引信息从所述存储器中 读取视频监控数据解码输出至所述监视器显示；还用于对来自视频编码器的视频监控数据进 行解码输出至所述监视器显示；监视器，用于进行索引信息及视频监控数据的显示。全文摘要
本发明公开了一种视频监控数据存储管理系统，包括视频分析装置，用于对获得的视频监控数据进行背景参考帧建模以获得背景参考帧，并根据该背景参考帧进行运动对象检测以获得运动对象；视频编码器，用于对每段视频监控数据进行视频编码；存储器，用于存储所述视频编码器编码后的视频数据；数据管理器，作为数据库管理系统用于存储管理所述索引信息；输入输出装置，用于显示所述索引信息及视频数据。本发明中，由于根据运动对象检测得到了包含运动对象特征信息的索引信息，并将该索引信息进行显示及存储，从而可以通过该索引信息进行视频的查询和检索，使得查询和检索效率大大提高。
文档编号H04N7/18GK101631237SQ20091030521
公开日2010年1月20日 申请日期2009年8月5日 优先权日2009年8月5日
发明者卜庆凯, 徐敏荣, 李月高, 田小马, 苑希强, 邵明欣, 郑金山, 陈维强, 隋守鑫, 岷 韩 申请人:青岛海信网络科技股份有限公司