专利名称：监控系统中基于mpeg-7的视频文件信息存储/检索方法
监控系统中基于MPEG-7的视频文件信息存储/检索方法
背景技术：
智能视频监控是计算机视觉领域一个新兴的应用方向和备受关注的课题。智 能视频监控系统在不需要人为干预情况下，利用计算机强大的数据处理功能，在 算法的支持下对视频数据流进行自动分析，实现对动态场景中运动目标的分割、 分类和跟踪，并在此基础上完成运动目标的行为分析和异常行为预警的功能。
目前的大多监控系统巳集成了智能分析功能，然而智能分析的结果通常被用 作录像控制或者预警，而没有被保存。有的系统提供了专用数据库来保存和检索 智能分析结果，但这使得本就复杂的监控系统更加庞大和难以维护，且文件内容 检索须依赖数据库，灵活性和通用性有限。
活动图像专家组MPEG于1996年开始着手制定MPEG-7标准，正式名称是 "多媒体内容描述接口"，它将为各种类型的多媒体信息规定一种标准化的描述， 这种描述与多媒体信息的内容本身一起,支持用户对其感兴趣的各种"资料"进 行快速、有效地检索。MPEG-7的主要目标包括描述多媒体内容；灵活管理 数据;实现数据源的通用化。 -
发明内容
为了解决现有技术中存在的问题，本发明提出了一种新的监控系统中基于 MPEG-7的视频文件信息存储/检索方法，具体技术方案如下
一种监控系统中基于MPEG-7的视频文件信息存储/检索方法，其中，
1) 视频文件信息存储步骤包括
1.1) 获取到视频数据；
1.2) 分析获取的视频数据，从中提取运动物体的特征，同时进行视频文件 的存储；每存储一个视频文件，同时生成一个基于MPEG-7标准的文本描述文 件，描述文件记录了该视频里运动物体的信息；
2) 视频文件信息检索步骤包括
2.1) 将所有描述文件导入搜索器，根据给定的搜索条件进行搜索；査询条 件范围根据文件存储时提取的运动特征而定；
2.2) 根据结果定位到对应的视频文件；
基于步骤1.2)中得到的文本描述文件，在步骤2.1)中从存储视频文件的视 频库中快速査询和定位所需的视频文件内容。
所述步骤1.2)中包括步骤1.2.1)先从视频数据的图像帧中提取运动目标； 1.2.2)再提取出运动目标的运行轨迹。
所述步骤1.2.1)中包括步骤
1.2丄1)把运动目标均视为刚性物体，只提取物体的矩形轮廓； 1.2丄2 )滤除大物体被判定成若干小区域重叠的情况。
所述步骤1.2丄2)的算法是，当小区域被大区域完全包围时，去掉小区域； 当两区域发生部分重叠时，去掉其中面积较小的区域。
所述步骤1.2.2)中步骤包括1.2.2.1) 对相邻帧中的运动物体按相似度进行匹配，匹配成功的物体便认为
是同一物体；
1.2.2.2) 而该物体在两帧中的位置便构成该物体的轨迹。
所述步骤1.2.2.1)中，在实际场景下，运动物体表现出轨迹的连续性，即相 邻两帧图像中，同一物体移动的距离很小；物体在整体图像中所占比例很小，不 考虑物体运动过程中的形变；
先从图像序列中提取到了运动物体的矩形轮廓，选择物体的位置的物体矩形 轮廓的长和宽作为物体相似度的判决条件，具体来说
用当前帧中的一个运动目标O与上一帧中的所有运动目标位置进行比较， 找出上一帧中所有与O距离相近的一组物体G;再从G中找出与O长宽最相近 的物体P，则认为P与O是同一个物体。
所述步骤1.2.2.1)中的算法步骤包括
a) 运动检测模块从当前时刻相邻的两图像帧分别提取出两组运动物体序列 M" M2，其中中含有Kl个矩形，M2中含有K2个矩形，Mi来自上一帧图 像，M2来自当前帧图像；
b) 设定阈值Tdis， Tarea
Ok为M2中的一个运动物体，k= 1，2...,K2;用Ok与K！中所有运动物体的位 置进行比较，找到Kl中所有与Ok距离小于Tdis的物体组Gk;用Ok与Gk中所 有物体的矩形面积进行比较，找到差异最小的物体P;若P与Ok的距离差异小 于Tarea，则判定中的P与M2中的Ok是用一个物体；若P与Ok的距离差异 大于等于Tarea，则判定Iv^中没有与M2中的Ok相匹配的物体；
c) 根据b)的判决结果，若N^中的某物体在M2中没有找到匹配对象，则 认为中的该物体暂时离开监控范围；若M2中的某物体在中没有找到匹配
对象，则认为M2中的该物体是刚刚出现的新物体。
d) 步骤a、 b和c完成了相邻两帧的轨迹提取；
而某些物体可能暂时被障碍遮挡，若干帧之后又再度出现在监控范围内，对 此情况，需要将b)中的Tdis值稍作调整，同时须设定阈值Ttime;若物体离开 监控范围后Ttime时间内，又找到相匹配的物体，则认为物体是被遮挡；若物体 离开监控范围超过Ttime时间仍无法找到相匹配的物体，则认为该物体完全离开 监控范围，终断其轨迹。
所述步骤1.2)中，生成一个基于MPEG-7标准的文本描述文件的步骤包括 先选择基本特征；再提取运动特征；最后把物体基本特征和运动特征作为描述对 象生成描述文件，描述文件与对应视频文件存在相同路径下，取相同文件名。
与现有技术相比，本方法将MPEG-7和智能视频监控系统相结合，设计了 智能分析算法，提取出了特征参数，基于MPEG-7描述了用户关心的视频信息， 使得监控录像文件可以方便，快捷，准确的检索和定位。准确率高，检索速度快。 为监控系统中海量文件的信息组织和检索提供了有效解决方案，使得视频监控录 像内容高速检索成为可能。
5图l是视频文件存储流程图。
图2是视频文件内容查询流程图。
图3是轨迹提取算法流程图。
图4是对相邻帧中的运动物体按相似度进行匹配算法流程图。
具体实施例方式
下面结合附图与
具体实施方式
对本发明作进一步说明。
在传统视频监控场合中，当需要查看历史录像文件时，往往需要大量人力和 时间来浏览数量庞大的录像文件。监控场合虽多种多样，但通常监控场景固定； 感兴趣的内容固定，例如交通监控中，通常只关心车辆行人运动情况，是否违规， 车流量等等。基于这些特点，本例中，将视频智能分析和MPEG-7综合应用到 固定场合的视频监控中。
1、 视频文件存储框架
视频文件存储部分的程序流程如图1:从监控摄像头获取到实时视频数据 后，送入智能分析模块提取运动物体的特征，同时进行视频文件的存储，即录像。 视频文件录制和视频分析同步进行，每录制一个视频文件，同时生成一个基于 MPEG-7标准的文本描述文件，描述文件记录了该视频里用户感兴趣的运动物体 的信息。基于文本描述文件，便可以从大量的视频库中快速査询和定位到感兴趣 的视频文件内容。
2、 视频文件内容查询框架
视频文件内容査询部分的程序流程如图2:査询时，将所有描述文件导入搜 索器，根据给定的搜索条件进行搜索。査询条件范围根据文件存储时提取的运动 特征而定。由于描述文件中详细记录了物体运动特征及发生运动的时间，因此根 据搜索结果，可以迅速査询到所有视频中符合条件的物体信息，并定位到对应视 频文件的准确位置。
3、 运动检测算法研究
本方法主要针对运动物体的运动特征的描述，而物体的运动轨迹能体现出大 量运动行为特征。因此这里主要研究物体运动轨迹提取。 3.1算法主要流程
轨迹提取算法主要分为两个模块，如图3:
a) 运动物体提取模块准确提取出图像序列中包含的运动物体的区域；
b) 轨迹提取模块根据运动物体提取模块的检测结果，提取出各运动物体 的运行轨迹。
3.2运动目标提取算法
目前应用广泛的运动物体提取算法包括基于帧间差的检测算法，基于背景提 取的运动检测算法。前者检测速度快，但鲁棒性较差，且对物体轮廓不敏感。而 提取运动物体轮廓的准确性对轨迹提取有较大影响。因此这里选择基于背景提取 的运动检测算法。
基于背景提取的运动检测算法可以提取到较精确的物体轮廓，但基于精确轮 廓运动物体的行为分析计算量较大。由于本方法需要基于实时监控视频流进行检 测，且主要检测目标的运动行为，因此可把运动目标均视为刚性物体，即不考虑 物体形变。因此只提取物体的矩形轮廓，以提高检测速度，增强系统实时性。
经过实际测试，基于背景提取的运动检测模块，可以较准确检测出图像序列
6中运动物体，提取到物体的矩形轮廓区域。
但测试后发现，检测结果中发生大物体被判定成若干小区域重叠而成的情 况。导致后续轨迹提取模块无法正确的识别物体。
这里采用几何判断的方法滤除这些重叠区域。重叠区域的滤除基本算法为 当小区域被大区域完全包围时，去掉小区域；当两区域发生部分重叠时，去掉其 中面积较小的区域。
3.3运动轨迹提取算法
轨迹提取的关键是判断相邻帧中的相同物体。即对相邻帧中的运动物体按相 似度进行匹配。匹配成功的物体便认为是同一物体，而该物体在两帧中的位置便 构成该物体的轨迹。
实际场景下，运动物体通常表现出轨迹的连续性。即相邻两帧图像中，同一 物体移动的距离很小。本系统主要用于监控应用，即物体在整体图像中所占比例 很小，可不考虑物体运动过程中的形变。
运动检测模块从图像序列中提取到了运动物体的矩形轮廓。因此这里选择物 体的位置的物体矩形轮廓的长和宽作为物体相似度的判决条件。
算法基本思想为，用当前帧中的一个运动目标O与上一帧中的所有运动目 标位置进行比较，找出上一帧中所有与O距离相近的一组物体G;再从G中找 出与O长宽最相近的物体P，则认为P与O是同一个物体。
基于这一思想的具体算法如下参考图4:
a) 运动检测模块从当前时刻相邻的两图像帧分别提取出两组运动物体序列 M" M2，其中M！中含有Kl个矩形，M2中含有K2个矩形，M!来自上一帧图
像，M2来自当前帧图像；
b) 设定阈值Tdis, Tarea
Ok为M2中的一个运动物体，k=l,2...,K2;用Ok与IQ中所有运动物体的位 置进行比较，找到Kl中所有与Ok距离小于Tdis的物体组Gk;用Ok与Gk中所 有物体的矩形面积进行比较，找到差异最小的物体P;若P与Ok的距离差异小 于Tarea，则判定M！中的P与M2中的Ok是用一个物体；若P与Ok的距离差异 大于等于Tarea，则判定Mt中没有与M2中的Ok相匹配的物体；
c) 根据b)的判决结果，若N^中的某物体在M2中没有找到匹配对象，则 认为中的该物体暂时离开监控范围；若M2中的某物体在Mi中没有找到匹配
对象，则认为M2中的该物体是刚刚出现的新物体。
d) 步骤a、 b和c完成了相邻两帧的轨迹提取，而某些物体可能暂时被障碍 遮挡，若干帧之后又再度出现在监控范围内；对此情况，需要将b)中的Tdis 值稍作调整，因为遮挡后再度出现的物体距离其上一次位置可能有较大偏移，同 时须设定阈值Ttime;若物体离开监控范围后Ttime时间内，又找到相匹配的物 体，则认为物体是被遮挡；若物体离开监控范围超过Ttime时间仍无法找到相匹 配的物体，则认为该物体完全离开监控范围，终断其轨迹。
基于以上算法，进行轨迹提取。对某交通路段车辆进行轨迹提取的结果。这 里对每个物体进行了编号，并用不同颜色绘制出了物体的运行轨迹。
4、运动特征提取及描述文件生成
MPEG-7中， 一共考虑了5类运动物体的基本特征，包括物体颜色、纹理、 形状、运动、位置。其中运动特征包括运动轨迹，运动速度，方向。根据不同应 用场合，可以定义更高级的物体行为描述。如描述车辆是否违规转向，或行人是否闯入某受保护区域等。 4.1运动特征选择
如果监控摄像头设置在大楼进出口处，选择以下特征
1) 物体大小(区分行人和车辆)；
2) 运动方向(行人或车辆的运行方向，如自东向西等)；
3) 行人或车辆是否进入指定区域；
4) 行人或车辆是否穿越指定线。 4.2运动特征提取
基于前述的轨迹提取算法，得到运动物体的大小，以及该运动物体的运行轨 迹上各个点的坐标。
1) 物体大小提取
根据统计，在监控场合下，物体大小在50*25 (视频相对坐标)以下通常为 单个行人(即物体宽度小于50且长度小于25);大于此阈值的认为是车辆或人 群。 —
2) 运动方向
连接物体运行轨迹起点和终点成直线，用直线的方向描述物体运行方向。
3) 行人或车辆是否进入指定区域
区域在视频分析开始之前预先设置。这里设置了4个矩形区域。当物体轨迹 上某个点落在某区域内，则认为该物体进入了该区域。
4) 行人或车辆是否穿越指定线
绊线在视频分析开始之前预先设置。这里设置了 2条直线。对一个物体轨迹 上所有点两两连接成线段，若物体轨迹由n个点组成，则共得到n-l条线段。将 所有n-l条线段与指定絆线进行相交检测，若存在线段与絆线相交，则认为该物 体穿越该絆线。
综上算法，可得到物体的所有运动特征。
5、 MPEG-7描述文件生成及内容检索 5.1 MPEG-7描述文件生成
在MPEG-7的实际应用当中，需要能够创建并操纵多媒体内容描述对象(即 所述的运动物体，例如车辆、人等)，这样，可以把多媒体内容描述对象的运动 特征等存储为XML文档形式的描述文件，并以该XML文档为检索对象。具体 来说，存储的过程是将多媒体内容描述对象序列化为XML文档，读取的过程是 根据XML文档生成多媒体内容描述对象。描述文件与对应视频文件存在相同路 径下，取相同文件名，扩展名为.xml，便于査询。
基于MPEG-7标准创建多媒体内容描述文档，XML树由一个根节点和若干 描述结点组成。根结点标识了此文档为一个MPEG-7标准的多媒体内容描述文 档；每一个描述结点则描述多媒体内容里的一个运动对象的信息。这里的运动对 象的信息包括物体标识号，物体大小，物体运动方向，物体穿越保护区标志等。 每个XML子结点的属性标识出了该子结点所表示的为信息类型。
参照MPEG-7标准，上述过程对于本领域技术人员来说很容易完成，在此 不作进一步限制。
以下为本例生成的描述文件片段。其中，ContourShapeType项描述物体大小； MotionTrajectoryType项描述物体运动方向、进入区域和穿越线的信息，以及 该运动物体出现的准确时间。为了简化文件结构，物体运动方向、进入区域和穿
8越线的信息用算法按位转换成为两个整数，检索时用相对算法转换回来。其中， 里的内容为注释内容。 < xml version-"l.O" encoding="UTF8" standalone-"yes" > /*文件版本信息,编码方式 等*/
<Mpeg7xmlns="urn:mpeg:mpeg7:schema:2001" xmlns:mpeg7-"urn:mpeg:mpeg7:schema:2001" xmlns:xsi="http://www,w3.org/2001/XMLSchemainstance" xsi:schemaLocation="urn:mpeg:mpeg7:schema:2001 Mpeg72001.xsd">
/*根结点，文件基本信息，介绍了 MPEG-7标准的出处V (Description id="0" xsi:type="MovingRegionType"> /*对应一个运动对象的描述结点， id为物体编号*/
<VisualDescriptor xsi:type="ContourShapeType"> /*子结点，描述物体大小，这里 物体轮廓取矩形*/
<Peak peakX="16" peakY="24" /> /*peakX为物体宽度，peakY为物体长度*/ </VisualDescriptor>
<VisualDescriptor xsi:type="MotionTrajectoryType"> /*子结点，描述物体运动信 息，这里用以描述物体的运动方向、穿越区域情况和跨线情况*/ <CoordDef>
<Repr x="13" y="33" /> /*这里物体运动方向、穿越区域情况和跨线情况用算法按 打包成两个整数x和y，检索时需用算法解析*/ </CoordDef>
<Params> /*子结点，描述运动对象出现的时间*/ <KeyTimePoint>
<MediaTimePoint>2009-04-30Tll:32:09F1000</MediaTimePoint>
/*物体出现的时间(精确到秒)*/
</KeyTimePoint> </Params> </VisualDescriptor> </Description> /*对应一个运动对象的描述结点结束*/
5.2视频内容检索
检索时进行XML解析，扫描所有描述文件，得到所有满足条件的物体特征 信息，记得到所需描述文件以及对应的视频文件。这里录像文件使用海康威视 H264播放器开发SDK进行播放控制。
由于只需扫描XML文本，检索十分迅速， 一个月左右的视频数据只需10 秒左右便全部检索完成。根据扫描结果，得到该物体准确出现的时间，可以迅速 定位到视频文件，方便人工浏览或复査。
根据大量实验，本方法的检测准确率在90%以上，检索速度约平均每2Gb 视频数据耗时1秒。
权利要求
1、一种监控系统中基于MPEG-7的视频文件信息存储/检索方法，其特征是1)视频文件信息存储步骤包括1.1)获取到视频数据；1.2)分析获取的视频数据，从中提取运动物体的特征，同时进行视频文件的存储；每存储一个视频文件，同时生成一个基于MPEG-7标准的文本描述文件，描述文件记录了该视频里运动物体的信息；2)视频文件信息检索步骤包括2.1)将所有描述文件导入搜索器，根据给定的搜索条件进行搜索；查询条件范围根据文件存储时提取的运动特征而定；2.2)根据结果定位到对应的视频文件；基于步骤1.2)中得到的文本描述文件，在步骤2.1)中从存储视频文件的视频库中快速查询和定位所需的视频文件内容。
2、 根据权利要求1所述的监控系统中基于MPEG-7的视频文件信息存储/ 检索方法，其特征是所述步骤1.2)中包括步骤1.2.1)先从视频数据的图像帧 中提取运动目标；1.2.2)再提取出运动目标的运行轨迹。
3、 根据权利要求2所述的监控系统中基于MPEG-7的视频文件信息存储/ 检索方法，其特征是所述步骤1.2.1)中包括步骤1.2丄1)把运动目标均视为刚性物体，只提取物体的矩形轮廓； 1.2丄2)滤除大物体被判定成若干小区域重叠的情况。
4、 根据权利要求3所述的监控系统中基于MPEG-7的视频文件信息存储/ 检索方法，其特征是所述步骤1.2丄2)的算法是，当小区域被大区域完全包围时， 去掉小区域；当两区域发生部分重叠时，去掉其中面积较小的区域。
5、 根据权利要求2所述的监控系统中基于MPEG-7的视频文件信息存储/ 检索方法，其特征是所述步骤1.2.2)中步骤包括1.2.2.1) 对相邻帧中的运动物体按相似度进行匹配，匹配成功的物体便认为 是同一物体；1.2.2.2) 而该物体在两帧中的位置便构成该物体的轨迹。
6、 根据权利要求5所述的监控系统中基于MPEG-7的视频文件信息存储/ 检索方法，其特征是所述步骤1.2.2.1)中，在实际场景下，运动物体表现出轨迹 的连续性，即相邻两帧图像中，同一物体移动的距离很小；物体在整体图像中所 占比例很小，不考虑物体运动过程中的形变；先从图像序列中提取到了运动物体的矩形轮廓，选择物体的位置的物体矩形 轮廓的长和宽作为物体相似度的判决条件，具体来说用当前帧中的一个运动目标O与上一帧中的所有运动目标位置进行比较， 找出上一帧中所有与O距离相近的一组物体G;再从G中找出与O长宽最相近 的物体P，则认为P与O是同一个物体。
7、 根据权利要求6所述的监控系统中基于MPEG-7的视频文件信息存储/ 检索方法，其特征是所述步骤1.2.2.1)中的算法步骤包括a) 运动检测模块从当前时刻相邻的两图像帧分别提取出两组运动物体序列 M2，其中M！中含有Kl个矩形，M2中含有K2个矩形，Mi来自上一帧图像，M2来自当前帧图像；b) 设定阈值Tdis， TareaOk为M2中的一个运动物体，k=l，2...，K2;用Ok与Ki中所有运动物体的位 置进行比较，找到Kl中所有与Ok距离小于Tdis的物体组Gk;用Ok与Gk中所 有物体的矩形面积进行比较，找到差异最小的物体P;若P与Ok的距离差异小 于Tarea，则判定Mi中的P与M2中的Ok是用一个物体；若P与Ok的距离差异 大于等于Tarea，则判定M！中没有与M2中的Ok相匹配的物体；c) 根据b)的判决结果，若Mi中的某物体在M2中没有找到匹配对象，则 认为M！中的该物体暂时离开监控范围；若M2中的某物体在Mi中没有找到匹配对象，则认为M2中的该物体是刚刚出现的新物体。d) 步骤a、 b和c完成了相邻两帧的轨迹提取；而某些物体可能暂时被障碍遮挡，若干帧之后又再度出现在监控范围内，对 此情况，需要将b)中的Tdis值稍作调整，同时须设定阈值Ttime;若物体离开 监控范围后Ttime时间内，又找到相匹配的物体，则认为物体是被遮挡；若物体 离开监控范围超过Ttime时间仍无法找到相匹配的物体，则认为该物体完全离开 监控范围，终断其轨迹。
8、 根据权利要求1所述的监控系统中基于MPEG-7的视频文件信息存储/ 检索方法，其特征是所述步骤1.2)中，生成一个基于MPEG-7标准的文本描述 文件的步骤包括先选择基本特征；再提取运动特征；最后把物体基本特征和运 动特征作为描述对象生成描述文件，描述文件与对应视频文件存在相同路径下， 取相同文件名。
9、 根据权利要求8所述的监控系统中基于MPEG-7的视频文件信息存储/ 检索方法，其特征是所述步骤2.1)中，扫描所有描述文件，得到所有满足条件 的物体特征信息的描述文件以及对应的视频文件。
全文摘要
一种监控系统中基于MPEG-7的视频文件信息存储/检索方法，其中，1)视频文件信息存储步骤包括获取到视频数据；分析获取的视频数据，同时进行视频文件的存储；每存储一个视频文件，同时生成一个基于MPEG-7标准的文本描述文件，描述文件记录了该视频里运动物体的信息；2)视频文件信息检索步骤包括将所有描述文件导入搜索器，根据给定的搜索条件进行搜索；根据结果定位到对应的视频文件。本方法将MPEG-7和智能视频监控系统相结合，使得监控录像文件可以方便，快捷，准确的检索和定位。准确率高，检索速度快。为监控系统中海量文件的信息组织和检索提供了有效解决方案，使得视频监控录像内容高速检索成为可能。
文档编号H04N7/18GK101587483SQ200910032200
公开日2009年11月25日 申请日期2009年7月10日 优先权日2009年7月10日
发明者张丛喆, 宇 王, 陈鹏飞, 东 韩 申请人:张丛喆;王 宇