专利名称：一种基于压缩域的视频检索系统的制作方法
技术领域：
本实用新型属于多媒体视频管理技术领域，具体涉及一种基于压缩域的视频检索系统。
背景技术：
自20世纪90年代以来，随着网络通信与计算机技术的发展，单调的文本信息形式已经不再满足人们的需求，更为丰富的语音，图像和视频信息已经逐步渗入到人们社会生活的各个方面。如与安全相关的视频监控系统，生活娱乐中所采用的家用摄像机，以及丰富的网上视频资源(如YouTube，Youku等视频分享网站)等都是以数字视频形式存在。这些视频虽然包含着丰富的信息量，但由于其抽象程度比较低，其本身不是一种具有结构性的数据，并没有有效的描述方式，也没有可以作为索引和浏览的基本单元，所以对视频进行检索和浏览就变得极为困难。目前在许多领域由于对视频的处理能力远不能跟上视频数据增长的速度，视频中所描述的语义信息不能充分挖掘，导致大量的视频数据不能被有效利用。为了解决视频信息膨胀所带来的问题，从存储和传输的角度考虑，需要对视频数据进行压缩处理，利用更少的数据量表示等量的信息；而从资源利用的角度考虑，需要对视频数据中所体现的内容进行分类并进行特征分析，根据内容特征建立索引，进行高效的检索，使人们能够更方便快捷的得到所需要的信息。由于目前绝大部分视频都是以压缩的方式来进行存储的，而传统的视频检索都是在像素域进行的，因此需要首先将压缩的视频流解压，然后再对解压后的数据进行分析，提取特征后再进行检索。在像素域进行视频的特征分析和检索，需要处理大量的数据，复杂度很高，而在压缩域中可以节省由视频解压过程所消耗的计算资源，并且压缩视频数据都是以块为基本单位，所需要处理的数据量仅是像素域的1/64 (基于8X8块)或1/16 (基于4X4块)。在压缩域中还可以直接提取如运动矢量和DCT系数等信息，通过信息融合等处理方法得到视频数据的相关特征，利用这些特征进行检索可以大大节省计算资源。
发明内容针对现有技术所存在的上述技术缺陷，本实用新型提供了一种基于压缩域的视频检索系统，能够快速方便的从大量视频数据中检索到所需要的视频片段。一种基于压缩域的视频检索系统，包括处理器；所述的处理器包括码流信息提取单元、压缩域特征分析单元、压缩域特征存储单元和压缩域特征匹配单元；码流信息提取单元与压缩域特征分析单元连接，压缩域特征分析单元与压缩域特征存储单元连接，压缩域特征存储单元与压缩域特征匹配单元连接。所述的码流信息提取单元用于将存储在视频数据库中的压缩域码流进行部分解码处理，得到视频压缩域特征分析时所需要的压缩域信息；所述的压缩域信息包括每帧视频中所有宏块 的宏块类型信息、宏块运动矢量信息、宏块DCT (离散余弦变换)系数信息和宏块消耗比特量信息。上述压缩域信息都可以从常见视频码流中通过熵解码直接提取出。[0007]所述的压缩域特征分析单元包括场景分割模块、空间对象分割模块和运动轨迹特征分析模块；场景分割模块与码流信息提取单元和压缩域特征存储单元连接，空间对象分割模块与码流信息提取单元和场景分割模块连接，运动轨迹特征分析模块与码流信息提取单元、压缩域特征存储单元和空间对象分割模块连接；其中:所述的场景分割模块用于对压缩域信息中每帧视频中所有宏块的宏块类型信息和宏块消耗比特量信息进行统计分析，根据分析结果判断视频场景中发生场景切换的位置，即视频发生切变时的帧序号，将其作为压缩域视频的时域特征；然后根据帧序号对原始视频进行时间上的分段，得到各个不同时间的视频片段；所述的空间对象分割模块用于针对场景分割模块获得的每个视频片段，利用压缩域信息中每帧视频中所有宏块的宏块类型信息、宏块运动矢量信息和宏块DCT系数信息对每帧视频中的运动对象进行分割，得到每帧视频的运动对象掩膜；所述的运动轨迹特征分析模块用于针对场景分割模块获得的每个视频片段，利用压缩域信息中每帧视频所有宏块的宏块类型信息和宏块运动矢量信息对每帧视频中的运动对象掩膜进行跟踪，得到该视频片段中运动对象的运动轨迹，将其作为压缩域视频的运动特征。所述的压缩域特征存储单元用于将从压缩域特征分析单元得到的压缩域视频时域特征和运动特征以索引方式存储下来，方便用户进行检索。所述的压缩域特征匹配单元用于匹配压缩域视频的运动特征，其将压缩域特征分析单元中得到的每个视频片段中运动对象的运动轨迹依次与用户输入轨迹进行Hausdorff距离测量，选择该距离最小的前10个视频片段作为匹配结果。优选地，所述的压缩域特征匹配单元连接有人机交互单元，用户通过人机交互单元输入若干坐标值，在草图画板中生成轨迹图，进而通过调整输入的坐标值来完善所要查询的轨迹图；该轨迹图通过压缩域特征匹配单元与压缩域特征存储单元中存储的压缩域视频运动特征进行匹配，并将 匹配结果依次显示出来，最后由用户选择合适的视频片段进行播放。所述的处理器采用DSP ;所述的人机交互单元采用IXD触摸式显示屏。本实用新型基于压缩域的视频特征分析检索系统，可以实时、准确的从视频数据库中提取出视频压缩域特征并进行检索，大大节省计算资源，快速而方便的从大量视频数据中检索到所需要的视频片段。
图1为本实用新型的结构示意图。
具体实施方式
为了更为具体地描述本实用新型，
以下结合附图及具体实施方式
对本实用新型的技术方案进行详细说明。如图1所示，一种基于压缩域的视频检索系统，包括处理器和人机交互单元；本实施方式中，处理器采用TI公司型号为DM6467的DSP芯片，人机交互单元采用IXD触摸式显示屏。[0019]处理器内加载有码流信息提取单元、压缩域特征分析单元、压缩域特征存储单元和压缩域特征匹配单元；码流信息提取单元与压缩域特征分析单元连接，压缩域特征分析单元与压缩域特征存储单元连接，压缩域特征存储单元与压缩域特征匹配单元连接。码流信息提取单元将存储在视频数据库中的压缩域码流进行部分解码处理，得到视频压缩域特征分析时所需要的压缩域信息；压缩域信息包括每帧视频中所有宏块的宏块类型信息、宏块运动矢量信息、宏块DCT系数信息和宏块消耗比特量信息；上述压缩域信息都可以从常见视频码流中通过熵解码直接提取出。压缩域特征分析单元包括场景分割模块、空间对象分割模块和运动轨迹特征分析模块；场景分割模块与码流信息提取单元和压缩域特征存储单元连接，空间对象分割模块与码流信息提取单元和场景分割模块连接，运动轨迹特征分析模块与码流信息提取单元、压缩域特征存储单元和空间对象分割模块连接；其中:场景分割模块对压缩域信息中每帧视频中所有宏块的宏块类型信息和宏块消耗比特量信息进行统计分析，统计同时满足以下两个条件的宏块个数:(a)宏块类型为帧内编码；(b)宏块消耗比特量小于该帧所有宏块消耗比特量的平均值。根据分析结果判断视频场景中发生场景切换的位置，即视频发生切变时的帧序号:计算该类型宏块占该帧所有宏块的比例，如果比例超过一定的阈值，则判断该帧发生了场景切换，记录此时的帧序号，将其作为压缩域视频的时域特征。然后根据帧序号对原始视频进行时间上的分段，得到各个不同时间的视频片段；空间对象分割模块针对场景分割模块获得的每个视频片段，利用压缩域信息中每帧视频中所有宏块的宏块类型信息、宏块运动矢量信息和宏块DCT系数信息对每帧视频中的运动对象进行分割:标记同时 满足以下三个条件的宏块:(a)宏块类型为帧间编码；(b)宏块运动矢量大小大于一定阈值；(c)宏块DCT系数中的前4个系数绝对值之和大于一定阈值。将标记的宏块进行图像形态学处理，最终得到每帧视频的运动对象掩膜。运动轨迹特征分析模块针对场景分割模块获得的每个视频片段，利用压缩域信息中每帧视频所有宏块的宏块类型信息和宏块运动矢量信息对每帧视频中的运动对象掩膜进行跟踪，计算该帧中运动对象掩膜中所有类型为帧间宏块的运动矢量的平均值，并将此平均值连接起来得到该视频片段中运动对象的运动轨迹，将其作为压缩域视频的运动特征。压缩域特征存储单元将从压缩域特征分析单元得到的压缩域视频时域特征和运动特征以索引方式存储下来，方便用户进行检索。用户通过人机交互单元输入若干坐标值，在草图画板中生成轨迹图，进而通过调整输入的坐标值来完善所要查询的轨迹图；压缩域特征匹配单元用于匹配压缩域视频的运动特征，其将压缩域特征分析单元中得到的每个视频片段中运动对象的运动轨迹依次与用户输入轨迹图进行HausdorfT距离测量，选择该距离最小的前10个视频片段作为匹配结果，并将匹配结果通过人机交互单元依次显示出来，最后由用户选择合适的视频片段进行播放。利用本实施方式基于压缩域的视频特征分析检索系统，可以实时、准确的从视频数据库中提取出视频压缩域特征并进行检索，大大节省计算资源，快速而方便的从大量视频数据中检索到所需要的视频片段。
权利要求1.一种基于压缩域的视频检索系统，包括处理器；其特征在于:所述的处理器包括码流信息提取单元、压缩域特征分析单元、压缩域特征存储单元和压缩域特征匹配单元；码流信息提取单元与压缩域特征分析单元连接，压缩域特征分析单元与压缩域特征存储单元连接，压缩域特征存储单元与压缩域特征匹配单元连接。
2.根据权利要求1所述的视频检索系统，其特征在于:所述的压缩域特征分析单元包括场景分割模块、空间对象分割模块和运动轨迹特征分析模块；场景分割模块与码流信息提取单元和压缩域特征存储单元连接，空间对象分割模块与码流信息提取单元和场景分割模块连接，运动轨迹特征分析模块与码流信息提取单元、压缩域特征存储单元和空间对象分割模块连接。
3.根据权利要求1所述的视频检索系统，其特征在于:所述的压缩域特征匹配单元连接有人机交互单元。
4.根据权利要求3所述的视频检索系统，其特征在于:所述的人机交互单元采用LCD触摸式显示屏。
5.根据权利要求1 4任一权利要求所述的视频检索系统，其特征在于:所述的处理器采用D SP。
专利摘要本实用新型公开了一种基于压缩域的视频检索系统，包括处理器；处理器包括码流信息提取单元、压缩域特征分析单元、压缩域特征存储单元和压缩域特征匹配单元；码流信息提取单元与压缩域特征分析单元连接，压缩域特征分析单元与压缩域特征存储单元连接，压缩域特征存储单元与压缩域特征匹配单元连接；压缩域特征分析单元包括场景分割模块、空间对象分割模块和运动轨迹特征分析模块。本实用新型基于压缩域的视频特征分析检索系统，可以实时、准确的从视频数据库中提取出视频压缩域特征并进行检索，大大节省计算资源，快速而方便的从大量视频数据中检索到所需要的视频片段。
文档编号G06F17/30GK203086632SQ20132002200
公开日2013年7月24日 申请日期2013年1月16日 优先权日2013年1月16日
发明者冯杰, 马汉杰, 林翔宇, 胡洁, 张华熊 申请人:浙江理工大学