一种面向avs监控档的压缩域视频摘要提取方法及装置的制造方法
【技术领域】：
[0001] 本发明涉及一种面向AVS监控档的压缩域视频摘要提取方法及装置，属于计算机 视觉处理技术领域。
【背景技术】：
[0002] 由于监控视频有数据量大、非结构化的特点，原始监控视频数据难以有效利用，视 频摘要是有效利用监控视频的重要手段之一。视频摘要（VideoSynopsis)将原始视频处 理成一段简短的视频，保留了原始视频的内容。主流的监控视频摘要方法集中在像素域上。 虽然像素域的方法较好，但是需要视频流的完全解码，计算复杂度高。因此在压缩域下直接 提取视频信息生成监控视频摘要，更适合实际需求。近年来压缩域下的视频摘要研究主要 集中在关键帧方法上，该方法会损失非关键帧中运动的信息。
[0003] 此外，基于主流的视频编码（如：MPEG-2、H264等），有不少压缩域的研究工作，例 如目标识别、运动分割、运动跟踪等等，能够提取运动信息，但不能生成视频摘要。由于这些 视频编码中的相邻帧间存在相互参考关系，难以修改，因此不能生成视频摘要。
【发明内容】
：
[0004] 本发明的目的是针对像素域监控视频摘要方法计算复杂度高、压缩域视频摘要方 法损失非关键帧中的运动信息以及主流的视频编码不能生成视频摘要的现状，提出了一种 面向AVS(数字音视频编解码标准）监控档视频的压缩域视频摘要提取方法，直接在压缩域 下提取AVS监控档的运动信息合成监控摘要视频，生成的摘要视频是一段符合AVS监控档 标准的视频，能被AVS播放器播放。
[0005] AVS是中国自主制订的数字电视、IPTV等音视频系统的基础性标准。为了解决监 控视频应用中，监控视频存在存储时间长、存储代价大等特点，AVS制订了面向安防监控视 频应用的延伸档次，该档次的标准提出了背景帧，利于修改视频帧。
[0006] 本发明的主要处理目标是无背景明显变化的AVS监控档次的视频。
[0007] 本发明的思想是针对AVS监控档视频的特点，分析视频帧中的运动信息，计算运 动目标轨迹，重新组合并最终合成符合AVS监控档标准的摘要视频。
[0008] 本发明的目的是通过以下技术方案实现的：
[0009] -种面向AVS监控档的压缩域视频摘要提取方法，该方法包括以下步骤：
[0010] 步骤一、AVS解析；从AVS监控档的视频（原视频）中提取背景信息及运动信息， 具体解析方式如下：
[0011] 步骤I. 1在AVS监控档的视频中提取每一帧的帧类型信息；
[0012] 步骤1. 2提取其中的背景帧作为背景信息；
[0013] 步骤1. 3提取视频帧中的运动信息；
[0014] 步骤二、运动目标轨迹提取，具体通过以下步骤计算得到；
[0015] 步骤2. 1根据步骤1. 3中得到的运动信息，对每一帧分别计算出现运动目标的区 域；
[0016] 步骤2. 2在压缩域下做运动目标的跟踪，建立每一帧的出现运动目标的区域与前 一帧出现运动目标的区域的对应关系，形成运动目标轨迹集合；
[0017] 步骤2. 3根据跟踪的结果，将运动目标轨迹中包含的宏块标记为前景宏块，其余 宏块标记为背景宏块；
[0018] 步骤三、监控视频摘要合成，具体通过以下步骤计算得到：
[0019] 步骤3. 1重组运动目标轨迹，在对应上每帧的帧类型且没有前景宏块冲突的前提 下，从步骤2. 2中得到的运动轨迹集合中，遍历每条运动轨迹，平移每条运动轨迹的时序再 添加入新运动轨迹集合中；保证新运动轨迹集合更为紧凑，且其中任何两条运动轨迹间不 存在前景宏块遮挡情况；
[0020] 步骤3. 2准备一个空的视频，复制原视频的第一个片段的视频帧到摘要视频中的 第一个片段中，复制背景帧到摘要视频的第二个片段的第一帧，其余背景帧根据摘要视频 的长度、原视频中背景帧出现的频度，在需要时复制相对应的背景帧；
[0021] 步骤3. 3根据步骤3. 1计算得到的新运动目标轨迹集合，统计其中前景宏块最后 出现的时序位置，得到摘要视频的长度，将前景宏块、背景宏块写入摘要视频中，写入方式 分三个方面分别写入：
[0022] (1)保留部分位流：复制原视频中的部分位流到摘要视频的相应位置，例如背景 帧位流、视频帧的图像头等；
[0023] (2)前景宏块：直接从原视频中复制宏块编码位流到摘要视频的相对位置；
[0024] (3)背景宏块：根据帧类型的不同将预先分别准备的一段宏块编码位流写入摘要 视频中，这段位流令背景宏块参考背景帧的对应位置，使得背景宏块解码后的图像与背景 帧对应位置相同。
[0025] -种基于AVS监控档的压缩域视频摘要提取装置，包括AVS解析模块、运动目标轨 迹提取模块与摘要视频合成模块；其中AVS解析模块分别与运动目标轨迹提取模块与摘要 视频合成模块相连，运动目标轨迹提取模块与摘要视频合成模块相连；
[0026] 所述AVS解析模块用于从AVS监控档的视频中提取背景信息及运动信息；
[0027] 所述运动目标轨迹提取模块用于从AVS解析模块得到的运动信息中提取运动目 标轨迹；
[0028] 所述摘要视频合成模块用于将背景帧与运动目标轨迹合成得到摘要视频。
[0029] 有益效果：
[0030] 对比现有技术，本发明方法能够准确提取监控视频摘要，提高提取速度，降低监控 视频摘要成本。
【附图说明】：
[0031] 图1为本发明实施例一种AVS监控档视频位流结构示意图；
[0032] 图2为本发明实施例一种运动轨迹提取过程流程示意图；
[0033] 图3为本发明实施例一种面向AVS监控档的压缩域视频摘要提取方法流程示意 图；
[0034] 图4为本发明实施例的结果示意图，从（a)到（d)依次为原视频中第一个出现的 人、原视频中第二个出现的人、摘要视频中同时播放前两个人、摘要视频中同时播放后两个 人。
【具体实施方式】：
[0035] 下面将结合附图和实施例对本发明加以详细说明，同时也叙述了本发明技术方案 解决的技术问题及有益效果，需要指出的是，所描述的实施例仅旨在便于对本发明的理解， 而对其不起任何限定作用。
[0036] 实施例1
[0037] 根据AVS监控档的视频标准，一段视频的编码编码结构如图1所示。AVS监控档的 视频由多个片段构成，每个片段是由多个组构成，每个组的第一帧为G帧或者S帧，其余帧 为P帧或者B帧。每个片段包含且仅包含一帧G帧作为第一帧。每个片段中都包含一个长 度相同的训练集，训练下一个片段中的G帧。除了片段0中的G帧正常解码播放以外，其它 的G帧都是背景帧，解码但不播放。
[0038] 本发明的输入视频只需满足AVS监控档的编码标准即可，并不局限于如何转码得 至丨J，也不局限于视频编码的一些属性；因此下面以数据库CAVIAR的0neStopEnter2front视 频（地址：http://homepages.inf.ed.ac.uk/rbf/CAVIARDATAl/)为例说明摘要视频的提 取过程。由于该视频是mpg格式的，需要转码成AVS监控档的视频才能处理，因此本实施例 中使用工具ffmpeg(工具网址：http://www.ffmpeg.org/)和AVS监控档的样例程序编解 码工具SM2_1. 6 (下载地址：ftp://124. 207. 250. 92/)处理得到输入视频。在本实施例中， 输入视频有如下属性：训练集长度是300,片段长度为3000,每30帧为一组且第一帧为G帧 或S帧，视频中不编码B帧。
[0039] -种面向AVS监控档的压缩域视频摘要提取方法，具体步骤如下：
[0040] 步骤一、AVS解析；从AVS监控档的视频中提取背景信息及运动信息，作为优选，定 义运动信息是由视频帧中的宏块区域代表，这些宏块称为前景宏块，由分析运动向量（MV) 得到，具体解析方式如下：
[0041] 步骤I. 1在AVS监控档的视频中提取每一帧的帧类型信息；根据AVS监控档视 频的标准，每一帧视频的图像头中包含帧类型信息，分析本实施例的输入视频得到：第〇、 300、3300等帧为G帧，第30、60、90…270、330、360等帧为S帧，其余为P帧。
[0042] 步骤1. 2提取其中的背景帧作为背景信息。根据AVS监控档视频的标准，除第0 帧以外的G帧为背景帧，即第300、3300等帧为背景帧。这里提取第300帧数据作为背景信 息；
[0043] 步骤1. 3提取视频帧中的