一种基于线裁剪的视频浓缩方法
【专利摘要】本发明属于视频浓缩【技术领域】，具体一种基于线裁剪的视频浓缩方法。视频浓缩是指对视频进行时间上的压缩，使在较短的时间中尽可能对原视频中的细节进行描述，去除视频时间域上的冗余信息，从而赋予用户快速浏览无尽的监控视频的能力。本发明方法使用线裁剪对视频Tube进行裁剪，从而减少视频在时间域的长度；在裁剪过程中，使用光流更新视频Tube的能量图，并且根据关于视频Tube能量图的分析结果，设置裁剪终止的准则，从而对每个tube，在保证视频连贯性的前提下，尽量地压缩视频tube的持续时间，最终达到有效视频浓缩的效果。实验结果表明，本发明方法在较好地保持对物体运动描述的基础上，可以有效实现视频时间域上的压缩。
【专利说明】一种基于线裁剪的视频浓缩方法
【技术领域】
[0001]本发明属于视频浓缩【技术领域】，具体涉及一种视频浓缩方法。
【背景技术】
[0002]自从上个世纪，数以千万计的监控摄像头被部署在了例如火车站、飞机场等交通枢纽处以及各种交通路口，并在不断产生着大量的监控视频。在数字化的时代，监控视频的数量更是爆发性地增长。在城市的大街上，每个摄像头都在24小时全天候的进行着录像，很多监控视频根本从未被观看过。视频的冗长也给回溯带来了很大的困难。由于监控摄像头越来越便宜、越来越容易部署，监控网络不断地变得密集，使得人员监控的难度不断上升，需求的存储空间也不断增大。因此对解决监控产生的各种不便而诞生的各种算法引发了各界的极大兴趣并已成为当今多媒体信息处理领域的一项研究热点。
[0003]视频浓缩是对视频进行时间上的压缩，在较短的时间中对尽可能对原视频中的细节进行描述，去除视频时间域上的冗余信息。视频浓缩技术令监控视频拥有更大的信息量，它赋予了用户快速浏览无尽的监控视频的能力，加入视频检索技术后，更能对用户关于某个物体在原视频中出现的时间等问题进行应答。这时的浓缩视频更充当了原监控视频索引的角色。
[0004]该技术相对传统的视频监控技术拥有强大的优势:
(I)存储空间:由于是监控视频，摄像头必须全时间进行监控，导致了每分每秒都会有无穷的监控视频的产生，给存储带来了巨大的压力。通过视频浓缩技术，我们可以在编码方式等其他因素相同的情况同时将原视频的尺寸大小地缩小，从而节省了大量的存储空间。
[0005](2)快速浏览:在传统方法中对监控视频的回放浏览是一件让人头疼的事情，快放可能会损失重要信息，而等待漫无止境的监控视频播放也令人厌恶，通过视频浓缩后，大量冗余信息被去除，保证了每一分每一秒都是重要信息，从而使得回放效率大幅度提高，也降低了通过监控视频回溯重要信息的难度。
[0006]现在大致有这几种算法来解决这个问题:
(I)快进，以固定比率将帧直接跳过来达到浓缩的目的。
[0007](2)关键帧提取。
[0008](3)蒙太奇，将相关视频片断进行排列来缩短视视频长度。
[0009]以上几种算法各自有不同的优缺点，其中第一个与第二个算法对视频中物体的动态无法较好的保存，而第三种方法也存在着瓶颈，而本发明提出的方法可以在大幅度缩短视频长度的同时保持运动物体的运动。
【发明内容】
[0010]本发明的目的在于提供一种可以在大幅度缩短视频长度的同时保持运动物体运动状况的视频浓缩方法，以便有效地完成对视频的处理，为各项应用提供方便。
[0011]本发明提出视频浓缩方法,是基于线裁剪(seam carving)技术的,如图1所示，具体步骤如下:
(I)视频管(video tube)的提取
首先是使用现有的各种方法(比如[1，2])从原始视频中，提取视频管(video tube)，生成视频掩膜(video mask)。在提取tube后,便获得了包括每个物体运动的开始帧、每一帧中物体的边界与持续时间等重要信息。通过这些信息，为每一个物体创建一个视频掩膜(video mask)。视频掩膜的长度为该物体运动的持续时间，而每一个像素的值为:
【权利要求】
1.一种基于线裁剪的视频浓缩方法，是基于线裁剪技术的，其特征在于具体步骤如下: (1)视频管的提取 首先，使用现有方法从原始视频中提取视频管；提取视频管后，便获得包括每个物体运动的开始帧、每一帧中物体的边界与持续时间这些信息；通过这些信息，为每一个物体创建一个视频掩膜，视频掩膜的长度为该物体运动的持续时间，而每一个像素的值为:
2.根据权利要求1所述的基于线裁剪的视频浓缩方法，其特征在于所述步骤(2)中对转置后的视频管和视频掩膜进行同步线裁剪，其内容包括: Ca)将视频的三维问题转化为二维问题，对x_t或y-t平面进行线裁剪； (b)以光流作为线裁剪的初始能量值； (C)对能量图修正； (d)设立线裁剪的终止准则； 所述对x_t或y-t平面逐个视频管进行线裁剪的具体过程为: 将线裁剪应用到视频的x-t方向，对视频的时间域进行修改，不断地应用线裁剪，便可用较少的图像变形得到被缩小的图片；在y-t情况下，这个线裁剪的性质依旧成立； 首先，将线裁剪作用到视频的x-t方向，Seam线将切割光流较小的区域；这样，在时间域上变化较大的像素便会被保留而光流值较小的像素便会被切割；即:在每一个视频管上应用线裁剪后，较小的运动将会被更多的浓缩，而较大的运动将会被保留； 同样，将线裁剪作用到视频的y-t方向； 所述对能量图修正，是对裁剪后能量图中的光流值进行修正，即将周边像素的光流值加上到seam线的位移来完成能量图的修正； 所述浓缩终止准则如下: 定义一个值d，d表示每行运动物体时间域上的长度；分别计算每行的d值并对其取平均数，将其定义为D ；D值代表运动物体在给定位置上的时间域跨度；当线裁剪进行时，D值将会随着物体的运动被消减而不断减小；用户可设定一个阈值Th，当D值降低到这个阈值Th时便不再进行线裁剪，这样用户便可以自定义视频浓缩的比率； 所述同步线裁剪，是指在物体视频片断生成能量图之后，同时对两个视频片断进行裁线剪，称之为同步过程；在物体视频中删去一条seam线时，相同位置的像素也应该在视频掩膜中被删除；所述两个视频片断是指与运动物体有关两个视频片断:一个是在上述过程中使用的视频管 ，另一个即所创建的视频掩膜。
【文档编号】H04N19/43GK103763562SQ201410030131
【公开日】2014年4月30日 申请日期:2014年1月22日 优先权日:2014年1月22日
【发明者】颜波, 薛向阳, 李可, 王伟祎 申请人:复旦大学