专利名称：一种支持视频可伸缩浏览的视频编解码方法和装置的制作方法
技术领域：
本发明涉及视频分析处理和视频编解码领域，特别是一种支持视频中运动对象密度可伸缩调整的视频快速浏览的编解码方法和装置。
背景技术：
近年来，数字媒体的高速发展，公共安全情势受到社会和公众的广泛关注，多媒体和安防视频数据成爆炸式增长。传统耗时的简单原始的浏览方式已远远不能满足人们对视频信息访问和查询的需求。不断有新的视频浏览查阅方法出现。目前的视频浏览方法，可以分为视频略览(Video Summary)、视频梗概(Video Skimming)和视频摘要(Video Synopsis)三大类1.视频略览是从原始视频中提取一部分图像的集合来概括原始的视频内容， 而这些代表原始视频的图像就称为关键帧(Keyframe)。对其浏览的方式包括故事板 (Storyboard,参见 S Uchihashi, J Foote and A Girgensohn, "Video manga !Generating semantically meaningful video summaries，，，ACM Multimedia, 1999.)禾口场景转移图 (STG,参见 B Yeo and B Liu, "Rapid scene analysis compressed video，，，IEEE Trans. On Circuits and Systems for Video Technology, 5 (6) :533-544,1995)等。基于关键帧提取的视频略览的优点在于简单易行，且计算复杂度低。不足之处在于关键帧表达机制丢失了视频的动态特性，因而表现力不生动。2.视频梗概是从原始视频中提取能够表达原始视频的小片段或者镜头内容加以编辑合成，它本身就是一个视频片断，因此保持了原始视频的动态特性。视频梗概分为两类视步页概述(Summary Sequence，参看 Naphade and Huang，"Semantic video indexing using a probabilistic framework”，ICPR，2000)和精彩片断(Highlight，参看Zhong and Chang，"Structure analysis of sports video using domain models，，，ICME，2001)。与视频略览相似，视频梗概技术把帧作为组成视频的最小视觉单位，而对于背景相对稳定的监控视频，结果都不可避免的存在大量的冗余信息。3.视频摘要是从完整的原始视频中提取所有运动物体序列，然后将这些序列重排到摘要视频空间，以达到压缩视频的效果。这种技术允许不同时间段出现的运动物体出现在摘要视频空间的同一帧(参看 A. Rav-Acha，Y. Pritch, and S. Peleg, "Making a Long Video Short =Dynamic Video Synopsis”，CVPR，2006)。视频摘要的优点是能够以较大的比例压缩视频，如对于某些特定场景，视频摘要能将M小时的监控视频压缩到一分钟以内， 但是该方法的算法复杂度非常高，需要很长时间用来分析和处理原始视频，因此难以实时使用。为了适应对监控视频进行实时处理，事后快速查看的需要，Y. I^ritch等人提出了视频浓缩的在线处理框架(参看 Y. Pritch, A. Rav-Acha, A. Gutman, and S. Peleg, "Webcam synopsis =Peeking around the world”，ICCV，2007)，通过实时的视频分析将运动对象序列提取到数据库与原始监控视频分开保存，需要观看时再根据用户需要生成相应长度的大纲视频。这种方法虽然在一定程度上提高了浓缩视频需要查看时的生成速度，但是这种通过数据库将原始监控视频、提取出的运动对象序列、生成后的大纲视频分别存储的方式存储效率较低，会加大存储负担，增加监控系统的运营成本。在视频编码、存储方面，众多学者也在不断探索提高监控视频存储效率、增强监控视频码流解码浏览时的自适应性的视频编码技术和解决方案。可伸缩编码技术通过使用分层编码、层间预测等技术，达到了支持多种解码方式的可伸缩解码的效果(H. Schwarz, D.Marpe, and Τ. ffiegand,"Overview of the scalable video coding extension of H. 264/AVC，” IEEE Trans. Circuits Syst. Video Technol.，vol. 17，1103-1120，2007)，为监控视频的时域可伸缩观看、空域可伸缩观看和质量可伸缩观看提供了技术支撑。但是以上可伸缩编码技术，都是只支撑基于帧的时域、空域、质量可伸缩浏览，无法支撑视频浓缩中的原始视频与大纲视频的高效存储以及对不同时间、不同位置出现的运动对象进行时空域的混合可伸缩浏览。
发明内容
针对传统视频大纲方法存储效率较低，以及传统监控视频编码方法缺少支撑视频浓缩实现时空域混合可伸缩浏览的编码存储方案的问题，本发明提出了一种支持视频可伸缩浏览的视频编解码方法和装置，支持可伸缩视频浓缩的监控视频编码、存储、浏览。按照本发明提供的技术方案，所述支持视频可伸缩浏览的视频编解码方法，包括一种支持视频可伸缩浏览的视频编码方法和对应的一种支持视频可伸缩浏览的解码方法；所述支持视频可伸缩浏览的视频编码方法为在编码原始视频的同时，编码通过视频分析和处理得到的与原始视频对应的对象标志位，使得解码端能够根据对象标志位进行支持视频可伸缩浏览的视频解码；所述支持视频可伸缩浏览的视频解码方法为同时解码出重建的原始视频和对象标志位，从而在解码端根据对象标志位，对运动对象显示的起止时间进行重新排列，实现视频的可伸缩播放。所述支持视频可伸缩浏览的视频编码方法在编码原始视频的同时进行视频分析和视频浓缩，在视频分析过程中提取了运动对象掩膜，在视频浓缩过程中计算了代价函数， 然后生成了对象标志位。所述支持视频可伸缩浏览的视频解码方法在解码获得原始视频的同时也解码获得了对象标志位，并且能够根据用户的浏览需要，实时输入伸缩级数P，最终根据解码重建的原始视频、对象标志位和伸缩级数P，在解码端生成伸缩级数P下的浓缩视频，并通过调整伸缩级数P生成并浏览不同级数下浓缩视频，从而实现视频的可伸缩浏览。所述对象标志位包括对象区域标志位和对象映射标志位；所述对象区域标志位，表示了运动对象的区域信息，对象区域标志位是通过编码视频分析获得的运动对象掩膜获得的；所述对象映射标志位，表示了运动对象的映射信息，即从原始视频的某一帧映射到浓缩视频时的映射关系，对象映射标志位是通过编码视频浓缩时计算代价函数后的计算结果获得的。
解码出的所述对象标志位中的对象映射标志位，通过伸缩级数ρ进行调整，并将调整后的对象映射标志位实时生成新的浓缩视频。一种支持视频可伸缩浏览的视频编解码装置，包括编码装置和解码装置；所述编码装置在编码原始视频的同时，编码通过视频分析和处理得到的与原始视频对应的对象标志位，使得解码装置能够根据对象标志位进行支持视频可伸缩浏览的视频解码；所述解码装置同时解码出重建的原始视频和对象标志位，从而根据对象标志位， 对运动对象显示的起止时间进行重新排列，实现视频的可伸缩播放。所述编码装置包括视频编码单元，用于编码原始视频；视频分析与浓缩单元，用于生成运动对象的掩膜信息和原始视频到浓缩视频的映射信息；对象标志位单元，用于生成和编码对象标志位；码流复合单元，通过合并原始视频的码流和运动对象的标志位码流为一路码流， 实现支持视频可伸缩浏览的视频编码。所述解码装置包括码流分解单元，用于将复合码流分解为原始视频码流和对象标志位码流；视频解码单元，用于解码并重建原始视频；对象标志位解码单元，用于解码对象标志位；前景、背景生成单元，用于生成前景运动对象序列和主背景视频；映射关系调整单元，用于根据用户输入到解码装置的伸缩级数p，调整运动对象从原始视频映射到浓缩视频的映射关系；浓缩视频重建单元，用于根据伸缩级数ρ下的映射关系、在重建视频基础上获得的前景运动对象序列和主背景视频，生成伸缩技术P下的浓缩视频。所述编码装置中的视频分析与浓缩单元包括视频分析子单元和视频浓缩子单元；所述视频分析子单元，用于对原始视频进行视频分析，并输出运动对象的掩膜信息；所述视频浓缩子单元，用于对原始视频通过视频分析得到的运动对象序列，进行代价函数计算，并输出运动对象的映射信息；所述对象标志位单元包括对象区域标志位生成子单元、对象映射标志位生成子单元，对象标志位合成与编码子单元；所述对象区域标志位生成子单元，用于根据视频分析子单元获得的运动对象掩膜，生成表示运动对象区域的标志位；所述对象映射标志位生成子单元，用于根据视频浓缩子单元获得的映射信息，即从原始视频的某一帧映射到浓缩视频时的映射关系，生成表示运动对象映射信息的标志位；所述对象标志位合成与编码子单元，用于合成并编码运动对象的区域标志位和运动对象的映射标志位，最终生成对象标志位。所述解码装置中的对象标志位解码单元包括对象标志位分解子单元、对象区域标志位解码子单元、对象映射标志位解码子单元；所述对象标志位分解子单元，用于将对象标志位分解为对象区域标志位和运动对象的映射标志位；所述对象区域标志位解码子单元，用于将对象区域标志位解码为运动对象的区域信息，从而可以对重接的原始视频进行前景和背景分离；所述对象映射标志位解码子单元，用于将对象映射标志位解码为运动对象的映射信息，从而可以获得初始化的映射关系；所述前景、背景生成单元包括前景、背景分离子单元、前景缓存子单元和主背景选择子单元；所述前景、背景分离子单元，用于根据运动对象的区域信息，分别提取出视频中的前景运动对象区域和背景区域；所述前景缓存子单元，用于缓存根据运动对象区域信息获得的前景运动对象序列；所述主背景选择子单元，用于根据视频中的背景区域生成主背景视频，所述主背景视频用于浓缩视频重建。本发明的优点是本发明在保证相对于先前的大纲视频和原始视频分开存储的存储方式有明显的存储效率提升外，也进一步改善了传统浓缩视频的浏览方式，做到了可伸缩浏览，从而为固定背景的监控视频编码、存储与浏览提供了一个完整的解决方案。
图1为本发明的支持视频可伸缩浓缩浏览的编码装置图；图2为本发明的支持视频可伸缩浓缩浏览的解码装置图；图3为本发明的支持视频可伸缩浏览的编码方法流程图；图4为本发明的支持视频可伸缩浓缩浏览的解码方法流程图；图5为本发明原始视频和浓缩视频的对比效果示意图；图6为本发明的对象区域标志位生成过程中各步骤对应的效果图，其中图6 (a)为从原始视频中截取的一帧图像；图6 (b)为视频分析子单元输出的运动对象掩膜和外接矩形框；图6 (C)为视频编码单元输出的块划分信息；图6 (d)为用外接矩形框修正后的块划分信息；图6 (e)为用修正后的块划分信息划分的原始图像；图6 (f)为根据对象区域标志位表示的运动对象区域效果图；图7为本发明支持可伸缩的浓缩视频重建示意图。
具体实施例方式本发明针对传统视频大纲方法存储效率较低以及传统监控视频编码方法缺少支撑视频浓缩实现时空域混合可伸缩浏览的编码存储方案的问题，提出了一种支持可伸缩视频浓缩的监控视频编码、存储、浏览方法。为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。参照图1所示的支持视频可伸缩浓缩浏览的系统装置图，本发明中的编码装置包括视频编码单元，视频分析与浓缩单元，对象标志位单元，码流复合单元。视频编码单元，用于编码原始视频，并输出码流中的块划分信息到对象标志位单元的区域标志位生成子单元。视频分析与浓缩单元，包括视频分析子单元用于提取运动对象掩膜，以及视频浓缩子单元，用于计算视频分析子单元提取出的前景运动对象所需要映射到浓缩视频中的初始化帧号，并将初始化的映射关系输出到对象标志位单元的映射标志位子单元。
对象标志位单元包括区域标志位生成子单元、映射标志位生成子单元和对象标志位合成与编码子单元。对象区域标志位生成子单元，用于根据视频分析单元输出的运动对象掩膜信息，生成基于块划分的对象区域标志位。对象映射标志位生成子单元，用于获取并缓存视频浓缩子单元传输过来的初始化映射关系，即运动对象映射到浓缩视频中的初始化帧号。对象标志位合成与编码子单元，用于将对象区域标志位子单元输出的对象区域标志位和对象映射标志位子单元输出的对象映射标志位，合并为对象标志位，并将其编码，输出到码流复合单元。码流复合单元，用于将原始视频码流和标志位码流以帧为单位合并为一路码流。参照图3，本发明中的支持视频可伸缩浓缩浏览的编码方法，包括以下步骤步骤1，输入视频图像，对每帧图像分别进行视频分析和视频编码；步骤2，通过对输入视频进行视频分析，提取出每帧图像中的运动对象及其运动区域掩膜，该掩膜由一个初步标示运动对象位置的外接矩形框和矩形框内像素级的二值标记1和0表示，其中标记值1表示运动像素，0表示非运动像素；如图6(b)所示白色区域表示图6(a)中的非运动对象区域 (背景区域)，黑色人形区域是从图6 (a)中提取出的运动对象掩膜，其外围邻接的矩形框是该运动对象的外接矩形框。与此同时，通过对该视频进行视频编码，为步骤5生成初始视频码流，并在编码过程中提取视频中每帧图像的块划分信息，块划分效果见图6 (C)。步骤3，在步骤2中的视频分析和视频编码已经分别得到视频帧中所有运动对象的掩膜信息和视频的帧级块划分信息的基础上，根据运动对象掩膜求得标示整个运动对象区域的边界矩形框，随后根据块划分信息对该边界矩形框内的区域进行块划分，参见图6 (d)，并为区域内各个块进行二值标记，即将矩形框进行块划分之后得到的各个子块标记为前景块或者背景块，当落入子块中的运动掩膜区域的面积大于设定的阈值时，将该子块标记为1， 表示前景块，否则将该子块标记为0，表示背景块，随后融合运动对象区域信息，块划分信息和标记好的各个子块的二值标志位，可将运动对象从经过信息融合后的图6(e)中提取出来，运动对象的提取结果参见图6(f)。当一帧中有多个运动对象时，即在有多套运动对象掩膜时，重复执行该步骤，直到结合视频帧的块划分信息标识完所有的运动对象分别所在的矩形区域。上述步骤完成之后，就可以生成每一帧的所有运动对象的对象区域标志位，从而最终生成视频的所有图像帧中的所有运动对象的对象区域标志位，该步骤生成的对象区域标志位用来表示视频中运动对象的区域信息。步骤4，在视频分析的基础上进行视频浓缩，即累积从各帧前景图像中分别提取出的运动物体，形成运动物体序列，并引入三个代价函数a.运动区域损失代价艮，度量浓缩视频中运动区域的丢失程度；b.运动区域遮挡代价E。，度量运动区域之间的遮挡程度；c.运动序列的时间一致性代价民，度量运动序列的时间关系与原始视频中运动对象序列的时间关系的差异程度，随后为各个代价函数设置不同的权重系数Wl，W2和w3，将三个代价函数线性组合成总的能量函数E(M)= W1Ea (M) +W2Ec (M) +W3Et (M)，其中M表示所有运动对象序列在浓缩视频的映射关系的集合，即各个运动对象在浓缩视频中的起始和结束位置，然后通过使用模拟退火算法(Simulated Annealing)根据能量函数E (M)的计算值对映射关系集M进行优化，待算法处理完后得到最终的映射关系集合Mbest (详细过程参看A. Rav-Acha, Y. Pritch, and S. Peleg，"Making a Long Video Short =Dynamic Video Synopsis，，，CVPR，2006)，并根据映射关系集Mbest 中的各个运动对象在原始视频和浓缩视频中的对应关系，形成运动对象的映射标志位，映射标志位用来表示运动对象从原始视频映射到浓缩视频时在浓缩视频中的帧号；步骤5，将步骤3 得到的对象区域标志位和步骤4得到的对象映射标志位合并为对象标志位，并将对象标志位按运动对象在原始视频中出现的帧号，将对象标志位编码存储到步骤2得到的对应帧的原始视频码流中，形成最终的支撑可伸缩浓缩浏览的复合视频码流。如图2所示，本发明中的解码装置包括码流分解单元，视频解码单元，对象标志位解码单元，前景、背景生成单元，映射关系调整单元，浓缩视频重建单元。码流分解单元，将复合码流拆分为对象标志位码流和原始视频码流。视频解码单元，用于解码原始视频码流，将码流重建为视频序列输出到前景、背景生成单元，并输出码流中的块划分信息到对象标志位解码单元的对象区域标志位解码子单兀。对象标志位解码单元包括对象标志位分解子单元、对象区域标志位解码子单元和对象映射标志位解码子单元。其中对象标志位分解子单元，将对象标志位码流分解为对象区域标志位和对象映射标志位，并将两种标志位分别传输给对象区域标志位解码子单元和对象映射标志位解码子单元。对象区域标志位解码子单元，根据视频解码单元输出的块划分信息和对象标志位分解子单元输出的对象区域标志位，将对象区域标志位进行解码， 从而获得块级的前景运动对象区域信息，并将区域信息传输给前景、背景生成单元。对象映射标志位解码子单元，将对象标志位分解子单元传入的对象映射标志位解码为对象映射关系信息，即运动对象所需映射到浓缩视频中的初始化帧号，并将初始化的映射关系输出到映射关系调整单元。前景、背景生成单元包括前景、背景分离子单元，前景缓存子单元和主背景选择子单元。其中，前景、背景分离子单元，用于根据运动对象的块级区域信息，将每帧图像分离为前景运动对象区域和背景区域，并将前景信息输出到前景缓存子单元，将背景信息输出到主背景选择子单元。前景缓存子单元，用于缓存各帧中的前景运动对象，组成运动对象序列，并输出到浓缩视频重建单元。主背景选择单元，利用前景、背景分离子单元输入的背景信息，如采用参考文献 Shikun Feng, Shengcai Liao, Zhiyong Yuan and Stan Ζ. Li. " Online Principal Background Selection for Video Synopsis" ,ICPR,17-20, 2010所述的方法，生成主背景图像序列，并输出到浓缩视频重建单元；映射标志位更新单元，根据用户用伸缩级数输入装置输入的伸缩级数调整并更新对象映射标志位解码子单元输入的初始化映射关系，并将新的映射关系输出到浓缩视频重建单元。浓缩视频重建单元， 根据前景缓存子单元输入的前景运动对象序列、主背景选择子单元输入的主背景序列和映射关系调整单元输入的当前伸缩级数下的映射关系，通过将前景对象按对象映射关系信息，即映射到浓缩视频中的帧号，映射到主背景序列中，从而生成当前伸缩级数下的浓缩视频。这里用户可以通过伸缩级数输入装置，实时调整伸缩级数，从而调整后面待播放视频的浓缩密度。当用户没有输入新的伸缩级数的时候，映射关系调整单元按用户最后一次输入的伸缩级数进行初始映射关系的调整与更新，并输出到浓缩视频重建单元。参考图4，本发明中的支撑视频可伸缩浓缩浏览的解码方法，包括以下步骤步骤1，输入用支持可伸缩浓缩浏览的视频编码方法得到的视频码流，从码流中提取对象标志位的码流信息，从而分别获得原始视频的编码码流和对象标志位的编码码流；步骤2，用原始视频的码流解码出原始视频，并输出视频各帧图像在码流中的块划分信息；步骤3，将对象标志位分解为对象区域标志位和对象映射标志位；步骤4，根据对象区域标志位和解码原始视频码流时获得的块划分信息，将对象区域标志位进行解码，从而获得各帧图像中的前景区域信息和背景区域信息。同时解码对象映射标志位，获得各前景运动对象的初始化映射关系；步骤5，根据步骤4获得的前景区域信息和背景区域信息，将步骤2解码获得的原始视频的前景和背景进行分离，其中前景指运动对象区域，背景指非运动对象区域；步骤6，缓存前景运动对象，形成前景运动对象序列，并根据参考文献Siikun Feng, Shengcai Liao, Zhiyong Yuan and Stan Ζ.Li. " Online Principal Background Selection for Video Synopsis"，ICPR，17-20，2010所述的方法，缓存背景区域，形成主背景视频；步骤 7，根据解码端人为输入的伸缩级数ρ和步骤4得到的初始化对象映射关系&，生成新的映射关系fp ；步骤8，如图7所示，根据步骤7生成的映射关系，将前景运动对象分别映射到主背景视频中，从而重建出可伸缩浓缩视频。在上述重建解码方法的步骤7中包括，根据原始的映射关系设原始映射关系&，以及播放时用户输入的伸缩级数P，生成新的映射关系fp，并用新的映射关系，生成浓缩视频， 实现视频的可伸缩浏览，其中生成新映射关系fp的步骤如下步骤1，输入原始映射关系& 和用户指定的伸缩级数P ；步骤2，根据公Sfp(i，k) = f0(i, k) + (k-l)*p算出新伸缩级数下的映射关系fp。其中fp(i，k)为伸缩级数P时原始视频第i帧中的第k个运动对象映射到浓缩视频的帧号。最终，原始视频和浓缩视频的对比效果示意图，如图5所示。由此可见，本发明在保证相对于先前的大纲视频和原始视频分开存储的存储方式有明显的存储效率提升外，也进一步改善了传统浓缩视频的浏览方式，做到了可伸缩浏览，从而为固定背景的监控视频编码、存储与浏览提供了一个完整的解决方案。
权利要求
1.一种支持视频可伸缩浏览的视频编解码方法，其特征在于，包括一种支持视频可伸缩浏览的视频编码方法和对应的一种支持视频可伸缩浏览的解码方法；所述支持视频可伸缩浏览的视频编码方法为在编码原始视频的同时，编码通过视频分析和处理得到的与原始视频对应的对象标志位，使得解码端能够根据对象标志位进行支持视频可伸缩浏览的视频解码；所述支持视频可伸缩浏览的视频解码方法为同时解码出重建的原始视频和对象标志位，从而在解码端根据对象标志位，对运动对象显示的起止时间进行重新排列，实现视频的可伸缩播放。
2.如权利要求1所述支持视频可伸缩浏览的视频编解码方法，其特征在于，所述支持视频可伸缩浏览的视频编码方法在编码原始视频的同时进行视频分析和视频浓缩，在视频分析过程中提取了运动对象掩膜，在视频浓缩过程中计算了代价函数，然后生成了对象标志位。
3.如权利要求1所述支持视频可伸缩浏览的视频编解码方法，其特征在于，所述支持视频可伸缩浏览的视频解码方法在解码获得原始视频的同时也解码获得了对象标志位，并且能够根据用户的浏览需要，实时输入伸缩级数P，最终根据解码重建的原始视频、对象标志位和伸缩级数P，在解码端生成伸缩级数P下的浓缩视频，并通过调整伸缩级数P生成并浏览不同级数下浓缩视频，从而实现视频的可伸缩浏览。
4.如权利要求1，2，3所述支持视频可伸缩浏览的视频编解码方法，其特征在于，所述对象标志位包括对象区域标志位和对象映射标志位；所述对象区域标志位，表示了运动对象的区域信息，对象区域标志位是通过编码视频分析获得的运动对象掩膜获得的；所述对象映射标志位，表示了运动对象的映射信息，即从原始视频的某一帧映射到浓缩视频时的映射关系，对象映射标志位是通过编码视频浓缩时计算代价函数后的计算结果获得的。
5.如权利要求4所述支持视频可伸缩浏览的视频编解码方法，其特征在于，解码出的所述对象标志位中的对象映射标志位，通过伸缩级数P进行调整，并将调整后的对象映射标志位实时生成新的浓缩视频。
6.一种支持视频可伸缩浏览的视频编解码装置，其特征在于，包括编码装置和解码装置；所述编码装置在编码原始视频的同时，编码通过视频分析和处理得到的与原始视频对应的对象标志位，使得解码装置能够根据对象标志位进行支持视频可伸缩浏览的视频解码；所述解码装置同时解码出重建的原始视频和对象标志位，从而根据对象标志位，对运动对象显示的起止时间进行重新排列，实现视频的可伸缩播放。
7.如权利要求6所述支持视频可伸缩浏览的视频编解码装置，其特征在于，所述编码装置包括视频编码单元，用于编码原始视频；视频分析与浓缩单元，用于生成运动对象的掩膜信息和原始视频到浓缩视频的映射信息；对象标志位单元，用于生成和编码对象标志位；码流复合单元，通过合并原始视频的码流和运动对象的标志位码流为一路码流，实现支持视频可伸缩浏览的视频编码。
8.如权利要求6所述支持视频可伸缩浏览的视频编解码装置，其特征在于，所述解码装置包括码流分解单元，用于将复合码流分解为原始视频码流和对象标志位码流；视频解码单元，用于解码并重建原始视频；对象标志位解码单元，用于解码对象标志位；前景、背景生成单元，用于生成前景运动对象序列和主背景视频；映射关系调整单元，用于根据用户输入到解码装置的伸缩级数P，调整运动对象从原始视频映射到浓缩视频的映射关系；浓缩视频重建单元，用于根据伸缩级数P下的映射关系、在重建视频基础上获得的前景运动对象序列和主背景视频，生成伸缩技术ρ下的浓缩视频。
9.如权利要求7所述支持视频可伸缩浏览的视频编解码装置，其特征在于，所述编码装置中的视频分析与浓缩单元包括视频分析子单元和视频浓缩子单元；所述视频分析子单元，用于对原始视频进行视频分析，并输出运动对象的掩膜信息；所述视频浓缩子单元，用于对原始视频通过视频分析得到的运动对象序列，进行代价函数计算，并输出运动对象的映射信息；所述对象标志位单元包括对象区域标志位生成子单元、对象映射标志位生成子单元， 对象标志位合成与编码子单元；所述对象区域标志位生成子单元，用于根据视频分析子单元获得的运动对象掩膜，生成表示运动对象区域的标志位；所述对象映射标志位生成子单元，用于根据视频浓缩子单元获得的映射信息，即从原始视频的某一帧映射到浓缩视频时的映射关系，生成表示运动对象映射信息的标志位；所述对象标志位合成与编码子单元，用于合成并编码运动对象的区域标志位和运动对象的映射标志位，最终生成对象标志位。
10.如权利要求8所述支持视频可伸缩浏览的视频编解码装置，其特征在于，所述解码装置中的对象标志位解码单元包括对象标志位分解子单元、对象区域标志位解码子单元、 对象映射标志位解码子单元；所述对象标志位分解子单元，用于将对象标志位分解为对象区域标志位和运动对象的映射标志位；所述对象区域标志位解码子单元，用于将对象区域标志位解码为运动对象的区域信息，从而可以对重接的原始视频进行前景和背景分离；所述对象映射标志位解码子单元，用于将对象映射标志位解码为运动对象的映射信息，从而可以获得初始化的映射关系；所述前景、背景生成单元包括前景、背景分离子单元、前景缓存子单元和主背景选择子单元；所述前景、背景分离子单元，用于根据运动对象的区域信息，分别提取出视频中的前景运动对象区域和背景区域；所述前景缓存子单元，用于缓存根据运动对象区域信息获得的前景运动对象序列；所述主背景选择子单元，用于根据视频中的背景区域生成主背景视频，所述主背景视频用于浓缩视频重建。
全文摘要
本发明公开了一种支持视频可伸缩浏览的视频编解码方法和装置。其中，所述支持视频可伸缩浏览的视频编码方法和装置，通过在编码原始视频的同时，编码通过视频分析和处理得到的与原始视频对应的运动对象标志位，使得解码端可以根据运动对象标志位进行支持视频可伸缩浏览的视频解码。所述支持视频可伸缩浏览的视频解码方法和装置，通过同时解码出重建的原始视频和运动对象标志位，从而在解码端根据运动对象标志位，对运动对象显示的起止时间进行重新排列，从而实现视频的可伸缩播放。本发明的优点是在提高大纲视频和原始视频的存储效率的同时，也同时实现了对不同时间、不同位置出现的运动对象进行可伸缩浏览。
文档编号H04N7/26GK102395029SQ201110346398
公开日2012年3月28日 申请日期2011年11月5日 优先权日2011年11月5日
发明者李子青, 王师峥 申请人:江苏物联网研究发展中心