专利名称：一种基于对象的快速多目立体视频分形压缩与解压缩方法
技术领域：
本发明属于视频压缩编码领域，涉及多目立体视频的压缩编码，特别涉及一种基于对象和分形的视频压缩编码方法，为立体视频编码的实时性应用奠定了基础，进一步提高了分形多目立体视频压缩编码的性能。
背景技术：
基于对象(Object-Based，简称0B)编码的概念最早由MPEG-4标准提出，使用基于对象的视频压缩编码方法使得每一帧视频的前景对象和背景对象得以独立的进行编码，可以进一步提高压缩比，同时在解码端可以实现一些新的功能，比如针对每一个视频对象的独立的传输和解码、对象和背景的替换、基于对象的视频检索、特别是相对于标准的编码方法，在对象的边界上可以获得更好的图像质量，因为物体的边界通常和图像中的边缘相重合，它是编码困难的部分。MPEG-4提出了基于对象的视频编码技术标准，在视频分析中，以视频对象为基本单位，每一个视频事件和场景都可以视为由视频中所有语义对象的静态属性(如形状、色彩、纹理)及其动态属性(运动强度、方向、节奏)组合而成的。在以对象为基本分析单位的视频分析方法，符合人类的思维方式和视觉特点，排除了视频中不重要的部分对视频分析的干扰(参见Liang Zhang. Object-based Method of important video clips Extraction[J]. Journal of Beijing Information Science and Technology University, 2009, 24 (4) :83-86)，(参见Bo Huang, Yujian Huang. A Scalable Object-based Wavelet Coder[J]. Radio Communications Technology,2009,35(1) 35-38), (^jALKassim Ashraf a,Zhao L F. Rate-scalable object-based wavelet codec with implicit shape coding[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2000,10(7) :1068-1079)。基于对象的视频编码方法可以提高视频压缩编码的性能并使其具有更多的灵活性。分形理论最初由Mandelbrot于上世纪70年代提出(参见Benoit B. Mandelbrot. The Fractal Geometry of Nature[M]. New York H. Freeman and Company,1982.)。 分形编码的数学基础是迭代函数系统(IF。理论。Barnsley首先将分形编码用于交互式图像压缩(参见 Michael F. Barns ley, Alan D. Sloan. A better way to compress image [J]. Byte Magazine，1988，13 (1) :215-233.)。Jacqain 提出了全自动的分形图像压缩方法(参见 Arnaud E. Jacquin. A novel fractal blocking-coding technique for digital image[C]. IEEE International Conference on Acoustics，Speech and Signal Processing,1990，4 :2225-2228.)，(参见 Arnaud Ε.Jacquin. Fractal image coding a review[J]. Proceeding of the IEEE，1993，81 (10) :1451-1465.)，该方法釆用基于图像分块的方式以局部的仿射变换代替全局的仿射变换。之后，Fisher利用四叉树改进了这一方法(参见 Y. Fisher. Fractal Image Compression [J]. Fractals，1994，2 (3) 347-361.)，(参见 Y. Fisher，E. W. Jacobs. Image compression :A study the iterated transform method[J]. Signal Processing,1992,29 (3),251-263.),(参见 Y.Fisher.Fractal Image Compression :Theory and application to digital images[M]. New York =Spring-Verlag, 1995，55-77.)，大大提高了编码效率，并成为目前分形图像编码中的
主流方法。在此基础之上，一些学者和研究人员把分形图像压缩的方法应用到视频序列的压缩上。Meiqing Wang等提出了综合基于数据立方体和基于帧的分形视频压缩方法(参见 Meiqing Wang, Choi-Hong Lai. A hybrid fractal video compression method[J]. Computers Mathematics with Applications，2005，50 (3-4) :611-621.)，(参见 Meiqing Wang,Zhehuang Huang,Choi-Hong Lai. Matching search in fractal video compression and its parallel implementation in distributed computing environments[J]. Applied Mathematical Modeling,2006,30 (8) :677-687.), ( # B Meiqing Wang, Rong Liu, Choi-Hong Lai. Adaptive partition and hybrid method in fractal video compression[J]. Computers & Mathematics with Applications，2006，51(11) 1715-1726.) ο 其中最为经典和影响较大的参见(C.S.Kim，R.C.Kim，S. U. Lee. Fractal coding of video sequence using circular prediction mapping and noncontractive interframe mapping[J]. IEEE Transactions on Image Processing，1998，7(4) 601-605.)。该方法采用类似于标准视频编码方法所采用的运动估计/补偿技术，该方法利用了相邻帧之间的时间强相关性，对视频序列压缩取得了较好的效果。在CPM和NCIM中， 子块域中的每个图像块都由来自相邻帧相同大小的父块域通过运动补偿得到。CPM和NCIM 两者间最大的不同在于CPM在解码的过程中需要具备收敛性，而NCIM不需要。但是在循环预测编码(CPM)方法中，为了保证起始帧经过自身的循环解码能够近似收敛到原来的图像，压缩过程需要经过复杂变换、搜索和迭代等，压缩时间和图像质量难以达到要求。目前典型的分形图像和视频压缩方法的运算量很大，编码速度较慢，并且解码的质量有待提高， 使得分形图像和视频压缩方法还需要进一步的改进和提高。多视点视频(Multi-view Video)是一种新型的具有立体感和交互操作功能的视频，通过在场景中放置多台摄像机，记录下多个视点数据，提供给用户以视点选择和场景漫游的交互能力。多视点视频将在自由视点视频、立体电视、立体视频会议、多视点视频点播等数字娱乐领域有着非常广泛的应用前景。随着相机数目的增加，多视点视频的数据量也成倍增加(参见 Chun Li, Lini MA. A Study ofMulti-view Video Coding Technology [J] Computers & Moderns，2009，1 :104-108.)。拍摄场景不同角度的视频信息，利用其中的一个或多个视点信息可以合成任意视点的信息，达到自由视点显示和自由切换任意视点的目的(参见 IS0/IEC JTC1/SC29/WG111 Call for Evidence on Multi-View Video Coding. DOC. N6720,Palma de Mallorca，Spain，2004.)，(参见 ISO IEC JTC 1/SC29/WG111 Survey of Algorithms used for Multi-view Video Coding (MVC). DOC 1. N6909, Hong Kong, China,2005.),(参见 IS0/IEC JTC1/SC29/WG11!Requirements on Multi-view Video Coding 4. DOC. N7282, Poznan,Poland,2005.)。本专利申请人已于2010年10月申请了两个有关分形多目视频编码的专利一种基于对象的快速多目立体视频分形压缩编解码方法(201010522165. 7CN 101980539A)和一种基于对象和分形的多目立体视频压缩编解码方法O01010522132. 2CN101980536A)。本发明与上述公开文献不同在于1)利用了预搜索限定条件；2)利用了分数像素块匹配；3)利用了改进的非对称十字形多层次六边形格点搜索算法；4)DCP编码方式时，充分利用视差分布约束条件力)解码中，利用了去方块环路滤波。因此，编码性能有了很大的改善和提高。
发明内容
—种基于对象的快速多目立体视频分形压缩与解压缩方法，选取中间目为参考目，使用MCP压缩，其它目使用DCP+MCP压缩。中间目为参考目，采用单独的运动补偿预测方式MCP编码，利用视频分割方法获得视频对象分割平面即Alpha平面对起始帧采用块DCT 变换编码，对非I帧进行块运动估计/补偿编码，计算与子块域和父块域相关子块的像素和与像素平方和，计算分数像素内插值对应块的像素和、像素平方和，判断预搜索限制条件， 在前一帧搜索窗中利用分数像素块匹配和改进的非对称十字形多层次六边形格点搜索算法寻找最相似的块。左目和右目采用MCP加视差补偿预测方式DCP编码，在DCP编码中，利用分数像素块匹配和视差分布约束条件。在解码过程中利用去方块环路滤波解码。一种基于对象的快速多目立体视频分形压缩方法，包括以下步骤步骤一利用自动视频对象分割方法对视频序列进行自动分割，获取每一帧的视频对象分割平面即Alpha平面，根据得到的视频对象分割平面确定要编码的视频对象区域；把正在进行压缩的帧称为当前帧，把当前帧的已经编码并重建的前一帧称为参考帧；步骤二 对于中间目，首先判断是否为I帧，若是I帧，则对该帧进行互不重叠的固定大小的块划分，对每一个图像块分别采用基于块DCT变换的I帧帧内图像压缩方法，对图像进行单独编码和解码，转到步骤十六；否则，转到步骤三；所述I帧为视频序列起始帧或者视频序列中只进行帧内编码的图像帧所述块DCT变换中的块采用固定大小模式；对于左目转到步骤九；对于右目转到步骤十五；步骤三若中间目为非I帧，用常规单目的运动补偿预测MCP编码，将当前帧划分为固定大小的互不重叠的宏块，然后计算这些宏块以及经树状划分得到的小块的像素和、 像素平方和，以及中间目前一帧已经编码并重建的图像即参考帧中，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，同时计算分数像素内插值对应块的像素和、像素平方和，转到步骤四；所述当前帧所有块的集合称为子块域；所述前一帧的所有块的集合称为父块域；步骤四对当前正在处理的图像块即当前块，利用Alpha平面判别该图像块的区域属性；如果该块不在当前编码的视频对象区域内，对该块不做处理；如果该块全部都在当前编码的视频对象区域内，转入步骤五；如果该块的部分像素在当前编码的视频对象区域内，部分像素不在当前编码的视频对象区域内，需要单独处理，转入步骤十四；如果所有的宏块都已处理完毕，则转到步骤十六；所述不在当前编码的视频对象区域内的块称为外部块，所述全部都在当前编码的视频对象区域内的块称为内部块，所述部分像素不在当前编码的视频对象区域内的块为边界块；步骤五依次对当前帧的所有宏块进行编码，在父块域中的搜索窗内首先对该宏块进行块匹配；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大小相同，转到步骤六；步骤六利用改进的非对称十字形多层次六边形格点搜索算法，然后利用分数像素块匹配，搜索分数像素内插值对应小块处的RMS点，搜索出最佳的匹配误差RMS，转到步骤七；步骤七预搜索限制条件判断对于特定的子块，若与父块对应值满足预搜索限制条件，则转到步骤八；否则直接保存当前的迭代函数系统系数即IFS系数，转入步骤四编码下一宏块；步骤八如果匹配误差RMS小于开始设定的阈值Y，则保存当前的迭代函数系统系数即IFS系数，转入步骤四编码下一宏块；否则，依次按照树状结构对该块进行划分，并对各个划分得到的小块利用分数像素块匹配和改进的非对称十字形多层次六边形格点搜索算法，分别计算匹配误差RMS，如果RMS小于设定阈值Y，则停止划分并记录该小块IFS 系数，转入步骤四编码下一宏块；否则继续划分，直到将当前块划分为预先设定的最小块， 记录IFS系数；转入步骤四编码下一宏块；所述搜索窗为在参考帧中的矩形搜索区域；所述 IFS系数包括父块位置(X，y)和比例因子S、偏移因子ο ；如果当前帧所有的宏块都已编码完毕，且是中间目，则转到步骤十六；若是左目或右目，则转到步骤十；步骤九对左目图像，首先进行互不重叠的宏块划分，然后计算这些宏块以及经树状划分得到的小块的像素和、像素平方和，以及左目前一帧重建图像参考帧，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，同时计算分数像素内插值对应块的像素和、像素平方和，以减少块匹配过程中的重复计算，转到步骤四；步骤十计算中间目中对应帧图像的参考帧，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，同时计算分数像素内插值对应块的像素和、 像素平方和，以减少块匹配过程中的重复计算，转到步骤十一；步骤十一对当前正在处理的图像块即当前块，利用Alpha平面判别该图像块的区域属性；如果该块不在当前编码的视频对象区域内，对该块不做处理；如果该块全部都在当前编码的视频对象区域内，转入步骤十二；如果该块的部分像素在当前编码的视频对象区域内，部分像素不在当前编码的视频对象区域内，需要单独处理，转入步骤十四；如果所有的宏块都已处理完毕，则转到步骤十六；步骤十二 首先对与当前子块位置相同的父块进行块匹配，得到RMS，并保存迭代函数系统系数，该系数包括父块与子块的相对位移矢量(X，y)，比例因子S和偏移因子O ；依次对当前帧的所有宏块进行编码，在父块域中的搜索窗内首先对该宏块进行块匹配；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大小相同并转入步骤十三，执行完步骤十三返回之后，如果所得的匹配误差RMS小于开始设定的阈值Y，则保存当前的迭代函数系统系数即IFS系数，转入步骤十二编码下一宏块；否则，依次按照树状结构对该块进行划分，并对各个划分得到的小块分别转入步骤十三，执行完步骤十三返回之后计算匹配误差RMS，如果RMS小于设定阈值Y，则停止划分并记录该小块IFS系数，转入步骤十二编码下一宏块；否则继续划分，直到将当前块划分为预先设定的最小块，转入步骤十三计算RMS，执行完步骤十三返回之后记录IFS系数，转入步骤十二编码下一宏块；最后与步骤八所得结果比较，选择误差最小的作为预测结果；所述搜索窗为在参考帧中的矩形搜索区域；所述IFS系数包括父块位置(x，y)和比例因子s、偏移因子ο ； 如果当前帧所有的宏块都已编码完毕，则转到步骤十六；步骤十三充分利用分数像素块匹配和视差分布约束条件将上一个视差估计矢量作为当前帧的搜索中心，在水平方向沿初始点的右侧进行搜索，在搜索过程中进行跳跃式搜索；点匹配完之后，向右间隔三个点进行搜索，进行比较，直到找到最小的RMS ；同时对分数像素位置进行相同的操作，比较得到更小的RMS，结束视差补偿预测DCP搜索过程；步骤十四单独处理边界块，当前帧的边界块只在父块中的属于边界块和内部块中搜索匹配，当前块和父块的像素选取准则是在当前块中只计算位于当前编码的视频对象区域内的像素值，只在参考帧的相同视频对象区域内进行块匹配；对于父块中，如果与当前块的相对应位置的父块中的某一像素也属于该视频对象区域，则采用原像素值，否则，用其它属于该视频对象区域像素的平均值代替；返回步骤五进行处理；步骤十五对于右目图像，首先进行互不重叠的宏块划分，然后计算这些宏块以及经树状划分得到的小块的像素和、像素平方和，以及右目前一帧重建图像参考帧，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，同时计算分数像素内插值对应块的像素和、像素平方和，以减少块匹配过程中的重复计算，转到步骤四；步骤十六对所有IFS系数进行Huffman编码，降低IFS系数数据的统计冗余；判断当前帧是否为最后一帧，如果是最后一帧结束编码；否则，返回步骤二继续处理下一帧图像。和中间目等距的左右目构成三目，所述三目分别进行MCP+DCP处理，每个处理彼此独立，左目内部或右目内部之间没有对应联系。所述一种基于对象的快速多目立体视频分形压缩方法，处理的视频序列为YUV格式，分别对3个分量中的每个采用上述十六个步骤进行处理。所述步骤六中分数像素块匹配，包括以下三个步骤1)对参考帧中搜索区域内的像素进行内插形成一个相对于在整数位置的像素更高分辨率的区域；2)在内插区域进行整数像素和半像素位置搜索找到最佳匹配；3)用匹配块的仿射变换来替代当前块。所述步骤六中改进的非对称十字形多层次六边形格点搜索算法，相比于H. 264中的非对称六边形算法，本算法的改进主要体现在以下三点1)起始点预测基于分形的视频编码算法没有涉及到多参考帧，并且宏块和子块具有不同的大小，故利用三种方式进行起始点预测a)空域中值预测取当前子块的左、上、右相邻块的运动矢量中间值为预测运动
矢量；b)原点预测根据时间相关性，令运动矢量取值为(0，0)；c)相邻参考帧预测利用前一参考帧中对应位置块的MV按比例进行预测；2)非对称十字模板搜索时的阈值转移条件分形编码的子块和父块的误差匹配准则R为式(3)、⑷、(5)。根据块的大小不同选择不同的阈值，非对称十字模板搜索完毕，择最佳匹配点作为新的起始点进行后续模版的匹配；3)提前终止条件根据分形编码算法的特点将提前终止分为两种情况一是在非均勻多层次六边形格点整像素运动搜索过程中，除了该算法本身的提前终止条件外，为了减少搜索复杂度如果最优点位于六边形中心，可停止搜索；二是基于分形的视频编码算法采用树状划分结构。
所述步骤七中预搜索限制条件为以下形式，其中，h为子块的像素值，Bi为父块的像素值，S为分形编码中的比例因子，ο为偏移因子，I a| I代表二维范数，gp ι a| I = (| |2小2|2—.成|2)1/2:
权利要求
1. 一种基于对象的快速多目立体视频分形压缩方法，其特征在于具体步骤如下 步骤一利用自动视频对象分割方法对视频序列进行自动分割，获取每一帧的视频对象分割平面即Alpha平面，根据得到的视频对象分割平面确定要编码的视频对象区域；把正在进行压缩的帧称为当前帧，把当前帧的已经编码并重建的前一帧称为参考帧；步骤二 对于中间目，首先判断是否为I帧，若是I帧，则对该帧进行互不重叠的固定大小的块划分，对每一个图像块分别采用基于块DCT变换的I帧帧内图像压缩方法，对图像进行单独编码和解码，转到步骤十六；否则，转到步骤三；所述I帧为视频序列起始帧或者视频序列中只进行帧内编码的图像帧所述块DCT变换中的块采用固定大小模式；对于左目转到步骤九；对于右目转到步骤十五；步骤三若中间目为非I帧，用常规单目的运动补偿预测MCP编码，将当前帧划分为固定大小的互不重叠的宏块，然后计算这些宏块以及经树状划分得到的小块的像素和、像素平方和，以及中间目前一帧已经编码并重建的图像即参考帧中，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，同时计算分数像素内插值对应块的像素和、像素平方和，转到步骤四；所述当前帧所有块的集合称为子块域；所述前一帧的所有块的集合称为父块域；步骤四对当前正在处理的图像块即当前块，利用Alpha平面判别该图像块的区域属性；如果该块不在当前编码的视频对象区域内，对该块不做处理；如果该块全部都在当前编码的视频对象区域内，转入步骤五；如果该块的部分像素在当前编码的视频对象区域内， 部分像素不在当前编码的视频对象区域内，需要单独处理，转入步骤十四；如果所有的宏块都已处理完毕，则转到步骤十六；所述不在当前编码的视频对象区域内的块称为外部块，所述全部都在当前编码的视频对象区域内的块称为内部块，所述部分像素不在当前编码的视频对象区域内的块为边界块；步骤五依次对当前帧的所有宏块进行编码，在父块域中的搜索窗内首先对该宏块进行块匹配；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大小相同，转到步骤六；步骤六利用改进的非对称十字形多层次六边形格点搜索算法，然后利用分数像素块匹配，搜索分数像素内插值对应小块处的RMS点，搜索出最佳的匹配误差RMS，转到步骤七； 步骤七预搜索限制条件判断对于特定的子块，若与父块对应值满足预搜索限制条件，则转到步骤八；否则直接保存当前的迭代函数系统系数即IFS系数，转入步骤四编码下一宏块；步骤八如果匹配误差RMS小于开始设定的阈值Y，则保存当前的迭代函数系统系数即IFS系数，转入步骤四编码下一宏块；否则，依次按照树状结构对该块进行划分，并对各个划分得到的小块利用分数像素块匹配和改进的非对称十字形多层次六边形格点搜索算法，分别计算匹配误差RMS，如果RMS小于设定阈值Y，则停止划分并记录该小块IFS系数， 转入步骤四编码下一宏块；否则继续划分，直到将当前块划分为预先设定的最小块，记录 IFS系数；转入步骤四编码下一宏块；所述搜索窗为在参考帧中的矩形搜索区域；所述IFS 系数包括父块位置(x，y)和比例因子s、偏移因子0 ；如果当前帧所有的宏块都已编码完毕， 且是中间目，则转到步骤十六；若是左目或右目，则转到步骤十；步骤九对左目图像，首先进行互不重叠的宏块划分，然后计算这些宏块以及经树状划分得到的小块的像素和、像素平方和，以及左目前一帧重建图像参考帧，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，同时计算分数像素内插值对应块的像素和、像素平方和，以减少块匹配过程中的重复计算，转到步骤四；步骤十计算中间目中对应帧图像的参考帧，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，同时计算分数像素内插值对应块的像素和、像素平方和，以减少块匹配过程中的重复计算，转到步骤十一；步骤十一对当前正在处理的图像块即当前块，利用Alpha平面判别该图像块的区域属性；如果该块不在当前编码的视频对象区域内，对该块不做处理；如果该块全部都在当前编码的视频对象区域内，转入步骤十二 ；如果该块的部分像素在当前编码的视频对象区域内，部分像素不在当前编码的视频对象区域内，需要单独处理，转入步骤十四；如果所有的宏块都已处理完毕，则转到步骤十六；步骤十二 首先对与当前子块位置相同的父块进行块匹配，得到RMS，并保存迭代函数系统系数，该系数包括父块与子块的相对位移矢量(x，y)，比例因子s和偏移因子ο ；依次对当前帧的所有宏块进行编码，在父块域中的搜索窗内首先对该宏块进行块匹配；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大小相同并转入步骤十三，执行完步骤十三返回之后，如果所得的匹配误差RMS小于开始设定的阈值Y，则保存当前的迭代函数系统系数即IFS系数，转入步骤十二编码下一宏块；否则， 依次按照树状结构对该块进行划分，并对各个划分得到的小块分别转入步骤十三，执行完步骤十三返回之后计算匹配误差RMS，如果RMS小于设定阈值Y，则停止划分并记录该小块 IFS系数，转入步骤十二编码下一宏块；否则继续划分，直到将当前块划分为预先设定的最小块，转入步骤十三计算RMS，执行完步骤十三返回之后记录IFS系数，转入步骤十二编码下一宏块；最后与步骤八所得结果比较，选择误差最小的作为预测结果；所述搜索窗为在参考帧中的矩形搜索区域；所述IFS系数包括父块位置(X，y)和比例因子s、偏移因子ο ； 如果当前帧所有的宏块都已编码完毕，则转到步骤十六；步骤十三充分利用分数像素块匹配和视差分布约束条件将上一个视差估计矢量作为当前帧的搜索中心，在水平方向沿初始点的右侧进行搜索，在搜索过程中进行跳跃式搜索；点匹配完之后，向右间隔三个点进行搜索，进行比较，直到找到最小的RMS ；同时对分数像素位置进行相同的操作，比较得到更小的RMS，结束视差补偿预测DCP搜索过程；步骤十四单独处理边界块，当前帧的边界块只在父块中的属于边界块和内部块中搜索匹配，当前块和父块的像素选取准则是在当前块中只计算位于当前编码的视频对象区域内的像素值，只在参考帧的相同视频对象区域内进行块匹配；对于父块中，如果与当前块的相对应位置的父块中的某一像素也属于该视频对象区域，则采用原像素值，否则，用其它属于该视频对象区域像素的平均值代替；返回步骤五进行处理；步骤十五对于右目图像，首先进行互不重叠的宏块划分，然后计算这些宏块以及经树状划分得到的小块的像素和、像素平方和，以及右目前一帧重建图像参考帧，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，同时计算分数像素内插值对应块的像素和、像素平方和，以减少块匹配过程中的重复计算，转到步骤四；步骤十六对所有IFS系数进行Huffman编码，降低IFS系数数据的统计冗余；判断当前帧是否为最后一帧，如果是最后一帧结束编码；否则，返回步骤二继续处理下一帧图像。
2.根据权利要求1所述的一种基于对象的快速多目立体视频分形压缩方法，其特征在于和中间目等距的左右目构成三目，所述三目分别进行MCP+DCP处理，每个处理彼此独立，左目内部或右目内部之间没有对应联系。
3.根据权利要求1所述的一种基于对象的快速多目立体视频分形压缩方法，其特征在于所述步骤六中分数像素块匹配，包括以下三个步骤1)对参考帧中搜索区域内的像素进行内插形成一个相对于在整数位置的像素更高分辨率的区域；2)在内插区域进行整数像素和半像素位置搜索找到最佳匹配；3)用匹配块的仿射变换来替代当前块。
4.根据权利要求1所述的一种基于对象的快速多目立体视频分形压缩方法，其特征在于处理的视频序列为YUV格式，分别对3个分量中的每个采用上述十六个步骤进行处理。
5.根据权利要求1所述的一种基于对象的快速多目立体视频分形压缩方法，其特征在于所述步骤六中改进的非对称十字形多层次六边形格点搜索算法，相比于H.沈4中的非对称六边形算法，本方法的改进主要体现在以下三点1)起始点预测基于分形的视频编码算法没有涉及到多参考帧，并且宏块和子块具有不同的大小，故利用三种方式进行起始点预测a)空域中值预测取当前子块的左、上、右相邻块的运动矢量中间值为预测运动矢量；b)原点预测根据时间相关性，令运动矢量取值为(0，0)；c)相邻参考帧预测利用前一参考帧中对应位置块的MV按比例进行预测；2)非对称十字模板搜索时的阈值转移条件分形编码的子块和父块的误差匹配准则R为式(3)、(4), (5)；根据块的大小不同选择不同的阈值，非对称十字模板搜索完毕，择最佳匹配点作为新的起始点进行后续模版的匹配；3)提前终止条件根据分形编码算法的特点将提前终止分为两种情况一是在非均勻多层次六边形格点整像素运动搜索过程中，除了该算法本身的提前终止条件外，为了减少搜索复杂度如果最优点位于六边形中心，可停止搜索；二是基于分形的视频编码算法采用树状划分结构。
6.根据权利要求1所述的一种基于对象的快速多目立体视频分形压缩方法，其特征在于所述步骤七中预搜索限制条件为以下形式，其中，h为子块的像素值，Bi为父块的像素值，S为分形编码中的比例因子，O为偏移因子
7.根据权利要求1所述的一种基于对象的快速多目立体视频分形压缩方法，其特征在于所述步骤八中对该块采用树状划分，块匹配采用匹配误差准则，子块与父块的匹配误差 RMS 为
8.根据权利要求1所述的一种基于对象的快速多目立体视频分形压缩方法，其特征在于所述步骤十三中视差分布约束条件如下1)外极线约束；对于左目中的图像上的一点，通过相对定向参数找出右目中的图像上与其对应的极线，其对应点在上述极线上搜索；对于平行系统的视差搜索，沿扫描线，进行 χ方向的搜索；最佳匹配点位于偏振线上即水平线上；在立体平行摄像系统中，沿水平方向进行DCP搜索；两摄像机在同一时刻观看空间同一特征点P(χ。，y。，ζ。)，在左目中的图像和右目中的图像的坐标分别Spleft= (Xleft，Yleft) ,Pright= 0(right，Yright)；其中点 P(x。，y。，z。)与两个光心所确定的平面称为偏振平面，偏振平面与左右图像的交线称为偏振线；由几何关系得到，其中f表示摄像机的焦距，B为两摄像机的投影中心连线的距离，即基线距，zc为世界坐标系下特征点P的Z坐标
9.一种基于对象的快速多目立体视频分形解压缩方法，包含以下步骤步骤I 首先读入中间目压缩信息，包括压缩帧数，每帧图像的宽和高，I帧压缩质量和插入I帧的间隔；步骤II 判断解码帧是否为I帧，若是I帧转入步骤III，否则转入步骤IV ； 步骤III 对于I帧，从压缩文件中读入码流，并读入该帧的Alpha平面进行解码，解码之后的文件包括基于不同对象的视频文件和完整的视频文件，在基于对象的视频文件中， 根据Alpha平面，判断对应的对象属性，属于该对象的像素保留，不属于该对象的像素置零，帧数加一转入步骤IX;步骤IV 对于非I帧，计算中间目前一帧中按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和；步骤V 读入左目压缩信息，包括压缩帧数，每帧图像的宽和高，I帧压缩质量和插入I 帧的间隔；计算左目前一帧和中间目对应帧中按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和；步骤VI 读入右目压缩信息，包括压缩帧数，每帧图像的宽和高，I帧压缩质量和插入I 帧的间隔；计算右目前一帧和中间目对应帧中按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和；步骤VII 从对应的压缩文件中读入块的划分信息和Huffman码流，以及非I帧的 Alpha平面，从而得到非I帧所有宏块的划分方式和每一个小块的迭代函数系统系数，利用Alpha平面判别该图像块的区域属性，将当前块分成内部块、外部块和边界块；对于内部块，按照每一宏块进行分形解码；外部块不用处理；边界块用均值代替，进行分形解码；转入步骤VIII ；所述参考帧为当前帧的已经编码并重建的前一帧；步骤VIII 采用去方块环路滤波方法首先对边界的类型进行判断，定义参数块边缘强度，针对不同强度的块边缘，选择的滤波器和所需要滤波的像素点数也不一样，如果为帧内编码且为宏块边界，则采用强滤波；若不是帧内编码且不是宏块边界，仿射块边界采用一级滤波，非仿射块边界不需要滤波；其他情况采用二级滤波；最后按照每一宏块进行解码； 所述仿射块为由仿射变换得到的块，所述非仿射块为不是由仿射变换得到的块；步骤IX 判断此时所有帧是否都已解码，若都解码完毕，结束解码过程，否则转入步骤II。
10.根据权利要求9所述的一种基于对象的快速多目立体视频分形解压缩方法，其特征在于所述步骤VIII中按照每一宏块进行解码时，首先判断该宏块在编码时的划分方式，对于每一个子块，首先在父块域找到与该子块相对应的区域，然后利用下面的公式获得该子块的像素值Ti = s ·屯+0 (7)其中A为待解码子块的像素值，Cli为父块域中的像素值，S为比例因子，O为偏移因子。
11.根据权利要求9所述的一种基于对象的快速多目立体视频分形解压缩方法，其特征在于在基于分形的立体视频解码过程中，中间目用常规单目的运动补偿预测MCP编码， 左目和右目的每个图像块通过运动补偿预测MCP和视差补偿预测DCP两种方式进行预测， 从中选择误差较小的一种作为预测结果。
12.根据权利要求9所述的一种基于对象的快速多目立体视频分形解压缩方法，其特征在于所述步骤VII中利用Alpha平面判别该图像块的区域属性中，将当前块分成内部块、外部块和边界块；当前块中只有属于该对象区域的像素，即内部块才进行解码，在父块域中只利用属于同一对象区域的像素进行解码，假如父块域中的某个子块中部分像素不属于该视频对象即边界块，这部分像素的值用该子块中属于该对象区域的像素的平均值代替。
13.根据权利要求9所述的一种基于对象的快速多目立体分形视频解压缩方法，其特征在于所述步骤VIII中的块边缘强度用BS表示；其中，Pc/ ,Q0' ,P1' ,Q1'表示滤波后的像素值，Ptl, P1, Qci, Q1表示原始的像素值，不同的BS和对应的滤波器如下BS = 3时，需要进行强滤波，滤波器表示为P0' = (Pi+Po+Qo)/3Q0' = (Po+Qo+Qi) /3(8)P1' = (2 · Pi+Po' )/3 Q1' = (2 · Q^Q0' )/3 BS = 2时，二级滤波器表示为 P0'=(p1+2 · P0+Q0)/4(9)Q0' = (P0+2 · Qo+Qi) /4BS = 1时，一级滤波器表示为P0'=(p1+3 · P0+Q0)/5(10)Q0' = (P0+3 · Qo+Qi) /5 当BS = O时，不进行滤波。
14.根据权利要求9所述的一种基于对象的快速多目立体视频分形解压缩方法，其特征在于处理的视频序列为YUV格式，分别对3个分量中的每个采用上述九个步骤进行处理。
全文摘要
一种基于对象的快速多目立体视频分形压缩与解压缩方法，选取中间目为参考目，使用MCP压缩，其它目使用DCP+MCP压缩。中间目为参考目，采用单独的运动补偿预测方式MCP编码，利用视频分割方法获得视频对象分割平面即Alpha平面对起始帧采用块DCT变换编码，对非I帧进行块运动估计/补偿编码，计算与子块域和父块域相关子块的像素和与像素平方和，计算分数像素内插值对应块的像素和、像素平方和，判断预搜索限制条件，在前一帧搜索窗中利用分数像素块匹配和改进的非对称十字形多层次六边形格点搜索算法寻找最相似的块。左目和右目采用MCP加视差补偿预测方式DCP编码，在DCP编码中，利用分数像素块匹配和视差分布约束条件。在解码过程中利用去方块环路滤波解码。
文档编号H04N7/26GK102263953SQ201110188138
公开日2011年11月30日 申请日期2011年7月6日 优先权日2011年7月6日
发明者侯仰拴, 王再阔, 祝世平, 陈菊嫱 申请人:北京航空航天大学