一种基于对象和分形的多目立体视频压缩编解码方法

专利名称：一种基于对象和分形的多目立体视频压缩编解码方法
技术领域：
本发明属于视频压缩编码领域，涉及多目立体视频的压缩编码，特别涉及一种基 于对象和分形的视频压缩编码方法。为多目立体视频编码的实时性应用奠定了基础，进一 步提高了分形多目立体视频压缩编码的性能，使其更加具有实用性和推广性。
背景技术：
基于对象(Object-Based，简称0B)编码的概念最早由MPEG-4标准提出，使用 基于对象的视频压缩编码方法使得每一帧视频的前景对象和背景对象得以独立的进行编 码，可以进一步提高压缩比，同时在解码端可以实现一些新的功能，比如针对每一个视频 对象的独立的传输和解码、对象和背景的替换、基于对象的视频检索、特别是相对于标准 的编码方法，在对象的边界上可以获得更好的图像质量，因为物体的边界通常和图像中的 边缘相重合，它是编码困难的部分。MPEG-4提出了基于对象的视频编码技术标准，在视 频分析中，以视频对象为基本单位，每一个视频事件和场景都可以视为由视频中所有语义 对象的静态属性(如形状、色彩、纹理)及其动态属性(运动强度、方向、节奏)组合而 成的。在以对象为基本分析单位的视频分析方法，符合人类的思维方式和视觉特点，排除 了视频中不重要的部分对视频分析的干扰(参见Liang Zhang. Obiect-basedMethod of important video clips Extraction[J]. Journal of Beijing Information Science andTechnology University,2009,24(4) 83-86), ( # B Bo Huang, Yujian Huang. A ScalableObject-based Wavelet Coder[J]. Radio Communications Technology,2009, 35(1) :35_38),(参见Kassim Ashraf a,Zhao L F. Rate-scalable object-based wavelet codec with implicitshape coding[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2000,10 (7) :1068_1079)。基于对象的视频编码方法可以提高视频 压缩编码的性能并使其具有更多的灵活性。分形理论最初由Mandelbrot于上世纪70年代提出(参见Benoit B. Mandelbrot. TheFractal Geometry of Nature[M]. New York H.Freeman and Company,1982.)。分 形编码的数学基础是迭代函数系统(IFS)理论。Barnsley首先将分形编码用于交互 式图像压缩(参见 Michael F. Barns ley, Alan D. Sloan. A better way to compress image [J] .ByteMagazine，1988，13(1) :215_233.)。Jacqain 提出了 全自动的分形图像压 缩方法(参见 Arnaud E. Jacquin. A novel fractal blocking-coding technique for digital image[C]. IEEEInternational Conference on Acoustics，Speech and Signal Processing，1990，4 2225~2228.)，(参见 Arnaud E.Jacquin. Fractal image coding a review[J]. Proceeding of the IEEE，1993，81 (10) :1451_1465.)，该方法釆用基于 图像分块的方式以局部的仿射变换代替全局的仿射变换。之后，Fisher利用四叉树改 进了这一方法(参见 Y. Fisher. Fractal ImageCompression [J]. Fractals，1994，2 (3) 347-361.)，(参见 Y. Fisher，E. W. Jacobs. Imagecompression :A study the iterated transform method[J]. Signal Processing，1992，29(3)，251-263.)，(参见 Y.Fisher.Fractal Image Compression Theory and application to digital images[M]. New York Spring-Verlag, 1995，55-77.)，大大提高了编码效率，并成为目前分形图像编码中的主流方法。在此基础之上，一些学者和研究人员把分形图像压缩的方法应用到视频序列的 压缩上。Meiqing Wang等提出了综合基于数据立方体和基于帧的分形视频压缩方法(参 见 Meiqing Wang, Choi-Hong Lai. A hybrid fractal video compression method[J]. Computers Mathematics with Applications，2005，50 (3-4) :611_62L)，(参见 Meiqing Wang，ZhehuangHuang，Choi—Hong Lai. Matching search in fractal video compression and its parallei implementation in distributed computing environments[J]. Applied Mathematical Modeling,2006,30(8) :677-687. ), ( # B Meiqing Wang, Rong Liu, Choi-Hong Lai. Adaptive partitionand hybrid method in fractal video compression[J]. Computers & Mathematics withApplications,2006，51(11) 1715-1726. ) 0 其中最为经典和影响较大的参见(C.S.Kim，R. C. Kim, S. U. Lee. Fractal coding of video sequence using circular prediction mapping andnoncontractive interframe mapping[J]. IEEE Transactions on Image Processing，1998，7(4) 601-605.)。该方法采用类似于标准视频编码方法所采用的运动估计/补偿技术，该方法利 用了相邻帧之间的时间强相关性，对视频序列压缩取得了较好的效果。在CPM和NCIM中， 子块域中的每个图像块都由来自相邻帧相同大小的父块域通过运动补偿得到。CPM和NCIM 两者间最大的不同在于CPM在解码的过程中需要具备收敛性，而NCIM不需要。但是在循 环预测编码(CPM)方法中，为了保证起始帧经过自身的循环解码能够近似收敛到原来的图 像，压缩过程需要经过复杂变换、搜索和迭代等，压缩时间和图像质量难以达到要求。目前 典型的分形图像和视频压缩方法的运算量很大，编码速度较慢，并且解码的质量有待提高， 使得分形图像和视频压缩方法还需要进一步的改进和提高。多视点视频(Multi-view Video)是一种新型的具有立体感和交互操作功能的视 频，通过在场景中放置多台摄像机，记录下多个视点数据，提供给用户以视点选择和场景漫 游的交互能力。多视点视频将在自由视点视频、立体电视、立体视频会议、多视点视频点播 等数字娱乐领域有着非常广泛的应用前景。随着相机数目的增加，多视点视频的数据量也 成倍增加(参见 Chun Li，Lini MA. A Study of Multi-view Video Coding Technology [J], Computers & Moderns，2009，1 :104-108.)。拍摄场景不同角度的视频信息，利用其中的一 个或多个视点信息可以合成任意视点的信息，达到自由视点显示和自由切换任意视点的目 的(参见 IS0/IEC JTC 1/SC29/WG lllCall for Evidence on Multi-View Video Coding. DOC. N6720,Palma de Mallorca，Spain，2004.)，(参见ISO IEC JTC1/SC29/WG111 Surveyof Algorithms used for Multi-view Video Coding(MVC). D0C1. N6909, Hong Kong, China, 2005.)，(参见 IS0/IEC JTC 1/SC29/WG111 Requirements on Multi-view Video Coding 4.DOC. N7282, Poznan,Poland,2005.)。

发明内容
本发明提出了一种基于对象和分形的多目立体视频压缩与解压缩方法。在多目立 体视频编码中，选取中间目作为参考目，使用MCP原理压缩，其他目使用基于DCP+MCP的原理压缩。以三目视频为例，中间目作为参考目，采用单独的运动补偿预测方式(MCP)进行编 码，首先利用视频分割方法获得视频对象分割平面即Alpha平面，对起始帧采用块DCT变换 编码，对非I帧进行块运动估计/补偿编码，然后利用Alpha平面判别该图像块的区域属 性，如果该块不在当前编码的视频对象区域内，则对该外部块不做处理；如果该块全部都在 当前编码的视频对象区域内，在前一帧即中间目视频的参考帧搜索窗中利用全搜索方法寻 找最相似的匹配块，最后利用Huffman编码方法压缩迭代函数系统系数；如果该块的部分 像素在当前编码的视频对象区域内，部分像素不在当前编码的视频对象区域内，则对该边 界块需要单独处理。左目和右目分别采用MCP加视差补偿预测方式(DCP)进行编码，在进 行DCP编码方式时，充分利用立体平行摄像结构中的偏振性和方向性。—种基于对象和分形的多目立体视频压缩编码方法，包括以下步骤步骤一利用自动视频对象分割方法对视频序列进行自动分割，获取每一帧的视 频对象分割平面即Alpha平面，根据得到的视频对象分割平面确定要编码的视频对象区 域；把正在进行压缩的帧称为当前帧，把当前帧的已经编码并重建的前一帧称为参考帧；步骤二 对于中间目，首先判断是否为I帧，若是I帧，则对该帧进行互不重叠的固 定大小的块划分，对每一个图像块分别采用基于块DCT变换的I帧帧内图像压缩方法，对图 像进行单独编码和解码，转到步骤十二 ；所述I帧为视频序列起始帧或者视频序列中只进 行帧内编码的图像帧；所述将当前帧划分为固定大小的互不重叠的图像块称为宏块；所述 将当前宏块进行树状划分得到的块称为小块；所述当前帧为正在进行压缩的帧，所述参考 帧为当前帧的已经编码并重建的前一帧；所述当前帧所有块的集合称为子块域；所述前一 帧的所有块的集合称为父块域；所述块DCT变换中的块采用固定大小模式；对于左目转到 步骤六；对于右目转到步骤十一；步骤三若中间目为非I帧，用常规单目的运动补偿预测(MCP)编码，对该帧进行 互不重叠的宏块划分，然后计算这些宏块以及经树状划分得到的小块的像素和、像素平方 和，以及中间目前一帧重建图像即参考帧中，按照设定步长划分的所有宏块以及经树状划 分得到的小块的像素和、像素平方和；步骤四对当前正在处理的图像块即当前块，利用Alpha平面判别该图像块的区 域属性；如果该块不在当前编码的视频对象区域内，对该块不做处理；如果该块全部都在 当前编码的视频对象区域内，转入步骤五；如果该块的部分像素在当前编码的视频对象区 域内，部分像素不在当前编码的视频对象区域内，需要单独处理，转入步骤十；如果所有的 宏块都已处理完毕，则转到步骤十二 ；所述不在当前编码的视频对象区域内的块称为外部 块，所述全部都在当前编码的视频对象区域内的块称为内部块，所述部分像素不在当前编 码的视频对象区域内的块为边界块；步骤五依次对当前帧的所有宏块进行编码，在父块域中的搜索窗内首先对该宏 块进行块匹配；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块 的大小与子块的大小相同；如果匹配误差RMS小于开始设定的阈值Y，保存当前的迭代函 数系统系数即IFS系数，转入步骤五编码下一宏块；否则，依次按照树状结构对该块进行划 分，并对各个划分得到的小块分别计算匹配误差RMS，如果RMS小于设定阈值Y，停止划分 并记录该小块IFS系数，转入步骤五编码下一宏块；否则继续划分，直到将当前块划分为预 先设定的最小块，记录IFS系数；转入步骤五编码下一宏块；所述搜索窗为在参考帧中的矩形搜索区域；所述IFS系数包括父块位置(x，y)和比例因子s、偏移因子o ；如果当前帧所 有的宏块都已编码完毕，且是中目，则转到步骤十二 ；若是左目或右目，则执行步骤七；步骤六对左目图像，首先进行互不重叠的宏块划分，然后计算这些宏块以及经树 状划分得到的小块的像素和、像素平方和，以及左目前一帧重建图像参考帧，按照设定步长 划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，以减少块匹配过程中 的重复计算，转到步骤四；步骤七计算中间目中对应帧图像参考帧，按照设定步长划分的所有宏块以及经 树状划分得到的小块的像素和、像素平方和，以减少块匹配过程中的重复计算，转到步骤 八；步骤八对当前正在处理的图像块即当前块，利用Alpha平面判别该图像块的区 域属性；如果该块不在当前编码的视频对象区域内，对该块不做处理；如果该块全部都在 当前编码的视频对象区域内，转入步骤九；如果该块的部分像素在当前编码的视频对象区 域内，部分像素不在当前编码的视频对象区域内，需要单独处理，转入步骤十；如果所有的 宏块都已处理完毕，则转到步骤十二 ；步骤九首先对与当前子块位置相同的父块进行块匹配，得到RMS，并保存迭代函 数系统系数，该系数包括父块与子块的相对位移矢量(X，》，比例因子8和偏移因子0;依 次对当前帧的所有宏块进行编码，在父块域中的搜索窗内首先对该宏块进行块匹配；在进 行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大 小相同，利用DCP快速方法得到匹配误差RMS ；如果所得的匹配误差RMS小于开始设定的 阈值Y，保存当前的迭代函数系统系数即IFS系数，转入步骤九编码下一宏块；否则，依次 按照树状结构对该块进行划分，并对各个划分得到的小块，利用DCP快速方法得到匹配误 差RMS，如果RMS小于设定阈值、，停止划分并记录该小块IFS系数，转入步骤九编码下一 宏块；否则继续划分，直到将当前块划分为预先设定的最小块，利用DCP快速方法得到匹配 误差RMS，记录IFS系数，转入步骤九编码下一宏块；最后与步骤五所得结果比较，选择误差 最小的作为预测结果；所述搜索窗为在参考帧中的矩形搜索区域；所述IFS系数包括父块 位置(x，y)和比例因子s、偏移因子0;如果当前帧所有的宏块都已编码完毕，则转到步骤步骤十该步骤单独处理边界块，当前帧的边界块只在父块中的属于边界块和内 部块中搜索匹配，当前块和父块的像素选取准则是在当前块中只计算位于当前编码的视 频对象区域内的像素值，只在参考帧的相同视频对象区域内进行块匹配；对于父块中，如果 与当前块的相对应位置的父块中的某一像素也属于该视频对象区域，则采用原像素值，否 则，用其它属于该视频对象区域像素的平均值代替；返回步骤五进行处理；步骤十一对于右目图像，首先进行互不重叠的宏块划分，然后计算这些宏块以及 经树状划分得到的小块的像素和、像素平方和，以及右目前一帧重建图像参考帧，按照设定 步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，以减少块匹配过 程中的重复计算，转到步骤四；步骤十二 对所有IFS系数进行Huffman编码，降低IFS系数数据的统计冗余；判 断当前帧是否为最后一帧，如果是最后一帧结束编码；否则，返回步骤二继续处理下一帧图 像。
对于中间目，设多目立体视频总目数为N，这里N为奇数，则中间目指第(N+1) /2 目，它左边的所有目都称为左目，右边的所有目都称为右目。例如，第1目、N目禾P (N+l)/2 目构成三目，同样第2目、N-1目和(N+l)/2目构成三目，依次类推，分别进行三目的相应处 理，并且每个处理中彼此独立，左目内部或右目内部之间都没有对应联系。所述一种基于对象和分形的多目立体视频压缩编码方法，处理的视频序列为YUV 格式，分别对3个分量中的每个采用上述十二个步骤进行处理。所述步骤三和步骤五中对宏块采用树状划分，块匹配采用匹配误差准则；子块与 父块的匹配误差RMS为
RMS丄
N
N 0 N 0 NN 0N .
I rz+s(s I dl-2 E r.d.+2o E dl) + o{N-o-2 I r.)
m -t ^ ^ t. m X \, M I 4 ^
！=1I =1I = 1I = 1I=1
(l) 其中参数s和o分别为
NN N
S = ——M(2)
l^rA- i=lN N /=1 i=\i=\i=i1 NN—[Z r. N i^1-s E d ] i = l
(3)其中，N为子块和父块像素的个数，r,为子块的像素值，屯为父块的像素值；计算当前宏块在参考帧中的块匹配误差RMS，其中ri是子块的像素值，屯是父块的 像素值；如果RMS小于预先设定的阈值Y，记录IFS系数，IFS系数包括匹配块的位移矢量 (x，y)和公式2，3中的s和0，处理下一宏块；否则，对当前宏块进行树状划分，计算划分后 小块的RMS，如果小于阈值Y，则停止划分，否则继续划分，直到子块达到预先设定的最小 块为止。一种基于对象和分形的多目立体视频解压缩方法，其特征在于包含以下步骤步骤I 首先读入中间目压缩信息，包括压缩帧数，每帧图像的宽和高，I帧压缩质 量和插入I帧的间隔；步骤II 判断解码帧是否为I帧，若是I帧转入步骤III，否则转入步骤IV ；步骤III 对于I帧，从压缩文件中读入码流，并读入该帧的Alpha平面，进行类似 于JPEG的解压缩方式进行解码，解码之后的文件包括基于不同对象的视频文件和完整的 视频文件，在基于对象的视频文件中，根据Alpha平面，判断对应的对象属性，属于该对象 的像素保留，不属于该对象的像素置零，帧数加一转入步骤VII ；步骤IV 对于非I帧，计算中间目前一帧中按照设定步长划分的所有宏块以及经 树状划分得到的小块的像素和、像素平方和；步骤V 读入左目压缩信息，包括压缩帧数，每帧图像的宽和高，I帧压缩质量和插 入I帧的间隔；计算左目前一帧和中间目对应帧中按照设定步长划分的所有宏块以及经树 状划分得到的小块的像素和、像素平方和；步骤VI 读入右目压缩信息，包括压缩帧数，每帧图像的宽和高，I帧压缩质量和 插入I帧的间隔；计算右目前一帧和中间目对应帧中按照设定步长划分的所有宏块以及经
10树状划分得到的小块的像素和、像素平方和，转入步骤VII ；步骤VII 从对应的压缩文件中读入块的划分信息和Huffman码流，以及该帧的 Alpha平面，并根据以上的信息得到该帧所有宏块的划分方式和每一个小块的迭代函数系 统系数，利用Alpha平面判别该图像块的区域属性，将当前块分成内部块、外部块和边界 块；对于内部块，按照每一宏块进行分形解码；外部块不用处理；边界块用均值代替，进行 分形解码；转入步骤VIII;步骤VIII 判断此时所有帧是否都已解码，若都解码完毕，结束解码过程，否则转 入步骤II。对于每一个宏块进行解压缩时，首先判断该宏块在编码时的划分方式，对于每一 个子块，首先在父块域找到与该子块相对应的区域，然后利用下面的公式获得该子块的像
素值rj = s · di+o(4)其中ri为待解码子块的像素值，d,为父块域中的像素值，s为比例因子，ο为偏移 因子。在基于对象的解码过程中，利用Alpha平面判别该图像块的区域属性，将当前块 分成内部块、外部块和边界块；当前块中只有属于该对象区域的像素，即内部块才进行解 码；在父块域中只利用属于同一对象区域的像素进行解码，假如父块域中的某个子块中部 分像素不属于该视频对象即边界块，这部分像素的值用该子块中属于该对象区域的像素的 平均值代替。在基于对象和分形的多目立体视频解码过程中，中间目用常规单目的运动补偿预 测(MCP)编码，左目和右目的每个图像块通过运动补偿预测(MCP)和视差补偿预测(DCP) 两种方式进行预测，从中选择误差较小的一种作为预测结果。处理的视频序列为YUV格式，分别对3个分量中的每个采用上述八个步骤进行处理。本发明所提出的基于对象和分形的多目立体视频压缩方法的优点在于(1)本方法中对起始帧采用帧内块DCT变换编码，相对于CPM/NCIM编码方案，不但 大幅度减少了压缩时间和块效应，而且提高了峰值信噪比。(2)本方法先将一帧图像划分为互不重叠的、由若干固定大小尺寸的宏块组成的 棋盘格式；然后根据匹配准则与设定阈值的关系，对宏块进行树状结构划分；相对于四叉 树划分准则，大大降低了计算复杂度，提高了编码速度。(3)本方法在进行子块的块匹配之前，计算当前帧互不重叠的宏块及其经树状划 分之后得到的小块的像素和与像素平方和；在参考帧中，按照匹配步长分别计算各宏块以 及经树状划分以后得到的小块的像素和与像素平方和；避免了在块匹配过程中出现重复计 算的弊端，大大节约了子块的匹配时间。(4)本方法中，中间目的编码方式与单目分形编码相同；左目和右目中，除了采用 前一帧作为参考帧外，加入了中间目对应的帧共同作为参考帧，选取误差最小的块作为父 块，使得面向的范围更广，实现更好的效果。(5)本方法引入了基于对象的视频编码方法，利用Alpha平面判别该图像块的区 域属性，将当前块分成内部块、外部块和边界块；基于对象的编码方法在非基于对象方法的基础之上又进一步提高了分形压缩的性能，不但增加了压缩比和峰值信噪比，而且使得压 缩具有更大的灵活性。(6)本方法中，在进行DCP编码方式时，充分利用平行摄像结构中的偏振性和方向 性，对DCP搜索方式进行了简化运算，提出了 一种新型快速搜索算法。


图Ia为本发明一种基于对象和分形的多目立体视频压缩与解压缩方法的左目压 缩流程图；图Ib为本发明一种基于对象和分形的多目立体视频压缩与解压缩方法的中间目 压缩流程图；图Ic为本发明一种基于对象和分形的多目立体视频压缩与解压缩方法的右目压 缩流程图；图Id为本发明一种基于对象和分形的多目立体视频压缩与解压缩方法的左目解 压缩流程图；图Ie为本发明一种基于对象和分形的多目立体视频压缩与解压缩方法的中间目 解压缩流程图；图If为本发明一种基于对象和分形的多目立体视频压缩与解压缩方法的右目解 压缩流程图；图Ig为本发明一种基于对象和分形的多目立体视频压缩与解压缩方法的DCP快 速算法流程图；图2a为标准测试视频序列“anne. cif ”的第1帧的中间目图像；图2b为标准测试视频序列“anne. cif”的第1帧的左目图像；图2c为标准测试视频序列“anne. cif”的第1帧的右目图像；图2d为本发明一种基于对象和分形的多目立体视频压缩与解压缩方法得到的标 准测试视频序列“anne. cif”的第1帧中间目的Alpha分割平面；图2e为本发明一种基于对象和分形的多目立体视频压缩与解压缩方法得到的标 准测试视频序列“anne. cif”的第1帧左目的Alpha分割平面；图2f为本发明一种基于对象和分形的多目立体视频压缩与解压缩方法得到的标 准测试视频序列“anne. cif”的第1帧右目的Alpha分割平面；图2g为本发明一种基于对象和分形的多目立体视频压缩与解压缩方法单独解码 经本发明方法压缩编码以后的标准测试视频序列“anne. cif”的第1帧中间目的前景视频 对象的结果图像；图2h为本发明一种基于对象和分形的多目立体视频压缩与解压缩方法单独解码 经本发明方法压缩编码以后的标准测试视频序列“anne. cif”的第1帧左目的前景视频对 象的结果图像；图2i为本发明一种基于对象和分形的多目立体视频压缩与解压缩方法单独解码 经本发明方法压缩编码以后的标准测试视频序列“anne. cif”的第1帧右目的前景视频对 象的结果图像；图3a为本发明一种基于对象和分形的多目立体视频压缩与解压缩方法对宏块的四种划分模式图；图3b为本发明一种基于对象和分形的多目立体视频压缩与解压缩方法对宏块的 划分模式四进一步进行划分的四种划分模式图；图4为本发明一种基于对象和分形的多目立体视频压缩与解压缩方法的MCP和 DCP结构示意图；图5a为本发明一种基于对象和分形的多目立体视频压缩与解压缩方法对基于对 象的三种图像块的标记图；图5b为本发明一种基于对象和分形的多目立体视频压缩与解压缩方法对边界块 属于不同视频对象区域的像素的标记图；图6a为本发明一种基于对象和分形的多目立体视频压缩与解压缩方法的快速算 法与传统的全搜索方法分别对“arme. cif”多目立体视频序列的前5帧进行压缩的压缩比 对比图。图6b为本发明一种基于对象和分形的多目立体视频压缩与解压缩方法的快速算 法与传统的全搜索方法分别对“arme. cif"多目立体视频序列道的前5帧进行压缩的PSNR 对比图。图6c本发明一种基于对象和分形的多目立体视频压缩与解压缩方法的快速算法 与传统的全搜索方法分别“anne. cif”多目视频序列的前5帧进行压缩的压缩时间对比图。
具体实施例方式下面将结合附图对本发明方法作进一步的详细说明，仅以亮度分量Y为例，色差 分量U和V的压缩步骤与亮度分量相同。本发明提出了一种基于对象和分形的多目立体视频压缩与解压缩方法。在多目立 体视频编码中，选取中间目作为参考目，使用MCP原理压缩，其他目使用基于DCP+MCP的原 理压缩。以三目视频为例，中间目作为参考目，采用单独的运动补偿预测方式(MCP)进行编 码，首先利用视频分割方法获得视频对象分割平面即Alpha平面，对起始帧采用块DCT变换 编码，对非I帧进行块运动估计/补偿编码，然后利用Alpha平面判别该图像块的区域属 性，如果该块不在当前编码的视频对象区域内，则对该外部块不做处理；如果该块全部都在 当前编码的视频对象区域内，在前一帧即中间目视频的参考帧搜索窗中利用全搜索方法寻 找最相似的匹配块，最后利用Huffman编码方法压缩迭代函数系统系数；如果该块的部分 像素在当前编码的视频对象区域内，部分像素不在当前编码的视频对象区域内，则对该边 界块需要单独处理。左目和右目分别采用MCP加视差补偿预测方式(DCP)进行编码，在进 行DCP编码方式时，充分利用立体平行摄像结构中的偏振性和方向性。如附图la、图Ib和图Ic所示，一种基于对象和分形的多目视频压缩编码方法，包 括以下步骤步骤一以标准测试视频序列“arme. cif”的前5帧为例。利用自动视频对象分割 方法对视频序列进行自动分割，获取Alpha平面。视频中的对象可以通过Alpha平面进行 定义，并且可以独立进行压缩编码。附图2a是标准测试视频序列“arme. cif ”中间目的第1 帧，附图2d为该帧的Alpha平面，前景用黑色表示，背景用白色表示。如附图2a所示，图像 中有两个视频对象，那么Alpha平面就可以是一个二值图像，用黑色代表前景，白色代表背
13景。每个对象都可以独立地进行压缩，使得每个对象组成一个码流。所以在解压缩时，不需 要得到整幅图像，而是可以单独恢复和控制每个对象。单独解压缩前景视频对象的结果为 附图2g。引入基于对象的编码不但提高了压缩性能，而且增加了视频编码方法的灵活性。步骤二 以多目立体视频序列“arme. cif”的前5帧为例。对于中间目，设多目立体 视频总目数为N，这里N为奇数，则中间目指第(N+1V2目，它左边的所有目都称为左目，右 边的所有目都称为右目。例如，第1目、N目和(N+l)/2目构成三目，同样第2目、N-I目和 (N+I) /2目构成三目，依次类推，分别进行三目的相应处理，并且每个处理中彼此独立，左目 内部或右目内部之间都没有对应联系。首先判断是否为I巾贞，若是I帧，则对该帧进行互不 重叠的固定大小的块划分，对每一个图像块分别采用基于块DCT变换的I帧帧内图像压缩 方法，对该帧图像进行单独编码和解码，解码之后的像素若属于Alpha平面中待编码的视 频对象则保留该像素值，否则将像素值置零后转到步骤十二 ；所述I帧为视频序列起始帧 或者视频序列中只进行帧内编码的图像帧；所述将当前帧划分为固定大小的互不重叠的图 像块称为宏块；所述将当前宏块进行树状划分得到的块称为小块；所述当前帧为正在进行 压缩的帧，所述参考帧为当前帧的已经编码并重建的前一帧；所述当前帧所有块的集合称 为子块域；所述前一帧的所有块的集合称为父块域；所述块DCT变换中的块采用固定大小 模式。对于左目转到步骤六；对于右目转到步骤十一。对视频序列“arme. cif ”中间目的起始帧，对每一个图像块分别采用基于块DCT变 换的I帧帧内图像压缩方法，将起始帧划分为8X8的互不重叠的子块，对每一子块分别进 行DCT变换。离散余弦变换将8X8的图像样本X，变换成8X8的系数矩阵Y。变换过程 (包括反变换)可以用变换矩阵A来表示。8X8样本块的正向DCT(FDCT)变换如下Y = AXAt(5)反向DCT(IDCT)如下X = AtYA(6)其中A是8X8的变换矩阵。A中的各个元素如下
r,广(2/ + 1)^A.. =C. cos—~—(7)
？/ ζ 16“其中C. =J- (i = 0) C. =- (i > 0)(8)
i U12i，j分别为矩阵A的行和列。对变换系数进行量化和编码，转入步骤十二。步骤三若中间目为非I帧，用常规单目的运动补偿预测(MCP)编码，对图像进 行互不重叠的16X16宏块划分，分别计算当前帧互不重叠的16X 16，16X8，8X 16，8X8， 8X4，4X8，4X4的小块的像素和与像素的平方和。然后分别计算参考帧也就是前一帧的解 压缩图像中以1为步长的大小分别为16X16，16X8，8X16，8X8，8X4，4X8，4X4的小块 的像素和与像素的平方和。从第一个宏块开始处理，依次对当前帧的所有16X16宏块进行 编码；步骤四在当前帧中按照互不重叠的16X16的宏块进行块匹配，利用Alpha平面判别该图像块的区域属性；根据该宏块的类型，做出如下的选择，如果该宏块不在Alpha平 面内，对该块不做处理，继续处理下一宏块；如果该宏块全部位于Alpha平面内，转入步骤 五；如果该宏块部分位于Alpha平面内，转入步骤十。如果当前帧宏块全部匹配完毕后，转 入步骤十二。所述不在当前编码的视频对象区域内的块称为外部块，所述全部都在当前编 码的视频对象区域内的块称为内部块，所述部分像素不在当前编码的视频对象区域内的块 为边界块。步骤五依次对当前帧的所有16X16宏块进行编码，在父块域中的搜索窗内对整 个宏块进行块运动估计/补偿。匹配的依据是分形迭代函数系统原理，简要介绍一下分形 图像压缩的数学基础-迭代函数系统(IFS =Iterative Function System)理论。设D是 Rn欧氏空间的子集，ω为D — D的映射，如果存在一个实数C，0 < C < 1，使得对于Rn上的 度量d，满足对任意x，y eD，有d(co(x)，ω (y)) < C(d(x，y))，则称ω为压缩映射，实数 C称为ω的压缩因子。完备的度量空间(X，d)以及η个压缩映射—Χ(其压缩因子 分别为C1, C2, ...Cn) —起，就组成一个迭代函数系统(Iterated Function System)，简称 IFS，记作{X = GJ1, ω2，. . .，ωη}。C = max (CijC2,. . .，Cn)称为 IFS 的压缩因子。因此{R2 CO1, ω2, ω3}就是一个 IFS。分形图像压缩中，一般的匹配准则是RMS，即RMS =rf + sisf^df -2坌η , + Iofu+ ο(Ν·ο-2坌η)]
“/=1/=1/=1/=I,二ι其中S，ο分别为
NN N——isVjd
(=1 /=1
！ NNο = —[ Σ r -s Σ d ]
N i=I1 i=\ 1其中，N为子块和父块像素的个数，r,为子块的像素值，Cli为父块的像素值。首先设定子块的匹配误差阈值Y =t0lXt0lXn0，其中tol根据不同的子块大小 而改变，大的子块tol就越大，小的子块tol就小。在本例中，我们取16X16宏块的tol为 10. 0，8X8子块的tol为8. 0，4X4子块的tol为6. Ο,ηο为当前子块属于该视频对象区域 的像素个数。首先设定16X16宏块的匹配误差阈值Y16= 10. OX 10. ΟΧηο，在参考帧的父块域 中以当前子块的位置开始在15X15的搜索窗内对整个宏块进行块匹配，如果匹配误差RMS 小于开始设定的阈值Y16，保存当前的IFS系数包括比例因子s，偏移0，父块相对于当前子 块的坐标偏移X，1，返回步骤五，继续下一宏块的匹配。否则，按照树状结构对该宏块进行划分，对宏块的划分有四种模式，如附图3a，模 式一为一个16 X 16小块，模式二为两个8 X 16的小块，模式三为两个16X8的小块，模式四 为四个8X8的小块。1、首先按模式二的划分计算，若模式二中两个小块都满足RMS < Y16，保存当前的 IFS系数包括比例因子s，偏移0，以及父块相对于当前子块的坐标偏移X，y，并停止块的划分，转到5;2、否则按模式三划分，若模式三中两个小块都满足RMS < γ 16，保存当前的IFS系 数包括比例因子s，偏移0，以及父块相对于当前子块的坐标偏移χ，y，并停止块的划分，转 到5;3、否则按照模式四对当前宏块进行划分，此时匹配误差阈值设置为Y8 = 8. 0X8. ΟΧηο，如果模式四中的4个小块都满足RMS < Y8.保存当前的IFS系数包括比例 因子s，偏移0，以及父块相对于当前子块的坐标偏移X，y，并停止块的划分，转到5 ；4、否则对模式四中的每一个小块按照附图3b中的模式划分顺序进行划分，可依 次划分为1个8 X 8的小块，2个4X 8的小块，2个8 X 4的小块，4个4X 4的小块。这里只 对第一个8 X 8小块的匹配过程进行阐述，其它3个8 X 8小块的匹配过程与第一个相同，不 再赘述。首先按照2个4X8的小块划分，进行块匹配，如果两个子块的匹配误差RMS全部 小于Y8时，保存当前的IFS系数包括比例因子s，偏移0，以及父块相对于当前子块的坐标 偏移x，y，并停止块的划分。否则，按照2个8X4的划分方式进行块的划分，对这两个子块 进行块匹配，如果两个子块的匹配误差RMS全部小于γ 8时，保存当前的IFS系数包括比例 因子s，偏移0，以及父块相对于当前子块的坐标偏移X，y，并停止块的划分。否则，对该子 块划分为4个4X4的小块，同时匹配误差阈值设为Y4 = 6.0Χ6.0ΧΠΟ，对四个小块分别 进行块匹配，并分别记录每个子块的IFS系数包括比例因子s，偏移0，以及父块相对于当前 子块的坐标偏移X，y，并停止块的划分，转到5 ；5、返回步骤五，继续下一宏块的编码。如果当前帧所有的宏块都已编码完毕，且是中间目，则转到步骤十二 ；若是左目或 右目，则执行步骤七；步骤六对于左目，首先进行互不重叠的16X 16宏块划分，分别计算当前帧互不 重叠的16X16，16X8，8X16，8X8，8X4，4X8，4X4的小块的像素和与像素的平方和。然 后分别计算参考帧也就是前一帧的解压缩图像以1为步长的大小分别为16X16,16X8， 8X16,8X8,8X4,4X8,4X4的小块的像素和与像素的平方和，以减少块匹配过程中的重 复计算。附图4为多目立体视频编码的MCP和DCP结构示意图，左目和右目中，每个宏块使 用DCP从中间目中预测，使用MCP从左目和右目的前一帧预测。编码器首先在左目和右目 的前一帧中搜索，选择最匹配的D块；从第一个宏块开始处理，依次对当前帧的所有16X16 宏块进行编码，转入步骤四；步骤七计算中间目中对应帧图像参考帧，按照设定步长划分的所有宏块以及经 树状划分得到的小块的像素和、像素平方和，以减少块匹配过程中的重复计算，转到步骤 八；步骤八在当前帧中按照互不重叠的16X16的宏块进行块匹配，利用Alpha平面 判别该图像块的区域属性；根据该宏块的类型，做出如下的选择，如果该宏块不在Alpha平 面内，对该块不做处理，继续处理下一宏块；如果该宏块全部位于Alpha平面内，转入步骤 九；如果该宏块部分位于Alpha平面内，转入步骤十。如果当前帧宏块全部匹配完毕后，转 入步骤十二。所述不在当前编码的视频对象区域内的块称为外部块，所述全部都在当前编 码的视频对象区域内的块称为内部块，所述部分像素不在当前编码的视频对象区域内的块 为边界块。
16
步骤九对与当前子块位置相同的父块进行块匹配，得到RMS，并保存迭代函数系 统系数，该系数包括父块与子块的相对位移矢量(x，y)，比例因子s和偏移因子ο ；依次对当 前帧的所有宏块进行编码，在父块域中的搜索窗内首先对该宏块进行块匹配；在进行子块 与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大小相同， 利用DCP快速方法得到匹配误差RMS ；如果所得的匹配误差RMS小于开始设定的阈值γ，保 存当前的迭代函数系统系数即IFS系数，转入步骤九编码下一宏块；否则，依次按照树状结 构对该块进行划分，利用DCP快速方法得到匹配误差RMS，如果RMS小于设定阈值Y，停止 划分并记录该小块IFS系数，转入步骤九编码下一宏块；否则继续划分，直到将当前块划分 为预先设定的最小块，利用DCP快速方法得到匹配误差RMS，记录IFS系数，转入步骤九编码 下一宏块；最后与步骤五所得结果比较，选择误差最小的作为预测结果；所述搜索窗为在 参考帧中的矩形搜索区域；所述IFS系数包括父块位置(X，y)和比例因子S、偏移因子ο ； 如果当前帧所有的宏块都已编码完毕，则转到步骤十二；步骤十为了在匹配子块与父块时，避免将属于不同对象的像素相混淆，对每一个 像素在Alpha平面中做一个标记，标明被标记的像素是属于哪一对象的，如附图5b所示，此 边界块的像素被标记为Sl和S2两个部分。边界块的具体压缩方法假设当前压缩的是对象1 (压缩对象2时，方法相同)，即 Sl所在的对象。对于与子块相关的量，只计算在Sl区域内的像素值，而S2区域内的像素不 予以考虑；对于与父块有关的量，若与子块相对应的位置的父块中的某一像素Cli也属于Sl 区域，则使用Cli的原像素值，否则，按照特定的计算值来代替屯，本发明中使用的是父块中 属于Sl区域的像素均值来代替屯。需要说明的是，匹配映射只在同类块之间进行，即子块 和父块必须同时是边界块或者同时是内部块(外部块)。按照所述当前块和父块的像素选 取准则确定当前块和父块的像素值后，计算匹配误差RMS，如果RMS小于阈值Y，则保存当 前所得系数，否则将当前的边界块划分为小块，对每个小块分别返回步骤五进行处理；步骤十一对于右目图像，首先进行互不重叠的宏块划分，然后计算这些宏块以及 经树状划分得到的小块的像素和、像素平方和，以及右目前一帧重建图像参考帧，按照设定 步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，以减少块匹配过 程中的重复计算，转到步骤四；步骤十二 对所有IFS系数进行Huffman编码，Huffman编码是根据出现的概率将 每个符号映射到一个变长码字的集合(VLC)上，降低IFS系数数据的统计冗余。判断当前 帧是否为最后一帧，如果是最后一帧结束编码，否则，返回步骤二继续处理下一帧图像。如附图Id、图Ie和图If所示，一种基于对象和分形的多目立体视频解压缩方法， 包括以下步骤步骤I 首先读入中间目压缩信息，包括压缩帧数，每帧图像的宽和高，I帧压缩质 量和插入I帧的间隔；步骤II 判断解码帧是否为I帧，若是I帧转入步骤III，否则转入步骤IV ；步骤III 对于I帧，从压缩文件中读入码流，并读入该帧的Alpha平面，进行类似 于JPEG的解压缩方式进行解码，进行反DCT变换，得到每一个8X8的块的像素值；解码之 后的文件包括基于不同对象的视频文件和完整的视频文件，在基于对象的视频文件中，根 据Alpha平面，判断对应的对象属性，属于该对象的像素保留，不属于该对象的像素置零，
17帧数加一转入步骤VII ；步骤IV 对于非I帧，计算中间目前一帧中按照设定步长划分的所有宏块以及经 树状划分得到的小块的像素和、像素平方和；步骤V 读入左目压缩信息，包括压缩帧数，每帧图像的宽和高，I帧压缩质量和插 入I帧的间隔；计算左目前一帧和中间目对应帧中按照设定步长划分的所有宏块以及经树 状划分得到的小块的像素和、像素平方和；步骤VI 读入右目压缩信息，包括压缩帧数，每帧图像的宽和高，I帧压缩质量和 插入I帧的间隔；计算右目前一帧和中间目对应帧中按照设定步长划分的所有宏块以及经 树状划分得到的小块的像素和、像素平方和，转入步骤VII ；步骤VII 从压缩文件中读入块的划分信息和Huffman码流及该帧的Alpha平面， 并根据以上的信息得到该帧所有宏块的划分方式和每一个小块的迭代函数系统系数，按照 每一宏块进行解码，对于每一个宏块进行解压缩时；首先判断该宏块在编码时的划分方式， 对于每一个子块，在父块域找到与该子块相对应的区域，然后利用下面的公式获得该子块 的像素值，Γ = s · di+o其中ri为待解码子块的像素值，d,为父块域中的像素值，s为比例因子，ο为偏移 因子。在基于对象的解码过程中，利用Alpha平面判别该图像块的区域属性，将当前块 分成内部块、外部块和边界块；当前块中只有属于该对象区域的像素才进行解码，在父块域 中只利用属于同一对象区域的像素进行解码，假如父块域中的某个子块中部分像素不属于 该视频对象，这部分像素的值用该子块中属于该对象区域的像素的平均值代替；步骤VIII 判断此时所有帧是否都已解码，若都解码完毕，结束解码过程，否则转 入步骤II。处理的立体视频序列为YUV格式，分别对3个分量中的每个采用上述八个步骤进 行处理。本方法选择Vi sual C++6. 0作为所述方法的实现语言，CPU为Intel Core 2DuoT8300，2. 4GHz主频，内存大小为2G，对标准测试视频序列“anne. ciff”进行了基于对 象和分形的多目立体视频编码实验。表1为在同等条件下，利用本发明方法与CPM/NCIM方法对标准测试序列“anne. cif ”起始帧的对比实验结果。表2、表3和表4分别为基于对象0和对象1的前5帧压缩的平均峰值信噪比、平 均压缩比、平均压缩时间的比较。可以看到，对“arme. cif”三目立体视频序列，采用快速搜 索算法的搜索时间仅为全搜索算法的一半，中间目的解码质量保持不变，而左目和右目的 PSNR值提高了 0. IdB,同时压缩比增加了 0. 06。利用本方法对“arme. cif”的前5帧分别基 于对象0和基于对象1的压缩比的对比如附图6a所示；利用本方法对“arme. cif”的前5 帧基于对象0的峰值信噪比的对比如附图6b所示；利用本方法对“arme. cif”的前5帧的 压缩时间的对比如附图6c所示。
权利要求
一种基于对象和分形的多目立体视频压缩编码方法，其特征在于具体步骤如下步骤一利用自动视频对象分割方法对视频序列进行自动分割，获取每一帧的视频对象分割平面即Alpha平面，根据得到的视频对象分割平面确定要编码的视频对象区域；把正在进行压缩的帧称为当前帧，把当前帧的已经编码并重建的前一帧称为参考帧；步骤二对于中间目，首先判断是否为I帧，若是I帧，则对该帧进行互不重叠的固定大小的块划分，对每一个图像块分别采用基于块DCT变换的I帧帧内图像压缩方法，对图像进行单独编码和解码，转到步骤十二；所述I帧为视频序列起始帧或者视频序列中只进行帧内编码的图像帧；所述将当前帧划分为固定大小的互不重叠的图像块称为宏块；所述将当前宏块进行树状划分得到的块称为小块；所述当前帧为正在进行压缩的帧，所述参考帧为当前帧的已经编码并重建的前一帧；所述当前帧所有块的集合称为子块域；所述前一帧的所有块的集合称为父块域；所述块DCT变换中的块采用固定大小模式；对于左目转到步骤六；对于右目转到步骤十一；步骤三若中间目为非I帧，用常规单目的运动补偿预测(MCP)编码，对该帧进行互不重叠的宏块划分，然后计算这些宏块以及经树状划分得到的小块的像素和、像素平方和，以及中间目前一帧重建图像即参考帧中，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和；步骤四对当前正在处理的图像块即当前块，利用Alpha平面判别该图像块的区域属性；如果该块不在当前编码的视频对象区域内，对该块不做处理；如果该块全部都在当前编码的视频对象区域内，转入步骤五；如果该块的部分像素在当前编码的视频对象区域内，部分像素不在当前编码的视频对象区域内，需要单独处理，转入步骤十；如果所有的宏块都已处理完毕，则转到步骤十二；所述不在当前编码的视频对象区域内的块称为外部块，所述全部都在当前编码的视频对象区域内的块称为内部块，所述部分像素不在当前编码的视频对象区域内的块为边界块；步骤五依次对当前帧的所有宏块进行编码，在父块域中的搜索窗内首先对该宏块进行块匹配；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大小相同；如果匹配误差RMS小于开始设定的阈值γ，保存当前的迭代函数系统系数即IFS系数，转入步骤五编码下一宏块；否则，依次按照树状结构对该块进行划分，并对各个划分得到的小块分别计算匹配误差RMS，如果RMS小于设定阈值γ，停止划分并记录该小块IFS系数，转入步骤五编码下一宏块；否则继续划分，直到将当前块划分为预先设定的最小块，记录IFS系数；转入步骤五编码下一宏块；所述搜索窗为在参考帧中的矩形搜索区域；所述IFS系数包括父块位置(x，y)和比例因子s、偏移因子o；如果当前帧所有的宏块都已编码完毕，且是中目，则转到步骤十二；若是左目或右目，则执行步骤七；步骤六对左目图像，首先进行互不重叠的宏块划分，然后计算这些宏块以及经树状划分得到的小块的像素和、像素平方和，以及左目前一帧重建图像参考帧，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，以减少块匹配过程中的重复计算，转到步骤四；步骤七计算中间目中对应帧图像参考帧，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，以减少块匹配过程中的重复计算，转到步骤八；步骤八对当前正在处理的图像块即当前块，利用Alpha平面判别该图像块的区域属性；如果该块不在当前编码的视频对象区域内，对该块不做处理；如果该块全部都在当前编码的视频对象区域内，转入步骤九；如果该块的部分像素在当前编码的视频对象区域内，部分像素不在当前编码的视频对象区域内，需要单独处理，转入步骤十；如果所有的宏块都已处理完毕，则转到步骤十二；步骤九首先对与当前子块位置相同的父块进行块匹配，得到RMS，并保存迭代函数系统系数，该系数包括父块与子块的相对位移矢量(x，y)，比例因子s和偏移因子o；依次对当前帧的所有宏块进行编码，在父块域中的搜索窗内首先对该宏块进行块匹配；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大小相同，利用DCP快速方法得到匹配误差RMS；如果所得的匹配误差RMS小于开始设定的阈值γ，保存当前的迭代函数系统系数即IFS系数，转入步骤九编码下一宏块；否则，依次按照树状结构对该块进行划分，并对各个划分得到的小块，利用DCP快速方法得到匹配误差RMS，如果RMS小于设定阈值γ，停止划分并记录该小块IFS系数，转入步骤九编码下一宏块；否则继续划分，直到将当前块划分为预先设定的最小块，利用DCP快速方法得到匹配误差RMS，记录IFS系数，转入步骤九编码下一宏块；最后与步骤五所得结果比较，选择误差最小的作为预测结果；所述搜索窗为在参考帧中的矩形搜索区域；所述IFS系数包括父块位置(x，y)和比例因子s、偏移因子o；如果当前帧所有的宏块都已编码完毕，则转到步骤十二；步骤十该步骤单独处理边界块，当前帧的边界块只在父块中的属于边界块和内部块中搜索匹配，当前块和父块的像素选取准则是在当前块中只计算位于当前编码的视频对象区域内的像素值，只在参考帧的相同视频对象区域内进行块匹配；对于父块中，如果与当前块的相对应位置的父块中的某一像素也属于该视频对象区域，则采用原像素值，否则，用其它属于该视频对象区域像素的平均值代替；返回步骤五进行处理；步骤十一对于右目图像，首先进行互不重叠的宏块划分，然后计算这些宏块以及经树状划分得到的小块的像素和、像素平方和，以及右目前一帧重建图像参考帧，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，以减少块匹配过程中的重复计算，转到步骤四；步骤十二对所有IFS系数进行Huffman编码，降低IFS系数数据的统计冗余；判断当前帧是否为最后一帧，如果是最后一帧结束编码；否则，返回步骤二继续处理下一帧图像。
2.根据权利要求1所述一种基于对象和分形的多目立体视频压缩编码方法，其特征在 于对于中间目，设多目立体视频总目数为N，这里N为奇数，则中间目指第(N+l)/2目，它 左边的所有目都称为左目，右边的所有目都称为右目。和中间目等距的左右目构成三目，进 行相应的MCP+DCP处理，并且每个处理中彼此独立，左目内部或右目内部之间都没有对应 联系。
3.根据权利要求1所述一种基于对象和分形的多目立体视频压缩编码方法，其特征在 于处理的视频序列为YUV格式，分别对3个分量中的每个采用上述十二个步骤进行处理。
4.根据权利要求1所述一种基于对象和分形的多目立体视频压缩编码方法，其特征在 于所述步骤三和步骤五中对宏块采用树状划分，块匹配采用匹配误差准则；子块与父块 的匹配误差RMS为其中，N为子块和父块像素的个数，r,为子块的像素值，屯为父块的像素值；计算当前宏块在参考帧中的块匹配误差RMS，其中ri是子块的像素值，屯是父块的像素 值；如果RMS小于预先设定的阈值、，记录IFS系数，IFS系数包括匹配块的位移矢量(x，y) 和公式2，3中的s和0，处理下一宏块；否则，对当前宏块进行树状划分，计算划分后小块的 RMS，如果小于阈值Y，则停止划分，否则继续划分，直到子块达到预先设定的最小块为止。
5.一种基于对象和分形的多目立体视频解压缩方法，包含以下步骤步骤I 首先读入中间目压缩信息，包括压缩帧数，每帧图像的宽和高，I帧压缩质量和 插入I帧的间隔；步骤II 判断解码帧是否为I帧，若是I帧转入步骤III，否则转入步骤IV ；步骤III 对于I帧，从压缩文件中读入码流，并读入该帧的Alpha平面，进行类似于 JPEG的解压缩方式进行解码，解码之后的文件包括基于不同对象的视频文件和完整的视频 文件，在基于对象的视频文件中，根据Alpha平面，判断对应的对象属性，属于该对象的像 素保留，不属于该对象的像素置零，帧数加一转入步骤VII ；步骤IV 对于非I帧，计算中间目前一帧中按照设定步长划分的所有宏块以及经树状 划分得到的小块的像素和、像素平方和；步骤V 读入左目压缩信息，包括压缩帧数，每帧图像的宽和高，I帧压缩质量和插入I 帧的间隔；计算左目前一帧和中间目对应帧中按照设定步长划分的所有宏块以及经树状划 分得到的小块的像素和、像素平方和；步骤VI 读入右目压缩信息，包括压缩帧数，每帧图像的宽和高，I帧压缩质量和插入I 帧的间隔；计算右目前一帧和中间目对应帧中按照设定步长划分的所有宏块以及经树状划 分得到的小块的像素和、像素平方和，转入步骤VII ；步骤VII 从对应的压缩文件中读入块的划分信息和Huffman码流，以及该帧的Alpha 平面，并根据以上的信息得到该帧所有宏块的划分方式和每一个小块的迭代函数系统系 数，利用Alpha平面判别该图像块的区域属性，将当前块分成内部块、外部块和边界块；对 于内部块，按照每一宏块进行分形解码；外部块不用处理；边界块用均值代替，进行分形解 码；转入步骤VIII ；步骤VIII 判断此时所有帧是否都已解码，若都解码完毕，结束解码过程，否则转入步 骤II。
6.根据权利要求5所述一种基于对象和分形的多目立体视频解压缩方法，其特征在 于对于每一个宏块进行解压缩时，首先判断该宏块在编码时的划分方式，对于每一个子 块，首先在父块域找到与该子块相对应的区域，然后利用下面的公式获得该子块的像素值，ri = s 屯+0(4)其中巧为待解码子块的像素值，屯为父块域中的像素值，s为比例因子，o为偏移因子。
7.根据权利要求5所述一种基于对象和分形的多目立体视频解压缩方法，其特征在 于在基于对象和分形的多目立体视频解码过程中，中间目用常规单目的运动补偿预测 (MCP)编码，左目和右目的每个图像块通过运动补偿预测(MCP)和视差补偿预测(DCP)两种 方式进行预测，从中选择误差较小的一种作为预测结果。
8.根据权利要求5所述一种基于对象和分形的多目立体视频解压缩方法，其特征在 于在基于对象的解码过程中，利用Alpha平面判别该图像块的区域属性，将当前块分成内 部块、外部块和边界块；当前块中只有属于该对象区域的像素，即内部块才进行解码，在父 块域中只利用属于同一对象区域的像素进行解码，假如父块域中的某个子块中部分像素不 属于该视频对象即边界块，这部分像素的值用该子块中属于该对象区域的像素的平均值代 替。
9.根据权利要求5所述一种基于对象和分形的多目立体视频解压缩方法，其特征在 于处理的视频序列为YUV格式，分别对3个分量中的每个采用上述八个步骤进行处理。
全文摘要
本发明提出了一种基于对象和分形的多目立体视频压缩与解压缩方法。在多目立体视频编码中，选取中间目作为参考目，使用MCP原理压缩，其它目使用基于DCP+MCP的原理压缩。以三目视频为例，中间目作为参考目，采用单独的运动补偿预测方式(MCP)进行编码，首先利用视频分割方法获得视频对象分割平面即Alpha平面，对起始帧采用块DCT变换编码，对非I帧进行块运动估计/补偿编码，然后利用Alpha平面判别该图像块的区域属性，如果该块不在当前编码的视频对象区域内，则对该外部块不做处理；如果该块全部都在当前编码的视频对象区域内，在前一帧即中间目视频的参考帧搜索窗中利用全搜索方法寻找最相似的匹配块，最后利用Huffman编码方法压缩迭代函数系统系数；如果该块的部分像素在当前编码的视频对象区域内，部分像素不在当前编码的视频对象区域内，则对该边界块需要单独处理。左目和右目分别采用MCP加视差补偿预测方式(DCP)进行编码，在进行DCP编码方式时，充分利用立体平行摄像结构中的偏振性和方向性。
文档编号H04N7/50GK101980536SQ20101052213
公开日2011年2月23日 申请日期2010年10月21日 优先权日2010年10月21日
发明者侯仰拴, 王再阔, 祝世平, 陈菊嫱 申请人:北京航空航天大学