专利名称：一种基于对象的多视点视频分形编码压缩与解压缩方法
技术领域：
本发明属于三维视频压缩编码领域，涉及多视点视频的压缩编码，为三维立体视频编码的实时性应用奠定了基础，进一步提高了基于分形的多视点立体视频压缩编码的性倉泛。
背景技术：
分形理论最初应用于图像压缩，采用仿射变换进行压缩编码，大大提高了编码效率，并成为目前分形图像编码中的主流方法。 近年来，一些学者和研究人员把分形图像压缩的方法应用到视频序列的压缩上。其中最为经典和影响较大的参见(C.S.Kim，R.
C.Kim, S. U. Lee. Fractal coding of video sequence using circular predictionmapping and noncontractive interframe mapping[J]. IEEE Transactions on ImageProcessing, 1998,7(4) :601-605.)。该方法釆用类似于标准视频编码方法所釆用的运动估计/补偿技术，该方法利用了相邻帧之间的时间强相关性，对视频序列压缩取得了较好的效果。在CPM和NCIM中，子块域中的每个图像块都由来自相邻帧相同大小的父块域通过运动补偿得到。CPM和NCM两者间最大的不同在于CPM在解码的过程中需要具备收敛性，而NCIM不需要。但是在循环预测编码(CPM)方法中，为了保证起始帧经过自身的循环解码能够近似收敛到原来的图像，压缩过程需要经过复杂变换、搜索和迭代等，压缩时间和图像质量难以达到要求。Chou-ChenWang等人提出利用空间方向或空间和时间方向上子块附近的四个父块作为最佳的搜索区域，搜素出最佳匹配块的方法，(参见 Chou-Chen Wang, Chaur-Heh Hsieh. Efficient fractal video codingalgorithm using intercube correlation search[J]. Society of Photo-OpticalInstrumentation Engineers，2000，39 (8) :2058-2064.)减少了搜索时间，提高了编码效率。Meiqing Wang等提出了综合基于数据立方体和基于帧的分形视频压缩方法(参见 Meiqing Wang, Choi-Hong Lai. A hybrid fractal video compression method[J].Computers&Mathematics with Applications, 2005，50(3-4) :611-621.)，(参见 MeiqingWang, Zhehuang Huang, Choi-Hong Lai. Matching search in fractal video compressionand its parallel implementation in distributed computing environments[J].Applied Mathematical Modeling，2006，30 (8) : 677-687.)，(参见 Meiqing Wang, RongLiu,Choi-Hong Lai. Adaptive partition and hybrid method in fractal videocompression[J]. Computers&Mathematics withApplications, 2006，51 (11):1715-1726.)，在一定程度上提高了压缩比和解压图像的质量，但压缩时间较长；Koi0hse与MasahiroNakagawa提出将视频序列变换到频率域，在应用分形视频压缩方法将不同分量的序列压缩编石马(参见 Koji Ohsej Masahiro Nakagawa. Fractal video coding with the orthogonaltransformation, Electronics and Communications in Japan，2007，90 (3) : 36-47)，此方法提供了在确定压缩比的情况下，实现对视频较好的压缩。目前典型的分形图像和视频压缩方法的运算量大，编码速度较慢，并且解码的质量有待提高，使得分形图像和视频压缩方法还需要进一步的改进和提高。基于对象(Object-Based,简称0B)编码的概念最早由MPEG-4标准提出，但未给出具体有效的分割方法。使用基于对象的视频压缩编码方法使得每一帧视频的前景对象和背景对象得以独立的进行编码，可以进一步提高压缩比，同时在解码端可以实现一些新的功能，比如针对每一个视频对象的独立的传输和解码、对象和背景的替换、基于对象的视频检索、特别是相对于标准的编码方法，在对象的边界上可以获得更好的图像质量，因为物体的边界通常和图像中的边缘相重合，它是编码困难的部分。MPEG-4提出了基于对象的视频编码技术标准，在视频分析中，以视频对象为基本单位，每一个视频事件和场景都可以视为由视频中所有语义对象的静态属性(如形状、色彩、纹理)及其动态属性(运动强度、方向、节奏)组合而成的。在以对象为基本分析单位的视频分析方法，符合人类的思维方式和视觉特点，排除了视频中不重要的部分对视频分析的干扰(参见Liang Zhang. Object-basedMethod of important video clips extraction[J]. Journal of Beijing Informat ionScience and Technology University,2009，24(4):83-86),(参见 Bo Huang, YujianHuang.A Scalable Object-based Wavelet Coder[J]. Radio CommunicationsTechnology,2009，35(I):35-38),(参见 Kassim Ashraf a, Zhao L F. Rate-scalableobject-based wavelet codec with implicit shape coding[J]. IEEE Transactions onCircuits and Systems for Video Technology, 2000, 10 (7) : 1068 - 1079)。基于对象的视频编码方法可以提高视频压缩编码的性能并使其具有更多的灵活性，但目前还没有一个具体的精确分割视频方法有效地提取出视频对象。多视点视频(Multi-view Video)是一种新型的具有立体感和交互操作功能的视频，通过在场景中放置多台摄像机，记录下多个视点数据，提供给用户以视点选择和场景漫游的交互能力。多视点视频将在自由视点视频、立体电视、立体视频会议、多视点视频点播等数字娱乐领域有着非常广泛的应用前景。随着相机数视点视频的增加，多视点视频的数据量也成倍增加，巨大的数据量已成为制约其广泛应用的瓶颈(参见Matthias Zwicker, Sehoon Yea. Multi-view Video Compression for 3D Displays[J].IEEE Computer Society, 2010.)。拍摄场景不同角度的视频信息，利用其中的一个或多个视点信息可以合成任意视点的信息，达到自由视点显示和自由切换任意视点的视点视频的(参见 IS0/IEC JTCl/SC29/WGlllCall for Evidence on Multi-View VideoCoding. DOC. N6720, Palma de Mallorca, Spain, 2004.),(参见 ISO IECJTC1/SC29/WGlllSurvey of Algorithms used for Multi-view Video Coding(MVC). D0C1. N6909, HongKong, China, 2005.)，(参见 IS0/IEC JTC1/SC29/WG11 !Requirements on Multi-view VideoCoding 4. DOC. N7282, Poznan, Poland, 2005.)。
发明内容
本发明提出了一种基于对象的多视点视频分形编码压缩与解压缩方法，采用自动分割技术提取出需要编码的对象，选取中间视点作为参考视点，使用基于中心偏置的五边形运动估计预测结合分形编码的视频压缩方法，其它视点压缩时加入了视差估计；采用预匹配条件，得到满足条件的块匹配，将不满足条件的块提高到半像素搜索块匹配，不仅提高视频压缩比与编码效率，也改善了视频解码质量；以五个视点视频为例，K、L、C、R和S依次代表一个视点视频，编码过程中，采用了本发明提出的K — L — C — R—S的预测结构，即视点R和L均用视点C来预测，视点S和K分别用视点R和L来预测，5个视点的起始帧都用I帧。解码视点顺序相同，采用环路滤波去除块效应，提高解码视频视觉质量。I、一种基于对象的多视点视频分形编码压缩与解压缩方法，其特征在于压缩方法包含以下步骤步骤一输入视频，若当前帧是P帧，则判断视点，若为中间视点C的图像转到步骤二 ；若为左视点L或右视点R的图像，转到步骤七；若为左视点K的图像，转到步骤九；若为右视点S的图像，转到步骤十一。若当前帧为起始帧或需要帧内编码的I帧，对于每个在分割对象区域内的对内部块和边界块进行步骤二中的处理后，在各种可能的预测方式中选择具有最小代价的预测模式存储，完成所有块的预测后可以得到I帧的预测帧。通过原始帧和预测帧之差得到编码端残差帧，对残差图像的数据经过DCT、量化之后得到DCT变换系数；转入步骤六；步骤二 对前一帧图像中划分得到的为父块，对P帧划分得到子块，利用分割得到·的Alpha平面判别该子块的区域属性；根据该子块的类型，做出如下的选择，如果该子块不在Alpha平面对象区域内，即外部块，对该块不做处理，继续处理下一子块；如果该子块部分位于Alpha平面对象区域内，即边界块，只计算在对象区域内的像素值，而非对象区域内的像素不予以考虑；处理边界父块时，若与子块相对应的位置的父块中的某一像素也属于对象区域，则使用原像素值，否则，按照特定的计算值来代替原像素值，本文中使用的是父块中属于对象区域的像素均值来代替原像素值；转到步骤三；如果该子块全部位于Alpha平面内，转入步骤三；步骤三对步骤二中得到的子块与父块进行块匹配。首先对该子块在父块域中的矩形搜索窗内进行块匹配在进行子块与父块的匹配过程中，匹配映射只在同类块之间进行，即子块和父块必须同时是边界块或者同时是内部块；父块的大小与子块的大小相同；子块的位置作为父块的起始搜索点，采用基于中心偏置的五边形运动估计方法和半像素块匹配，得到最小匹配误差RMS，搜索出最佳的匹配块。转到步骤四；步骤四判断步骤三中搜索出的最佳匹配块是否满足预匹配条件0〈a〈u，u可以根据需要进行设置后，进行接下来的预匹配条件判断。若与父块对应匹配误差RMS满足预匹配条件，并且大于预先设定的阈值Y，则转到步骤五；否则直接保存当前的迭代函数系统系数即IFS系数，转入步骤六；步骤五依次按照树状划分结构的四种模式对该子块进行划分，利用基于中心偏置的五边形运动估计方法和半像素块匹配计算匹配误差RMS，如果RMS小于设定阈值Y，停止划分并记录该小块IFS系数，包括父块位置(x，y)和比例因子S、偏移因子O，转入步骤五；否则继续划分，直到将当前块划分为预先设定的最小块，记录IFS系数；转入步骤六；步骤六对DCT系数或IFS系数进行Huffman编码，降低数据的统计冗余。通过保存的IFS系数代入解码方程计算得到预测块的值，由原始块和预测块之差得到残差块，对其进行DCT变换和量化处理后，再经反量化、反DCT变换的得到残差块的值与预测块的值求和得到重建块(所有的重建块可得到重建帧，作为下一帧的参考帧)。如果当前帧所有的子块都已编码完毕，则转到步骤一；否则，转到步骤二编码下一子块；步骤七若P帧为左视点L或右视点S中的图像，将参考视点C中对应帧的解码图像、P帧图像与P帧前一帧图像分别进行宏块和小块划分，宏块是将当前帧划分为固定大小的互不重叠的图像块，小块是宏块经过树状划分得到的块，各宏块之间、小块之间互不交迭但又恰好接触。利用Alpha平面判别该图像块的区域属性；根据该宏块的类型，做不同的处理。计算各宏块与小块的像素和、像素平方和，同时计算半像素内插值对应块的像素和、像素平方和，以减少块匹配过程中的重复计算；转到步骤八；步骤八参考视点C中的对应帧重建图像中矩形搜索窗内对所有子块进行块匹配，充分利用分数像素块匹配和快速视差估计方法将上一个视差估计矢量作为为当前帧的搜索中心，在水平方向沿初始点的右侧进行搜索，在搜索过程中进行跳跃式搜索；点匹配完之后，向右间隔三个点进行搜索，进行比较，直到找到最小的RMS ;然后对分数像素位置进行相同的操作，比较得到更小的RMS1，结束DCP搜索过程；在当前P帧的前一帧矩形搜索窗内利用分数像素和基于五边形的运动估计对子块和父块进行匹配，得到最小匹配误差RMS2，将RMS2与RMSl比较，选择误差最小的作为预测结果，记录该块的IFS系数；转到步骤十三；步骤九若P帧为左视点K中的图像，将左视点L中对应帧的解码图像、当前P帧·与前一帧图像分别进行宏块和小块划分，利用Alpha平面判别该图像块的区域属性；根据该宏块的类型，做不同的处理。计算各宏块与小块的像素和、像素平方和；转到步骤十；步骤十在左视点L中的对应帧重建图像中矩形搜索窗内首先对所有子块进行块匹配，即利用快速视差估计方法得到父块与子块的最小匹配误差在进行子块与父块的匹配过程中，父块的大小与子块的大小相同，子块的位置作为父块的起始搜索点，得到最小匹配误差RMS3，搜索出最佳的匹配块。在左视点K中P帧的前一帧矩形搜索窗内利用分数像素和基于中心偏置的五边形运动估计方法对子块和父块进行匹配，得到最小匹配误差RMS4 ；将RMS3与RMS4比较，选择误差最小的作为预测结果，记录该块的IFS系数；转到步骤十三；步骤^^一 若P帧为右视点S中的图像，将右视点R中对应帧的解码图像、当前P帧与前一帧图像分别进行宏块和小块划分，利用Alpha平面判别该图像块的区域属性；根据该宏块的类型，做不同的处理。计算各宏块与小块的像素和、像素平方和；转到步骤十二 ；步骤十二 在右视点R中的对应帧重建图像中矩形搜索窗内利用快速视差估计方法对所有子块进行块匹配，得到最小匹配误差RMS5 ;在右视点S中P帧的前一帧矩形搜索窗内利用分数像素和基于中心偏置的五边形运动估计方法对子块和父块进行匹配，得到最小匹配误差RMS6 ;将RMS5与RMS6比较，选择误差最小的作为预测结果，记录该块的IFS系数；转到步骤十三；步骤十三对得到的IFS系数进行编码，判断是否为最后一帧，若不是，返回到步骤一编码下一帧；否则结束编码。一种基于对象的多视点视频分形编码压缩与解压缩方法，其特征在于提出新的时间-空间相结合的预测结构K — L — C — R — S，对视频序列中间视点C，以及和中间视点分别等距的左视点K、L和右视点R、S的五个视点视频，分别进行时间空间联合预测MCP+DCP处理,每个处理彼此独立，K、L视点视频内部或R、S视点视频内部之间没有对应联系。一种基于对象的多视点视频分形编码压缩与解压缩方法，其特征在于多视点视频分形编码中采用多参考I帧，即每个视点的起始帧都采用I帧压缩方法，可以在取得一定压缩比的同时，获得较好质量的重建图像，为后面其它帧的压缩构建高质量的参考帧。
根据权利要求I所述一种基于对象的多视点视频分形编码压缩与解压缩方法，其特征在于所述步骤三中半像素块匹配包括利用整数像素线性内插得到半像素区域；使用半像素块与当前块计算得到相对最小的误差RMS，得到最佳匹配块。根据权利要求I所述一种基于对象的多视点视频分形编码压缩与解压缩方法，其特征在于所述步骤三中基于中心偏置的五边形运动估计方法，充分利用时间相关性、视频的运动特征和分形编码的特点，主要表现为以下几点A、提前搜索终止技术由于大量最低运动视频序列有很多接近(0，0)的运动矢量，这些不运动宏块的发现可以仅仅通过计算其在(0，0)点的RMS值来实现。搜索中，如果在中心点(0，0)所得到的RMS值小于某一阈值，则针对此宏块的搜索立即停止。
B、运动矢量的中心偏置性在视频序列中背景和物体的运动大多是缓慢而平滑的，对于运动细微的视频场景，其运动矢量往往极好地符合了运动矢量的中心偏置分布模型。在这样的小运动序列中，大多数运动矢量都偏向于搜索中心而相互之间非常接近。此只需在搜索中心及其附近的小范围区域内进行搜索。本发明选择五边形的搜索模式，与其它模板(如十字形、六边形、菱形等)相比，具有较好的中心偏置性。C、相邻运动矢量之间的相关性对于运动剧烈的图像序列，同一运动物体所覆盖的几个块的运动往往具有很强的相关性，利用它们之间运动的相关性通过预测来进行搜索，可以大大提高搜索速度，并可有效地避免搜索进入局部最小点。本发明选择上一个宏块的最佳矢量作为新的起始点搜索，能较好的减少匹配时间。具体步骤如下步骤I :由相邻块预测当前块的分数像素运动矢量，获得FMVP，即(Pred_X，Pred_y)。直接以FMVP作为搜索起始点(0，0)；步骤II :比较搜索起始点(0,0)周围的5个五边形搜索点(-2,0), (-1,-1)，(1,-1), (2,0), (0,1)和(0，0)的匹配误差，；如果最小匹配误差小于某一阈值，最佳匹配矢量作为最终分数像素运动矢量；如果最小匹配误差RMS位于(0，0)，转到步骤IV ;否则进行第III步搜索；步骤III :如果最佳匹配点为(0，I)，则选择此最佳匹配点为步骤IV的搜索起始点，转到步骤IV ;否则以上一步得到的最佳匹配点为中心，比较周围4个小菱形点的匹配误差，得到最佳匹配点为下一步的搜索中心点，转到步骤IV ；步骤IV :比较中心点周围4个偏置菱形搜索点(-2,0), (-1,-1), (1,-1), (2,0)的匹配误差，如果最小匹配误差小于某一阈值，RMS最小的点作为最终分数像素运动矢量；否则转到步骤V。步骤V :按照四种划分模式划分宏块，按照上述步骤重新进行匹配，直到得到最小的RMS的匹配块，RMS最小的点作为最终分数像素运动矢量。根据权利要求I所述一种基于对象的多视点视频分形编码压缩与解压缩方法，其特征在于步骤四中为降低计算量加入了预匹配条件，即将匹配误差可以进行以下变形，
jRMS=-Y\(s Xf +O-Jf)2= 巧 +- - ]-^)2
Tl 4mT
11 /=1〃 I =I/=权利要求
1.一种基于对象的多视点视频分形编码压缩与解压缩方法，其特征在于实现步骤如下 步骤一输入视频，若当前帧是P帧，则判断视点，若为中间视点C的图像转到步骤二 ；若为左视点L或右视点R的图像，转到步骤七；若为左视点K的图像，转到步骤九；若为右视点S的图像，转到步骤十一。若当前帧为起始帧或需要帧内编码的I帧，对于每个在分割对象区域内的对内部块和边界块进行步骤二中的处理后，在各种可能的预测方式中选择具有最小代价的预测模式存储，完成所有块的预测后可以得到I帧的预测帧。通过原始帧和预测帧之差得到编码端残差帧，对残差图像的数据经过DCT、量化之后得到DCT变换系数；转入步骤六； 步骤二 对P帧划分得到子块，前一帧图像中划分得到的为父块，利用分割得到的Alpha平面判别该子块的区域属性；根据该子块的类型，做出如下的选择，如果该子块不在 Alpha平面对象区域内，S卩外部块，对该块不做处理，继续处理下一子块；如果该子块部分位于Alpha平面对象区域内，即边界块，只计算在对象区域内的像素值，而非对象区域内的像素不予以考虑；处理边界父块时，若与子块相对应的位置的父块中的某一像素也属于对象区域，则使用原像素值，否则，按照特定的计算值来代替原像素值，本文中使用的是父块中属于对象区域的像素均值来代替原像素值；转到步骤三；如果该子块全部位于Alpha平面内，转入步骤三； 步骤三对步骤二中得到的子块与父块进行块匹配。首先对该子块在父块域中的矩形搜索窗内进行块匹配在进行子块与父块的匹配过程中，匹配映射只在同类块之间进行，即子块和父块必须同时是边界块或者同时是内部块；父块的大小与子块的大小相同；子块的位置作为父块的起始搜索点，采用基于中心偏置的五边形运动估计方法和半像素块匹配，得到最小匹配误差RMS，搜索出最佳的匹配块。转到步骤四； 步骤四判断步骤三中搜索出的最佳匹配块是否满足预匹配条件0〈a〈u，u可以根据需要进行设置后，进行接下来的预匹配条件判断。若与父块对应匹配误差RMS满足预匹配条件，并且大于预先设定的阈值Y，则转到步骤五；否则直接保存当前的迭代函数系统系数即IFS系数，转入步骤六； 步骤五依次按照树状划分结构的四种模式对该子块进行划分，利用基于中心偏置的五边形运动估计方法和半像素块匹配计算匹配误差RMS，如果RMS小于设定阈值Y，停止划分并记录该小块IFS系数，包括父块位置(x，y)和比例因子S、偏移因子O，转入步骤五；否则继续划分，直到将当前块划分为预先设定的最小块，记录IFS系数；转入步骤六； 步骤六对DCT系数或IFS系数进行Huffman编码，降低数据的统计冗余。通过保存的IFS系数代入解码方程计算得到预测块的值，由原始块和预测块之差得到残差块，对其进行DCT变换和量化处理后，再经反量化、反DCT变换的得到残差块的值与预测块的值求和得到重建块(所有的重建块可得到重建帧，作为下一帧的参考帧)。如果当前帧所有的子块都已编码完毕，则转到步骤一；否则，转到步骤二编码下一子块； 步骤七若P帧为左视点L或右视点S中的图像，将参考视点C中对应帧的解码图像、P帧图像与P帧前一帧图像分别进行宏块和小块划分，宏块是将当前帧划分为固定大小的互不重叠的图像块，小块是宏块经过树状划分得到的块，各宏块之间、小块之间互不交迭但又恰好接触。利用Alpha平面判别该图像块的区域属性；根据该宏块的类型，做不同的处理。计算各宏块与小块的像素和、像素平方和，同时计算半像素内插值对应块的像素和、像素平方和，以减少块匹配过程中的重复计算；转到步骤八； 步骤八参考视点C中的对应帧重建图像中矩形搜索窗内对所有子块进行块匹配，充分利用分数像素块匹配和快速视差估计方法将上一个视差估计矢量作为为当前帧的搜索中心，在水平方向沿初始点的右侧进行搜索，在搜索过程中进行跳跃式搜索；点匹配完之后，向右间隔三个点进行搜索，进行比较，直到找到最小的RMS ;然后对分数像素位置进行相同的操作，比较得到更小的RMS1，结束DCP搜索过程；在当前P帧的前一帧矩形搜索窗内利用分数像素和基于五边形的运动估计对子块和父块进行匹配，得到最小匹配误差RMS2，将RMS2与RMSl比较，选择误差最小的作为预测结果，记录该块的IFS系数；转到步骤十三；步骤九若P帧为左视点K中的图像，将左视点L中对应帧的解码图像、当前P帧与前一帧图像分别进行宏块和小块划分，利用Alpha平面判别该图像块的区域属性；根据该宏块的类型，做不同的处理。计算各宏块与小块的像素和、像素平方和；转到步骤十； 步骤十在左视点L中的对应帧重建图像中矩形搜索窗内首先对所有子块进行块匹配，即利用快速视差估计方法得到父块与子块的最小匹配误差在进行子块与父块的匹配过程中，父块的大小与子块的大小相同，子块的位置作为父块的起始搜索点，得到最小匹配误差RMS3，搜索出最佳的匹配块。在左视点K中P帧的前一帧矩形搜索窗内利用分数像素和基于中心偏置的五边形运动估计方法对子块和父块进行匹配，得到最小匹配误差RMS4 ；将RMS3与RMS4比较，选择误差最小的作为预测结果，记录该块的IFS系数；转到步骤十三；步骤i^一 若P帧为右视点S中的图像，将右视点R中对应帧的解码图像、当前P帧与前一帧图像分别进行宏块和小块划分，利用Alpha平面判别该图像块的区域属性；根据该宏块的类型，做不同的处理。计算各宏块与小块的像素和、像素平方和；转到步骤十二 ； 步骤十二 在右视点R中的对应帧重建图像中矩形搜索窗内利用快速视差估计方法对所有子块进行块匹配，得 到最小匹配误差RMS5 ;在右视点S中P帧的前一帧矩形搜索窗内利用分数像素和基于中心偏置的五边形运动估计方法对子块和父块进行匹配，得到最小匹配误差RMS6 ;将RMS5与RMS6比较，选择误差最小的作为预测结果，记录该块的IFS系数；转到步骤十三； 步骤十三对得到的IFS系数进行编码，判断是否为最后一帧，若不是，返回到步骤一编码下一帧；否则结束编码。
2.一种基于对象的多视点视频分形编码压缩与解压缩方法，其特征在于输入的视频序列为YUV格式，分别对3个分量Y、U、V每个都采用上述十三个步骤进行处理；提出新的时间_空间相结合的预测结构K — L — C — R — S，对视频序列中间视点C，以及和中间视点分别等距的左视点K、L和右视点R、S的五个视点视频，分别进行时间空间联合预测MCP+DCP处理,每个处理彼此独立，K、L视点视频内部或R、S视点视频内部之间没有对应联系；每个视点的起始帧都采用I帧压缩方法，可以在取得一定压缩比的同时，获得较好质量的重建图像，为后面其它帧的压缩构建高质量的参考帧。
3.根据权利要求I所述一种基于对象的多视点视频分形编码压缩与解压缩方法，其特征在于所述步骤三中半像素块匹配包括利用整数像素线性内插得到半像素区域；使用半像素块与当前块计算得到相对最小的误差RMS，得到最佳匹配块。
基于中心偏置的五边形运动估计方法，充分利用时间相关性、视频的运动特征和分形编码的特点，主要表现为以下几点 A、提前搜索终止技术由于大量最低运动视频序列有很多接近(0，0)的运动矢量，这些不运动宏块的发现可以仅仅通过计算其在(0，0)点的RMS值来实现。搜索中，如果在中心点(0，0)所得到的RMS值小于某一阈值，则针对此宏块的搜索立即停止。
B、运动矢量的中心偏置性在视频序列中背景和物体的运动大多是缓慢而平滑的，对于运动细微的视频场景，其运动矢量往往极好地符合了运动矢量的中心偏置分布模型。在这样的小运动序列中，大多数运动矢量都偏向于搜索中心而相互之间非常接近。此只需在搜索中心及其附近的小范围区域内进行搜索。本发明选择五边形的搜索模式，与其它模板(如十字形、六边形、菱形等)相比，具有较好的中心偏置性。
C、相邻运动矢量之间的相关性对于运动剧烈的图像序列，同一运动物体所覆盖的几个块的运动往往具有很强的相关性，利用它们之间运动的相关性通过预测来进行搜索，可以大大提高搜索速度，并可有效地避免搜索进入局部最小点。本发明选择上一个宏块的最佳矢量作为新的起始点搜索，能较好的减少匹配时间。
具体步骤如下 步骤I :由相邻块预测当前块的分数像素运动矢量，获得FMVP，即(Pred_X，Pred_y)。直接以FMVP作为搜索起始点(0，0)； 步骤II :比较搜索起始点(0，0)周围的5个五边形搜索点(_2，0)，(-1，-I), (I, -I),(2,0), (0,1)和(0，0)的匹配误差，；如果最小匹配误差小于某一阈值，最佳匹配矢量作为最终分数像素运动矢量；如果最小匹配误差RMS位于(0，0)，转到步骤IV ;否则进行第III步搜索； 步骤III:如果最佳匹配点为(0，I)，则选择此最佳匹配点为步骤IV的搜索起始点，转到步骤IV ;否则以上一步得到的最佳匹配点为中心，比较周围4个小菱形点的匹配误差，得到最佳匹配点为下一步的搜索中心点，转到步骤IV ； 步骤IV:比较中心点周围4个偏置菱形搜索点(-2,0), (-1,-1), (1,-1), (2,0)的匹配误差，如果最小匹配误差小于某一阈值，RMS最小的点作为最终分数像素运动矢量；否则转到步骤V。
步骤V :按照四种划分模式划分宏块，按照上述步骤重新进行匹配，直到得到最小的RMS的匹配块，RMS最小的点作为最终分数像素运动矢量。
4.根据权利要求I所述一种基于对象的多视点视频分形编码压缩与解压缩方法，其特征在于步骤四中为降低计算量加入了预匹配条件，即将匹配误差可以进行以下变形， RMSVi)2 n i=i =-B-xAb-^-yrf ^ /=1 n i:=i /=1 nnn nn ,nUN =-V ((X- ~) ^~^ + ^--V.)2/ j ''V i少 n n-x n [ IX-(IX)2] n /=1
5.根据权利要求I所述一种基于对象的多视点视频分形编码压缩与解压缩方法，其特征在于步骤五中对宏块采用树状划分，块匹配采用匹配误差准则，通过设定合适的比例因子S和偏移因子O，可以使得仿射变换后的值有来自Xi值的最小平方距离，即当RMS关于s和0的偏微分为0时，得公式⑷(5)，可以得到RMS的最小值。其中Ji为子块的像素值，Xi为父块的像素值,子块与父块的匹配误差RMS为
6.根据权利要求I所述一种基于对象的多视点视频分形编码压缩与解压缩方法，其特征在于所述步骤八使用的视差估计方法为 利用视差分布约束条件外极线约束、方向性约束、空域相关性与时域相关性，将上一宏块视差估计矢量作为当前块的搜索中心，沿初始点水平方向进行搜索，方向根据视点位置确定，在搜索过程中进行跳跃式搜索；点匹配完之后，向水平方向隔三个点进行搜索，进行比较，直到找到最小的RMS ;以此宏块视差估计矢量作为搜索中心，再对半像素位置进行相同的操作，比较得到更小的RMS。
7.一种基于对象的多视点视频分形编码压缩与解压缩方法，其特征在于在五个视点的三维视频编码基础上提出一种自适应自动分割视频对象，并对感兴趣对象的进行压缩方法，进一步减少了三维视频的数据量。
8.一种基于对象的多视点视频分形编码压缩与解压缩方法，其特征在于解压缩方法包含以下步骤 步骤I :首先读入五个视点图像序列压缩信息和Alpha平面，包括压缩帧数，帧率，每帧图像的宽和高，I帧压缩质量和插入I帧的间隔；从压缩文件中读入码流直接对各视点的起始帧进行解码； 步骤II :判断解码帧是否为I帧，若是I帧转入步骤III，否则转入步骤IV ； 步骤III :解码帧为I帧，从压缩文件中读入码流对边界块和内部块直接进行解码，采用环路滤波去除块效应，帧数加一转入步骤IX ； 步骤IV :对于非I帧，若为C视点需解码P帧，计算P帧的前一帧中按照设定步长划分的所有子块以及经树状划分得到的小块的像素和、像素平方和，转到步骤V ;若为左视点L或右视点R中图像，转到步骤VI ;若为左视点K中图像，转到步骤vn;若为右视点S中图像，转到步骤VDI ； 步骤V :从码流中读入P帧所有宏块的划分信息、Alpha平面、每一个小块的迭代函数系统系数和残差帧数据，其中由各迭代函数系统系数分别计算出解码端的预测块形成解码端的预测帧，残差帧数据经过反量化和反变换得到解码端残差帧。将解码端残差帧与预测帧求和，再采用去方块环路滤波提高解码视频视觉效果首先对边界的类型进行判断，定义参数块边缘强度，针对不同强度的块边缘，选择的滤波器和所需要滤波的像素点数也不一样，如果为帧内编码且为宏块边界，则采用强滤波；若不是帧内编码且不是宏块边界，仿射块边界采用一级滤波，非仿射块边界不需要滤波；其它情况采用二级滤波；最后按照每一宏块进行解码；转到步骤IX ； 步骤VI :从码流中读入左视点L或右视点R中P巾贞的编码彳目息和Alpha平面，确定参考帧的类型，若参考帧为前一帧，则计算P帧的前一帧中按照设定步长划分的所有子块以及经树状划分得到的小块的像素和、像素平方和；若参考帧为P帧在C视点中的对应帧，则计算C视点中对应帧的解码图像按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和；再由各迭代函数系统系数分别计算出解码端的预测块形成解码端的预测帧，残差帧数据经过反量化和反变换得到解码端残差帧。解码端残差帧与预测帧之和经过滤波后得到解码后的图像；转到步骤IX ； 步骤Vn :从码流中读入左视点K的编码信息，若采用运动估计方法编码和Alpha平面，则计算P帧的前一帧中按照设定步长划分的所有子块以及经树状划分得到的小块的像素和、像素平方和；若参考帧为P帧在L视点中的对应帧，则计算L视点中对应帧的解码图像按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和；再由各迭代函数系统系数与参考块分别计算出解码端的预测块形成解码端的预测帧，残差帧数据经过反量化和反变换得到解码端残差帧。解码端残差帧与预测帧之和经过滤波后得到解码后的图像；转到步骤IX; 步骤珊从码流中读入右视点S的编码信息和Alpha平面，若采用快速视差估计方法编 码，即参考帧为P帧在R视点中的对应帧，则计算R视点中对应帧的解码图像按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和；否则计算P帧的前一帧中按照设定步长划分的所有子块以及经树状划分得到的小块的像素和、像素平方和；再由各迭代函数系统系数与参考块分别计算出解码端的预测块形成解码端的预测帧，残差帧数据经过反量化和反变换得到解码端残差帧。解码端残差帧与预测帧之和经过滤波后得到解码后的图像；转到步骤IX ； 步骤IX :判断此时五个视点所有帧是否都已解码，若都解码完毕，结束解码过程，否则转入步骤II。
9.根据权利要求11所述，一种基于对象的多视点视频分形编码压缩与解压缩方法其特征在于对于每一个宏块进行解压缩时，首先判断该宏块在编码时的划分方式，若非C视点视频，则先确定父块域是在前一帧或是参考视点当前帧对应帧中；对于每一个子块，首先在父块域找到与该子块相对应的区域，然后利用下面的公式获得该子块的像素值，rj = s dj+o (6) 其中A为待解码子块的像素值，Cli为父块域中的像素值，s为比例因子，0为偏移因子。
对五个视点视频解码是同时的，先解码各个视点的起始帧与C视点视频的第二帧，将L视点起始巾贞或C视点视频的第二巾贞作为L视点第二巾贞解码的参考巾贞,将R视点起始巾贞或C视点视频的第二帧作为R视点第二帧解码的参考帧，将K视点起始帧或L视点视频的第二帧作为K视点第二帧解码的参考帧，将S视点起始帧或R视点视频的第二帧作为S视点第二帧解码的参考帧，依此类推解码五个视点视频的所有帧。
10.根据权利要求11所述一种新的多视点视频分形编码压缩与解压缩方法，其特征在于所述步骤V中的块边缘强度用BS表示；其中，Pc;，Q0'，P1'，Q1'表示滤波后的像素值，P0, P1, Q0, Q1表示原始的像素值，不同的BS和对应的滤波器如下 若为帧内编码且边界是宏块边界时，BS=3，需要进行强滤波，滤波器表示为P0'=(Pi+Po+Qo)/3 Q0' =(P0+Q0+Qi)/3 (7)P1'=(2 Pi+Po')^ Q1'=(2 QO/3 若为帧内编码且边界不是宏块边界，或者是边界但不是帧内编码时，BS=2，对应二级滤波器表不为P0,=(Pi+2 P0+Q0)/4 (8) Q0' = (P0+2 Q(I+Q1) /4 若不是帧内编码和边界，是仿射块边界时，BS=1，对应的一级滤波器表示为 P0,=(Pi+3 P0+Q0)/5(9) Q0' = (P0+3 Qo+Q1)/5 若不是帧内编码和边界，也不是仿射块边界时，当BS=0，不进行滤波。
全文摘要
本发明在三维视频编码技术领域提出了一种基于对象的多视点视频分形编码压缩与解压缩方法。该方法对多视点三维视频的大量数据进行了高效地压缩以便存储和传输。在编码过程中，利用自动分割方法获得视频中感兴趣对象，并提出快速视差估计和基于中心偏置的五边形运动估计预测结合分形编码的方法对其进行压缩编码，有效减少数据冗余。针对K、L、C、R和S五个视点视频，提出预测结构K←L←C→R→S，即视点R和L均用视点C来预测，视点S和K分别用视点R和L来预测，5个视点的起始帧都用I帧。解码视点顺序相同，采用环路滤波去除块效应。该方法获得较好的视频解码质量条件下，极大地提高了编码速度和压缩比，并使其具有更多的灵活性，为多视点视频编码的实时性应用奠定了基础。
文档编号H04N7/26GK102970529SQ20121040441
公开日2013年3月13日 申请日期2012年10月22日 优先权日2012年10月22日
发明者祝世平, 李丽芸, 张玲 申请人:北京航空航天大学