专利名称：一种基于分形的双目立体视频压缩编解码方法
技术领域：
本发明属于视频压缩编码领域，涉及双目立体视频的压缩编码，在保证压缩比和 PSNR保持不变的前提下，极大地降低了运算复杂度，为双目立体视频编码的实时性应用奠 定了基础，进一步提高了分形视频压缩编码的性能，使其更加具有实用性和推广性。
背景技术：
分形理论最初由Mandelbrot于上世纪70年代提出(参见Benoit B. Mandelbrot. TheFractal Geometry of Nature[Μ]. New York H.Freeman and Company,1982.)。分 形编码的数学基础是迭代函数系统(IFS)理论。Barnsley首先将分形编码用于交互 式图像压缩(参见 Michael F. Barns ley, Alan D. Sloan. A better way to compress image [J]. ByteMagazine, 1988,13 (1) :215_233.)。Jacqain 提出了 全自动的分形图像压 缩方法(参见 Arnaud E. Jacquin. A novel fractal blocking-coding technique for digital image[C]. IEEEInternational Conference on Acoustics，Speech and Signal Processing, 1990，4 2225~2228.)，(参见 Arnaud Ε.Jacquin. Fractal image coding a review[J]. Proceeding of the IEEE，1993，81 (10) :1451_1465·)，该方法釆用基于 图像分块的方式以局部的仿射变换代替全局的仿射变换。之后，Fisher利用四叉树改 进了这一方法(参见 Y. Fisher. Fractal ImageCompression [J]. Fractals，1994，2 (3) 347-361.)，(参 JAL Y. Fisher，Ε. W. Jacobs. Imagecompression :A study the iterated transform method[J]. Signal Processing，1992，29 (3)，251-263.)，(参见 Y.Fisher. Fractal Image Compression :Theory and application to digital images[M]. New York Spring-Verlag, 1995，55-77.)，大大提高了编码效率，并成为目前分形图像编码中的主流 方法。在此基础之上，一些学者和研究人员把分形图像压缩的方法应用到视频序列的 压缩上。Meiqing Wang等提出了综合基于数据立方体和基于帧的分形视频压缩方法(参 见 Meiqing Wang, Choi-Hong Lai. A hybrid fractal video compression method[J]. Computers Mathematics with Applications，2005，50 (3-4) :611_62L)，(参见 Meiqing Wang，ZhehuangHuang，Choi—Hong Lai. Matching search in fractal video compression and its parallelimplementation in distributed computing environments[J]. Applied Mathematical Modeling,2006,30(8) :677-687. ), ( # B Meiqing Wang, Rong Liu, Choi-Hong Lai. Adaptive partitionand hybrid method in fractal video compression[J]. Computers & Mathematics withApplications,2006，51(11) 1715-1726.) ο 其中最为经典和影响较大的参见(C.S.Kim，R.C.Kim，S. U. Lee. Fractal coding of video sequence using circular prediction mapping andnoncontractive interframe mapping[J]. IEEE Transactions on Image Processing，1998，7(4) 601-605.)。该方法采用类似于标准视频编码方法所采用的运动估计/补偿技术，该方法利 用了相邻帧之间的时间强相关性，对视频序列压缩取得了较好的效果。在CPM和NCIM中，子块域中的每个图像块都由来自相邻帧相同大小的父块域通过运动补偿得到。CPM和NCIM 两者间最大的不同在于CPM在解码的过程中需要具备收敛性，而NCIM不需要。但是在循 环预测编码(CPM)方法中，为了保证起始帧经过自身的循环解码能够近似收敛到原来的图 像，压缩过程需要经过复杂变换、搜索和迭代等，压缩时间和图像质量难以达到要求。目前 典型的分形图像和视频压缩方法的运算量很大，编码速度较慢，并且解码的质量有待提高， 使得分形图像和视频压缩方法还需要进一步的改进和提高。随着多媒体技术的不断发展，多视点视频因其具有单目视频无法比拟的优越性 渐渐成为研究的热点。而双目立体视频是多视点视频中应用最为广泛的一种形式，它 增加了场景的深度信息，使欣赏到的图像有强烈的现实感和逼真感，可以应用于立体电 视，远程教育，远程工业控制，远程医学诊断和虚拟现实等众多领域(参见A Schertz. Sourcecoding of stereoscopic television pictures[C]. Proceedings of the IEEE InternationalConference on Image Processing and its Applications. Maastricht, The Netherlands，1992，462-464)。双目立体视频是利用人眼睛的双目视差原理，双目各自 独立地接收来自同一场景的特定摄像点的左右图像，左眼看偏左的图像，右眼看偏右的图 像，形成双目视差，大脑能得到图像的深度信息，使欣赏到的图像有强烈深度感、逼真感，观 众能欣赏到超强的立体视觉效果。但是相对于单目视频，双目立体视频系统必须传输和存 储翻番的数据量，所以必须对其进行有效地压缩。(参见Shigang Wang,Xuejun Wang,Hexin Chen.Stereoscopic video compression coding based on H. 264[J]. Chinese Journal of Stereologyand Image Analysis,2008,13 (1) :11_16)在双目立体视频编码过程中，不但要考虑各通道内前后帧图像之间的时域相关 性和帧内图像的空域相关性，还要充分利用通道之间的空域相关性进行编码。前者可以 利用运动补偿预测(MCP)去除冗余，后者可以采用视差补偿预测(DCP)去除通道间冗 余。DCP与MCP相比要复杂的多，其中的关键技术是视差匹配。Michael Ε. Lukaces是 双目立体视频编码的早期研究者，他探索了将视差补偿(DC-based)(指使用双目视差关 系在两幅图像之间建立对应)用于从双目立体视频序列中的一个视频序列预测另一个 视频序列，并提出了多种基于视差补偿的方法(参见Lukacs M E. Predictive coding ofmulti-viewpoint image sets[C]. IEEE International Conference on Acoustics, Speech andSignal Processing，1986，521-524)。Perkins 将基于视差补偿的方法归纳为 一种条件编码方法，对于无损编码来说是最优的，对于有损编码则是次优的(参见Perkins M G. Datacompression of stereo pairs[J]·IEEE Transactions on Communications， 1992,40(4) =684-696) 0 Tzovaras等人提出了视差估计的分层块匹配以及运动视差 双向补偿方法，称之为聚合估计(参见Tzovaras D, Grammalidis N, Strintzis M G.Object-based codingof stereoscopic image sequences using joint 3D motion/ disparity segmentation[C]. Proceedings of SPIE :Visual Communication and Image Processing, 1995，1678-1689)。另外Franich还提出了基于通用块匹配算法的视差估计方 法，并引入一种平滑检测手段来评价视差匹配好坏(参见Franch REH, Lagendijk R L， Biemond J. Stereo-enhanceddisplacement estimation by genetic block matching[C]. Proceedings of SPIE :Volume2094_Visual Communications and Image Processing. Cambridge,MA,USA, 1993,362-371)。Siram Sethuramn 以及M. Siegel 等人提出了基于视差和运动的可变块四叉树多分辨率分割方法，针对基于MPEG视频编码标准的双目立体视频 流的编码，按在解码端是否有合成中间视图的需要，提出了两个双目立体视频流的混合分 辨率编码方法(参见 Sethuraman S, SiegelM W, Jordan A G. Segmentation based coding of stereoscopic imagesequences[C]. Proceedings of SPIE :Volume 2668-Digital Video Compression :Algorithmsand Technologies. San Jose, CA, USA,1996,420-429)。 常用的双目立体视频编码方案有独立MCP(Motion Compensated Prediction)编码，层间 DCP(Disparity CompensatedPrediction)编码和 MCP 与 DCP 相结合编码。其中在 MCP 与 DCP相结合编码中，基本层采用独立MCP编码，增强层采用MCP与DCP两种方式进行预测，从 中选择误差较小的一种作为预测结果。
发明内容
本发明提出了一种基于分形的双目立体视频压缩与解压缩方法，在双目立体视频 编码中以左通道为基本层，采用单独的运动补偿预测方式(MCP)进行编码，首先对左目的 起始帧采用块DCT变换编码，对左目的非I帧进行块运动估计/补偿编码，计算与子块域和 父块域相关子块的像素和与像素平方和，然后在前一帧即左目视频的参考帧搜索窗中利用 全搜索方法寻找最相似的匹配块，最后利用Huffman编码方法压缩迭代函数系统系数。右 通道为增强层，采用MCP加视差补偿预测方式(DCP)进行编码，选择误差最小的作为预测结 果。在进行DCP编码方式时，充分利用立体平行摄像结构中的偏振性和方向性。对应的解压 缩过程为对于左目，首先对起始帧I帧采用反DCT变换的方式解码，对非I帧进行Huffman 解码获得迭代函数系统系数，然后进行基于宏块的解码，计算前一帧中的父块域相关子块 的像素和与像素平方和；对于右目，计算右目前一帧和左目对应帧的父块域相关子块的像 素和与像素平方和。—种基于分形的视频压缩编码方法，包括以下步骤步骤一对于左目，首先判断是否为I帧，若是I帧，则对该帧进行互不重叠的固定 大小的块划分，对每一个图像块分别采用基于块DCT变换的I帧帧内图像压缩方法，对图像 进行单独编码和解码，转到步骤十；所述I帧为视频序列起始帧或者视频序列中只进行帧 内编码的图像帧；所述将当前帧划分为固定大小的互不重叠的图像块称为宏块；所述将当 前宏块进行树状划分得到的块称为小块；所述当前帧为正在进行压缩的帧，所述参考帧为 当前帧的已经编码并重建的前一帧；所述当前帧所有块的集合称为子块域；所述前一帧的 所有块的集合称为父块域；所述块DCT变换中的块采用固定大小模式；对于右目，转到步骤 四；步骤二 若左目为非I帧，用常规单目的运动补偿预测(MCP)编码，对该帧进行互 不重叠的宏块划分，然后计算这些宏块以及经树状划分得到的小块的像素和、像素平方和， 以及左目前一帧重建图像即参考帧中，按照设定步长划分的所有宏块以及经树状划分得到 的小块的像素和、像素平方和；步骤三依次对当前帧的所有宏块进行编码，在父块域中的搜索窗内首先对该宏 块进行块匹配；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块 的大小与子块的大小相同；如果匹配误差RMS小于开始设定的阈值Y，保存当前的迭代函 数系统系数即IFS系数，转入步骤三编码下一宏块；否则，依次按照树状结构对该块进行划
7分，并对各个划分得到的小块分别计算匹配误差RMS，如果RMS小于设定阈值Y，停止划分 并记录该小块IFS系数，转入步骤三编码下一宏块；否则继续划分，直到将当前块划分为预 先设定的最小块，记录IFS系数；转入步骤三编码下一宏块；所述搜索窗为在参考帧中的矩 形搜索区域；所述IFS系数包括父块位置(X，y)和比例因子S、偏移因子ο ；如果当前帧所 有的宏块都已编码完毕，且是左目，则转到步骤十；若是右目，则继续执行步骤五；步骤四对右目图像，首先进行互不重叠的宏块划分，然后计算这些宏块以及经树 状划分得到的小块的像素和、像素平方和，以及右目前一帧重建图像参考帧，按照设定步长 划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，以减少块匹配过程中 的重复计算，转到步骤三；步骤五计算左目中对应帧图像参考帧，按照设定步长划分的所有宏块以及经树 状划分得到的小块的像素和、像素平方和，以减少块匹配过程中的重复计算，转到步骤六；步骤六首先对与当前子块位置相同的父块进行块匹配，得到RMS，并保存迭代函 数系统系数，该系数包括父块与子块的相对位移矢量(X，y)，比例因子S和偏移因子O;依 次对当前帧的所有宏块进行编码，在父块域中的搜索窗内首先对该宏块进行块匹配；在进 行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大 小相同并转入步骤七；如果所得的匹配误差RMS小于开始设定的阈值Y，保存当前的迭代 函数系统系数即IFS系数，转入步骤六编码下一宏块；否则，依次按照树状结构对该块进行 划分，并对各个划分得到的小块分别转入步骤七计算匹配误差RMS，如果RMS小于设定阈值 Y，停止划分并记录该小块IFS系数，转入步骤六编码下一宏块；否则继续划分，直到将当 前块划分为预先设定的最小块，转入步骤七计算RMS，记录IFS系数，转入步骤六编码下一 宏块；最后与步骤三所得结果比较，选择误差最小的作为预测结果；所述搜索窗为在参考 帧中的矩形搜索区域；所述IFS系数包括父块位置(X，y)和比例因子s、偏移因子ο ；如果 当前帧所有的宏块都已编码完毕，则转到步骤十；步骤七在垂直方向上先上下隔行搜索两个点；如果这两个点的RMS均大于偏振 线上点的RMS转到步骤八，否则转到步骤九；步骤八只沿初始点的右侧进行搜索，在搜索过程中进行跳跃式搜索；点匹配完 之后，向右间隔两个点进行搜索，计算RMS，并转入步骤七进行垂直方向搜索；如果当前点 的RMS小于前一点的RMS，将当前点作为新的起始搜索点，转回到步骤八开始位置，继续水 平搜索下一点；否则说明最佳匹配点位于这两点之间，选择合适的小区域进行全搜索，至此 选择RMS最小的点作为最终匹配结果，结束DCP搜索过程，继续执行步骤六；步骤九选择两点中RMS最小的点，在垂直方向上再搜索相邻两点之间的点，计算 其RMS，选择误差最小的点作为此垂直方向上的最佳匹配点，转入步骤八继续沿偏振线方向 进行搜索；步骤十对所有IFS系数进行Huffman编码，降低IFS系数数据的统计冗余；判 断当前帧是否为最后一帧，如果是最后一帧结束编码；否则，返回步骤一继续处理下一帧图 像。所述一种基于分形的双目立体视频压缩编码方法，处理的视频序列为YUV格式， 分别对3个分量中的每个采用上述十个步骤进行处理。所述步骤三和步骤六中对宏块采用树状划分，块匹配采用匹配误差准则；子块与父块的匹配误差RMS为
权利要求
一种基于分形的双目立体视频压缩编码方法，其特征在于具体步骤如下步骤一对于左目，首先判断是否为I帧，若是I帧，则对该帧进行互不重叠的固定大小的块划分，对每一个图像块分别采用基于块DCT变换的I帧帧内图像压缩方法，对图像进行单独编码和解码，转到步骤十；所述I帧为视频序列起始帧或者视频序列中只进行帧内编码的图像帧；所述将当前帧划分为固定大小的互不重叠的图像块称为宏块；所述将当前宏块进行树状划分得到的块称为小块；所述当前帧为正在进行压缩的帧，所述参考帧为当前帧的已经编码并重建的前一帧；所述当前帧所有块的集合称为子块域；所述前一帧的所有块的集合称为父块域；所述块DCT变换中的块采用固定大小模式；对于右目，转到步骤四；步骤二若左目为非I帧，用常规单目的运动补偿预测(MCP)编码，对该帧进行互不重叠的宏块划分，然后计算这些宏块以及经树状划分得到的小块的像素和、像素平方和，以及左目前一帧重建图像即参考帧中，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和；步骤三依次对当前帧的所有宏块进行编码，在父块域中的搜索窗内首先对该宏块进行块匹配；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大小相同；如果匹配误差RMS小于开始设定的阈值γ，保存当前的迭代函数系统系数即IFS系数，转入步骤三编码下一宏块；否则，依次按照树状结构对该块进行划分，并对各个划分得到的小块分别计算匹配误差RMS，如果RMS小于设定阈值γ，停止划分并记录该小块IFS系数，转入步骤三编码下一宏块；否则继续划分，直到将当前块划分为预先设定的最小块，记录IFS系数；转入步骤三编码下一宏块；所述搜索窗为在参考帧中的矩形搜索区域；所述IFS系数包括父块位置(x，y)和比例因子s、偏移因子o；如果当前帧所有的宏块都已编码完毕，且是左目，则转到步骤十；若是右目，则继续执行步骤五；步骤四对右目图像，首先进行互不重叠的宏块划分，然后计算这些宏块以及经树状划分得到的小块的像素和、像素平方和，以及右目前一帧重建图像参考帧，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，以减少块匹配过程中的重复计算，转到步骤三；步骤五计算左目中对应帧图像参考帧，按照设定步长划分的所有宏块以及经树状划分得到的小块的像素和、像素平方和，以减少块匹配过程中的重复计算，转到步骤六；步骤六首先对与当前子块位置相同的父块进行块匹配，得到RMS，并保存迭代函数系统系数，该系数包括父块与子块的相对位移矢量(x，y)，比例因子s和偏移因子o；依次对当前帧的所有宏块进行编码，在父块域中的搜索窗内首先对该宏块进行块匹配；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大小相同并转入步骤七；如果所得的匹配误差RMS小于开始设定的阈值γ，保存当前的迭代函数系统系数即IFS系数，转入步骤六编码下一宏块；否则，依次按照树状结构对该块进行划分，并对各个划分得到的小块分别转入步骤七计算匹配误差RMS，如果RMS小于设定阈值γ，停止划分并记录该小块IFS系数，转入步骤六编码下一宏块；否则继续划分，直到将当前块划分为预先设定的最小块，转入步骤七计算RMS，记录IFS系数，转入步骤六编码下一宏块；最后与步骤三所得结果比较，选择误差最小的作为预测结果；所述搜索窗为在参考帧中的矩形搜索区域；所述IFS系数包括父块位置(x，y)和比例因子s、偏移因子o；如果当前帧所有的宏块都已编码完毕，则转到步骤十；步骤七在垂直方向上先上下隔行搜索两个点；如果这两个点的RMS均大于偏振线上点的RMS转到步骤八，否则转到步骤九；步骤八只沿初始点的右侧进行搜索，在搜索过程中进行跳跃式搜索；点匹配完之后，向右间隔两个点进行搜索，计算RMS，并转入步骤七进行垂直方向搜索；如果当前点的RMS小于前一点的RMS，将当前点作为新的起始搜索点，转回到步骤八开始位置，继续水平搜索下一点；否则说明最佳匹配点位于这两点之间，选择合适的小区域进行全搜索，至此选择RMS最小的点作为最终匹配结果，结束DCP搜索过程，继续执行步骤六；步骤九选择两点中RMS最小的点，在垂直方向上再搜索相邻两点之间的点，计算其RMS，选择误差最小的点作为此垂直方向上的最佳匹配点，转入步骤八继续沿偏振线方向进行搜索；步骤十对所有IFS系数进行Huffman编码，降低IFS系数数据的统计冗余；判断当前帧是否为最后一帧，如果是最后一帧结束编码；否则，返回步骤一继续处理下一帧图像。
2.根据权利要求1所述一种基于分形的双目立体视频压缩编码方法，其特征在于处 理的视频序列为YUV格式，分别对3个分量中的每个采用上述十个步骤进行处理。
3.根据权利要求1所述一种基于分形的双目立体视频压缩编码方法，其特征在于所 述步骤三和步骤六中对宏块采用树状划分，块匹配采用匹配误差准则；子块与父块的匹配 误差RMS为
4.根据权利要求1所述一种基于分形的双目立体视频压缩编码方法，其特征在于所 述步骤七中垂直方向的搜索方法运用了双目立体视频的偏振性，最佳匹配点位于偏振线上 即水平线上；在立体平行摄像系统中，沿水平方向进行DCP搜索；两摄像机在同一时刻观看空间同一特征点P(x。，y。，z。)，在左图像和右图像的坐标分别 % Pleft = (Xleft'Yleft) 'Pright= OCrightJrigJ ；其中点 P U。，Y。，Z。)与两个光心所确定的平面 称为偏振平面，偏振平面与左右图像的交线称为偏振线；由几何关系得到
5.根据权利要求1所述一种基于分形的双目立体视频压缩编码方法，其特征在于所述步骤八中水平方向的搜索方法运用了双目立体视频的方向性同一空间点在两图像平面 中的投影位置差矢量即视差
6.一种基于分形的双目立体视频解压缩方法，包含以下步骤步骤I 首先读入左目压缩信息，包括压缩帧数，每帧图像的宽和高，I帧压缩质量和插 入I帧的间隔；步骤II 判断解码帧是否为I帧，若是I帧转入步骤III，否则转入步骤IV ； 步骤III 对于I帧，从压缩文件中读入码流，进行类似于JPEG的解压缩方式进行解 码，帧数加一转入步骤VII ；步骤IV 对于非I帧，计算左目前一帧中按照设定步长划分的所有宏块以及经树状划 分得到的小块的像素和、像素平方和；步骤V 读入右目压缩信息，包括压缩帧数，每帧图像的宽和高，I帧压缩质量和插入I 帧的间隔；计算右目前一帧和左目对应帧中按照设定步长划分的所有宏块以及经树状划分 得到的小块的像素和、像素平方和，转入步骤VI ；步骤VI 从对应的压缩文件中读入块的划分信息和Huffman码流，并根据以上的信息 得到该帧所有宏块的划分方式和每一个小块的迭代函数系统系数，按照每一宏块进行解 码；转入步骤VII ；步骤VII 判断此时所有帧是否都已解码，若都解码完毕，结束解码过程，否则转入步 骤II。
7.根据权利要求6所述一种基于分形的双目立体视频解压缩方法，其特征在于对于 每一个宏块进行解压缩时，首先判断该宏块在编码时的划分方式，对于每一个子块，首先在 父块域找到与该子块相对应的区域，然后利用下面的公式获得该子块的像素值，Ti = S* di+o(5)其中A为待解码子块的像素值，di为父块域中的像素值，S为比例因子，O为偏移因子。
8.根据权利要求6所述一种基于分形的双目立体视频解压缩方法，其特征在于在基 于分形的双目立体视频解码过程中，左目用常规单目的运动补偿预测(MCP)编码，右目的 每个图像块通过运动补偿预测(MCP)和视差补偿预测(DCP)两种方式进行预测，从中选择 误差较小的一种作为预测结果。
9.根据权利要求6所述一种基于分形的双目立体视频解压缩方法，其特征在于处理 的视频序列为YUV格式，分别对3个分量中的每个采用上述七个步骤进行处理。
全文摘要
本发明提出了一种基于分形的双目立体视频压缩与解压缩方法，在双目立体视频编码中以左通道为基本层，采用单独的运动补偿预测方式(MCP)进行编码，首先对左目的起始帧采用块DCT变换编码，对左目的非I帧进行块运动估计/补偿编码，计算与子块域和父块域相关子块的像素和与像素平方和，然后在前一帧即左目视频的参考帧搜索窗中利用全搜索方法寻找最相似的匹配块，最后利用Huffman编码方法压缩迭代函数系统系数。右通道为增强层，采用MCP加视差补偿预测方式(DCP)进行编码，选择误差最小的作为预测结果。在进行DCP编码方式时，充分利用立体平行摄像结构中的偏振性和方向性。对应的解压缩过程为对于左目，首先对起始帧I帧采用反DCT变换的方式解码，对非I帧进行Huffman解码获得迭代函数系统系数，然后进行基于宏块的解码，计算前一帧中的父块域相关子块的像素和与像素平方和；对于右目，计算右目前一帧和左目对应帧的父块域相关子块的像素和与像素平方和。
文档编号H04N7/26GK101980538SQ20101052216
公开日2011年2月23日 申请日期2010年10月21日 优先权日2010年10月21日
发明者侯仰拴, 王再阔, 祝世平, 陈菊嫱 申请人:北京航空航天大学