一种基于运动补偿的双目立体图像编解码方法
【技术领域】
[0001] 本发明属于计算机技术领域，设及多媒体技术中的多媒体数据压缩编码，为一种 基于运动补偿的双目立体图像编解码方法，根据双目立体视觉原理，利用左右图像之间的 内容的冗余对图像进行压缩。
【背景技术】
[0002] 立体视觉是近几年兴起的一个热口方向。随着3D电影和3D电视的普及，立体视 觉越来越广泛的应用到人们的日常生活当中。而普通多媒体数据，包括图像、音频和视频的 数据量是很大的，通常一个画面大小为352X288的普通公共媒介格式（CI巧视频文件在没 有压缩的情况下，将占用35Mbps的带宽。而在高清电视（皿TV)中，码率将会超过IGbps。 而对于3D的立体视频影像，其在未压缩情况下的数据量将是对应的2D视频数据量的两倍， 即占用的带宽也是2D视频的两倍。虽然我们的网络带宽在飞速的发展，但是该样的数据量 仍然是当前我们的网络所无法承受的，所W要想3D视频能够有更为广泛的应用，就需要对 3D视频进行压缩处理。而视频是由一幅一幅的图像（帖）组成，所W首先应该研究的是对 立体图像的压缩编码。而立体图像又可分为双目立体图像和多视角立体图像两种，其中双 目立体图像与人类的双目视觉更为接近，所W应用更为广泛。
[0003] 目前应用最广泛的2维图像的压缩标准是由联合图像专家组开发的一种图像压 缩标准JPEG。它是采用离散余弦变换进行压缩编码。为了满足下一代的图像应用的需求， 在2000年左右JPEG委员会提出了JPEG2000图像压缩标准，在压缩率-失真方面有更好的 表现，它在相同压缩率的条件下比JPEG标准能保存更高的质量。但同时JPEG2000标准要 比JPEG标准在同一副图像上编码花费的时间更长。JPEG2000主要算法采用小波变换进行 编码。
[0004] 目前的双目立体图像压缩技术可W分为两类。最基本的也是最容易想到的方法是 用现存的2维图像的压缩算法对双目立体图像的左右图像分别进行压缩，如使用JPEG标准 (离散余弦变换）或者JPEG2000标准（小波变换）压缩算法分别压缩左图像和右图像。该 种方法的优点是不需要研究新的压缩算法，算法简单，缺点是压缩率不高，没有利用到左右 图像内容相似的特性。另一类方法是在利用当前存在的立体匹配方法得到双目立体图像的 视差内容之后，再利用其中一幅图像和视差对另一幅图像进行预测，对预测误差进行压缩 编码，该种方法优点是在有较为准确的视差信息之后，可W得到信息滴较少的预测误差，缺 点是得到准确的视差信息比较复杂，属于立体匹配的研究范围，且运算复杂度也比较高，大 大增加了整个编码过程所需的时间，且生成的准确视差信息，即通常有源图像的大小的信 息量也比较大，给压缩编码也增加了编码的开销，降低了压缩率。
【发明内容】
[0005] 本发明要解决的问题是；现有的双目立体图像压缩编码技术存在的压缩率不高或 获取准确视差信息算法复杂，运算时间长，视差信息量较大的缺点。
[0006] 本发明的技术方案为：一种基于运动补偿的双目立体图像编解码方法，包括W下 步骤：
[0007] 1)双目立体图像分为左图像和右图像，分别进行校正，所述校正指左图像和右图 像中同一个对象在图像中的y轴坐标值相同，然后选定其中一幅图像为参考图像，另一幅 为目标图像，并采用2维图像编码方法对参考图像进行压缩编码；
[000引。捜索运动向量；先将参考图像进行解码恢复，得到解码参考图像，将目标图像 均匀分割成若干方块，对目标图像中的每一个方块，在解码参考图像中捜索与它最相似的 方块，将在解码参考图像中找到的方块与对应的目标图像的方块之间的偏移向量作为目标 图像方块的运动向量，其中捜索精度采用半像素精度；
[0009] 3)获取残差图像；用解码参考图像和所得运动向量基于运动补偿预测目标图像， 将生成的目标图像预测值与目标图像相减生成残差图像，所述预测和相减均W方块进行， 相减指每个像素的值相减；
[0010] 4)对运动向量和残差图像进行编码压缩；运动向量采用DPCM预测编码，然后采用 游程编码和霍夫曼编码生成压缩文件，残差图像采用2维图像的压缩编码算法进行编码压 缩，将压缩后的参考图像、残差图像和运动向量作为双目立体图像的压缩数据；
[0011] 5)对目标图像的解码；获取压缩后的参考图像、残差图像和运动向量，并分别进 行对应的解码，根据解码的参考图像和运动向量基于运动补偿预测目标图像，再将所得预 测得到的图像与残差图像每个像素的值相加，生成解码的目标图像，由解码的参考图像和 目标图像恢复得到双目立体图像，完成整个双目立体图像的编解码过程。
[0012] 进一步的，步骤2)中，在解码参考图像中捜索与目标图像相似方块时，仅在同一 水平方向中进行捜索，在固定的最大捜索长度中找出与目标图像的方块最相似的方块，并 记录下与目标图像方块的偏移作为运动向量。
[0013] 步骤2)中所述捜索精度采用半像素精度指在水平的两个相邻像素之间插入一个 它们的平均值作为半像素，具体过程如下：对每两个相邻的像素点，在它们中间使用线性插 值插入一个值作为它们的二分之一像素点的值，对恢复参考图像的水平相邻的像素点XI 和X2,插入X3作为XI与X2的二分之一像素点，X3的值为XI与X2的平均值的向上取整。
[0014] 步骤2)中两个方块相似度的判定采用绝对误差累积和SAD:
[00巧]SAD(e)=E(x，y) e日IIr(x，y)-Ii(x+v" y+Vy)I(1)
[0016] 其中e是目标图像的方块，即捜索运动向量的方块，If(x，y)是e中的像素点， Ii(x+V"y+Vy)是与目标图像方块比较相似度的恢复参考图像的方块，Vx、Vy是指恢复参考图 像的方块相对于目标图像方块的X和y坐标的偏移量，
[0017] 两个方块最相似，即指SAD最小，对应得到运动向量为；
[001 引
(2)
[0019] 其中V是方块0的运动向量，Ay和Ay分别是捜索窗口的X坐标和y坐标最大 捜索范围。
[0020] 进一步的，步骤2)中的运动向量捜索采用顺序捜索，根据目标图像中图像块的位 置，确定参考图像中的捜索区间，将区间内的所有方块逐个像素地与目标图像中的方块进 行比较，从式（1)中得到它们各自的SAD，最小的SAD对应的偏移向量就是目标图像方块的 运动向量V。
[0021] 作为优选方式，步骤3)中像素的值相减时，增加一个余码表示，即将所有数通过 加上一个正数移到大于零的一方。
[0022] 作为优选方式，步骤4)中，残差图像的压缩编码采用基于小波变换的压缩编码算 法。基于小波变换的压缩编码算法是比基于离散余弦变换的压缩编码算法有更高的压缩 率。
[0023] 本发明提供了一种快速的基于运动补偿的双目立体图像的编码方法，该方法先估 计出目标图像的运动向量，也可W称为视差向量，利用运动向量对目标图像进行运动补偿 压缩编码。由于得到目标图像的运动向量的算法比较获取每一个像素点的视差信息更为简 单，运算复杂度也较低，而且运动向量的大小通常比视差信息的大小要小得多，该样可W大 幅度减少压缩的数据量，使得本发明更适用与双目立体图像编码，本发明在对双目立体图 像进行压缩后，只余参考图像、运动向量和残差图像的数据，压缩后的数据量大大减少，压 缩过程中只对参考图像进行压缩，而无需对目标图像进行压缩，压缩速度快，同时本发明的 解码只要运动向量和残差图像就能恢复出目标图像，解码过程简单、速度快。
[0024] 本发明与现有技术相比有如下优点
[0025] 本发明方法的优点是压缩率高，在时间复杂度方面是解码速度快。在一定码率下 的峰值信噪比也有不错的表现。
[0026] 与使用2维图像编码方法对双目立体图像进行编码相比较，本方法有着压缩率 高，在相同的码率压缩下的恢复质量好的优点。与要获取准确视差信息下的编码方法相比 较，由于本发明方法一个方块只需要获取一个运动向量，整个图像的运动向量数据量小，运 动向量的捜索算法简单，捜索时间较短。所W本方法有压缩率高，编码和解码复杂度低，解 码速度快的优点。
【附图说明】
[0027] 图1是本发明实施例的双目立体图像的编码过程。
[002引图2是本发明实施例的双目立体图像的解码过程。
[0029] 图3是输入的左右图像的原图，（a)为参考图像，化）为目标图像。
[0030] 图4是运动估计得到的运动向量和基于运动补偿的预测生成的残差图像，（a)表 示依据参考图像与目标图像生成的运动向量，化）表示根据参考图像和运动向量基于运动 补偿预测目标图像预测值，将生成的预测值与目标图像相减生成的残差图像。
[003U图5是画的根据本方法编码压缩右图像的码率-PSNR图。
【具体实施方式】
[0032] 本发明提出了一种快速的基于运动补偿的双目立体图像的编码方法。并用C++ 编程语言实现了一个有图形界面显示的双目立体图像的编码系统。系统的功能有输入左 右图像并显示在主界面，对立体图像进行编码并可W将其各个步骤的中间结果显示出来， 解码左右图像并显示，计算解码后的左右图像的峰值信噪比等。如图3显示的是输入的 Middlebu巧数据集中Teddy中的左右灰度图像。Middlebu巧数据集是一个关于计算机视 觉的测试数据集。
[0033] 本发明具体实施步骤如下：
[0034] 1)图1为本发明方法的双目立体图像的编码过程。
[0035] 分别输入Middlebu巧数据集中Teddy双目立体图像的左图像和右图像，大小为 450X375。图3中是输入的Teddy左右图像的原图。其中W左图像为参考图像，右图像为目 标图像。本实施例只对彩色图像的一个通道进行编码，并采用一种2维图像编码方法（离散 余弦变换或者小波变换）对左图像进行压缩编码，该里采用化eg2000对左图像进行编码。
[0036] 。捜索运动向量。
[0037] 将左图像进行化eg2000解码恢复。将恢复后的左图像与右图像进行运动向量估 计。具体方法是将右图像分割成若干个大小