一样不重叠的方块，方块为正方形。方块大小 为8X8,捜索精度为半像素精度，在X轴方向捜索范围为[-64,63]，在y轴方向不进行捜 索。对目标图像中的每一个方块，在恢复后的左图像中捜索到与它最相似的方块，由于校正 后的双目立体图像在垂直方向偏差小，所W可仅在同一个水平方向捜索。将在左图像中找 到的方块与对应的目标图像的方块的偏移向量作为目标图像方块的运动向量。其中运动向 量的捜索过程的捜索精度可W采用半像素精度，因为半像素精度的捜索比整个像素精度捜 索更为精确。图4(a)是生成的运动向量。
[003引对步骤2)中的运动向量捜索是根据右图像中图像块的位置，确定左图像中的捜 索区间，将区间内的所有方块逐个像素地与目标图像中的方块进行比较，在固定的最大捜 索长度中找出与右图像的方块最相似的方块，并记录下与原方块的偏移作为运动向量。
[0039] 两个方块相似度的判定采用绝对误差累积和（SumofAbsolute Difference,SAD)。
[0040]
[0041] 其中e是右图像的捜索运动向量的方块，if(x，y)是e中的像素点， Ii(X+V。y+Vy)是与右图像方块比较相似度的左图像的方块，V,，Vy是指左图像方块相对于右 图像方块的X和y坐标的偏移量。SAD对应的运动向量为；
[0042]
(2)
[0043] 其中V是方块0的运动向量，Ay和Ay分别是捜索窗口的X坐标和y坐标最大 捜索范围。
[0044] 运动向量捜索策略采用顺序捜索，从捜索起点开始，顺序的捜索参考图像中 [pl，p2]区间，其中pKp2。将区间内的所有方块逐个像素的与目标图像中的方块进行比 较，从式（1)中得到它们各自的SAD。最小的SAD的向量就是目标图像方块的运动向量V。
[0045] 在步骤2)中为了提高参考图像对目标图像的预测精度，在运动向量的捜索过程 中采用半像素精度。由于捜索方向为水平方向，所W在水平的两个相邻像素之间插入一个 它们的平均值作为半像素。具体过程如下：对每两个相邻的像素点，在它们中间使用线性插 值插入一个值作为它们的二分之一像素点的值。对参考图像的水平相邻的像素点XI，X2， 插入X3作为XI与X2的二分之一像素点的值，其中X3=狂1巧化1)/2。在捜索长度相同的 情况下，半像素精度捜索到的方块相似度比整像素精度捜索到的相似度更高。同时运动向 量的值的范围也比整像素精度捜索扩大了一倍。
[0046] 3)用解码恢复后的参考图像和运动向量基于运动补偿预测目标图像，将生成的目 标图像预测值与实际目标图像相减生成残差图像。
[0047] 具体为；对目标图像中的每个方块，用参考图像中最相似的方块来预测。并用预测 值减去目标图像的像素值，得到预测误差，即残差图像。由于残差图像的信息量很小，可W 达到高倍压缩的目的。在实现过程中因为残差图像的值是有符号的补码表示，使得值相近 的正数和负数在实际保存中相差很大，如-1的补码是255,而1的补码是1，两个补码相差 为254,不利于化eg2000的压缩，所W增加一个余码表示，即将所有数通过加上一个正数移 到大于零的一方。图4(b)是生成的残差图像。
[0048] 4)对运动向量和残差图像进行编码压缩。
[0049] 由于运动向量的大小相对较小，且为无损压缩，所W运动向量采用 DPCM值ifferentialPulseCodeModulation)预测编码，即对当前方块的运动向量与邻近 方块的运动向量的差进行编码。然后采用游长编码和霍夫曼编码生成最后的压缩文件。残 差图像可W采用2维图像的压缩编码算法进行压缩编码，如基于离散余弦变换的压缩编码 算法和基于小波变换的压缩编码算法。其中基于小波变换的压缩编码算法是比基于离散余 弦变换的压缩编码算法有更高的压缩率。该里采用的是化eg2000进行压缩编码。
[0050] 压缩后的参考图像、残差图像和运动向量作为双目立体图像的压缩数据，数据量 小，便于使用。
[0051] 5)图2是本发明方法的立体图像的解码过程。在本实施例中，首先获得压缩后的 左图像，残差图像和运动向量。左图像和残差图像经过化eg2000解码，运动向量经过霍夫 曼解码，游长解码和DPCM解码。再将解码的左图像和运动向量进行基于运动补偿预测目标 图像，再将预测值加上残差图像生成解码的右图像。最后将解码后的左图像和右图像作为 解码输出，恢复得到双目立体图像，完成整个双目立体图像的编解码过程。
[0化2] 在CPU为酷眷巧，主频为2. 67G监的电脑上使用本方法对Middlebury数据集中Teddy左右亮度图像进行编码，左图像的编码时间0.4s，右图像的编码时间约为Is。左图像 解码时间0. 08s，右图像解码时间约为0.Is。
[0化3] 表1是本发明对Middlebury数据集中Teddy右亮度图像进行编码的结果。第一行 是右图像编码后的码率，第二行是右图像对应的峰值信噪比PSNR(Peak-Si即al-to-Noise Ratio)。图5是根据表1画右图像的码率-PSNR图。右图像编码后的总大小为残差图像大 小加上运动向量大小。PSNR计算公式为；
[0 化 4]
(3)
[0055] 其中MSE是右图像编码前和编码后的均方差。
[0056] 表1Teddy右亮度图像压缩结果
[0057]
【主权项】
1. 一种基于运动补偿的双目立体图像编解码方法，其特征是包括以下步骤： 1) 双目立体图像分为左图像和右图像，分别进行校正，所述校正指左图像和右图像中 同一个对象在图像中的y轴坐标值相同，然后选定其中一幅图像为参考图像，另一幅为目 标图像，并采用2维图像编码方法对参考图像进行压缩编码； 2) 搜索运动向量：先将参考图像进行解码恢复，得到解码参考图像，将目标图像均匀 分割成若干方块，对目标图像中的每一个方块，在解码参考图像中搜索与它最相似的方块， 将在解码参考图像中找到的方块与对应的目标图像的方块之间的偏移向量作为目标图像 方块的运动向量，其中搜索精度采用半像素精度； 3) 获取残差图像：用解码参考图像和所得运动向量基于运动补偿预测目标图像，将生 成的目标图像预测值与目标图像相减生成残差图像，所述预测和相减均以方块进行，相减 指每个像素的值相减； 4) 对运动向量和残差图像进行编码压缩：运动向量采用DPCM预测编码，然后采用游程 编码和霍夫曼编码生成压缩文件，残差图像采用2维图像的压缩编码算法进行编码压缩， 将压缩后的参考图像、残差图像和运动向量作为双目立体图像的压缩数据； 5) 对目标图像的解码：获取压缩后的参考图像、残差图像和运动向量，并分别进行对 应的解码，根据解码的参考图像和运动向量基于运动补偿预测目标图像，再将所得预测得 到的图像与残差图像每个像素的值相加，生成解码的目标图像，由解码的参考图像和目标 图像恢复得到双目立体图像，完成整个双目立体图像的编解码过程。2. 根据权利要求1所述的一种基于运动补偿的双目立体图像编解码方法，其特征是步 骤2)中，在解码参考图像中搜索与目标图像相似方块时，仅在同一水平方向中进行搜索， 在固定的最大搜索长度中找出与目标图像的方块最相似的方块，并记录下与目标图像方块 的偏移作为运动向量。3. 根据权利要求2所述的一种基于运动补偿的双目立体图像编解码方法，其特征是步 骤2)中所述搜索精度采用半像素精度指在水平的两个相邻像素之间插入一个它们的平均 值作为半像素，具体过程如下：对每两个相邻的像素点，在它们中间使用线性插值插入一个 值作为它们的二分之一像素点的值，对恢复参考图像的水平相邻的像素点Xl和X2,插入X3 作为Xl与X2的二分之一像素点，X3的值为Xl与X2的平均值的向上取整。4. 根据权利要求1或2或3所述的一种基于运动补偿的双目立体图像编解码方法，其 特征是步骤2)中两个方块相似度的判定采用绝对误差累积和SAD : SAD (β ) = Σ (x；y) e ρ I Ir (x, y) -Ii (x+vx, y+vy) (I) 其中β是目标图像的方块，即搜索运动向量的方块，仁(x，y)是β中的像素点， I1O^vx, y+Vy)是与目标图像方块比较相似度的恢复参考图像的方块，'、、是指恢复参考图 像的方块相对于目标图像方块的X和y坐标的偏移量， 两个方块最相似，即指SAD最小，对应得到运动向量为：(2) 其中V是方块β的运动向量，AjP Λ y分别是搜索窗口的X坐标和y坐标最大搜索 范围。5. 根据权利要求4所述的一种基于运动补偿的双目立体图像编解码方法，其特征是步 骤2)中的运动向量搜索采用顺序搜索，根据目标图像中图像块的位置，确定参考图像中的 搜索区间，将区间内的所有方块逐个像素地与目标图像中的方块进行比较，从式（1)中得 到它们各自的SAD，最小的SAD对应的偏移向量就是目标图像方块的运动向量V。6. 根据权利要求1所述的一种基于运动补偿的双目立体图像编解码方法，其特征是步 骤3)中像素的值相减时，增加一个余码表示，即将所有数通过加上一个正数移到大于零的 一方。7. 根据权利要求1所述的一种基于运动补偿的双目立体图像编解码方法，其特征是步 骤4)中，残差图像的压缩编码采用基于小波变换的压缩编码算法。
【专利摘要】本发明公开了一种快速的基于运动补偿的双目立体图像的编解码方法。本方法通过先对左右图像进行基于固定方块大小的运动估计得到运动向量，然后用运动向量和左图像预测右图像，将右图像与预测值作差得到预测误差即残差图像，然后对残差图像，左图像进行jpeg2000编码，运动向量进行DPCM预测编码并输出。其中运动向量的估计采用半像素精度，半像素精度比整像素精度能使预测更为准确。在实际编码过程中使用解码后的左图像对右图像进行基于运动补偿的预测，这样可以避免左图像压缩的失真带到右图像中。本方法具有快速的优点，能满足快速编码和解码需求。
【IPC分类】H04N13/00
【公开号】CN104902256
【申请号】CN201510264650
【发明人】武港山, 周振
【申请人】南京大学
【公开日】2015年9月9日
【申请日】2015年5月21日