专利名称：基于视频时空相关性约束的分布式视频编码重构方法
技术领域：
本发明涉及的是一种视频信号处理技术领域的方法，具体是一种基于视频时空相 关性约束的分布式视频编码重构方法。
背景技术：
视频编解码技术对于视频的存储和传输等应用至关重要。现有的视频编码技术 (如H. 264/AVC，MPEG-x系列标准)在编码端进行运动估计和运动补偿来消除视频信号的 时间冗余。该方案虽然可获得较好的率失真性能，但要求编码器的运算复杂度大大高于解 码器(通常为5-10倍)。分布式视频编码(也称为Wyner-Ziv视频编码)技术是一种新的 视频编码框架，它满足了最近出现的一些新应用的要求，如手机摄像，无线多媒体传感器网 络等。这些应用由于受到电池寿命和运算能力的限制，要求编码运算复杂度较低以降低编 码功耗，同时又要求获得较好的率失真性能以降低传输功耗。为了进一步提高分布式视频 编码的率失真性能，研究者分析了分布式视频编码的解码端重构技术来提高输出视频的主 客观质量，同时无需增加编码码率。经过对现有技术的文献检索发现，目前主要存在两种分布式视频编码的重构方 案基于最大后验概率(MAP)的重构方法和基于最小均方误差(MMSE)的重构方案。基 于最大后验概率的方法将重构值选择为量化区间中后验概率最大的值，而基于最小均方 误差的方法将重构值选择为量化区间中能够最小化重构值均方误差的值。除此之外， A. Roca、J. PradesNebot 禾口 E. J. Delp 在 2009 年的 SPIE Visual Communication and Image Processing 会议上发表的 ‘‘Adaptive reconstruction for Wyner-Ziv video coders，，提 出了一种根据视频帧内相关性不均勻分布的特性进行重构，但还是归结为一种基于最小均 方误差的重构方案。这些方案都是将视频帧的像素值(或变换系数值)建模为独立同分布 的随机信源，并没有考虑相邻像素(同一子带内变换系数)之间的相关性约束。这些不足 促使本发明在此基础上提出一种更加有效的重构方法，通过分析视频信号本身的时间和空 间相关性约束来提高重构结果的主客观质量。
发明内容
本发明针对现有技术存在的上述不足，提供一种基于视频时空相关性约束的分布 式视频编码重构方法，旨在提高分布式视频编码系统的主客观质量而无需增加编码码率。本发明是通过以下技术方案实现的，本发明包括以下步骤第一步、编码端将视频帧分为关键帧和Wyner-Ziv帧并相应编码后得到关键帧码 流以及Wyner-Ziv帧码流并发送至解码端；所述的关键帧采用常规混合预测编码方式进行编码得到关键帧码流并作为解码 端构造Wyner-Ziv帧边信息的参考；所述的Wyner-Ziv帧(或Wyner-Ziv帧变换到变换域后的变换系数)经量化后采 用S1印ian-Wolf编码器进行编码产生Wyner-Ziv帧码流。
所述的常规混合预测编码方式包括H. 264/AVC或MPEG_x编码；第二步、解码端根据收到的关键帧码流进行解码并构造得到Wyner-Ziv帧的边信 息，然后通过S1印ian-Wolf解码器参考Wyner-Ziv帧的边信息与所收到的Wyner-Ziv帧码 流进行比特平面的解码，当前Wyner-Ziv帧的所有比特平面解码完成之后，可得到量化区 间[Bl，BJ。所述的量化区间是指由解码的比特平面所获得的包含实际值的区间。因为比特 平面的数目通常少于原始信号的位长，所以只能确定实际值的存在区间。例如，对于像素域 分布式视频编码，要完全确定某像素值需要8个比特，而在有损压缩中考虑到压缩率的要 求，比特平面的数量通常会小于8，假设共传输了 5个比特平面，则全部比特平面解码后只 能确定大小为2(8—5) = 8的区间，该区间即为量化区间。所述的视频时空相关性约束是指将Wyner-Ziv帧建模为一个马尔科夫随机场 (MarkovRandom Field, MRF)并通过定义能量函数在重构过程中引入相邻像素间(和同一 子带内相邻变换系数间)的空间相关性约束，并通过估计当前帧初始估计值与相邻已解码 帧之间的运动场，预测当前Wyner-Ziv帧的局部结构特征以用于施加具体的空间约束。第三步、S1印ian-Wolf解码后，根据确定的量化区间[B。BJ、边信息以及已解码 的相邻帧进行重构操作。所述的重构操作针对像素域分布式编码方案和变换域分布式编码方案可分为像 素域分布式编码重构方法和变换域分布式编码重构方法，其中所述的像素域分布式编码重构方法包括以下步骤1. 1)估计Wyner-Ziv帧和边信息间的相关性；1. 2)采用传统重构方法获得Wyner-Ziv帧的初始估计值^1. 3)根据初始估计值I，分析Wyner-Ziv帧与其相邻的关键帧之间的相对运动，并 根据相对运动预测Wyner-Ziv帧的局部结构特征▽；1. 4)由于遮挡或不规则运动等可能造成Wyner-Ziv帧中的某些区域不能很好的 由相邻的关键帧进行预测，故引入权重参数w描述所预测的局部结构特征.▽的可靠性；1.5)根据以上获得的局部结构特征▽及其可靠性w，利用能量最小化方法获得 Wyner-Ziv帧的最佳重构结果作为分布式视频编码的解码输出。所述的变换域分布式编码重构方法包括以下步骤2. 1)估计Wyner-Ziv帧和边信息间的相关性；2. 2)采用传统重构方法获得Wyner-Ziv帧的变换系数的初始估计F;2. 3)将初始估计变换到像素域获得像素域初始估计分析Wyner-Ziv帧与其 相邻的关键帧之间的相对运动，并利用运动补偿预测Wyner-Ziv帧的像素域局部结构特征 ▽，以及变换域的局部特性V7、2. 4)估计局部结构的准确性，具体分为像素域和变换域估计两步像素域像素域优化的局部结构特征权重参数w被设置为常数；变换域根据运动补偿结果的变换域系数与解码得到的Wyner-Ziv帧变换系数的 量化区间[By BJ确定权重系数wTD ；2. 5)首先进行变换域的能量最小化重构，其输出结果经过反变换至像素域后执行 像素域的能量最小化重构，其输出结果变换至变换域与原变换系数的估计值加权平均后作
5为变换域能量最小化过程的输入进行下一轮循环，直至两次迭代能量之差小于某一门限或 迭代次数达到设定次数后结束迭代；2. 6)最终的优化输出结果反变换至像素域作为分布式视频解码器的最终输出。所述的传统重构方法是指对于像素域的传统重构方法，重构时仅考虑量化区间 [BL, BJ和边信息的约束，而没有考虑相邻像素间的空间相关性约束；对于变换域的传统重 构方法，重构时仅考虑量化区间[By BJ和边信息的约束，而没有考虑同一系数子带内相邻 系数间的相关性以及重构结果变换至像素域后相邻像素间的相关性约束。常见传统重构方 法包括在量化区间内选择重构值使得在边信息的约束下概率最大(最大后验概率，MAP方 法)或重构值的均方误差最小(最小均方误差，MMSE方法)。与现有技术相比，本发明所提出的分布式视频编码优化重构方案着眼于在重构过 程中增加了视频信号本身的时间相关性和空间相关性约束，以弥补现有方案的不足，在不 增加码率的前提下提高解码图像的主观和客观质量。该方案具有较强的适应性，可以应用 于像素域分布式视频编码、变换域分布式视频编码、无反馈信道的分布式视频编码以及边 信息渐进增强的分布式视频编码。通过分析视频信号的时间和空间相关性约束，可避免重 构图像中存在的块效应(对于变换域分布式视频编码)和等高线效应(对于像素域分布式 视频编码)，同时显著提高输出结果的客观质量。实验表明，与文献中最好的最小均方误差 重构方法相比，本发明在不增加比特率的前提下获得显著的PSNR增益，并具有更好的主观 质量。
图1是用于像素域分布式视频编码的重构流程图。图2是用于变换域分布式视频编码的重构流程图。
具体实施例方式下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行 实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施 例。如图1所示，像素域分布式视频编码的实施例包括如下步骤步骤一，在“统计相关性分析”模块中构造边信息分析边信息与Wyner-Ziv帧实际 值之间的统计相关性，该相关性通常采用Laplace分布来描述；步骤二，在“MMSE重构”模块中根据上一步获得统计相关性信息以及Wyner-Ziv码 流解码所得的量化区间[Bp BJ 一起通过最小均方误差重构方法获得Wyner-Ziv帧的初始 估计值尤= argmin.托[办及,〗E{(x —.幻其中x是Wyner-Ziv帧中的像素值，f为重构 值；步骤三，在“运动场估计模块”中计算初始估计值 与相邻的已解码帧之间 的运动场，Wyner-Ziv帧中的局部结构特征( = —.叫n为第i个像素在方向k上 的梯度值，x,为第i个像素值，xk(i)为Xi在方向k上的相邻像素值)由经过运动补偿后相 邻已解码帧中相应位置的局部结构特征来近似。步骤四，“可靠性分析”模块引入权重参数wk, i来表示运动补偿预测的局部结构特
6征.的可靠性以表示某些区域由于遮挡或不规则运动等而造成Wyner-Ziv帧中的某些区 域不能很好的由相邻关键帧进行估计，具体来说，若通过已解码的相邻帧的运动补偿结果 落在量化区间队，BJ之内，则wu置为1否则为0 ；步骤五，“能量最小化”模块根据以上获得的局部结构特征Vu及其可靠性wk, p建 立能量函数来表示重构值与边信息间的约束和相邻像素重构值间的空间平滑性约束，针对 该能量函数利用能量最小化方法条件迭代模式(ICM)获得Wyner-Ziv帧的最佳重构结果作 为分布式视频编码的解码输出。所述的能量函数形式为E(;x) = J2Ci⑴
i“J殳入'其中，馬= J(刈彷)(屯-⑷2称为数据项，表示重构值与边信息间的约束， 其中f(Xi|yi)表示Wyner-Ziv帧的像素值与边信息间的统计相关性，通过步骤一获得，而
= Et叫(k广- lh.t|)2称为空间约束项，表示相邻像素重构值间的空间平 滑性约束，其中局部结构特征Vu采用方向k上相邻像素间的梯度表示，即= A - 10， 因为Wyner-Ziv帧真实的无法获得，本实施例通过运动补偿后已解码帧的相应位置处 的▽/。,:近似。参数入对数据项和空间约束项进行加权，其取值范围介于区间W，l]内，并随 着比特平面数量的增加而减小，一般来说当比特平面数目大于4时，\应小于0.2。如图2所示，为变换域分布式编码重构的实施例，其包括如下步骤步骤一，在“统计相关性分析”模块中构造边信息分析边信息与Wyner-Ziv帧实际 值之间的统计相关性，该相关性通常采用Laplace分布来描述；步骤二，在“MMSE重构”模块中根据上一步获得统计相关性信息以及Wyner-Ziv码 流解码所得的量化区间[Bp BJ 一起通过最小均方误差重构方法获得Wyner-Ziv帧变换系 数的初始估计值/'A/.V/SE = argnim, t E{(f — /)2},其中f 为Wyner-Ziv帧的变换系数 值，/为其重构值；步骤三，将初始估计值变换到像素域获得像素域初始估计值工… ^在 “运动场估计”模块中采用基于光流的方法分析Wyner-Ziv帧与其相邻的关键帧之间的相对 运动，并通过运动补偿以相邻关键帧的局部结构特征预测Wyner-Ziv帧的像素域局部结构 特征( hi = ’n - 为第i个像素在方向k上的梯度值，x,为第i个像素值，xk(i)为 Xi在方向k上的相邻像素值)，以及变换域的局部特性▽迅(^IL 二 k丨-.kk(ii为第b系 数子带的第i个系数在方向k上的梯度值，fb,,为第b系数子带的第i个系数值，fb,k(i)为 fb,i在方向k上的相邻值)；步骤四，在“可靠性分析”模块中计算局部结构的可靠性a.像素域像素域优化的局部结构特征权重参数wk, i被设置为常数1 ；b.变换域根据运动补偿结果的变换域系数与解码得到的Wyner-Ziv帧变换系数 的量化区间[By BJ确定权重系数刊[已，具体来说，若通过已解码的相邻帧的运动补偿结果 的变换系数落在量化区间[By BJ之内，则《《￡ 置为1否则为0 ；步骤五，在“能量最小化模块”中具体包含以下子步骤a.首先在“变换域优化”模块中进行变换域的能量最小化重构，
b.其输出结果经过反变换至像素域后送至“像素域优化”模块执行像素域的能量 最小化重构，c.其输出结果变换至变换域与原变换系数的估计值加权平均后作为变换域能量 最小化过程的输入进行下一轮迭代，d.判断两次迭代能量之差小于某一门限或迭代次数达到设定值后结束迭代，最终 的优化结果反变换至像素域作为分布式视频解码器的最终输出。像素域优化的能量函数形式与像素域分布式视频编码重构(即公式(1))中相同， 不同之处在于权重参数Wu被设置为常数；变换域优化的能量函数形式为_ =+ 入 E(2)其中，松(A,,) = Efb^ f(fiJyu)(L, — ,/U2称为数据项，表示重构值与边信息间的 约束，其中f^fb.ilyb.i)表示Wyner-Ziv帧的变换系数值与边信息间的统计相关性，通过步 骤一获得，而EiMwA/) = Ek^ilfb-' — h,HD\ — F tl)2称为空间约束项，表示同一子带内 相邻变换系数重构值间的空间平滑性约束，其中局部结构特征采用同一子带内方向k 上相邻变换系数间的梯度表示，即▽思=fu - 4 0，因为Wyner-Ziv帧的真实▽溫无法获 得，本实施例通过运动补偿后已解码帧的相应位置处的▽〖￡近似，参数、对数据项和空间 约束项进行加权，其取值范围介于区间W，l]内，并随着量化步长的减小而减小，一般来说 当量化步长小于8时，X应小于0. 1。实施效果依据上述步骤，实验用视频传输序列来源于F00tball_Cif. yuv (352x288的4:2:0 格式的YUV文件)，总共取250帧。关键参数的设置为(1)序列类型为 I-WZ-I-WZ-I......；(2)对于像素域分布式视频编码采用均勻量化，离散预选变换(DCT)域分布式视 频编码采用带有死区(deadzone)的均勻量化；(3)帧率设为 l5fps ；比较了采用本发明所述的基于时间和空间约束的重构方法与采用最小均方误差 重构方法所产生的解码重构图像的客观质量。像素域结果比较当码率为800kbit/s时，两种方法得到的PSNR分别为29. 66dB和28. 76dB，相当于 获得了 0. 9dB的编码增益；当码率为1880kbit/s时，两种方法得到的PSNR分别为32. 02dB和30. 36dB，相当 于获得了 1.66dB的编码增益；离散余弦变换(DCT)域结果比较当码率为276kbit/s时，两种方法得到的PSNR分别为30. 12dB和29. 44dB，相当于 获得了 0. 68dB的编码增益；当码率为624kbit/s时，两种方法得到的PSNR分别为32. 76dB和31. 95dB，相当于 获得了 0.81dB的编码增益。
当码率为900kbit/s时，两种方法得到的PSNR分别为34. 33dB和33. 58dB，相当于 获得了 0. 75dB的编码增益。实验表明，较之于最小均方误差重构方法，本发明提出的增加时间和空间相关性 约束的方案可以显著提高解码重构图像质量。
9
权利要求
一种基于视频时空相关性约束的分布式视频编码重构方法，其特征在于，包括以下步骤第一步、编码端将视频帧分为关键帧和Wyner Ziv帧并相应编码后得到关键帧码流以及Wyner Ziv帧码流并发送至解码端；第二步、解码端根据收到的关键帧码流进行解码并构造得到Wyner Ziv帧的边信息，然后通过Slepian Wolf解码器参考Wyner Ziv帧的边信息与所收到的Wyner Ziv帧码流进行比特平面的解码，当前Wyner Ziv帧的所有比特平面解码完成之后，得到量化区间[BL，BU]；第三步、Slepian Wolf解码后，根据确定的量化区间[BL，BU]、边信息以及已解码的相邻帧进行包括像素域分布式编码重构方法和变换域分布式编码重构方法的重构操作，实现分布式视频编码重构。
2.根据权利要求1所述的基于视频时空相关性约束的分布式视频编码重构方法，其 特征是，所述的视频时空相关性约束是指将Wyner-Ziv帧建模为一个马尔科夫随机场 并通过定义能量函数在重构过程中引入相邻像素间以及同一子带内相邻变换系数间的空 间相关性约束，并通过估计当前帧初始估计值与相邻已解码帧之间的运动场，预测当前 Wyner-Ziv帧的局部结构特征以用于施加具体的空间约束。
3.根据权利要求1所述的基于视频时空相关性约束的分布式视频编码重构方法，其特 征是，所述的像素域分布式编码重构方法包括以下步骤`1. 1)估计Wyner-Ziv帧和边信息间的相关性；`1. 2)采用传统重构方法获得Wyner-Ziv帧的初始估计值`1.3)根据初始估计值f，分析Wyner-Ziv帧与其相邻的关键帧之间的相对运动，并根据 相对运动预测Wyner-Ziv帧的局部结构特征▽；`1.4)引入权重参数w表示所预测的局部结构特征▽的可靠性；`1.5)根据以上获得的局部结构特征▽及其可靠性w，利用能量最小化方法获得 Wyner-Ziv帧的最佳重构结果作为分布式视频编码的解码输出。
4.根据权利要求1所述的基于视频时空相关性约束的分布式视频编码重构方法，其特 征是，所述的变换域分布式编码重构方法包括以下步骤`2.1)估计Wyner-Ziv帧和边信息间的相关性；`2. 2)采用传统重构方法获得Wyner-Ziv帧的变换系数的初始估计F;`2. 3)将初始估计/>变换到像素域获得像素域初始估计X,分析Wyner-Ziv帧与其相邻的 关键帧之间的相对运动，并利用运动补偿预测Wyner-Ziv帧的像素域局部结构特征以及 变换域的局部特性VTD；`2. 4)估计局部结构的准确性，具体分为像素域和变换域估计两步像素域像素域优化的局部结构特征权重参数《被设置为常数；变换域根据运动补偿结果的变换域系数与解码得到的Wyner-Ziv帧变换系数的量化 区间[Bl，BJ确定权重系数wtd;`2. 5)首先进行变换域的能量最小化重构，其输出结果经过反变换至像素域后执行像素 域的能量最小化重构，其输出结果变换至变换域与原变换系数的估计值加权平均后作为变 换域能量最小化过程的输入进行下一轮循环，直至两次迭代能量之差小于某一门限或迭代次数达到设定次数后结束迭代；·2. 6)最终的优化输出结果反变换至像素域作为分布式视频解码器的最终输出。
全文摘要
一种视频信号处理技术领域的基于视频时空相关性约束的分布式视频编码重构方法，其中解码端完成Wyner-Ziv帧码流的解码以后将Wyner-Ziv帧的像素值或变换系数值确定在[BL，BU]内，Wyner-Ziv帧与边信息之间的统计相关性、Wyner-Ziv帧的不同方向上的梯度信息以及相邻帧间运动场等信息将Wyner-Ziv帧的重构问题建模为求解马尔科夫随机场的最优解问题，通过定义能量函数引入了相邻像素或子带内的变换系数间的空间相关性约束，并通过运动场分析利用相邻帧间的相关性计算所定义能量函数的某些参数。本发明通过引入视频信号本身的时间相关性和空间相关性约束可同时提高重构结果的主观质量和客观质量。
文档编号H04N7/26GK101977323SQ201010544979
公开日2011年2月16日 申请日期2010年11月16日 优先权日2010年11月16日
发明者张永生, 熊红凯 申请人:上海交通大学