专利名称：基于嵌入式分布式视频编码描述的视频抗差错编解码方法
技术领域：
本发明涉及的是一种视频编解码技术领域的方法，具体是一种基于嵌入式分布式 视频编码描述的视频抗差错编解码方法。
背景技术：
视频编解码技术对于视频的存储和传输等应用至关重要。现有的混合式视频编码 技术(如H. 264/AVC，MPEG-x系列标准)在编码端利用时间空间预测编码提高编码效率，但 其产生的码流对于传输差错非常敏感。为了提高编码码流的抗差错能力，人们通常采用信 道编码等方法提高编码码流传输链路的可靠性，或者在解码时对于丢失或者出现差错的宏 块(Macroblocks)利用视频信号帧间和帧内的相关性进行预测，以尽量减弱传输差错对解 码图像的质量恶化。但是这两类方法相互之间独立进行的，为了进一步提高整体编码效率， 研究者提出了一套完整的基于分布式视频编码的视频抗差错编码方案。经过对现有技术的文献检索发现，S. Rane, P. Baccichet和B. Girod在2008年10 月份白勺 IEEE Transactions on Circuits and Systems for Video Technoloy 期干Ij上发 表的"Systematiclossy error protection of video signals，，上提出米用分布式视步页 编码的粗量化的视频信号在解码质量和保护强度之间进行折中。A. SehgaUA. Jagmohan和 N. Ahuja 在 2004 年 4 月份的 IEEETransactions on Multimedia 期刊上发表的"Wyner-Ziv coding of video :an error-resilientcompression framework，，上提出通过插入米用分 布式视频编码保护的基准帧来结束传输失真在时间上的传播。Y. ZhangX. Zhu和K. -H. Yap 在2008年12月的“IEEE Transactions onMultimedia”期刊上提出在Sehgal等人方案的 基础上进行分布式视频解码时应联合考虑传输失真和Wyner-Ziv帧与其参考帧间的相关 性。但是这些方案并没有给出如何在解码端估计传输失真以及在编码端进行分布式视频编 码和传统视频编码的联合优化问题。
发明内容
本发明针对现有技术存在的上述不足，提供一种基于嵌入式分布式视频编码描述 的视频抗差错编解码方法，通过对于分布式视频编码和传统编码的联合优化可提高该系统 的整体性能，而解码端的传输失真估计所需要的要素均可在解码端获得，更加适用于无反 馈信道或反馈信道传输时延较长的视频传输应用。本发明是通过以下技术方案实现的，本发明通过在编码端进行混合式预测视频编 码后得到分布式视频编码码流，对其中的帧间编码帧进行嵌入式分布式视频编码保护处理 并发送至解码端，当解码端收到的帧间编码帧中没有传输差错并且其参考帧也未受到传输 失真的影响，则丢弃该帧间编码帧所对应的分布式视频编码码流；否则解码接收到的分布 式视频编码码流，并将解码结果作为后续帧的参考，从而消除传输失真随时间的传播，实现 视频抗差错。所述的混合式预测视频编码包括H. 264规范编码、AVC规范编码或MPEG_x规范编码；所述的嵌入式分布式视频编码保护处理是指第一步、首先将分布式视频编码码流中的图像划分为若干宏块，并采用混合式预 测视频编码中的率失真优化方法计算每一个宏块针对所有帧内编码模式以及所有帧间编 码模式的对应代价J(m) =D(m) + XR(m)，其中D(m)为模式m对应的编码失真，R(m)为模式 m对应的编码码率，并选取所有帧内编码模式中代价最小值及其对应的帧内编码模式 4以及所有帧间编码模式中代价最小值八“^)及其对应的帧间编码模式第二步、当Jinf1) < J(m*P)时，则对于该宏块采用帧内编码模式进行编码， 否则计算该宏块分布式视频编码和混合式预测编码的联合信源信道代价Jwz(Hl)= D (m)+DffZ(m)+ λ (R(m)+Rwz(m))，其中Dwz(Hi)为模式m经过分布式视频编码保护后残余的传 输失真，Rwz(m)为对模式m进行分布式视频编码保护所需的码率；第三步、当Jw^m丨)<时，则对于该宏块采用帧内编码模式进行编码，否 则采用帧间编码模式进行编码，重复执行上述第一步至第三步直至所有宏块均完成编码；第四步、步骤二中对于所有宏块(Macroblocks)计算所得的Rwz(m)之和作为嵌入 式分布式视频编码的码率，并据此进行分布式视频编码。所述的所有帧内编码模式是指当前编码块通过当前帧中已编码的块进行预测， 预测模式包括以下17种对于16X 16的亮度块，包含4种可选的预测模式；或者将宏块分 为4X4的亮度块，从9种预测模式中进行选择(主要包括直流分量预测和8个不同方向的 预测)；对于一个宏块对应的8X8的色度块，可从4种预测模式中进行选择(包括直流分 量预测、垂直预测、水平预测以及Plane预测模式)。所述的所有帧间编码模式是指当前编码块通过已编码帧进行预测，预测模式 包括以下两者的所有组合1)不同的宏块划分，一个16X16的宏块可以划分为16X16、 16X8、8X16、8X8，而对于8X8模式，还可以继续细分为8X8、8X4、4X8以及4X4 ；2)不 同的运动估计精度，包括整数像素运动估计、半像素运动估计和1/4像素运动估计。不同宏 块划分和运动估计精度的组合构成了不同的帧间编码模式。所述的解码端收到的帧间编码帧中没有传输差错并且参考帧也未受到传输失真 的影响是指步骤1、采用与编码端相同的混合式预测视频编码的解码器进行解码，并判断当前 帧在传输中是否发生错误若无传输错误，则将参考帧中的传输失真叠加至当前帧，否则执 行错误掩盖操作并估计该错误所造成的传输失真，然后将该传输失真与参考帧中的传输失 真叠加作为当前帧的总传输失真；步骤2、判断当前帧为基准帧(受Wyner-Ziv编码保护的帧间编码帧)时，则根据 步骤一获得的像素域传输失真的概率分布计算DCT域传输失真的概率分布；步骤3、根据概率分布计算分布式视频编码所需的似然概率信息作为解码器的参 数进行解码，并将解码器的输出作为当前帧的恢复值以及下一帧的参考值。所述的错误掩盖处理是指根据视频信号本身的帧间相关性、空间相关性以及相 邻宏块间运动矢量的相关性，通过预测所丢失宏块的运动矢量来最小化宏块丢失造成的传 输失真的方法。所述的传输失真建模是指分析错误掩盖过程可能引起的失真。具体来说，错
5误掩盖造成的传输失真主要分两部分1)运动矢量估计不准确造成的失真，主要表现为 造成运动补偿结果与实际图像间发生平移；2)运动补偿残差丢失造成的失真，因为该失 真接近于符合Laplace分布的随机噪声，我们用符合Laplace分布的随机变量来描述它， Laplace分布的参数可通过相邻的正确解码宏块的残差能量获得。运动矢量估计误差可以 在正确解码帧中重现错误掩盖过程进行近似。因此传输失真被建模为混合Laplace分布 P⑷=EepP(A (eP)，其中ep为运动估计误差造成的失真，而ew为运动补偿残差并服从 以ep为中心的Laplace分布。与现有技术相比，本发明所提出的基于嵌入式分布式视频编码的视频抗差错编码 技术在编码过程中进行联合信源信道率失真优化，提高了本发明的整体率失真性能；在解 码端提出了一种在线传输失真估计方法并以混合拉普拉斯模型对传输误差进行建模。本发 明的有益效果是编码端进行联合信源信道率失真优化，提高了本发明的整体率失真性能； 提出了编码端码率估计方法，可应用于无反馈信道或无法通过反馈信道确定编码码率的应 用环境；解码端提出了一种基于混合拉普拉斯模型的在线传输失真估计方法，可使本发明 应用于无反馈信道或反馈信道时延较长的应用环境，并且该模型相对于分布式视频编码中 常用的拉普拉斯模型对传输失真的建模更加准确。
图1是本发明方法的编码框图。图2是本发明方法的编码端率失真优化的模式选择流程图。图3是本发明方法的解码流程图。
具体实施例方式下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行 实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施 例。如图1所示，本实施例的编码过程包括如下步骤步骤一，将待编码帧分为若干宏块(Macroblocks)，并采用H. 264/AVC编码方案中 的运动估计运动补偿方法计算运动矢量，将结果送入模式选择模块计算不同模式对应的编 码代价；步骤二，对于不同模式，估计用分布式视频编码对于该模式进行保护所需要的码 率并估计经过分布式编码保护后解码视频序列的失真，通过综合考虑H. 264/AVC和分布式 视频编码的代价进行模式选择，具体的步骤见图2 ；步骤三，当所有宏块都经过了模式选择和H. 264/AVC编码后，根据步骤二中估计 得到的分布式编码码流进行分布式视频编码；步骤四，将H. 264/AVC码流和分布式视频编码码流合并后输入信道。如图2所示，本实施例编码过程中的模式选择模块包括如下步骤1、对宏块(Macroblocks)采用H. 264/AVC视频编码中的方法计算某一宏块不同 模式对应的代价J(m) =D(m) + XR(m)，其中D(m)为模式m对应的编码失真，R(m)为模式 m对应的编码码率。令m〗表示所有帧内编码(Intra)模式中代价最小者，并将其代价记为J(m〗)，mf表示所有帧间编码(Inter)模式中代价最小者，并将其代价记为2、如果Am》)< Am ，该宏块采用帧内编码(Intra)模式；3、否则计算分布式视频编码和混合式预测编码的联合信源信道总代价Jwz(m)= D (m)+DffZ(m)+ λ (R(m)+Rwz(m))，其中Dwz(m)为模式m经过分布式视频编码保护后残余的传 输失真，Rwz(m)为对模式m进行分布式视频编码保护所需的码率；4、如果./■_〗)< Λ .'ζ('/^)，该宏块采用帧内编码模式，否则采用帧间编码模式。如图3所示，本实施例的解码过程包括如下步骤1、采用与编码端相同的混合式预测视频编码的解码器进行解码，并判断当前帧在 传输中是否发生错误若无传输错误，则将参考帧中的传输失真叠加至当前帧，否则执行错 误掩盖操作并估计该错误所造成的传输失真，然后将该传输失真与参考帧中的传输失真叠 加作为当前帧的总传输失真；2、判断当前帧为基准帧(受Wyner-Ziv编码保护的帧间编码帧)时，则根据步骤 一获得的像素域传输失真的概率分布计算DCT域传输失真的概率分布；3、根据估计所得的传输失真的概率分布，计算分布式视频编码所需的似然概率信 息并送入分布式视频解码器进行解码，其输出作为当前帧的恢复值并作为下一帧的参考。实施效果依据上述步骤，实验用视频传输序列来源于Foreman_cif. yuv(352x288的4:2:0 格式的YUV文件)，总共取250帧。关键参数的设置为(1)序列类型为I-P-P-P-P......，每5帧设定一个基准帧；(2)采用 H. 264/AVC 的 High Profile 进行视频编码；(3)每帧图像分为4个条带(Slice)；(4)传输中的视频数据包丢失率为8% ；(5)分布式视频编码采用LDPCA方法；(6)帧率设为 Mfps ；比较了采用本发明所述的方法以及A. Sehgal等人提出的基于分布式视频编码的 方法以及采用Intra帧刷新(Intra Refresh)等抗差错方法的性能当码率为1000kbit/S时，本方法、A. Sehgal的方法以及Intra帧刷新方法得到的 PSNR分别为34. 42dB、32. 15dB以及33. 39dB，分别相当于获得了 2. 27dB和1. 03dB的增益；当码率为1200kbit/s时，本方法、A. Sehgal的方法以及Intra帧刷新方法得到的 PSNR分别为35. 15dB、34. 08dB以及34. 14dB,分别相当于获得了 1. 07dB和1. OldB的增益；当码率为1400kbit/s时，本方法、A. Sehgal的方法以及Intra帧刷新方法得到的 PSNR分别为36. 02dB、35. OOdB以及35. 07dB,分别相当于获得了 1. 02dB和0. 95dB的增益；实验表明，较之于A. Sehgal等人提出的基于分布式编码的方法和Intra帧刷新的 方法，本发明提出的H. 264/AVC与分布式视频编码联合优化和解码端在线传输失真建模方 案可显著提高产生码流的抗差错能力。
权利要求
一种基于嵌入式分布式视频编码描述的视频抗差错编解码方法，其特征在于，通过在编码端进行混合式预测视频编码后得到分布式视频编码码流，对其中的帧间编码帧进行嵌入式分布式视频编码保护处理并发送至解码端，当解码端收到的帧间编码帧中没有传输差错并且其参考帧也未受到传输失真的影响，则丢弃该帧间编码帧所对应的分布式视频编码码流；否则解码接收到的分布式视频编码码流，并将解码结果作为后续帧的参考，从而消除传输失真随时间的传播，实现视频抗差错。
2.根据权利要求1所述的基于嵌入式分布式视频编码描述的视频抗差错编解码方法， 其特征是，所述的混合式预测视频编码包括H. 264/AVC规范编码或MPEG-x规范编码。
3.根据权利要求1所述的基于嵌入式分布式视频编码描述的视频抗差错编解码方法， 其特征是，所述的嵌入式分布式视频编码保护处理是指对H. 264/AVC编码和分布式视频 编码进行联合优化模式选择，具体包括以下步骤第一步、首先将分布式视频编码码流中的图像划分为若干宏块，并采用混合式预测视 频编码中的率失真优化方法计算每一个宏块针对所有帧内编码模式以及所有帧间编码模 式的对应代价J(m) =D(m) + XR(m)，其中D(m)为模式m对应的编码失真，R(m)为模式m对 应的编码码率，并选取所有帧内编码模式中代价最小值及其对应的帧内编码模式 以及所有帧间编码模式中代价最小值及其对应的帧间编码模式第二步、当J(m〗)<，/(mf)时，则对于该宏块采用帧内编码模式进行编码，否 则计算该宏块分布式视频编码和混合式预测编码的联合信源信道代价Jwz(m)= D(m)+DffZ(m) + A (R(m)+RWZ (m))，其中Dwz (m)为模式m经过分布式视频编码保护后残余的传 输失真，Rwz(m)为对模式m进行分布式视频编码保护所需的码率；第三步、当< JM^(m》)时，则对于该宏块采用帧内编码模式进行编码，否则采 用帧间编码模式进行编码，重复执行上述第一步至第三步直至所有宏块均完成编码；第四步、步骤二中对于所有宏块计算所得的Rwz(m)之和作为嵌入式分布式视频编码的 码率，并据此进行分布式视频编码。
4.根据权利要求1所述的基于嵌入式分布式视频编码描述的视频抗差错编解码方法， 其特征是，所述的解码端收到的帧间编码帧中没有传输差错并且参考帧也未受到传输失真 的影响是指步骤1、采用与编码端相同的混合式预测视频编码的解码器进行解码，并判断当前帧在 传输中是否发生错误若无传输错误，则将参考帧中的传输失真叠加至当前帧，否则执行错 误掩盖操作并对该错误所造成的传输失真进行建模，然后将该传输失真与参考帧中的传输 失真叠加作为当前帧的总传输失真；步骤2、判断当前帧为基准帧，即受Wyner-Ziv编码保护的帧间编码帧时，则根据步骤 一获得的像素域传输失真的概率分布计算DCT域传输失真的概率分布；步骤3、根据概率分布计算分布式视频编码所需的似然概率信息作为解码器的参数进 行解码，并将解码器的输出作为当前帧的恢复值以及下一帧的参考值。
5.根据权利要求4所述的基于嵌入式分布式视频编码描述的视频抗差错编解码方法， 其特征是，所述的传输失真建模是指用混合Laplace分布描述运动补偿结果与实际图像 间发生平移以及运动补偿残差丢失造成的失真，其中Laplace分布的参数通过相邻的正确解码宏块的残差能量获得，具体为混合Laplace分布P(e)=，其中ep为 运动估计误差造成的失真，ew为运动补偿残差并服从以ep为中心的Laplace分布。
全文摘要
一种视频编解码技术领域的基于嵌入式分布式视频编码描述的视频抗差错编解码方法，通过在编码端进行混合式预测视频编码后得到分布式视频编码码流，对其中的帧间编码帧进行嵌入式分布式视频编码保护处理并发送至解码端，当解码端收到的帧间编码帧中没有传输差错并且其参考帧也未受到传输失真的影响，则丢弃该帧间编码帧所对应的分布式视频编码码流；否则解码接收到的分布式视频编码码流，并将解码结果作为后续帧的参考，从而消除传输失真随时间的传播，实现视频抗差错。本发明通过对于分布式视频编码和传统编码的联合优化可提高该系统的整体性能，适用于无反馈信道或反馈信道传输时延较长的视频传输。
文档编号H04N7/50GK101977327SQ20101054499
公开日2011年2月16日 申请日期2010年11月16日 优先权日2010年11月16日
发明者张永生, 熊红凯 申请人:上海交通大学