用于确定用于空间可缩放视频编解码器的预测块的方法
【专利说明】用于确定用于空间可缩放视频编解码器的预测块的方法
【背景技术】
[0001] 本发明涉及一种用于从第二低分辨率层图像的块确定第一高分辨率层图象的预 测块的方法，并且涉及一种用于在不同的分辨率块之间进行代码转换的空间可缩放视频编 解码器。
[0002] 由于现代视频广播和电话会议系统迅速扩展，可以使用各种视频启用设备，从低 成本的移动电话到高端HDTV远程呈现终端，因此出现了解决分辨率可缩放视频流的需要。 虽然高性能HDTV视频终端能够实时解码和播放高清晰度视频流，但移动设备经常在使得 此类设备的标准清晰度（SD)分辨率最佳的显示分辨率和计算资源两方面受到限制。针对 这个问题的广泛使用的解决方案之一是视频转码。专用转码服务器解码传入的高分辨率视 频流，将其重新缩放至较低分辨率，然后编码重新缩放后视频序列以产生用于发送至低性 能客户的视频流。这种解决方案严重地受到转码过程的高计算复杂性的不利影响，尤其是 在多视频流处理的情况下，这种情况需要将昂贵的高性能转码服务器集成至广播或电话会 议系统中，从而显著增加了系统构建成本和维护成本。转码解决方案的其它缺点是由有损 视频编码算法引入的图像质量劣化的累积。较低分辨率视频流是从已经由于有损视频编码 伪像而发生失真的解码后高分辨率数据流（而不是在转码服务器上不可用的原始无失真 视频序列），所以第二编码阶段增加了甚至更多的编码失真。
[0003] -种更精妙的解决方案来自于可缩放视频编解码器，如H. 263+和H. 264/SVC。编 码为若干不同的分辨率的操作由在视频流源设备上操作的视频编码器执行，使得发送至 视频广播或电话会议服务器的视频流确实已经包含了嵌入为可缩放层的所有所需要的分 辨率，并且服务器只需要向每个视频客户端发送最适合客户端的性能和能力的适当层数据 (或者广播所有层的数据，使得每个客户端将自己提取最合适的层）。因为可缩放层的调度 是比多信道视频流的转码计算密集性小得多的任务，因此广播/电话会议服务器的成本大 幅降低。此外，这种解决方案提供了一种良好的网络包丢失保护手段。如果包含较高分辨率 层数据的包在网络传输过程中丢失，那么接收器仍然可以解码和显示较低分辨率图像，从 而避免图像冻结或破坏，这是在易错网络中使用的许多视频编解码器的共同问题。另外，由 于不同层的不相等的重要性，例如基本层比增强层更为重要，可以使用高效的不等FEC技 术来改善包丢失保护，同时保持FEC额外数据开销较低。
[0004]同时，这种解决方案仍然存在两个严重的缺点。它通过多分辨率编码计算在视频 源设备之间的分配从服务器移除了难以应对的转码负担，这提高了这些设备上的计算和存 储资源利用率。由于根据受约束的比特率预算对若干个视频序列进行编码（以不同分辨率 表示同一移动图像）而该比特率预算否则可能仅由最高分辨率视频序列更高效地利用，因 此观察到编码效率的显著恶化。
[0005] 为了减轻上述问题，现代可缩放视频编解码器标准引入了层间预测编码模式。较 高分辨率层帧的每个宏块可以使用放大后较低分辨率层帧的并置宏块进行预测，而不是使 用同一帧的相邻宏块（如在帧内预测中那样）或同一层的参考帧（如在帧间预测中那样）。 层间预测有助于减轻这两个问题。它不要求针对较高分辨率层的计算密集型运动估计程 序，因为它使用在放大后较低分辨率帧中与正在编码的宏块位置相同的预测宏块。从同一 图像的较低分辨率版本预测较高分辨率图像有助于降低由于编码同一图像的若干版本而 引入的信息性冗余，并因此提高了编码效率。
[0006] 但层间预测仍然无法完全解决编码效率恶化的问题。即使是在使用层间编码时， 多层空间可缩放性编解码器的编码效率也比单层编解码器的编码效率差高达20%。因此， 提高多层空间可缩放性编解码器的编码效率对于使得基于可缩放编解码器的广播/电话 会议系统具有成本效益而言是一个重要问题。
[0007] 现代的用于空间可缩放性视频编解码器的层间预测算法应满足以下要求：算法应 使预测残差信号最小化以便提供更好的编码效率改进。算法应使最佳预测参数搜索（如果 有的话）的计算复杂性和存储器要求最小化。如果涉及计算密集型最佳预测参数搜索，那 么算法应为灵活的质量性能权衡提供手段。算法应使解码复杂性增加很少。算法应允许简 单且无缝地集成至现有的可缩放视频编解码器架构和基础设施中。
[0008] 如ITU-T建议第102至114页的H. 263 : "用于低比特率通信的视频编码"描述以 及如图10描绘的较旧的空间可缩放性启用编解码器H.263+(Annex0)仅通过对较低分辨 率层信号的重构样本进行上采样来执行层间预测。低分辨率图像1204是通过缩小1201高 分辨率图像1202而获得的。低分辨率图像1204被编码且重构1203以获得低分辨率的SVC 基本层图像1206,低分辨率的SVC基本层图像1206被放大1205成高分辨率的放大后SVC 基本层图像1208。向该放大后SVC基本层图像1208应用层间空间预测1207以重构高分辨 率的原始SVC空间层图像1202。
[0009] 现有技术的可缩放视频编解码器标准H. 264/SVC另外规定了层间运动预测模式， 其中较高分辨率层的运动参数（参考索引、分区数据、运动矢量）使用较低分辨率层的放 大后运动参数进行预测或导出，以及层间残差预测模式，其中较高分辨率层的残差信号使 用较低分辨率层的放大后残差信号进行预测，如由T.Wiegand、G.Sullivan、J.Reichel、 H.Schwarz、M.Wien在"联合草案ITU-T建议H. 264 |IS0/IEC14496-10/Amd. 3 可缩放视频 编码"第380至562页所描述的。
[0010] 然而，这些层间预测模式存在以下问题：从用于包含不同边缘的区域的放大后较 低分辨率信号预测较高分辨率信号由于以下事实而效率较低，即这些边缘在已在使用缩小 后原始较高分辨率图像作为输入数据的较低分辨率层编码器中被缩小并且随后在使用放 大后重构后较低分辨率层数据作为预测值的较高分辨率层编码器中被放大回来之后变得 模糊。因此，层间预测为此类区域生成高能量的残差信号，这或者通过降低质量以便适合受 约束的比特率或者如果保持质量的话通过提高比特率而使编码效率恶化。
[0011] 已作出以下描述的一些努力来改进可缩放编码。如在C.A.Segall和S. _M.Lei 的第7876833号美国专利"用于针对空间可缩放编码的自适应放大的方法和装置（Method andapparatusforadaptiveup-scalingforspatiallyscalablecoding) ''中所描述 的，选择性使用针对局部图像性质自适应的不同上采样过滤器提高了层间预测效率。该方 法增强了H. 264/SVC标准所规定的具有几个计算上较简单的过滤器的当前六抽头放大过 滤器，这种放大过滤器具有可以改进针对平滑图像区域的预测但没有改进边缘脆性，并且 因此没有提供针对包含不同边缘的区域的任何编码效率提高。
[0012] 如在第18届结合图像处理的IEEE国际会议中"D.Grois和0.Hadar的"用于针对 动态过渡区域的ROI可缩放视频编码的复杂性感知自适应空间预处理（Complexity-aware adaptivespatialpre-processingforROIscalablevideocodingwithdynamic transitionregion) "中所描述的，图像的不太重要的背景区域的自适应平滑化降低了此 类区域所消耗的比特预算，从而为更为重要的感兴趣区域节约了比特。该方法移除了被视 为不必要或不重要的图像细节，这并不总是可取的，尤其是对于应该保留图像脆性的情况。 此外，该方法要求预处理阶段识别图像中的R0I(感兴趣区域），这通常涉及复杂的计算机 视觉技术，因而显著增加了整个系统的计算复杂性。
[0013] 如在2005年7月24至29日波兰波兹南的联合视频工作组第16次会议的文档 JVT-P085中W.-J.Han的"用于单环路解码的平滑化后参考预测（Smoothedreference predictionforsingle-loopdecoding)"中所描述的，层间残差预测模式中的预测信号的 平滑化补偿了单环路解码方法所施加的约束，并且实现了针对该特定方法的更好的层间预 测。该方法只对单环路解码方法这种特定情况有意义，在更一般的情况下并没有实际用途。
[0014] 如在2003年关于多媒体和博览会的国际会议论文集中Y.Yang和L.Boroczky的 "用于MPEG-2编码视频的联合分辨率增强和伪像减少（Jointresolutionenhancement andartifactreductionforMPEG_2encodeddigitalvideo)"中所描述的，用于MPEG-2 编码视频的联合分辨率增强和伪像减少被应用于在高清晰度监视器上显示较低分辨率图 像。在该方法中，锐度增强被应用于解码器处的解码后图像，其中正在预测的原始图像不可 用。因此，这种方法缺少选择最佳锐度增强参数以便实现最佳预测效率的能力，并且没有提 供针对编码器侧的编码效率改进。
[0015] 如在1999年关于甚低比特率视频编码的国际研讨会论文集中E.Asbun,P.S