具有自适应变换和多帧间层运动候选的帧间层纹理编码的制作方法
【专利说明】具有自适应变换和多帖间层运动候选的帖间层纹理编码
[0001] 香叉引用
[0002] 本发明主张在2012年11月15日提出的申请号为61/726, 837、标题为"Methods ofInter-layertexturepredictiontransformandmultipleInter-layermotion candidatesforSeal油leVideoCoding"的美国临时专利申请的优先权。因此在全文中 合并参考该些美国临时专利申请案。
技术领域
[0003] 本发明是有关于可伸缩视频编码（seal油levideocoding,W下简称为SVC)，特 别是有关于包括自适应变换或多个帖间层运动候选的帖间层纹理编码。
【背景技术】
[0004] 压缩的数字视频已经广泛地应用于各种应用中。例如，对于数字网络的视频流和 对于数字通道的视频传输。通常，单一的视频内容可W通过不同特性的网络来传输。举例来 说，现场直播的体育赛事可W载入高宽带数据流格式，并通过收费视频服务的宽带网络传 输。在该样的应用中，压缩的视频通常保存高分辨率和高品质，W使得视频内容适合于高清 晰度设备，例如，高清晰度电视或高清晰度显示器。相同的内容也可W载入蜂窝数据网络， W使得该内容可W在便携式设备（例如，智能手机或通过网络连接的便携式媒体设备）上 进行观看。在此应用中，由于网络带宽问题和在智能手机或便携式设备上的低分辨率显示， 视频内容通常被压缩为低分辨率和低比特率。因此，对于不同的网络环境和不同的应用，视 频分辨率和视频品质的要求是完全不同的。即使对于相同类型的网络，用户可能由于不同 的网络基础设施和网络流量状况而感受到不同的可用带宽。因此，用户可能希望当可用带 宽较宽时，接收高品质视频，当网络拥塞发生时，接收较低品质但是很流畅的视频。在另一 种情况下，高端媒体播放器可W处理的高分辨率和高比特率的已压缩视频，然而由于限制 的计算资源，低成本的媒体播放器仅能够处理低分辨率和低比特率的已压缩视频。相应地， 需要W可伸缩的方法构造压缩的视频，W使得可W从相同的已压缩比特流处得到不同的时 空分辨率及/或不同品质的视频。
[0005] IS0/IECMPEG和ITU-TVCEG的联合视频工作组（jointvideoteam,JVT)标准 化对于H. 264/AVC标准的可伸缩视频编码扩展。比264/AVCSVC比特流包括从低帖率、低 分辨率、和低品质到高帖率、高清晰度和高品质的视频信息。此种单一的比特流能够适应各 种应用并能够在不同配置的设备上显示。相应地，H. 264/AVCSVC适用于各种视频应用，例 如，视频广播、视频数据流、W及视频监控，W适合网络基础设施，交通条件，用户偏好等。
[0006] 在SVC中，提供S种可伸缩类型，即时间可伸缩，空间可伸缩和品质可伸缩。SVC采 用多层编码结构来实现S维可伸缩。SVC的主要目标是产生一个可伸缩比特流，W容易和迅 速地适应各种传输信道、不同的显示能力、和不同的计算资源相关的比特率要求，而无需反 式编码（trans-coding)或重编码（re-encoding)。SVC设计的一个重要特征是，在比特流 层化itstreamlevel)提供该种可伸缩性。换言之，对于取得缩减空间及/或时间分辨率 的视频的比特流，可w简单地通过从需要打算解码的视频的可伸缩比特流中提取网络抽象 层（W下简称为NAL)单元（或网络数据包）而获得。可另外减小用于品质精化的NAL单 元从而减小比特率及/或降低相应视频品质。
[0007] 如图1所示，在SVC中，基于金字塔编码（pyramidcoding)支持空间可伸缩。在 具有空间可伸缩性的SVC系统中，首先降采样视频序列，W获得不同的空间分辨率（层） 的较小图片。例如，原始分辨率的图片110可W通过空间抽取120处理，而获得分辨率降 低的图片111。如图1所示，分辨率降低的图片111可进一步通过空间抽取121处理，而获 得分辨率进一步减小的图象112。除二阶（dyadic)空间分辨率之外，该空间分辨率在每一 层减小一半，SVC还支持任意分辨率的比率，该被称为扩展空间可缩放（extendedspatial seal油ility，ES巧。图1中的SVC系统描述了S层空间可伸缩系统的示意图，其中第0层 对应于具有最低空间分辨率的图片，第2层对应于具有最高空间分辨率的图片。不需要参 考其他层，可W编码第0层，即单层的编码。例如，使用编码运动补偿和帖内预测130编码 最底层图片112。
[0008] 运动补偿和帖内预测130将生成语法元素和编码相关信息（例如，运动信息），W 进一步用于滴编码140。图1实际上描述了一个联合SVC系统，该系统提供空间可伸缩和 品质可伸缩（也称为SNR可伸缩）。该系统也可提供时间可伸缩，该并没有明确显示出来。 对于每一个单层编码，编码残差（resi化alcodingerrors)可W使用SNR增强层编码150 而改善。图1中SNR增强层可W提供多个品质层（level)(品质可伸缩）。支持分辨率层的 每一个品质层，可W由各自的单层运动补偿和帖内预测进行编码，例如非可伸缩编码系统。 基于一个或多个的较低空间层，也可W使用帖间层编码来编码每个较高空间层。举例来说， 在宏块或其他区块单元的基础上，使用根据第0层视频的帖间层预测或者使用单层编码， 来自适应编码第1层视频。同样地，使用基于重构的第1层视频的帖间层预测或使用单层 编码，来自适应编码第2层视频。如图1所不，第1层图片111可W通过运动补偿和帖内 预测131、基本层滴编码141和SNR增强层编码151来编码。如图1所示，运动补偿和帖内 预测131也利用重建的基本层视频数据，其中在空间第1层中的编码块可使用重建的基本 层视频数据作为附加的帖内预测数据（即，不设及运动补偿）。相似地，第2层图片110可 W通过运动补偿和帖内预测132、基本层滴编码142和SNR增强层编码152来编码。来自所 有空间层的基本层比特流和SNR增强层比特流通过复用器160复用产生可伸缩的比特流。 由于帖间层编码，可W提高编码效率。此外，编码空间第1层需要的信息取决于重建的第0 层（帖间层预测）。SVC系统中较高层被称为增强层。H.264SVC提供S种类型的帖间层预 测工具：帖间层运动预测、帖间层帖内预测、W及帖间层残差预测。
[000引在SVC中，增强层巧L)可W重新使用在基本层胁）中的运动信息，W减少帖间 层运动数据冗余。例如，增强层宏块编码可W使用一个标志，例如在mb_type之前的base, mode_flag被确定为指示增强层运动信息是否是直接来自于基本层。如果base_mode_flag 等于1时，增强层宏块的分割数据W及相关的参考索引和运动矢量来自基本层中同一位置 的8X8区块相应的数据。基本层的参考图片索引直接用于增强层。增强层的运动矢量是 自与基本层相关的数据来进行缩放的。此外，已缩放的基本层运动矢量可W被用作增强层 的附加的运动矢量预测子（predictor)。
[0010] 帖间层残差预测使用上采样的基本层残差信息，W减少所需编码增强层残差的信 息。可使用双线性滤波器来区块式化lock-wise)上采样基本层的同一位置的残差，W及基 本层的同一位置的残差可用作在增强层中对应宏块的残差的预测。参考层残差的上采样W 变换区块为基础来完成，W确保滤波没有穿越变换区块的边界。
[0011] 与帖间层残差预测相似，帖间层帖内预测降低增强层的冗余纹理信息。通过区块 式上采样同一位置的基本层重建信号，来产生增强层的预测。在帖间层帖内预测（ILIP，也 称为帖间层纹理预测）上采样过程中，分别将4