用于不同层间预测类型的参考图片的独立重新采样及选择的制作方法
【技术领域】
[0001] 本发明是关于视频译码及压缩的领域。明确地说，本发明是关于可缩放视频译码 (SVC)，包含用于高级视频译码（AVC)的SVC以及用于高效率视频译码（HEVC)的SVC (其也 称为可缩放HEVC(SHVC))。本发明也是关于3D视频译码，例如HEVC的多视图延伸（称为 MV-HEVC)。各种实施例是关于用于独立控制层间运动预测参考重新采样及层间样本预测参 考重新采样及用于关于层间预测类型的处理位流限制的系统及方法。
【背景技术】
[0002] 数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系 统、无线广播系统、个人数字助理（PDA)、膝上型或台式计算机、平板计算机、电子书阅读 器、数字摄像机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝 式或卫星无线电电话、所谓的"智能电话"、视频电传会议装置、视频流式传输装置及其类 似者。数字视频装置实施视频译码技术，例如在由MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H. 264/MPEG-4部分10高级视频译码（AVC)所定义的标准、目前正在开发的高效率视频译 码（HEVC)标准及这些标准的延伸中所描述的视频译码技术。视频装置可通过实施这些视 频译码技术来更有效地发射、接收、编码、解码及/或存储数字视频信息。
[0003] 视频译码技术包含空间（图片内）预测及/或时间（图片间）预测以减少或移除 视频序列中固有的冗余。对于基于块的视频译码来说，可将视频片段（即，视频帧或视频帧 的一部分）分割成视频块，所述视频块也可被称为树型块、译码单元（CU)及/或译码节点。 使用相对于在同一图片中的相邻块中的参考样本的空间预测来编码图片的帧内译码（I) 片段中的视频块。图片的帧间译码（P或B)片段中的视频块可使用相对于在同一图片中的 相邻块中的参考样本的空间预测或相对于在其它参考图片中的参考样本的时间预测。可将 图片称为帧，且可将参考图片称为参考帧。
[0004] 空间或时间预测引起待译码的块的预测性块。残余数据表示待译码的原始块与预 测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量及指示经译码块 与预测性块之间的差异的残余数据来编码帧间译码块。根据帧内译码模式及残余数据来编 码帧内译码块。为进行进一步压缩，可将残余数据自像素域变换到变换域，从而引起残余变 换系数，可接着量化所述残余变换系数。可扫描最初布置成二维阵列的经量化的变换系数 以便产生变换系数的一维向量，且可应用熵译码以达成甚至更多压缩。
【发明内容】
[0005] -般来说，本发明描述关于可缩放视频译码（SVC)的技术。下文所描述的各种技 术提供用于独立控制层间运动预测参考重新采样及层间样本预测参考重新采样的方法及 装置。下文所描述的各种技术提供用于关于层间预测类型的处理位流限制的方法及装置。
[0006] 根据某些方面的用于译码视频信息的设备包含存储器及计算硬件。存储器单元 经配置以存储视频信息。计算硬件经配置以：识别待使用至少一类型的层间预测（ILP)加 以预测的当前图片，所述类型的ILP包括层间运动预测（ILMP)或层间样本预测（ILSP)中 的一或多者；及控制：（1)可被重新采样且用以使用ILMP来预测当前图片的图片的数目及 (2)可被重新采样且用以使用ILSP来预测当前图片的图片的数目，其中计算硬件经配置以 独立于可被重新采样且用以使用ILSP来预测当前图片的图片的数目来控制可被重新采样 且用以使用ILMP来预测当前图片的图片的数目。
[0007] 根据某些方面的用于译码视频信息的设备包含存储器及计算硬件。存储器单元经 配置以存储视频信息。计算硬件经配置以：识别待使用至少一类型的层间预测（ILP)加以 预测的当前图片，所述类型的ILP包括层间运动预测（ILMP)或层间样本预测（ILSP)或两 者；在当前图片将使用至少ILMP加以预测时：处理与当前图片相关联的并置参考索引值， 其中所述并置参考索引值指示用于使用ILMP来预测当前图片的第一参考图片；及确定由 并置参考索引值指示的第一参考图片针对ILMP是否启用；及在当前图片将使用至少ILSP 加以预测时：处理与当前图片中的块相关联的参考索引值，其中所述参考索引值指示用于 使用ILSP来预测当前图片中的所述块的第二参考图片；及确定由参考索引值指示的第二 参考图片针对ILSP是否启用。
[0008] 在随附图式及以下描述中陈述一或多个实例的细节，所述随附图式及所述描述并 不意欲限定本文中所描述的发明性概念的完整范畴。其它特征、目标及优势将从所述描述 及所述图式以及从权利要求书显而易见。
【附图说明】
[0009] 贯穿所述图式，可再使用参考数字来指示被参考元件之间的对应性。提供所述图 式以说明本文中所描述的实例实施例且所述图式并不意欲限定本发明的范畴。
[0010] 图1为说明实例视频编码及解码系统的框图，所述视频编码及解码系统可利用根 据本发明中所描述的方面的技术。
[0011] 图2A为说明视频编码器的实例的框图，所述视频编码器可实施根据本发明中所 描述的方面的技术。
[0012] 图2B为说明视频编码器的实例的框图，所述视频编码器可实施根据本发明中所 描述的方面的技术。
[0013] 图3A为说明视频解码器的实例的框图，所述视频解码器可实施根据本发明中所 描述的方面的技术。
[0014] 图3B为说明视频解码器的实例的框图，所述视频解码器可实施根据本发明中所 描述的方面的技术。
[0015] 图4为根据本发明的方面的流程图，其说明用于独立控制层间运动预测参考重新 采样及层间样本预测参考重新采样的实例方法。
[0016] 图5为流程图，其说明用于关于层间预测类型的处理位流限制的实例方法。
【具体实施方式】
[0017] 本发明中所描述的技术大体来说是关于可缩放视频译码（SHVC、SVC)及多视图 /3D视频译码（例如，多视图译码+深度（MVC+D))。举例来说，所述技术可是关于高效率视 频译码（HEVC)可缩放视频译码（SVC，有时称为SHVC)延伸，及可与高效率视频译码（HEVC) 可缩放视频译码（SVC，有时称为SHVC)延伸一起使用或在高效率视频译码（HEVC)可缩放 视频译码（SVC，有时称为SHVC)延伸内使用。在SHVC、SVC延伸中，可存在视频信息的多个 层。位于视频信息的最低层级处的层可充当基础层（BL)或参考层（RL)，且位于视频信息的 最顶部（或最高层）处的层可充当增强型层（EL)。"增强型层"有时被称为"增强层"，且这 些术语可互换使用。基础层有时被称为"参考层"，且这些术语也可互换使用。在基础层与 顶层之间的所有层可充当额外EL及/或参考层。举例来说，给定层对于位于所述给定层下 面（例如，先于所述给定层）的层（例如，基础层或任何介入的增强层）来说可为EL。进 一步，所述给定层也可充当位于所述给定层上面（例如，后起于所述给定层）的一或多个增 强层的RL。在基础层（例如，具有（例如）层识别（ID)集或等于"1"的最低层）与顶层 (或最高层）中间的任何层可由高于所述给定层的层用作层间预测的参考且可将低于所述 给定层的层用作层间预测的参考。举例来说，可将低于所述给定层的层用作层间预测的参 考来确定给定层。
[0018] 出于简单性，仅就两个层来呈现实例：BL及EL;然而，应充分理解，下文所描述的 思想及实施例也适用于具有多个层的状况。另外，出于解释容易性，常使用术语"帧"或 "块"。然而，这些术语并不意谓为限定性的。举例来说，可将下文所描述的技术与多种视频 单元（包含（但不限于）像素、块（例如，(^^!^、宏块等入图块^贞~图片等彡中的任一 者一起使用。
[0019] 视频译码
[0020] 视频译码标准包含 ITU-T H. 261、IS0/IEC MPEG-IVisual、ITU-T H. 262 或 ISO/ IEC MPEG-2Visual、ITU-T Η· 263、IS0/IEC MPEG-4Visual 及 ITU-T Η· 264(也已知为 IS0/IEC MPEG-4AVC)(包含所述ITU-T Η. 264的可缩放视频译码（SVC)及多视图视频译 码（MVC)与多视图译码+深度（MVC+D)延伸）。最新HEVC草案规范（且在下文中称为 HEVC WD10)可自 http://phenix. int-evry. fr/jct/doc_end_user/documents/12_Geneva/ wgll/JCTVC-L1003-v34. zip 获得。也正由 JCT-3V 开发 HEVC 的多视图延伸（即，MV-HEVC)。 MV-HEVC WD3 的新近工作草案（WD)(下文中为 WD3)可自 http://phenix. it-sudparis. eu/jct2/doc_end_user/documents/3_Geneva/wgll/JCT3V-C1004-v4. zip 获得。也正由 JCT-VC开发HEVC的可缩放延伸（命名为SHVC)。SHVC的新近工作草案（WD)(且在下文 中称为 SHVC WD2)可自 http://phenix. int-evry. fr/jct/doc_end_user/documents/13_ Incheon/wgll/JCTVC-M1008-vl. zip 获得。
[0021] 在SVC及SHVC中，视频信息可被提供作为多个层。位于最底部层级处的层可仅充 当基础层（BL)且位于最顶部层级处的层可充当增强层（EL)。在顶层与底层之间的所有层 可充当增强层与参考层两者。举例来说，中间的层对于位于其下面的层来说可为EL，且同时 对于位于其上面的层来说可作为RL。出于描述的简单性，可在说明下文所描述的技术中假 定存在两个层（BL及EL)。然而，本文中所描述的所有技术也适用于具有多个（两个以上） 层的状况。
[0022] 可缩放视频译码（SVC)可用以提供质量（也称为信噪（SNR))可扩充性、空间可扩 充性及/或时间可扩充性。举例来说，在一个实施例中，参考层（例如，基础层）包含足以 以第一质量等级来显示视频的视频信息且增强层包含相对于参考层的额外视频信息使得 参考层及增强层一同包含足以以高于第一等级的第二质量等级（例如，较少噪声、较大分 辨率、较好的帧速率等）来显示视频的视频信息。增强型层可具有不同于基础层的空间分 辨率。举例来说，EL与BL之间的空间纵横比可为1.0、1.5、2. O或其它不同比。换句话说， EL的空间纵横可等于BL的空间纵横的I. 0、1. 5或2. O倍。在一些实例中，EL的缩放因数 可大于BL。举例来说，EL中的图片大小可大于BL中的图片大小。以此方式，有可能（虽然 非为限定）EL的空间分辨率大于BL的空间分辨率。
[0023] 在SVC (其对于H. 264来说指SVC延伸且对于H. 265来说指SHVC延伸（如上文所 论述））中，可使用为SVC所提供的不同层来执行当前块的预测。可将此预测称为层间预测。 可在SVC中利用层间预测方法以便减少层间冗余。层间预测的一些实例可包含层间帧内预 测、层间运动预测及层间残余预测。层间帧内预测使用基础层中的并置块的重建来预测增 强层中的当前块。层间运动预测使用基础层的运动信息（包含运动向量）来预测增强层中 的运动。层间残余预测使用基础层的残余来预测增强层的残余。
[0024] 概沭
[0025] 在SHVC中，可将层间预测（ILP)中所使用的层间参考图片（ILRP)用于层间运动 预测（ILMP)、层间样本预测（ILSP)或两者。可将ILRP被用于的ILP的类型称为层间预测 类型（例如，ILMP、ILSP或两者）。对于仅用于ILSP的参考图片来说，如果参考层图片具有 不同于当前图片的图片大小，则参考层图片应予以样本重新采样以产生ILRP，但未予以运 动重新采样，因为未使用运动信息。对于仅用于ILMP的参考图片来说，如果参考层图片具 有不同于当前图片的图片大小，则参考层图片应予以运动重新采样以产生ILRP，但未予以 样本重新采样，因为未使用来自参考层图片的样本。对于用于ILSP与ILMP两者的参考图 片来说，如果参考图片具有不同于当前图片的大小，则参考层图片应予以样本重新采样及 运动重新采样。
[0026] 在SHVC工作草案（WD)的早期版本中，如果参考层图片具有不同于当前图片的大 小，则调用重新采样过程以导出层间参考图片而不检查参考层图片的层间预测类型（例 如，ILMP、ILSP或两者）。此可导致样本重新采样仅用于ILMP的ILRP(即使不需要来自所 述ILRP的样本）。此外，在一些SHVC简档中，可将可被重新采样以用于解码任何特定图片 的层间参考图片的数目限定于某一数目（例如，1)。然而，在计数重新采样图片的数目中未 分开地考虑所述两个重新采样过程（例如，样本重新采样及运动重新采样）。因此，如果针 对仅用于层间运动预测的图片来调用样本重新采样过程，则当解码特定图片时可不再针对 用于层间样本预测的另一图片来调用样本重新采样过程。因此，有利之举将为：不样本重新 采样仅用于ILMP的ILRP且也不将仅用于ILMP的ILRP的样本重新采样计入关于针对特定 图片而被重新采样的ILRP的数目的限度。在另一实例中，如果针对仅用于ILSP的图片来 调用运动重新采样过程，则当解码特定图片时可不再针对用于ILMP的另一图片来调用运 动重新采样过程。也有利之举将为：不运动重新采样仅用于ILSP的ILRP且也不将仅用于 ILSP的ILRP的运动重新采样计入关于针对特定图片而被重新采样的ILRP的数目的限度。 为促进论述，关于针对特定图片而被重新采样的ILRP的数目的限度也可被称为"重新采样 图片计数"。
[0027] 为解决这些及其它挑战，所述技术可避免针对仅用于层间运动预测的层间参考图 片来调用重新采样过程。所述技术也可不将仅用于层间运动预测的层间参考图片计入重新 采样图片计数（即使当ILRP具有不同于当前图片的图片大小时）。
[0028] 在某些实施例中，所述技术可关于对重新采样图片的数目的限制而与用于层间样 本预测的层间参考图片分开地来计数用于层间运动预测的层间参考图片。举例来说，所述 技术可针对用于ILMP的ILRP而具有重新采样图片计数，且针对用于ILSP的ILRP而具有 另一重新采样图片计数。
[0029] 另外，所述技术也可提供及/或关于层间预测类型的处理位流限制。举例来说， 所述技术可提供及/或处理并置参考索引（例如，c 〇ll〇Cated_ref_idX)可仅指用于至少 ILMP的ILRP的位流限制。所述技术也可提供及/或处理参考索引（例如，ref_idX)可仅 指用于至少ILSP的ILRP的位流限制。可使用一或多个旗标来实施所述位流限制。
[0030] 下文中参看随附图式来更完整地描述新颖系统、设备及方法的各种方面。然而，本 发明可以许多不同形式来体现，且不应被理解为限于贯穿本发明所呈现的任何特定结构或 功能。相反，提供这些方面使得本发明将为详尽且完整的，且将向所属领域技术人员充分地 传达本发明的范畴。基于本文中的教示，所属领域技术人员应了解，本发明的范畴意欲涵盖 本文中所揭示的新颖系统、设备及方法的任何方面，而不管所述方面是独立于本发明的任 何其它方面而实施或是与本发明的任何其它方面组合地加以实施。举例来说，可使用本文 中所陈述的任何数目个方面来实施一种设备或可实践一种方法。另外，本发明的范畴意欲 涵盖除本文中所陈述的本发明的各种方面之外或不同于本文中所陈述的本发明的各种方 面的使用其它结构、功能性或结构与功能性加以实践的此设备或方法。应理解，可通过技术 方案的一或多个要素来体现本文中所揭示的任何方面。
[0031] 虽然本文中描述特定方面，但这些方面的许多变化及排列属于本发明的范畴内。 虽然提及优选方面的一些益处及优势，但本发明的范畴并不意欲限于特定益处、用途或目 标。相反，本发明的方面意欲广泛适用于不同无线技术、系统配置、网络及发射协议，其中一 些通过实例在诸图中且在优选方面的以下描述中加以说明。实施方式及图式仅仅说明本发 明而非限定本发明，本发明的范畴由所附权利要求书及其均等物来定义。
[0032] 视频译码系统
[0033] 图1为说明实例视频译码系统10的框图，所述视频译码系统可利用根据本发明中 所描述的方面的技术。如本文中所描述使用，术语"视频译码器"一般地指视频编码器与视 频解码器两者。在本发明中，术语"视频译码"或"译码"可一般地指视频编码及视频解码。
[0034] 如图1中所示，视频译码系统10包含源装置12及目的地装置14。源装置12产生 经编码视频数据。目的地装置14可解码由源装置12产生的经编码视频数据。源装置12 可经由通信信道16将视频数据提供到目的地装置14,所述通信信道可包含计算机可读存 储媒体或其它通信信道。源装置12及目的地装置14可包含广泛范围的装置，包含台式计 算机、笔记本（例如，膝上型）计算机、平板计算机、机顶盒、电话手持机（例如，所谓的"智 慧"电话、所谓的"智慧"平板）、电视、摄像机、显示装置、数字媒体播放器、视频游戏控制台、 车载计算机、视频流式传输装置或其类似者。可装备源装置12及目的地装置14以用于达 成无线通信。
[0035] 目的地装置14可经由通信信道16来接收待解码的经编码视频数据。通信信道16 可包括能够将经编码视频数据从源装置12移到目的地装置14的一种类型的媒体或装置。 举例来说，通信信道16可包括用以使得源装置12能够实时直接将经编码视频数据发射到 目的地装置14的通信媒体。可根据通信标准（例如，无线通信协议）来调制经编码视频数 据，且将经编码视频数据发射到目的地装置14。通信媒体可包括无线或有线通信媒体（例 如射频（RF)频谱或一或多个实体发射线）。通信媒体可形成基于包的网络（例如，局域网、 广域网或例如因特网的全域网络）的部分。通信媒体可包含路由器、开关、基站，或可对促 进从源装置12到目的地装置14的通信有用的其它设备。
[0036] 在一些实施例中，可将经编码数据从输出接口 22输出到存储装置。在这些实例 中，信道16可对应于存储由源装置12产生的经编码视频数据的存储装置或计算机可读 存储媒体。举例来说，目的地装置14可经由磁盘存取或卡存取来存取计算机可读存储媒 体。类似地，可通过输入接口 28自计算机可读存储媒体来存取经编码数据。计算机可读 存储媒体可包含多种分散式或局部存取式数据存储媒体（例如，硬驱动器、蓝光光盘、DVD、 CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储视频数据的其它数字存储