用于单独地界定对基于子层的层间预测的相依性的系统和方法
【技术领域】
[0001 ]本发明涉及可缩放视频译码（SVC)领域。更具体来说，涉及基于HEVC的SVC (HEVC-SVC)及HEVC扩展。
【背景技术】
[0002] 数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直播系统、无线 广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数 码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无 线电电话(所谓的"智能电话"）、视频电话会议装置、视频串流装置及其类似者。数字视频装 置实施视频压缩技术，例如下文所述的各种视频译码标准中描述的那些技术(例如，高效率 视频译码(HEVC))。视频装置可以通过实施此类视频压缩技术来更有效率地发射、接收、编 码、解码及/或存储数字视频信息。
【发明内容】
[0003] 准许视频编码器提供第一层及与第一层相关联的若干增强层中的每一者之间的 层间预测相依性的单独的独立指示将是有益的。此单独的独立指示可在若干译码场景中 (例如，在实时应用场景中）提高译码性能(例如，提供资源权衡灵活性）。
[0004] 因此，本文中描述以下技术:使用第一层中的图片及/或相关联的增强层中的图片 的某些性质相关的指示及/或确定来单独地界定及指示第一层相对于与第一层相关联的若 干增强层中的每一者的层间预测相依性。例如，本发明描述以下技术:界定、指示及/或确定 第一层中的图片是否可用于第一增强层的层间预测，同时单独地界定、指示及/或确定第一 层中的图片是否可用于第二增强层的层间预测。本发明中描述的技术的优点以及其它优点 可包含在层间预测期间减少存储器分配且在某些译码场景中允许资源权衡灵活性，例如针 对一个层实施轻量解码(例如，单环路解码），而针对另一层实施高质量解码(例如，多环路 解码）。
[0005] 本发明的系统、方法及装置各自具有若干创新方面，其中没有单个方面单独负责 本文所揭示的合乎需要的属性。附图及以下描述中陈述一或多个实例的细节。其它特征、目 标和优点将从所述描述和图式以及权利要求书而显而易见。
[0006] 本发明中描述的标的物的一个方面提供一种视频编码器，其包括存储器单元，所 述存储器单元经配置以存储与第一层相关联的第一图片及与多个增强层相关联的增强层 图片。所述视频编码器进一步包括与所述存储器单元通信的处理器。所述处理器经配置以 针对所述增强层中的每一者提供指示所述第一图片是否可用于相应的增强层中的所述增 强层图片的层间预测的单独指示。
[0007] 本发明中描述的标的物的另一方面提供一种编码视频的方法。所述方法包括存储 与第一层相关联的第一图片及与多个增强层相关联的增强层图片。所述方法进一步包括针 对所述增强层中的每一者提供指示所述第一图片是否可用于相应的增强层中的所述增强 层图片的层间预测的单独指示。
[0008] 本发明中描述的标的物的另一方面提供一种包括存储器单元的视频解码器。所述 存储器单元经配置以存储与第一层相关联的第一图片及与多个增强层相关联的增强图片。 所述视频解码器进一步包括与所述存储器单元通信的处理器。所述处理器经配置以针对所 述增强层中的每一者基于相应的指示单独地确定所述第一图片是否可用于相应的增强层 中的增强层图片的层间预测。
[0009] 本发明中描述的标的物的另一方面提供一种用于解码视频的方法。所述方法包括 存储与第一层相关联的第一图片及与多个增强层相关联的增强层图片。所述方法进一步包 括针对所述增强层中的每一者基于相应的指示单独地确定所述第一图片是否可用于相应 的增强层中的增强层图片的层间预测。
【附图说明】
[0010]图1A是说明可利用本发明中所描述的单独层间预测相依性界定技术的实例视频 编码及解码系统的框图。
[0011]图1B是说明可执行本发明中所描述的单独层间预测相依性界定技术的另一实例 视频编码和解码系统的框图。
[0012] 图2是说明可实施本发明中所描述的单独层间预测相依性界定技术的实例视频编 码器的框图。
[0013] 图3是说明可实施本发明中所描述的单独层间预测相依性界定技术的实例视频解 码器的框图。
[0014] 图4是说明多个存取单元的实例的图，每一存取单元具有多个层，每一层具有多个 图片。
[0015] 图5说明供视频编码器的处理器单独地指示第一层相对于一或多个第二层的层间 预测相依性的一个方法的流程图。
[0016] 图6说明供视频解码器的处理器单独地确定第一层与一或多个第二层之间的层间 预测相依性的一个方法的流程图。
[0017] 图7说明编码视频信息的方法的另一实施例。
【具体实施方式】
[0018] 下文结合附图阐述的详细描述既定作为对本发明的示范性实施例的描述，且并不 希望表示可以实践本发明的仅有实施例。贯穿此描述所使用的术语"示例性"意指"充当实 例、例子或说明"，且未必应解释为比其它示例性实施例优选或有利。【具体实施方式】出于提 供对本发明的示例性实施例的透彻理解而包含特定细节。在一些情况下，以框图形式展示 一些装置。
[0019] 虽然出于解释的简单的目的，将方法展示并描述为一连串动作，但应理解并了解， 所述方法不受动作的次序限制，因为根据一或多个方面，一些动作可以不同次序发生及/或 与来自本文中展示及描述的其它动作同时发生。例如，所属领域的技术人员将理解并且了 解，所述方法可以替代地表示为(例如在一个状态图中的)一系列相关状态或事件。此外，根 据一或多个方面，并不需要所有所说明的动作来实施方法。
[0020] 视频译码标准包含由ITU-T H.261、IS0/IEC MPEG-lVisual、ITU-T H.262或ISO/ IEC MPEG-2Visual、IS0/IEC MPEG-4Visual、ITU-T Η·263、IS0/IEC MPEG-4Visual和ITU-T H.264(也被称作IS0/IEC MPEG-4AVC)界定的标准，包含其可缩放视频译码(SVC)和多视图 视频译码(MVC)扩展，以及当前在开发的第10部分高级视频译码(AVC)、高效率视频译码 (HEVC)和此些标准的扩展。HEVC最近已由ITU-T视频译码专家组(VCEG)和I SO/1EC动画专家 组(MPEG)的视频译码联合合作小组(JCT-VC)开发。最新的HEVC草案规范（"HEVC WD"）可从 http://phenix.int_evry.fr/jct/doc_end_user/documents/14_Vienna/wgll/JCTVC-N1003-v 1. z ip得到。对HEVC (MV-HEVC)的多视图扩展和高级HEVC 3D视频译码扩展（3D-HEVC)正由JCT-3V开发。此外，对HEVC的可缩放视频译码扩展（SHVC)正由JCT-VC开发。MV-HEVC的最近工作草案（"MV-HEVC WD5"）可从http: //phenix · it-sudparis · eu/ jct2/doc_ end_user/documents/5_Vienna/wgll/JCT3V-E1004_v6 · zip 得到。3D-HEVC 的最新工作草案 ("3D-HEVC WD1"）可从http://phenix. it_sudparis.eu/jct2/doc_end_user/documents/ 5^^11仙/^11/7(^3￥4100113.21口得到。此外，5狀(：的最近工作草案（"5狀(：仰3"）可从 http://phenix.it_sudparis.eu/jct/doc_end_user/documents/14_Vienna/wgll/JCTVC-N1008-v3.zip 得到。
[0021] 如上文所描述，视频译码的某些方面包含界定第一层中的图片是否可以用于与第 一层相关联的所有增强层中的图片的层间预测。举例来说，视频序列可包含存取单元，且存 取单元中的每一者可含有一或多个图片。每一存取单元可进一步与一或多个视频信息层 (例如，基础层及一或多个增强层)相关联。所述层可各自与设定成或等于值(例如，整数值） 的层识别（ID)相关联。在给定层与低于与不同层相关联的层识别（ID)的层识别（ID)相关联 时，所述给定层可被称为在所述不同层"之前"或"之下"。相反，在给定层与高于与不同层相 关联的层识别（ID)的层识别（ID)相关联时，所述给定层可被称为在所述不同层"之后"或 "之上"。举例来说，给定层(例如，一或多个增强层中的一者)可为在给定层前面的层的增强 层，例如基础层或任何前面的增强层。例如，视频编码器可分析第一层中的图片以使得其可 向视频解码器指示第一层图片是否可用于与第一层相关联的增强层的层间预测。在一些情 况下，如果视频编码器指示第一层图片可用于与第一层相关联的增强层的层间预测，那么 视频编码器还可指示第一层中的图片可以用于与第一层相关联的增强层的层间预测到什 么程度。例如，视频编码器可指示仅与其值小于阈值（例如，时间识别阈值（例如，"TID阈 值"、"最大TID"或"Max TID"）的参数(例如，时间识别值(TID)或"TID值"）相关联的那些图 片可以用于与第一层相关联的增强层的层间预测。例如，在视频参数集(VPS)层级处，视频 编码器可提供向视频解码器指示来自第一层的图片是否可以用于层间预测与第一层相关 联的增强层的指示(例如，设定成0或1的语法元素及/或旗标）。视频编码器接着可提供向视 频解码器指示第一层中的图片可以用于与第一层相关联的增强层的层间预测的程度的额 外指示（例如，语法元素、旗标，及/或可设定成值的变量），如上文所描述。通过提供这些指 示(例如，设定某些旗标及变量），视频编码器可允许视频解码器确定是否使用第一层中的 图片用于层间预测与第一层相关联的所有增强层中的图片及到什么程度。
[0022] 例如，MV-HEVC WD5及SHVC WD3的最近工作草案包含具有以下语义的旗标max_ tid_ref_present_f lag ： amax_tid_ref_present_f lag^^lfH/Eip-'^^^max_tid_il_ ref_pics_plusl [ i ]存在。111&叉_1:1(1_代;1^_卩代86111:_;1^]^等于0指定语法元素 1]1&叉_1:1(1」1_ ref_pics_plusl[i]不存在"。此外，MV-HEVC WD5及SHVC WD3的最近工作草案包含视频参数 集(\^3)中的具有以下语义的旗标111&1_1:1(1_;[1_代;1^)；[08_口11181:"1]1&1_1^(1_;[1_代;1^)；[08_ 口11181[;1]等于0指定在(^3内，具有等于1&5^1'_1(1_;[11_111111[;[]的111111_1&5^1'_1(1的非11^?图片 不用作层间预测的参考。11^1_1^(1_;[1_代;^口;^8_口11181[;[]大于0指定在(^3内，具有等于 layer_id_in_nuh[ i ]的nuh_layer_id及大于max_tid_i l_ref_pics_plus 1 [ i ]-1 的 丁611^)〇瓜11(1的图片不用作层间预测的参考。在不存在时，推断1]^1_1:1(1_;[1_代;1^)；[08_口11181 [i]等于7"。例如，视频编码器可用信号发送max_tid_ref_present_f lag以指示max_tid_ il_ref_pics_plusl[i]存在。如果存在，那么视频编码器可在VPS层级处用信号发送max_ tid_il_ref_pics_plusl[i](例如，向可由视频解码器存储及/或处理的位流）以指示属于 时间子层(例如，[i])的图片是否用于较高层图片(例如，增强层中）的层间预测。例如，在视 频编码器将max_tid_il_ref_pics_plusl[i]设定成等于值"0"且将其用信号发送到视频解 码器时，视频解码器可确定[i]层中的图片将不用于任何增强层的层间预测。作为另一实 例，在视频编码器将max_tid_il_ref_pics_plusl[i]设定成等于大于"0"的值(例如，X)时， 视频解码器可确定[i]层中的与大于X-1的TID值相关联的图片将不用于任何增强层的层间 预测。视频解码器可使用此信息丢弃(例如，从缓冲器移除）不用于层间预测的那些图片。 [0023]通过以上文所描述的方式使用 max_tid_ref_present_flag&max_tid_il_ref_ piCS_plUSl[i]，可在各种场景中实现HEVC多层扩展中的译码效率、存储器带宽与计算复杂 度之间的一些权衡。例如，在确定第一层中的图片将不用于任何其它较高层时，可丢弃所述 图片以节约存储器。
[0024]然而，当前的HEVC扩展设计具有某些缺点。例如，如上文所描述的基于max_tid_ il_ref_pics_plusl的当前信令需要针对所有较高层的图片启用或停用属于时间子层的图 片的层间预测。例如，如果max_tid_il_ref_pics_plusl[i]针对第一层(例如，[i] = "0"或 "层〇"）被设定成值"2"，那么层0中的与大于或等于"2"的TID值相关联的图片不可用作任何 较高层的层间参考。作为另一实例，如果max_tid_il_ref_pics_plusl[i]针对第一层(例 如，[i] = "〇"或"层〇"）被设定成值"7"，那么层0中的与大于或等于"7"的TID值相关联的图 片不可用作任何较高层的层间参考。换句话说，由于根据HEVC，TID值的最大可能的值是 "6"，所以在此实例中，层0中的所有图片可用作较高层的层间参考。
[0025] 然而，在当前HEVC规范下，例如，不可能指示第一层(例如，层0)中的与某一TID值 (例如，值"2"）相关联的图片不可用作一个层(例如，层1)的层间参考(例如，用于层间预测） 但可用作不同层(例如，层2)的层间参考。这些限制产生对原本使用轻量解码(例如，单环路 解码)可为有益的图片的不必要的解码复杂度要求(例如，需要多环路解码）。例如，随着任 何给定层下方的层的数目增加，解码给定层的复杂度可增加(例如，为解码层2,在一些情况 下可必需解码层1及层0)。在某些情况下，在译码简单性比图片质量具有更高的优先级时， 解码例如层2而不解码层1或层0中的一或多者可更有益。因此，准许视频编码器相对于与第 一层相关联的若干增强层中的每一者提供对第一层的层间预测相依性的单独的独立界定 将是有益的。此类配置在若干译码场景中（例如，实时应用场景中）可为有益的（例如，提供 资源权衡灵活性）。
[0026] 因此，本发明描述以下技术:使用与第一层中的图片及/或相关联的增强层中的图 片的某些性质相关的指示及/或确定来单独地界定(有时被称作独立地界定)相对于与第一 层相关联的若干增强层中的每一者的对第一层的层间预测相依性。例如，本发明描述以下 技术:界定、指示及/或确定第一层中的图片是否可用于第一增强层的层间预测，同时单独 地界定、指示及/或确定第一层中的图片是否可用于第二增强层的层间预测。另外，编码器 可经调适以指示图片（例如，与大于TID阈值的TID值相关联的图片)不用于一个层的层间预 测但可以用于另一层的层间预测。遵循上文描述的实例，例如，本发明描述用于约束层0中 的图片中的一或多者用于层1中的图片的层间预测而不约束层〇中的图片中的任一者用于 层2中的图片的层间预测的技术。此类实施例提供使轻量解码(例如，单环路解码）用于层1 及高质量解码(例如，多环路解码)用于层2的灵活性。在其它实例中，层0中的图片可以如结 合图4到6所描述的不同方式被约束或不被约束用于层1、层2及/或任何其它层的层间预测 中，如下文所描述。
[0027] 因此，本文中描述的技术可包含用于改进层间预测相依性信令方法的各种方法， 例如与针对所有直接相依层单独地发信号通知子层层间预测相依性的那些方法。例如，所 述改进的方法可例如集成在HEVC扩展中，且应用到可缩放译码、多视图译码(例如，具有或 不具有深度)及HEVC及/或其它多层视频编解码器的任何其它扩展。所描述的方法中的任一 者可彼此独立地或组合地应用。
[0028] 本发明中描述的技术的优点以及其它优点可包含在层间预测期间减少存储器分 配。与MV-H