层间图片信令及相关过程的制作方法

层间图片信令及相关过程的制作方法
【技术领域】
[0001] 本发明设及视频译码及压缩的领域。具体来说，设及可缩放视频译码（SVC)，包含 用于高级视频译码（AVC)的SVCW及用于高效率视频译码（肥VC)的SVC，其还被称作可缩 放肥VC(SHVC)。其还与3D视频译码相关，例如肥VC的多视图扩展（被称作MV-肥VC)。各 种实施例设及用于改进的层间预测信令及相关过程（例如，层间参考图片集的导出、参考 图片列表的导出等）的系统和方法。
【背景技术】
[0002] 数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广 播系统、个人数字助理（PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码 相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线 电电话、所谓的"智能电话"、视频电话会议装置、视频流式传输装置及其类似者。数字视频 装置实施视频译码技术，例如由MPEG-2、MPEG-4、mJ-TH. 263或mJ-TH. 264/MPEG-4第 10部分高级视频译码（AVC)所界定的标准、目前正在开发的高效率视频译码（肥VC)标准及 运些标准的扩展中所描述的视频译码技术。视频装置可通过实施此类视频译码技术而更有 效率地传输、接收、编码、解码及/或存储数字视频信息。
[0003] 视频译码技术包含空间（图片内）预测及/或时间（图片间）预测W减少或移除 视频序列中固有的冗余。对于基于块的视频译码来说，视频切片（即，视频帖或视频帖的一 部分）可W分割成视频块，视频块还可被称作树块、译码单元（CU)及/或译码节点。使用 相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帖内译码（I)切片中的 视频块进行编码。图片的经帖间编码（P或B)切片中的视频块可使用相对于同一图片中的 相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可 被称为帖，且参考图片可设及参考帖。
[0004] 空间或时间预测导致对块的预测块进行译码。残差数据表示待译码的原始块与预 测块之间的像素差。经帖间译码块是根据指向形成预测块的参考样本块的运动向量及指示 经译码块与预测块之间的差的残差数据编码的。经帖内译码块是根据帖内译码模式及残差 数据来编码。为了实现进一步压缩，可W将残差数据从像素域变换到变换域，从而产生残差 变换系数，接着可W对残差变换系数进行量化。可扫描最初布置为二维阵列的经量化变换 系数，W便产生变换系数的一维向量，且可应用赌译码W实现更多压缩。
[0005] 某些视频译码技术利用来自一或多个层的视频信息预测另一层中的视频信息的 值。此类预测一般被称作层间预测（ILP)。一般来说，所述层驻留在相同的存取单元中。在 一些情况下，被预测的视频块处于比含有用于执行所述预测的视频信息的层高的层中。例 如，在一些情况下，被预测的视频块（例如，当前块）驻留于增强层（如下文所论述）中，且 用于预测当前块的视频信息驻留于下部增强层或基础层中。
[0006] 高效率视频译码她VC)提供用于此类层间预测的技术。然而，当前技术遭受限制 译码性能的各种低效率问题。例如，使用当前技术，如果ILP不用于图片，或如果使用ILP， 但在ILP期间仅允许使用一个层间参考图片（ILRP)，那么译码装置（例如，编码器、解码 器）将必须使用参考图片列表修改语法元素。此类语法元素花费位，且可因此不利地影响 处理及译码效率。
[0007] 另外，使用当前技术，在一些情形中，可在使用层间预测时不恰当地发生参考图片 子集的导出。例如，在一个存取单元中，如果当前增强层的图片不具有是当前增强层的直接 相依层的层的图片，那么层间参考图片集（RP巧子集（例如，Re巧icSetInterLayer)的当 前导出过程不良好工作。运是因为当前导出过程假定所有直接相依层的所有图片都存在。 具体来说，目前解码器不存在知晓层间WS子集中的不对应于经解码图片缓冲器值PB)中 的图片的条目（例如，Re巧icSetInterLayer)是否在传输期间丢失或其是否不在原始位流 中的方式。
[000引本文中描述的技术解决与此类技术相关的运些及其它问题。

【发明内容】

[0009] -般来说，本发明描述与可缩放视频译码（SVC)相关的技术。下文描述的各种技 术提供描述用于层间预测信令及相关过程的方法及装置。
[0010] 在一个实施方案中，提供一种用于编码或解码视频信息的设备。所述设备包括经 配置W存储与基础层、增强层或两者相关联的视频信息及/或参考层图片的存储器。所述 设备进一步包括操作性地禪合到所述存储器的处理器。所述处理器经配置W约束将至多一 个参考层图片用作层间参考图片W确定所述增强层中的视频单元的值。
[0011] 在一个实施例中，提供一种用于编码或解码视频信息的设备。所述设备包含经配 置W存储与被译码的当前图片相关联的层间参考图片。所述设备还包含操作性地禪合到所 述存储器的处理器。在一个实施例中，所述处理器经配置W指示用于使用层间预测来预测 当前图片的层间参考图片的数目。所述处理器还经配置W指示使用哪些所述层间参考图片 来使用层间预测来预测当前图片。所述处理器还经配置W使用层间参考图片的所述数目的 所述指示及使用哪些所述层间参考图片来使用层间预测来预测当前图片的指示确定与当 前图片相关联的层间参考图片集。
[0012] 在另一实施例中，提供一种解码视频信息的方法。所述方法包含：存储与被译码的 当前图片相关联的层间参考图片；指示用于使用层间预测来预测所述当前图片的层间参考 图片的数目；指示使用哪些所述层间参考图片使用层间预测来预测所述当前图片；使用层 间参考图片的所述数目的所述指示及使用哪些所述层间参考图片使用层间预测来预测所 述当前图片的所述指示确定与所述当前图片相关联的层间参考图片集；及使用所述层间参 考图片集及层间预测来解码所述当前图片。
[0013] 在另一实施例中，提供一种编码视频信息的方法。所述方法包含：存储与被译码的 当前图片相关联的层间参考图片；指示用于使用层间预测来预测所述当前图片的层间参考 图片的数目；指示使用哪些所述层间参考图片使用层间预测来预测所述当前图片；使用层 间参考图片的所述数目的所述指示及使用哪些所述层间参考图片使用层间预测来预测所 述当前图片的所述指示确定与所述当前图片相关联的层间参考图片集；及使用所述层间参 考图片集及层间预测来编码所述当前图片。
[0014] 在另一实施例中，提供一种经配置W译码视频信息的设备。所述设备包含：用于存 储与被译码的当前图片相关联的层间参考图片的装置；用于指示用于使用层间预测来预测 所述当前图片的层间参考图片的数目的装置；用于指示使用哪些所述层间参考图片使用层 间预测来预测所述当前图片的装置；用于使用层间参考图片的所述数目的所述指示及使用 哪些所述层间参考图片使用层间预测来预测所述当前图片的所述指示确定与所述当前图 片相关联的层间参考图片集的装置；及用于使用所述层间参考图片集及层间预测来译码所 述当前图片的装置。
[0015] 在又一实施例中，提供一种非暂时性计算机可读媒体。所述非暂时性计算机可读 媒体包含在包括计算硬件的处理器上执行时致使所述处理器进行W下操作的特定指令：存 储与被译码的当前图片相关联的层间参考图片；指示用于使用层间预测来预测所述当前图 片的层间参考图片的数目；指示使用哪些所述层间参考图片使用层间预测来预测所述当前 图片；使用层间参考图片的所述数目的所述指示及使用哪些所述层间参考图片使用层间预 测来预测所述当前图片的所述指示确定与所述当前图片相关联的层间参考图片集；及使用 所述层间参考图片集及层间预测来译码所述当前图片。
[0016] 在附图及W下描述中阐述一或多个实例的细节，并不希望其限制本文所述的发明 性概念的完整范围。其它特征、目标及优点将从所述描述及所述图式W及从权利要求书而 显而易见。
【附图说明】
[0017] 贯穿各图式，参考数字可再使用W指示所参考元件之间的对应关系。提供图式W 说明本文中描述的实例实施例，且并不希望限制本发明的范围。
[0018] 图1为说明可利用根据本发明中描述的方面的技术的实例视频编码及解码系统 的框图。
[0019] 图2A为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框 图。
[0020] 图2B是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框 图。
[0021] 图3A是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。
[0022] 图3B是说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框 图。
[0023] 图4到6是说明根据本发明的方面的层间预测信令的方法的实施例的流程图。
【具体实施方式】
[0024] 本发明中描述的技术一般设及可缩放视频译码（SHVC，SVC)及多视图/3D视频译 码（例如，多视图译码加上深度，MVC+D)。举例来说，所述技术可与高效率视频译码她VC) 可缩放视频译码（SVC，有时称为SHVC)扩展相关，且与其一起或在其内使用。在SHVC、SVC 扩展中，可存在多个视频信息层。在最低层级处的层可充当基础层度L)，且在最顶部处的层 (或最高层）可充当增强层巧L)。"经增强层"有时被称作"增强层"，且运些术语可互换地 使用。"基础层"有时被称作"参考层"巧L)，且运些术语也可互换地使用。基础层与顶层两 者之间的所有层可充当化或参考层巧L)中的任一者或两者。举例来说，在中间的层可为 在其下方的层（例如，基础层或任何介入增强层）的化，且同时充当在其上方的增强层的 化。在基础层与顶层（或最高层）之间的每一层可用作较高层进行层间预测的参考，且可 使用较低层作为用于层间预测的参考。
[00巧]为简单起见，根据仅两个层来呈现实例：化及化；然而，应很好地理解，下文描述 的构想及实施例还适用于具有多个层的情况。此外，为了易于解释，常常使用术语"帖"或 "块"。然而，运些术语不打算具有限制性。例如，下文描述的技术可与多种视频单元中的任 一者使用，视频单元包含但不限于像素、块（例如，CU、PU、TU、宏块等）、切片、帖、图片等。
[0026] 视频译码
[0027]视频译码标准包含mj-TH. 261、IS0/IECMPEG-IVisual、mJ-T比 262 或ISO/ IECMPEG-2Visual、mJ-TH. 263、ISO/IECMPEG-4Visual及mJ-TH. 264(也被称 作ISO/IECMPEG-4AVC)，包含其可缩放视频译码（SVC)及多视图视频译码（MVC)及多 视图译码加上深度（MVC+D)扩展。最新的肥VC草案规范（且下文中被称作肥VCWDlO) 可从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wgll/ JCTVC-L1003-V34.zip获得。肥VC的多视图扩展（即MV-肥VC)也正由JCT-3V开发。下文 的MV-HEVCWD3(中）的最近工作草案（WD)可从ht1:p://phenix.it-sudparis.eu/jct2/ doc_end_use;r/documents/3_Geneva/wgll/JCT3V-C1004-v4.zip获得。被称为SHVC的对 肥VC的可缩放扩展也正由JCT-VC开发。SHVC的最近工作草案（WD)(且在下文被称作SHVC WD1)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wgll/ JCTVC-LlOOS-vl.zip获得。
[0028] 在SVC中，可将视频信息提供为多个层。在最底部层级处的层可仅充当基础层 度L)，且在最顶部层级处的层可充当增强层巧L)。顶部和底部层之间的所有层可充当增强 层及基础层两者。举例来说，在中间的层可为用于其下方的层的EU且同时作为用于其上 方的层的化。出于描述的简单性起见，在说明下文描述的技术时，可假设存在两个层：化及 EL。然而，本文中描述的所有技术还适用于具有多个（两个W上）层的情况。
[0029] 可缩放视频译码（SVC)可用于提供质量（还被称作信噪比（SNR))可缩放性、空间 可缩放性及/或时间可缩放性。举例来说，在一个实施例中，参考层（例如，基础层）包含 足W在第一质量水平下显示视频的视频信息，且增强层包含相对于所述参考层的额外视频 信息，W使得所述参考层及所述增强层一起包含足W在高于所述第一水平的第二质量水平 (例如，更少的噪声、更大的分辨率、更好的帖速率等）下显示视频的视频信息。增强型层可 具有与基础层不同的空间分辨率。举例来说，化与化之间的空间纵横比可为1. 〇、1. 5、2. 0 或其它不同比率。换句话说，化的空间方面可等于化的空间方面的1.0、1.5或2.0倍。在 一些实例中，化的缩放因数可大于化。举例来说，EL中的图片的大小可大于化中的图片 的大小。W此方式，可有可能（但不限制化L的空间分辨率大于化的空间分辨率。
[0030] 在H. 264的SVC扩展中，可使用针对SVC提供的不同层来执行对当前块的预测。此 预测可被称作层间预测。在SVC中可利用层间预测方法W便减少层间冗余。层间预测的一 些实例可包含层间帖内预测、层间运动预测及层间残差预测。层间帖内预测使用基础层中 的位于同一地点的块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信 息（包含运动向量）来预测增强层中的运动。层间残差预测使用基础层的残差来预测增强 层的残差。
[0031] 在层间运动预测的一些实施例中，基础层（例如，位于同一地点的块）的运动数 据（包含运动向量）可用于预测增强层中的当前块。举例来说，在译码增强层中的视频单 元时，视频译码器可使用来自参考层的信息W获得可用于识别额外假设的额外运动补偿数 据。在从视频位流中的已经存在的数据隐式地导出运些额外假设时，可W极少或没有位流 大小上的额外成本而获得视频译码中的额外性能。在另一实例中，来自在空间上相邻的视 频单元的运动信息可用于定位额外假设。所导出的假设可随后被平均或另外与显式地编码 的假设组合W产生对视频单元的值的更好预测。在某些情形中，例如当基础（或参考）层 的空间分辨率不同于当前块的层的空间分辨率时，基础层运动信息在用于编码或解码当前 块之前在空间上经缩放。同样，如下所述，当基础（或参考）层具有不同于当前块的层的空 间分辨率时，可通过层间位置映射确定所述层中的块的位置。
[0032]视频术语
[0033] 贯穿本发明所使用的各种术语是具有它们的一般含义的广义术语。另外，在一些 实施方案中，某些术语设及W下视频概念。图片可设及视频图片，所述术语用于当前标准 (例如，肥VC)中。经译码图片可设及SVC中的层表示、MVC中的视图分量及MVC+D中的纹 理或深度视图分量。SVC及MVC中的类似于所使用的术语的存取单元（AU)可设及与相同 的输出时间及它们的相关联的非视频译码层（非VCL)网络抽象层（NAL)单元相关联的所 有经译码图片。帖内随机存取点（IRA巧存取单元可设及其中所有经译码图片是IRAP图片 的存取单元。经译码视频序列（CV巧可设及存取单元序列，其包含在解码次序上具有等于 1的旗标NoRaslOu化UtFlag的IRAP存取单元，包含直到（但不包含）作为具有等于1的 NoRaslOu化UtFlag的IRAP存取单元的任何后续存取单元的所有后续存取单元。另外，位流 可指呈形成一或多个CVS的表示的NAL单元流或字节流的形式的位序列。位流中的第一存 取单元是IRAP存取单元，如上文所描述。
[0034]歷
[003引本文中描述的实施例解决与使用当前肥VC扩展（例如，被称为甜VC的对肥VC的 可缩放扩展）实施ILP相关联的问题，包含上文所论述的问题。例如，编码及解码装置及方 法的各种实施例包含W下各者中的一或多者：（1)用信号通知及导出层间WS子集，使得其 可用于检测用作层间图片参考的图片的缺失；（2)指示具有最高nuh_layer_id的相依层是 否为用于层间预测的唯一层；（3)在切片（或片段）标头中用信号通知没有（即，零）或仅 一个直接相依层；(4)