重新使用参数集用于视频译码的制作方法

重新使用参数集用于视频译码的制作方法
【专利摘要】在一个实例中，本发明提供一种装置，其包含视频译码器(例如，视频编码器或视频解码器)，所述视频译码器经配置以进行以下操作：译码用于视频位流的参数集信息，使用所述参数集信息译码所述视频位流的基础层的视频数据，及使用所述参数集信息的至少一部分译码所述视频位流的增强层的视频数据。所述参数集信息可包含例如简档及层级信息及/或假想参考解码器HRD参数。举例来说，所述视频译码器可进行以下操作：译码用于视频位流的序列参数集SPS，使用所述SPS译码所述视频位流的基础层的视频数据，及使用所述SPS的至少一部分而不使用用于所述视频位流的增强层的任何其它SPS译码所述增强层的视频数据。
【专利说明】重新使用参数集用于视频译码
[0001] 本申请案主张2012年7月20日申请的第61/673, 918号美国临时申请案的权利， 所述申请案的全部内容借此以引用的方式并入本文中。

【技术领域】
[0002] 本发明涉及视频译码。

【背景技术】
[0003] 数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广 播系统、个人数字助理（PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码 相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线 电电话、所谓的"智能电话"、视频电话会议装置、视频流装置及其类似者。数字视频装置实 施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H. 263、ITU-TH. 264/MPEG-4第10部分高级 视频译码（AVC)定义的标准、目前正在开发的高效率视频译码（HEVC)标准及此类标准的扩 展中所描述的视频译码技术。视频装置可通过实施此类视频译码技术而更有效率地发射、 接收、编码、解码及/或存储数字视频信息。
[0004] 即将到来的HEVC标准的技术描述于布洛斯（Bross)等人的文档HCTVC-11003"高 效率视频译码（HEVC)文本规范草案 7(High Efficiency Video Coding(HEVC)Text Specification Draft 7) "(ITU-T SG16WP3 及 IS0/IEC JTC1/SC29/WG11 的视频译码联合合 作小组（JCT-VC)，第9次会议：瑞士日内瓦，2012年4月27日到2012年5月7日）中，所 述文档从2012年 7 月 20 日时起可从http ://phenix. it-sudparis. eu/jct/doc_end_user/ documents/9_Geneva/wgll/JCTVC-I1003_vl0· zip 获得。
[0005] 视频译码技术包含空间（图片内）预测及/或时间（图片间）预测以减少或去除 视频序列中固有的冗余。对于基于块的视频译码来说，视频切片（即，视频帧或视频帧的一 部分）可以分割成视频块，视频块还可被称作树块、译码单元（CU)及/或译码节点。图片 的经帧内译码（I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空 间预测来编码。图片的经帧间译码（P或B)切片中的视频块可使用相对于同一图片中的相 邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被 称作帧，且参考图片可被称作参考帧。
[0006] 空间或时间预测导致译码块的预测性块。残余数据表示待译码的原始块与预测性 块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示 经译码块与预测性块之间的差的残余数据来编码。经帧内译码块是根据帧内译码模式及残 余数据来编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换 系数，接着可以将残余变换系数量化。可扫描最初布置为二维阵列的经量化的变换系数，以 便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。


【发明内容】

[0007] -般来说，本发明描述用于译码视频数据的技术。视频数据的译码可包含使用信 令数据，例如，例如序列参数集（SPS)等参数集的数据。SPS的数据可用以译码图片序列， 例如，从瞬时解码器刷新（IDR)图片开始且包含直到后续IDR图片的图片的一组图片。本 发明描述涉及在视频译码标准的扩展中重新使用例如SPS等参数集数据的技术，例如，即 将到来的高效率视频译码（HEVC)标准的多视图/立体声扩展或HEVC的三维扩展。举例来 说，视频译码器可使用所述SPS来译码基础层（或基础视图）以及增强层（或相依视图）。 因此，所述视频译码器可使用相同的SPS来译码多个层/视图。除了用以译码所述多个层 /视图的所述一个SPS以外，所述视频译码器不需要使用任何其它SPS来译码所述多个层/ 视图。
[0008] 在一个实例中，一种解码视频数据的方法包含：解码用于视频位流的序列参数集 (SPS)，解码用于所述位流的视频参数集（VPS)，使用所述SPS解码所述视频位流的基础层 的视频数据，及使用所述SPS的至少一部分而不使用用于所述视频位流的增强层的任何其 它SPS且使用所述VPS的至少一部分解码所述增强层的视频数据。
[0009] 在另一实例中，一种编码视频数据的方法包含：编码用于视频位流的序列参数集 (SPS)，编码用于所述位流的视频参数集（VPS)，使用所述SPS编码所述视频位流的基础层 的视频数据，及使用所述SPS的至少一部分而不使用用于所述视频位流的增强层的任何其 它SPS且使用所述VPS的至少一部分编码所述增强层的视频数据。
[0010] 在另一实例中，一种用于译码（例如，编码或解码）视频数据的装置包含视频译 码器，所述视频译码器经配置以：译码用于视频位流的序列参数集（SPS)，译码用于所述位 流的视频参数集（VPS)，使用所述SPS译码所述视频位流的基础层的视频数据，及使用所述 SPS的至少一部分而不使用用于所述视频位流的增强层的任何其它SPS且使用所述VPS的 至少一部分译码所述增强层的视频数据。
[0011] 在另一实例中，一种用于译码视频数据的装置包含：用于译码用于视频位流的序 列参数集（SPS)的装置、用于译码用于所述位流的视频参数集（VPS)的装置、用于使用所述 SPS译码所述视频位流的基础层的视频数据的装置，及用于使用所述SPS的至少一部分而 不使用用于所述视频位流的增强层的任何其它SPS且使用所述VPS的至少一部分译码所述 增强层的视频数据的装置。
[0012] 在另一实例中，一种计算机可读存储媒体具有存储于其上的指令，所述指令在被 执行时致使处理器进行以下操作：译码用于视频位流的序列参数集（SPS)，译码用于所述 位流的视频参数集（VPS)，使用所述SPS译码所述视频位流的基础层的视频数据，及使用所 述SPS的至少一部分而不使用用于所述视频位流的增强层的任何其它SPS且使用所述VPS 的至少一部分译码所述增强层的视频数据。
[0013] 随附图式及以下描述中阐述一或多个实例的细节。其它特征、目标及优点将从所 述描述及图式以及权利要求书显而易见。

【专利附图】

【附图说明】
[0014] 图1为说明可利用用于例如跨越位流的各个层重新使用参数集的信息的技术的 实例视频编码及解码系统的框图。
[0015] 图2为说明可实施用于重新使用参数集的信息的技术的视频编码器的实例的框 图。
[0016] 图3为说明可实施用于重新使用参数集的信息的技术的视频解码器的实例的框 图。
[0017] 图4为说明实例多视图视频译码（MVC)预测模式的概念图。
[0018] 图5为说明用于在译码多个层（例如，多个视图）时重新使用参数集的参数的同 时译码位流的实例方法的流程图。
[0019] 图6为说明用于在译码多个层（例如，多个视图）时重新使用参数集的参数的同 时译码位流的另一实例方法的流程图。

【具体实施方式】
[0020] 视频译码（例如，编码或解码视频数据）一般包含使用基于块的视频译码技术译 码图片序列。序列参数集（SPS) -般描述适用于SPS所对应于的整个图片序列的参数。换 句话说，SPS可含有序列层级信令信息，其可指示如何编码相对应的序列的图片，且因此，指 示解码器如何解码相对应的序列的图片。
[0021] 用于视频数据的参数集可含有序列层级信令信息（例如，在SPS中），及不频繁改 变的图片层级信令信息（例如，在图片参数集（PPS)中）。视频参数集（VPS)可包含用于 位流的视频数据的多个层（例如，多个视图）的信令信息，其中各个层可用于多视图视频译 码、可缩放视频译码、时间可扩展性或其它此类技术中。一般来说，多视图视频译码中的的 不同视图可表示不同层的实例，但其它层也是有可能的（例如，时间层、空间分辨率层、位 深度层或其类似者）。自适应参数集（APS)可包含用于视频数据的切片的信令信息。关于 参数集（例如，APS、PPS、SPS及VPS)，不需要针对每一层、序列、图片或切片重复不频繁改 变的信息，且因此，译码效率可得以改善。
[0022] 在视频译码标准的上下文中，"简档"对应于算法、特征或工具及适用于其的约束 的子集。举例来说，如通过HEVC的工作草案7("HEVC WD7"）定义，"简档"是通过HEVC WD7指定的"整个位流语法的子集"。如通过HEVC WD7定义的"层级"为"强加于位流中的 语法元素值的一组指定约束。这些约束可以是对值的简单的限制。替代地，这些约束可以 呈对值的算术组合（例如，图片宽度乘以图片高度乘以每秒解码的图片数目）的约束的形 式"。以此方式，层级值对应于对解码器资源消耗的限制，例如，解码器存储器及计算，其可 涉及图片分辨率、位速率及块处理速率。可以使用pr 〇file_idc (简档指示符）值用信号发 出简档，而可以使用leVel_idc (层级指示符）值用信号发出层级。
[0023] HEVC WD7还包含用于用信号发出假想参考解码器（HRD)参数的技术。这些参数一 般可描述用于解码相对应的位流的解码器。举例来说，HRD参数可描述待存储在经译码图 片缓冲器中的图片的数目、用于位流的位速率、用于将图片从经译码图片缓冲器中去除的 去除延迟、经解码图片缓冲器输出延迟或其它此类参数。以此方式，视频解码器可使用HRD 参数来确定视频解码器是否能够适当地解码相对应的位流。
[0024] 在HEVC WD7中，视频、序列、图片及自适应参数集机制可用以将不频繁改变的信息 的传输与经译码块数据的传输解耦。在一些应用中，视频、序列、图片及自适应参数集可"在 带外"传送，即，并不与含有经译码视频数据的单元一起输送。带外传输通常为可靠的。
[0025] 在HEVC WD7中，视频参数集（VPS)、序列参数集（SPS)、图片参数集（PPS)或自适 应参数集（APS)的识别符是使用"ue(v)"译码来译码，也就是说，无正负号整数指数哥伦布 译码（unsigned-integer exponential-Golomb coding)。在 HEVC WD7 中，每一 SPS 包含 SPS ID及VPS ID，每一 PPS包含PPS ID及SPS ID，且每一切片标头包含PPS ID及可能的 APS ID。尽管在HEVC WD7中支持视频参数集（VPS)数据结构，但大部分序列层级信息参数 仍仅存在于HEVC WD7中的SPS中。
[0026] 本发明认识到关于HEVC的当前设计的若干可能的问题。在当前HEVC设计中，SPS 包含大部分语法元素，例如，用于基础层或基础视图的语法元素，其可能为增强层或额外视 图所共享（本文中对"增强层"的参考一般应被理解为可能包含用于多视图视频译码的额 外视图）。然而，存在于SPS中的一些语法元素不适用于视图/层两者，例如，简档、层级及/ 或HRD参数。当前，在HEVC WD7中，在具有符合HEVC WD7的基础视图的立体位流中，例如， 可能存在序列参数集的新实例，或大部分语法元素可能需要存在于视频参数集中。以此方 式，甚至当语法元素相同时（也就是说，当语法元素具有相同值时），语法元素也为复制的。
[0027] 本发明描述用于改善对例如HEVC等视频译码标准的扩展的技术。举例来说，这些 技术可包含在位流的各层之间重新使用参数集的数据。在一些实例中，属于较低层（例如， 基础层或基础视图）的SPS可为多个层/视图所共享。举例来说，基础规范中定义的具有 简档/层级的SPS可被增强层中的视图分量重新使用（例如，相依视图）。一般来说，多个 层可用于一或多个可缩放尺寸中的任一者中，例如，空间分辨率、质量、时间或视图。SVC及 MVC表示用于在可缩放尺寸中译码视频数据的扩展的实例。
[0028] 此外，可忽略简档及层级相关信息，及/或假想参考解码器（HRD)参数，其当前在 基础层/视图的HEVC WD7的SPS中用信号发出。即使较高层或相依视图参考SPS，也可仅 在VPS中用信号发出简档及层级信息及/或HRD参数。因此，不需要在SPS中用信号发出简 档及层级信息及/或HRD参数。还可作为VPS扩展的部分而用信号发出用于增强视图（例 如，除基础视图以外的视图）的视图相依性信息。
[0029] 另外或替代地，可在参考层或相依视图所参考的基础层SPS中用信号发出简档及 层级信息及/或HRD参数，且参考层或相依视图不需要参考任何其它SPS。以此方式，本发 明的技术包含：译码（例如，编码或解码）用于视频位流的序列参数集（SPS)，使用所述SPS 译码所述视频位流的基础层的视频数据，及使用所述SPS的至少一部分而不使用用于所述 视频位流的增强层的任何其它SPS译码所述增强层的视频数据。SPS可包含简档信息、层级 信息及/或HRD参数中的任一者或全部。同样地，除SPS之外，所述技术还可包含译码VPS， 其中VPS可包含简档信息、层级信息及/或HRD参数。
[0030] 另外或在替代方案中，当针对增强层（例如，增强视图）引入新的译码工具时，对 于整个操作点或对于整个视图/层，启用或停用这些工具的旗标可存在于VPS中。操作点 一般对应于位流的全组视图中的可解码/可显示视图的非零子集。举例来说，如果位流包 含八个视图，那么操作点可对应于八个视图中可经适当地解码及显示的三者而其它五个视 图无法经适当地解码及显示。
[0031] 另外或在替代方案中，可在用于基础层或基础视图的SPS中用信号发出语法元 素。接着，不是译码用于增强层或额外视图的额外SPS，而是视频译码器可经配置以使用用 于基础层或基础视图的SPS译码增强层或额外视图。也就是说，视频译码器可经配置以使 用SPS译码基础层或基础视图的视频数据，接着使用同一 SPS译码增强层或额外视图的视 频数据（或者，换句话说，使用用以译码基础层或基础视图的SPS而不使用用于增强层或额 外视图的任何其它SPS译码增强层或额外视图的视频数据）。因此，视频译码器可避免译 码用于各个层或视图的多个相异SPS中的冗余数据，且实际上译码用于基础层或基础视图 的一个SPS及使用用于基础层或基础视图的所述SPS译码一或多个增强层或一或多个额外 视图。可作为基础层的部分或与基础层分别地来提供SPS。此外，SPS可包含上文关于VPS 所描述的数据中的任一者或全部。
[0032] 图1为说明可利用用于例如跨越位流的各个层重新使用参数集的信息的技术的 实例视频编码及解码系统10的框图。如图1中所展示，系统10包含源装置12,其提供稍 后时间将由目的地装置14解码的经编码视频数据。明确地说，源装置12经由计算机可读 媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括广泛范围的 装置中的任一者，包含桌上型计算机、笔记型（即，膝上型）计算机、平板计算机、机顶盒、电 话手持机（例如，所谓的"智能"电话）、所谓的"智能"平板计算机、电视机、摄像机、显示装 置、数字媒体播放器、视频游戏控制台、视频流装置或其类似者。在一些情况下，源装置12 及目的地装置14可经装备以用于无线通信。
[0033] 目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机 可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型 的媒体或装置。在一个实例中，计算机可读媒体16可包括使得源装置12能够实时地将经编 码视频数据直接发射到目的地装置14的通信媒体。经编码视频数据可根据通信标准（例 如，无线通信协议）来调制，且被发射到目的地装置14。通信媒体可包括任何无线或有线通 信媒体，例如射频（RF)频谱或一或多个物理传输线。通信媒体可形成分组网络（例如，局 域网、广域网或全球网络，例如因特网）的部分。通信媒体可包含路由器、交换器、基站或可 用于促进从源装置12到目的地装置14的通信的任何其它装备。
[0034] 在一些实例中，经编码数据可以从输出接口 22输出到存储装置。类似地，可以通 过输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取式数据存 储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失 性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存 储装置可以对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装 置。目的地装置14可经由流式传输或下载从存储装置存取所存储的视频数据。文件服务 器可以是能够存储经编码视频数据并且将所述经编码视频数据发射到目的地装置14的任 何类型的服务器。实例文件服务器包含网络服务器（例如，用于网站）、FTP服务器、网络附 接存储（NAS)装置或本地磁盘驱动器。目的地装置14可以通过任何标准数据连接（包含 因特网连接）来存取经编码视频数据。此情形可包含适合于存取存储在文件服务器上的经 编码视频数据的无线信道（例如，Wi-Fi连接）、有线连接（例如，DSL、电缆调制解调器等） 或两者的组合。经编码视频数据从存储装置的传输可能是流式传输、下载传输或其组合。
[0035] 本发明的技术未必限于无线应用或设置。所述技术可以应用于支持多种多媒体应 用中的任一者的视频译码，例如空中协议电视广播、有线电视发射、卫星电视发射、因特网 流式视频发射（例如，动态自适应HTTP流式传输（DASH))、经编码到数据存储媒体上的数字 视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经 配置以支持单向或双向视频发射，以支持例如视频流式传输、视频回放、视频广播及/或视 频电话等应用。
[0036] 在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口 22。目的 地装置14包含输入接口 28、视频解码器30及显示装置32。根据本发明，源装置12的视频 编码器20可经配置以应用用于重新使用参数集的信息的技术。在其它实例中，源装置及目 的地装置可包含其它组件或布置。举例来说，源装置12可以从外部视频源18 (例如，外部 摄像机）接收视频数据。同样，目的地装置14可以与外部显示装置介接，而不是包含集成 显示装置。
[0037] 图1的所说明的系统10仅为一个实例。可以通过任何数字视频编码及/或解码 装置来执行用于重新使用参数集的信息的技术。尽管本发明的技术一般通过视频编码装置 来执行，但是所述技术还可通过视频编码器/解码器（通常被称作"编码解码器"）来执行。 此外，本发明的技术还可通过视频预处理器来执行。源装置12及目的地装置14仅为源装 置12在其中产生经译码视频数据以供发射到目的地装置14的此类译码装置的实例。在一 些实例中，装置12、14可以实质上对称的方式操作，使得装置12、14中的每一者包含视频编 码及解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射以例如用 于视频流式传输、视频回放、视频广播或视频电话。
[0038] 源装置12的视频源18可包含视频俘获装置，例如视频摄像机、含有先前所俘获视 频的视频存档及/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方 案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、经存档视频与计算 机产生的视频的组合。在一些情况下，如果视频源18是摄像机，则源装置12及目的地装置 14可形成所谓的摄像机电话或视频电话。然而，如上文所提及，本发明中所描述的技术一般 来说可适用于视频译码，且可应用于无线及/或有线应用。在每一种情况下，可由视频编码 器20编码所俘获、经预先俘获或计算机产生的视频。经编码视频信息可接着通过输出接口 22输出到计算机可读媒体16上。
[0039] 计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络发射，或存储媒体 (也就是说，非暂时性存储媒体），例如硬盘、快闪驱动器、压缩光盘、数字影音光盘、蓝光光 盘或其它计算机可读媒体。在一些实例中，网络服务器（未图示）可以从源装置12接收经 编码视频数据，并且例如经由网络发射将经编码视频数据提供到目的地装置14。类似地，媒 体生产设施（例如，光盘冲压设施）的计算装置可以从源装置12接收经编码视频数据并且 生成含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可以理解为包 含各种形式的一或多个计算机可读媒体。
[0040] 目的地装置14的输入接口 28从计算机可读媒体16接收信息。计算机可读媒体 16的信息可包含由视频编码器20定义的语法信息，所述语法信息还供视频解码器30使用， 所述语法信息包含描述块及其它经译码单元（例如，GOP)的特性及/或处理的语法元素。 显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如阴极 射线管（CRT)、液晶显示器（IXD)、等离子显示器、有机发光二极管（OLED)显示器或另一类 型的显示装置。
[0041] 视频编码器20及视频解码器30可以根据一种视频译码标准（例如，目前正在 开发的高效率视频译码（HEVC)标准）来操作，并且可以符合HEVC测试模型（HM)。替代 地，视频编码器20及视频解码器30可以根据其它专有或业界标准来操作，所述标准例如 ITU-TH. 264标准，替代地被称作MPEG-4第10部分高级视频译码（AVC)，或此类标准的扩 展。然而，本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2 及ITU-T H. 263。尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各 自与音频编码器及解码器集成，且可包含适当MUX-DEMUX单元或其它硬件及软件，以处置 对共同数据流或单独数据流中的音频及视频两者的编码。如果适用的话，多路复用器-多 路分用器单元可符合ITU H. 223多路复用器协议，或例如用户数据报协议（UDP)等其它协 议。
[0042] ITU-T H. 264/MPEG-4 (AVC)标准是作为被称为联合视频小组（JVT)的集体联盟的 产品而由ITU-T视频译码专家组（VCEG)连同ISO/IEC移动图片专家组（MPEG)制定。在一 些方面中，本发明中描述的技术可应用到一般符合H. 264标准的装置。H. 264标准描述于 ITU-T研宄组的日期为2005年3月的"ITU-T推荐H. 264,用于通用视听服务的高级视频 译石马（ITU-T Recommendation Η. 264,Advanced Video Coding for generic audiovisual services) "中，其在本文中可被称作H. 264标准或H. 264规范或H. 264/AVC标准或规范。 联合视频小组（JVT)持续致力于扩展H. 264/MPEG-4AVC。
[0043] 视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一 者，例如一或多个微处理器、数字信号处理器（DSP)、专用集成电路（ASIC)、现场可编程门 阵列（FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时， 装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且使用一或多个处理 器用硬件执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者 可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可以集成为相应装 置中的组合编码器/解码器（编码解码器）的部分。
[0044] JCT-VC正在致力于开发HEVC标准。HEVC标准化努力是基于被称作HEVC测试模 型（HM)的视频译码装置的演进模型。HM假设视频译码装置根据（例如）ITU-T H.264/AVC 相对于现有装置的若干额外能力。举例来说，虽然H. 264提供了九种帧内预测编码模式，但 是HM可提供多达三十三种帧内预测编码模式。
[0045] 一般来说，HM的工作模型描述视频帧或图片可以划分成包含明度及色度样本两者 的一序列树块或最大译码单元（LCU)。位流内的语法数据可以定义LCU的大小，LCU是就像 素数目来说的最大译码单元。切片包含按译码次序的数个连续树块。视频帧或图片可以分 割成一或多个切片。每一树块可以根据四叉树分裂成译码单元（CU)。一般来说，四叉树数 据结构包含每个CU -个节点，其中根节点对应于树块。如果CU分裂成四个子CU，那么对应 于CU的节点包含四个叶节点，其中叶节点中的每一者对应于所述子CU中的一者。
[0046] 四叉树数据结构的每一节点可以提供用于相对应的CU的语法数据。举例来说，四 叉树中的节点可包含分裂旗标，从而指示对应于所述节点的CU是否分裂成数个子CU。用于 ⑶的语法元素可以递归地来定义，且可以取决于⑶是否分裂成子⑶。如果⑶未经进一步 分裂，那么将其称作叶CU。在本发明中，叶CU的四个子CU也将被称作叶CU，即使不存在原 始叶CU的明确分裂时也是如此。举例来说，如果16 X 16大小的CU未经进一步分裂，那么 尽管16X 16⑶从未经分裂，四个8X8子⑶也将被称作叶⑶。
[0047] CU具有类似于H. 264标准的宏块的目的，但是CU并不具有大小区别。举例来说， 树块可以分裂成四个子节点（还被称作子CU)，并且每一子节点又可以是父节点并且可以 分裂成另外四个子节点。最后的未经分裂子节点（被称作四叉树的叶节点）包括译码节点， 还被称作叶CU。与经译码位流相关联的语法数据可以定义树块可以分裂的最大次数（被称 作最大CU深度），并且还可定义译码节点的最小大小。因此，位流还可定义最小译码单元 (SCU)。本发明使用术语"块"来指HEVC的上下文中的CU、PU或TU中的任一者，或者其它 标准的上下文中的类似数据结构（例如，其在H. 264/AVC中的宏块及子块）。
[0048] CU包含译码节点以及与所述译码节点相关联的预测单元（PU)及变换单元（TU)。 CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小可以在从8X8像素直 到具有最大64X64像素或更大的树块的大小的范围内。每一 CU可含有一或多个PU及一 或多个TU。举例来说，与CU相关联的语法数据可描述CU到一或多个PU的分割。分割模式 可以在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间有 区别。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四 叉树到一或多个TU的分割。ATU可以是正方形或非正方形（例如，矩形）形状。
[0049] HEVC标准允许根据TU的变换，TU可针对不同⑶而有所不同。TU的大小通常是基 于针对经分割LCU定义的给定CU内的PU的大小而设置，但是情况可能并不总是如此。TU 通常与PU大小相同或小于PU。在一些实例中，对应于CU的残余样本可使用被称为"残余 四叉树"（RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称作变换单元（TU)。可 以变换与TU相关联的像素差值以产生变换系数，可以将所述变换系数量化。
[0050] 叶⑶可包含一或多个预测单元（PU)。一般来说，PU表示对应于相对应的⑶的 全部或一部分的空间区域，并且可包含用于检索PU的参考样本的数据。此外，PU包含与预 测有关的数据。举例来说，当PU经帧内模式编码时，用于的数据可以包含在残余四叉树 (RQT)中，残余四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实 例，当PU经帧间模式编码时，PU可包含定义PU的一或多个运动向量的数据。举例来说，定 义PU的运动向量的数据可以描述运动向量的水平分量、运动向量的垂直分量、运动向量的 分辨率（例如，四分之一像素精度或八分之一像素精度）、运动向量指向的参考图片及/或 运动向量的参考图片列表（例如，列表0、列表1或列表C)。
[0051] 具有一或多个PU的叶⑶还可包含一或多个变换单元（TU)。变换单元可以使用 RQT(还被称作TU四叉树结构）来指定，如上文所论述。举例来说，分裂旗标可以指示叶CU 是否分裂成四个变换单元。接着，每一变换单元可以进一步分裂成其它的子TU。当TU未 经进一步分裂时，其可被称作叶TU。一般来说，对于帧内译码，属于叶CU的所有叶TU共享 相同的帧内预测模式。也就是说，一般应用相同的帧内预测模式来计算叶CU的所有TU的 预测值。对于帧内译码，视频编码器可以使用帧内预测模式针对每一叶TU计算残余值，作 为⑶的对应于TU的部分与原始块之间的差。TU未必限于PU的大小。因此，TU可大于或 小于ro。对于帧内译码，PU可以与相同CU的相对应的叶TU并置。在一些实例中，叶TU的 最大大小可以对应于相对应的叶CU的大小。
[0052] 此外，叶⑶的TU还可与相应四叉树数据结构（被称作残余四叉树（RQT))相关 联。也就是说，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点一般对 应于叶CU，而CU四叉树的根节点一般对应于树块（或LCU)。未经分裂的RQT的TU被称作 叶TU。一般来说，除非以其它方式提及，否则本发明分别使用术语CU及TU来指叶CU及叶 TUo
[0053] 视频序列通常包含一系列视频帧或图片。图片群组（GOP) -般包括一系列一或多 个视频图片。GOP可包含GOP的标头、图片中的一或多者的标头或其它地方中的语法数据， 其描述GOP中包含的图片的数目。图片的每一切片可包含描述用于相应切片的编码模式的 切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作以便编码视频数 据。视频块可以对应于CU内的译码节点。视频块可以具有固定或变化的大小，并且根据指 定译码标准可以有不同大小。
[0054] 作为实例，HM支持各种I3U大小的预测。假设特定⑶的大小是2NX2N，那么HM支 持2N X 2N或N X N的PU大小的帧内预测，及2N X 2N、2N X N、N X 2N或N X N的对称PU大小 的帧间预测。HM还支持用于2NX nU、2NX nD、nL X 2N及nRX 2N的PU大小的帧间预测的不 对称分割。在不对称分割中，不分割CU的一个方向，而将另一方向分割成25%及75%。CU 的对应于25%分割区的部分通过"η"后接续"上⑶"、"下⑶"、"左（L) "或"右（R) "指 示来指示。因此，例如，"2NXnU"是指经水平分割的2ΝΧ2Ν⑶，其中顶部为2ΝΧ0. 5Ν PU， 而底部为2NX1. 5N PU。
[0055] 在本发明中，"NXN"及"N乘N"可以互换使用以指在垂直尺寸及水平尺寸方面的 视频块的像素尺寸，例如，16X 16像素或16乘16像素。一般来说，16X 16块将在垂直方向 上具有16个像素 （y = 16)，并且在水平方向上具有16个像素 （X = 16)。同样地，NXN块 一般在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。 块中的像素可按行及列布置。此外，块未必需要在水平方向与垂直方向上具有相同数目个 像素。举例来说，块可包括NXM像素，其中M未必等于N。
[0056] 在使用⑶的进行帧内预测性或帧间预测性译码之后，视频编码器20可以计算 用于CU的TU的残余数据。PU可包括描述在空间域（还被称作像素域）中产生预测性像素 数据的方法或模式的语法数据，并且TU可包括在对残余视频数据应用变换（例如，离散余 弦变换（DCT)、整数变换、小波变换或概念上类似的变换）之后在变换域中的系数。残余数 据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可以 形成包含用于CU的残余数据的TU，并且接着变换TU以产生用于CU的变换系数。
[0057] 在进行用于产生变换系数的任何变换之后，视频编码器20可执行变换系数的量 化。量化一般来说是指变换系数经量化以可能地减少用于表示系数的数据量从而提供进一 步压缩的过程。量化过程可减少与系数中的一些系数或全部相关联的位深度。举例来说， 可在量化期间将η位值向下舍入到m位值，其中η大于m。
[0058] 在量化之后，视频编码器可以扫描变换系数，从包含经量化的变换系数的二维矩 阵产生一维向量。扫描可以经设计以将较高能量（并且因此较低频率）的系数放置在阵列 正面，并且将较低能量（并且因此较高频率）的系数放置在阵列的背面。在一些实例中，视 频编码器20可利用预定义扫描次序来扫描经量化的变换系数以产生可被熵编码的串行化 向量。在其它实例中，视频编码器20可以执行自适应扫描。在扫描经量化的变换系数以形 成一维向量之后，视频编码器20可以例如根据上下文自适应可变长度译码（CAVLC)、上下 文自适应二进制算术译码（CABAC)、基于语法的上下文自适应二进制算术译码（SBAC)Ji 率区间分割熵（PIPE)译码或另一熵编码方法编码一维向量。视频编码器还20可熵编码与 经编码视频数据相关联的语法元素以供视频解码器30在解码视频数据时使用。
[0059] 为了执行CABAC，视频编码器20可将上下文模型内的上下文指配给待发射的符 号。举例来说，所述上下文可与符号的相邻值是否为非零有关。为了执行CAVLC，视频编码 器20可选择用于待发射的符号的可变长度码。VLC中的码字可经构造而使得相对较短的代 码对应于更有可能的符号，而较长的代码对应于不太可能的符号。以此方式，使用VLC可例 如实现优于针对待发射的每一符号使用等长度码字的位节省。概率确定可基于指配给符号 的上下文。
[0060] 根据本发明的技术，视频编码器20及视频解码器30可经配置以例如在视频位流 的不同层之间重新使用参数集的信息。如上文所提及，参数集可包含（例如）视频参数集 (VPS)及序列参数集（SPS)。根据本发明的技术，视频编码器20及视频解码器30可经配置 以在译码视频位流的各个层时重新使用VPS及/或SPS的至少一部分。
[0061] 下文表1提供视频参数集的一组实例语法。
[0062] 表 1

【权利要求】
1. 一种解码视频数据的方法，所述方法包括； 解码用于视频位流的序列参数集SPS; 解码用于所述位流的视频参数集VPS; 使用所述SPS解码所述视频位流的基础层的视频数据；W及 使用所述SPS的至少一部分而不使用用于所述视频位流的增强层的任何其它SPS且使 用所述VPS的至少一部分解码所述增强层的视频数据。
2. 根据权利要求1所述的方法，其进一步包括： 基于用于所述基础层的图片的切片的所述SPS的识别符激活所述基础层的所述图片 的所述SPS;化及 基于用于所述基础层的所述图片的所述切片的所述SPS的所述识别符，激活对应于所 述基础层的所述图片的所述增强层的图片的所述SPS。
3. 根据权利要求1所述的方法，其中解码所述增强层的所述视频数据包括根据视频译 码标准的扩展解码所述增强层的所述视频数据，且其中所述指示是否启用所述视频译 码标准的所述扩展的译码工具。
4. 根据权利要求3所述的方法，其中所述视频译码标准包括高效率视频译码肥VC。
5. 根据权利要求3所述的方法，其中所述扩展包括可缩放视频译码扩展、多视图视频 译码扩展及=维视频译码扩展中的一者。
6. 根据权利要求1所述的方法，其中解码所述增强层的视频数据包括确定其中包含有 所述增强层的操作点，及，基于所述所确定的操作点，不使用在所述SPS中用信号发出的一 或多个特性且实际上使用在所述VPS中用信号发出的一或多个相对应的特性，解码所述增 强层的所述视频数据。
7. 根据权利要求1所述的方法，其中所述包含假想参考解码器HRD参数，其中所 述适用于所述基础层及所述增强层，且其中解码所述SPS包括解码所述SPS而不解码 用于所述SPS的HRD参数。
8. 根据权利要求1所述的方法，其中所述包含简档指示符及层级指示符中的至少 一者，其中所述简档指示符及所述层级指示符适用于含有所述增强层的操作点。
9. 一种编码视频数据的方法，所述方法包括： 编码用于视频位流的序列参数集SPS; 编码用于所述位流的视频参数集VPS; 使用所述SPS编码所述视频位流的基础层的视频数据；W及 使用所述SPS的至少一部分而不使用用于所述视频位流的增强层的任何其它SPS且使 用所述VPS的至少一部分编码所述增强层的视频数据。
10. 根据权利要求9所述的方法，其进一步包括译码用于所述基础层的图片的切片中 的所述SPS的识别符。
11. 根据权利要求9所述的方法，其中编码所述增强层的所述视频数据包括根据视频 译码标准的扩展编码所述增强层的所述视频数据，且其中所述指示是否启用所述视频 译码标准的所述扩展的译码工具。
12. 根据权利要求11所述的方法，其中所述视频译码标准包括高效率视频译码肥VC。
13. 根据权利要求11所述的方法，其中所述扩展包括可缩放视频译码扩展、多视图视 频译码扩展及=维视频译码扩展中的一者。
14. 根据权利要求9所述的方法，其中编码所述增强层的视频数据包括确定其中包含 有所述增强层的操作点，及，基于所述所确定的操作点，不使用在所述SPS中用信号发出的 一或多个特性且实际上使用在所述VPS中用信号发出的一或多个相对应的特性，编码所述 增强层的所述视频数据。
15. 根据权利要求9所述的方法，其中所述VPS包含假想参考解码器HRD参数，其中所 述适用于所述基础层及所述增强层，且其中编码所述SPS包括编码所述SPS而不编码 用于所述SPS的HRD参数。
16. 根据权利要求9所述的方法，其中所述包含简档指示符及层级指示符中的至少 一者，其中所述简档指示符及所述层级指示符适用于含有所述增强层的操作点。
17. -种用于译码视频数据的装置，所述装置包括视频译码器，所述视频译码器经配置 W;译码用于视频位流的序列参数集SPS，译码用于所述位流的视频参数集VPS，使用所述 SPS译码所述视频位流的基础层的视频数据，及使用所述SPS的至少一部分而不使用用于 所述视频位流的增强层的任何其它SPS且使用所述的至少一部分译码所述增强层的视 频数据。
18. 根据权利要求17所述的装置，其中所述视频译码器经配置W;基于用于所述基础 层的图片的切片的所述SPS的识别符激活所述基础层的所述图片的所述SPS，及基于用于 所述基础层的所述图片的所述切片的所述SPS的所述识别符，激活对应于所述基础层的所 述图片的所述增强层的图片的所述SPS。
19. 根据权利要求17所述的装置，其中所述视频译码器经配置W根据视频译码标准的 扩展译码所述增强层的所述视频数据，且其中所述指示是否启用所述视频译码标准的 所述扩展的译码工具。
20. 根据权利要求19所述的装置，其中所述视频译码标准包括高效率视频译码肥VC。
21. 根据权利要求19所述的装置，其中所述扩展包括可缩放视频译码扩展、多视图视 频译码扩展及=维视频译码扩展中的一者。
22. 根据权利要求17所述的装置，其中所述视频译码器经配置W;确定其中包含有所 述增强层的操作点，及，基于所述所确定的操作点，不使用在所述SPS中用信号发出的一或 多个特性且实际上使用在所述VPS中用信号发出的一或多个相对应的特性，译码所述增强 层的所述视频数据。
23. 根据权利要求17所述的装置，其中所述包含假想参考解码器HRD参数，其中所 述适用于所述基础层及所述增强层，且其中所述视频译码器经配置W译码所述SPS而 不译码用于所述SPS的HRD参数。
24. 根据权利要求17所述的装置，其中所述VPS包含简档指示符及层级指示符中的至 少一者，其中所述简档指示符及所述层级指示符适用于含有所述增强层的操作点。
25. 根据权利要求17所述的装置，其中所述视频译码器包括视频解码器。
26. 根据权利要求17所述的装置，其中所述视频译码器包括视频编码器。
27. 根据权利要求17所述的装置，其中所述装置包括W下各者中的至少一者： 集成电路； 微处理器；W及 无线通信装置。
28. -种用于译码视频数据的装置，所述装置包括： 用于译码用于视频位流的序列参数集SPS的装置； 用于译码用于所述位流的视频参数集的装置； 用于使用所述SPS译码所述视频位流的基础层的视频数据的装置；W及 用于使用所述SPS的至少一部分而不使用用于所述视频位流的增强层的任何其它SPS且使用所述VPS的至少一部分译码所述增强层的视频数据的装置。
29. 根据权利要求28所述的装置，其进一步包括： 用于基于用于所述基础层的图片的切片的所述SPS的识别符激活所述基础层的所述 图片的所述SPS的装置；W及 用于基于用于所述基础层的所述图片的所述切片的所述SPS的所述识别符，激活对应 于所述基础层的所述图片的所述增强层的图片的所述SPS的装置。
30. 根据权利要求28所述的装置，其中用于译码所述增强层的所述视频数据的所述装 置包括用于根据视频译码标准的扩展译码所述增强层的所述视频数据的装置，且其中所述 指示是否启用所述视频译码标准的所述扩展的译码工具。
31. 根据权利要求30所述的装置，其中所述视频译码标准包括高效率视频译码肥VC。
32. 根据权利要求30所述的装置，其中所述扩展包括可缩放视频译码扩展、多视图视 频译码扩展及=维视频译码扩展中的一者。
33. 根据权利要求28所述的装置，其中用于译码所述增强层的视频数据的所述装置包 括用于确定其中包含有所述增强层的操作点的装置，及用于基于所述所确定的操作点，不 使用在所述SPS中用信号发出的一或多个特性且实际上使用在所述中用信号发出的一 或多个相对应的特性，译码所述增强层的所述视频数据的装置。
34. 根据权利要求28所述的装置，其中所述包含假想参考解码器HRD参数，其中所 述适用于所述基础层及所述增强层，且其中用于译码所述SPS的所述装置包括用于译 码所述SPS而不译码用于所述SPS的HRD参数的装置。
35. 根据权利要求28所述的装置，其中所述包含简档指示符及层级指示符中的至 少一者，其中所述简档指示符及所述层级指示符适用于所述基础层及所述增强层，且其中 用于译码所述SPS的所述装置包括用于译码所述SPS而不译码用于所述SPS的简档指示符 及层级指示符的装置。
36. -种计算机可读存储媒体，其具有存储于其上的指令，所述指令在被执行时致使处 理器进行W下操作： 译码用于视频位流的序列参数集SPS; 译码用于所述位流的视频参数集VPS; 使用所述SPS译码所述视频位流的基础层的视频数据；W及 使用所述SPS的至少一部分而不使用用于所述视频位流的增强层的任何其它SPS且使 用所述VPS的至少一部分译码所述增强层的视频数据。
37. 根据权利要求36所述的计算机可读存储媒体，其进一步包括致使所述处理器进行 W下操作的指令： 基于用于所述基础层的图片的切片的所述SPS的识别符激活所述基础层的所述图片 的所述SPS ; W及 基于用于所述基础层的所述图片的所述切片的所述SPS的所述识别符，激活对应于所 述基础层的所述图片的所述增强层的图片的所述SPS。
38. 根据权利要求36所述的计算机可读存储媒体，其中致使所述处理器译码所述增强 层的所述视频数据的所述指令包括致使所述处理器根据视频译码标准的扩展译码所述增 强层的所述视频数据的指令，且其中所述指示是否启用所述视频译码标准的所述扩展 的译码工具。
39. 根据权利要求38所述的计算机可读存储媒体，其中所述视频译码标准包括高效率 视频译码肥VC。
40. 根据权利要求38所述的计算机可读存储媒体，其中所述扩展包括可缩放视频译码 扩展、多视图视频译码扩展及=维视频译码扩展中的一者。
41. 根据权利要求38所述的计算机可读存储媒体，其中致使所述处理器解码所述增强 层的视频数据的所述指令包括致使所述处理器进行W下操作的指令；确定其中包含有所述 增强层的操作点，及，基于所述所确定的操作点，不使用在所述SPS中用信号发出的一或多 个特性且实际上使用在所述VPS中用信号发出的一或多个相对应的特性，解码所述增强层 的所述视频数据。
42. 根据权利要求36所述的计算机可读存储媒体，其中所述包含假想参考解码器 H畑参数，其中所述适用于所述基础层及所述增强层，且其中致使所述处理器译码所述 SPS的所述指令包括致使所述处理器译码所述SPS而不译码用于所述SPS的HRD参数的指 令。
43. 根据权利要求36所述的计算机可读存储媒体，其中所述包含简档指示符及 层级指示符中的至少一者，其中所述简档指示符及所述层级指示符适用于所述基础层及所 述增强层，且其中致使所述处理器译码所述SPS的所述指令包括致使所述处理器译码所述 SPS而不译码用于所述SPS的简档指示符及层级指示符的指令。
【文档编号】H04N19/597GK104471942SQ201380037996
【公开日】2015年3月25日 申请日期:2013年7月19日 优先权日:2012年7月20日
【发明者】陈颖 申请人:高通股份有限公司