在多层译码中用于对参考图片集(rps)进行译码的方法
【专利摘要】本发明揭示一种在多层译码中用于对参考图片集RPS进行译码的方法。在一个方面中，所述方法可涉及确定视频信息的当前图片是否为可抛弃图片。所述方法还可涉及基于所述当前图片是可抛弃图片的所述确定而避免在RPS中包含所述当前图片。所述方法可进一步涉及至少部分地基于所述RPS对所述视频信息进行编码。
【专利说明】
在多层谭码中用于对参考图片集(RPS)进行谭码的方法
技术领域
[0001 ]本发明设及视频译码及压缩的领域，确切地说，设及可缩放视频译码、多视图视频 译码和/或=维(3D)视频译码。
【背景技术】
[0002] 数字视频能力可并入到多种多样的装置中，包括数字电视、数字直播系统、无线广 播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体 播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置和 类似者。数字视频装置实施视频压缩技术，例如在由运动图像专家组-2 (MPEG-2)、MPEG-4、 国际电信联盟电信标准化部口（ITU-T化.263、ITU-T H. 264/M阳G-4、第10部分定义的标准、 高级视频译码(AVC)、高效视频译码化EVC)标准和此些标准的扩展中描述的视频压缩技术。 视频装置可通过实施此些视频译码技术而更有效地发射、接收、编码、解码和/或存储数字 视频信息。
[0003] 经译码视频序列可包含参考图片集(RPS)，其与图片相关联且含有参考图片列表， 所述参考图片列表识别可W用于所述相关联图片或任何随后图片的帖间预测的图片。某些 视频译码标准包含与图片相关联的指示，其指示相关联图片是否不用于参考，且因此在某 些条件下可W抛弃。
【发明内容】
[0004] 本发明的系统、方法及装置各自具有若干创新方面，其中没有单个方面单独负责 本文所掲示的合乎需要的属性。
[0005] 在一个方面中，一种用于对多层位流的视频信息进行编码的方法包括:确定所述 视频信息的当前图片是否为可抛弃图片；W及基于所述当前图片是可抛弃图片的所述确定 而避免在参考图片集(RPS)中包含所述当前图片。
[0006] 在另一方面，一种用于对视频信息进行编码的装置包括:存储器，其经配置W存储 所述视频信息；W及处理器，其与所述存储器通信且经配置W :确定视频信息的当前图片是 否为可抛弃图片；W及基于所述当前图片是可抛弃图片的所述确定而避免在参考图片集 (RPS)中包含所述当前图片。
[0007] 在又一方面中，一种设备包括：用于确定视频信息的当前图片是否为可抛弃图片 的装置；W及用于基于所述当前图片是可抛弃图片的所述确定而避免在RPS中包含所述当 前图片的装置。
[000引在再一方面中，一种非暂时性计算机可读存储媒体，具有存储于其上的指令，所述 指令在执行时致使装置的处理器:确定当前图片是否为可抛弃图片；W及基于所述当前图 片是可抛弃图片的所述确定而避免在WS中包含所述当前图片。
【附图说明】
[0009] 图IA是说明可利用根据本发明中描述的方面的技术的实例视频编码及解码系统 的框图。
[0010] 图IB是说明可执行根据本发明中描述的方面的技术的另一实例视频编码和解码 系统的框图。
[0011] 图2A是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
[0012] 图2B是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
[0013] 图3A是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。
[0014] 图3B是说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。
[0015] 图4是说明根据本发明中描述的方面的多层位流的存取单元的框图。
[0016] 图5是说明编码器或解码器如何产生WS的实例的框图。
[0017] 图6至化是说明根据本发明中描述的方面的用于对视频信息进行编码或解码的方 法的流程图。
【具体实施方式】
[0018] 本文所描述的某些实施例设及在例如高效率视频译码化EVC)等高级视频编解码 器的上下文中用于多层视频译码的位流末端化oB)网络接入层(NAL)单元和RPS。更具体来 说，本发明设及用于改善在肥VC的多视图和可缩放扩展（即MV-肥VC和甜VC)中EoB NAL单元 和WS的编码或解码中的性能的系统和方法。
[0019] 在W下描述中，描述设及某些实施例的H.264/高级视频译码(AVC)技术;也论述了 肥VC标准和相关技术。特定来说，一些视频译码方案维持与经译码视频序列(CVS)的图片相 关联的参考图片集(RPS)。用于给定图片的RPS含有包含按解码次序在相关联图片之前的可 W用于相关联图片的帖间预测的全部参考图片或按解码次序在相关联图片之后的任何图 片的参考图片集合。当图片不用于层间预测或任何其它图片的帖间预测的参考时也可将所 述图片指示为可抛弃的。常规译码方案并未不允许可抛弃图片包含于RPS中。因此，如果可 抛弃图片从位流丢失(或经不正确地解码），那么解码器可能不正确地推断损失。
[0020] 本发明设及用于多层译码方案的语义，其可防止当可抛弃图片从位流丢失（或经 不正确地解码)时解码器不正确地推断损失。在一些实施方案中，不允许可抛弃图片包含于 层间WS或时间WS中的任一者中。因此，解码器将不会由于可抛弃图片的丢失(或不正确解 码)而不正确地推断损失。
[0021] 虽然本文中在肥VC和/或H. 264标准和情况下描述某些实施例，但所属领域的一般 技术人员可了解，本文中掲示的系统和方法可适用于任何合适的视频译码标准。举例来说， 本文中所公开的实施例可适用于W下标准中的一或多者：国际电信联盟(ITU)电信标准化 部口（ITU-T化.261、国际标准化组织/国际电工委员会（IS0/1EC)MPEG-1视觉、ITU-T H. 262 或IS0/IEC MPEG-2视觉、ITU-T H.263JS0/IEC MPEG-4视觉和mJ-T H.264(也称为ISO/ IEC MPEG-4AVC)，包含其可缩放和多视图扩展。
[0022] 在许多方面，皿VC通常遵循先前视频译码标准的框架。皿VC中的预测单元不同于 某些先前视频译码标准中的预测单元(例如，宏块）。事实上，在肥VC中不存在如在某些先前 视频译码标准中所理解的宏块的概念。宏块由基于四叉树方案的分层结构替换，分层结构 可提供高灵活性W及其它可能益处。举例来说，在肥VC方案内，定义S个类型的块，例如译 码单元(CU)、预测单元(PU)和变换单元(TU)XU可指区分裂的基本单元。可认为CU类似于宏 块的概念，但皿VC不约束CU的最大大小，且可允许递归分裂成四个相等大小的CU W改善内 容适应性。PU可认为是帖间/帖内预测的基本单元，且单个PU可含有多个任意形状分区W有 效地译码不规则图像模式。TU可认为是变换的基本单元。可独立于PU界定TU;然而，TU的大 小可限于TU属于的CU的大小。此块结构分离为S个不同概念可允许根据单元的相应作用来 优化每一单元，运可得到改善的译码效率。
[0023] 仅出于说明的目的，用仅包含视频数据的两个层(例如，比如基础层等较低层，和 比如增强层等较高层）的实例来描述本文中掲示的某些实施例。视频数据的"层"一般可指 具有至少一个共同特性(例如，视图、帖率、分辨率等等)的图片序列。举例而言，层可包含与 多视图视频数据的特定视图（例如，透视图）相关联的视频数据。作为另一实例，层可包含与 可缩放视频数据的特定层相关联的视频数据。因此，本发明可互换地参考视频数据的层和 视图。也就是说，视频数据的视图可被称作视频数据的层，且视频数据的层可被称作视频数 据的视图。此外，多层编解码器(还被称作多层视频译码器或多层编码器-解码器)可共同指 多视图编解码器或可缩放编解码器(例如，经配置W使用MV-HEVC、3D-肥VC、SHVC或另一多 层译码技术编码和/或解码视频数据的编解码器）。视频编码和视频解码可通常被称作视频 译码。应理解，运些实例可适用于包含多个基础层及/或增强层的配置。此外，为了易于解 释，参照某些实施例，W下掲示内容包含术语"帖"或"块"。然而，运些术语不打算具有限制 性。举例来说，下文描述的技术可供任何合适的视频单元(例如，块(例如，〇]、？1]、1'1]、宏块 等）、切片、帖等)使用。
[0024] 视频译码标准
[0025] 例如视频图像、TV图像、静态图像或由录像机或计算机产生的图像等数字图像可 由布置成水平和垂直线的像素或样本构成。单个图像中的像素的数目通常有数万个。每一 像素通常含有明度及色度信息。在无压缩的情况下，将从图像编码器传送到图像解码器的 信息的绝对量将使实时图像发射不可能。为了减少待发射的信息的量，已开发出例如肝EG、 MPEG及H. 263标准等数个不同压缩方法。
[00%]视频译码标准包含ITU-T H. 261、IS0/IEC MPEG-I视觉、ITU-T H. 262或IS0/IEC MPEG-2视觉、ITU-T H.263JS0/IEC MPEG-4视觉和ITU-T H.264(也被称作IS0/IEC MPEG-4AVC)，包含其可缩放和多视图扩展。
[0027] 另外，ITU-T视频编码专家组(VCEG)和IS0/IEC MPEG的视频译码联合协作小组 (JCT-VC)已经开发视频译码标准（即皿VC)。对皿VC草案10的完全引用为布罗斯(Bross)等 人的文件JCTVC-L1003，"高效率视频译码化EVC)文本规范草案ICKHigh Efficiency Video Coding(肥VC)Text Specification Draft l〇r，mJ-T SG16WP3与ISO/IEC JTC1/SC29/ WGll的关于视频译码的联合合作小组(JCT-VC)，第12次会议:瑞±日内瓦，2013年I月14日 到2013年1月23日。对肥VC的多视图扩展（即，MV-皿VC)及对皿VC的可缩放扩展（名为SHVC) 也正分别由JCT-3V(3D视频译码扩展开发口 U-T/IS0/IEC联合合作小组)及JCT-VC开发。
[002引视频译码系统
[0029]下文参考附图更充分地描述新颖系统、设备及方法的各个方面。然而，本发明可W 许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。 相反，提供运些方面W使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分 传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵 盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所掲示的新 颖系统、设备及方法的任何方面。举例来说，可W使用本文中所阐述的任何数目个方面来实 施设备或实践方法。另外，本发明的范围既定涵盖使用除本文中所阐述的本发明的各种方 面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性 来实践的此设备或方法。应理解，可通过权利要求的一或多个要素来体现本文中所掲示的 任何方面。
[0030] 尽管本文描述了特定方面，但运些方面的许多变化及排列落在本发明的范围内。 尽管提及了优选方面的一些益处及优点，但本发明的范围不希望限于特定益处、用途或目 标。而是，本发明的方面既定广泛地适用于不同无线技术、系统配置、网络及发射协议，其中 的一些是借助于实例而在图中W及在优选方面的W下描述中说明。【具体实施方式】和图式仅 说明本发明，而不是限制由所附权利要求书和其等效物界定的本发明的范围。
【附图说明】 [0031] 若干实例。由附图中的参考标号指示的元件对应于在W下描述中由相同 参考标号指示的元件。在本发明中，名称W序数词(例如，"第一"、"第二"、"第立"等)开始的 元件未必暗示所述元件具有特定次序。而是，此些序数词仅用于指代相同或类似类型的不 同元件。
[0032] 图IA是说明可利用根据本发明中所描述的方面的技术的实例视频译码系统10的 框图。如本文中所描述地使用，术语"视频译码器"一般指代视频编码器和视频解码器两者。 在本发明中，术语"视频译码"或"译码"可一般地指代视频编码和视频解码。除了视频编码 器和视频解码器外，本申请案中描述的方面可扩展到其它相关装置，例如，转码器(例如，可 解码位流且重新编码另一位流的装置)及中间框(例如，可修改、变换及/或另外操纵位流的 装置）。
[0033] 如图IA中所示，视频译码系统10包含源装置12,其产生在稍后时间由目的地装置 14解码的经编码视频数据。在图IA的实例中，源装置12和目的地装置14构成单独装置。然 而，应注意，源装置12和目的地模块14可在同一装置上或为同一装置的部分，如在图IB的实 施中所展示。
[0034] 再次参考图1A，源装置12和目的地装置14可分别包括广泛范围的装置中的任一 者，包含桌上型计算机、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的"智 能"电话的电话手持机、所谓的"智能"板、电视、相机、显示装置、数字媒体播放器、视频游戏 控制台、视频流装置或类似者。在各种实施例中，源装置12和目的地装置14可经装备W用于 无线通信。
[0035] 目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将 经编码视频数据从源装置12移动到目的地装置14的任何类型媒体或装置。在图IA的实例 中，链路16可包括使得源装置12能够实时将经编码视频数据发射到目的地装置14的通信媒 体。可根据通信标准(例如，无线通信协议)调制经编码的视频数据，并将其发射到目的地装 置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输 线。通信媒体可形成分组网络(例如，局域网、广域网或全球网络，例如因特网）的部分。通信 媒体可包含路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的任何 其它装备。
[0036] 或者，经编码数据可从输出接口 22输出到存储装置31(任选地呈现）。类似地，可由 (例如）目的地装置14的输入接口28自存储装置31存取经编码数据。存储装置31可包含多种 分布式或本地存取数据存储媒体中的任一者，例如硬盘驱动器、快闪存储器、易失性或非易 失性存储器，或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中， 存储装置31可对应于文件服务器或可保持源装置12产生的经编码视频的另一中间存储装 置。目的地装置14可经由流式传输或下载从存储装置31存取所存储的视频数据。文件服务 器可为能够存储经编码视频数据且将经编码视频数据发射至目的地装置14的任何类型的 服务器。实例文件服务器包含网络服务器(例如，用于网站）、文件传输协议(FTP)服务器、网 络附接存储(NAS)装置，或本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含 因特网连接）来存取经编码的视频数据。运可包含无线信道（例如，无线局域网（WLAN)连 接）、有线连接(例如，数字订户线(D化）、电缆调制解调器等），或适合于存取存储在文件服 务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置31的发射可为流式传 输发射、下载发射或两者的组合。
[0037] 本发明的技术不限于无线应用或设置。所述技术可应用于支持多种多媒体应用中 的任一者的视频译码，所述多媒体应用例如空中电视广播、有线电视发射、卫星电视发射、 (例如)经由因特网的流式视频发射(例如，根据超文本传送协议化TTP)的动态自适应流式 处理等）、用于存储在数据存储媒体上的数字视频的编码、存储在数据存储媒体上的数字视 频的解码，或其它应用。在一些实例中，视频译码系统10可经配置W支持单向或双向视频传 输W支持例如视频流式传输、视频回放、视频广播及/或视频电话等应用。
[0038] 在图IA的实例中，源装置12包含视频源18、视频编码器20和输出接口 22。在一些情 况下，输出接口 22可包含调制器/解调器(调制解调器)及/或发射器。在源装置12中，视频源 18可包含例如W下各项的源:视频俘获装置(例如，摄像机）、含有先前所俘获的视频的视频 存档、用于从视频内容提供者接收视频的视频馈入接口和/或用于产生计算机图形数据W 作为源视频的计算机图形系统，或此类源的组合等。作为一个实例，如果视频源18是摄像 机，那么源装置12和目的地装置14可形成所谓的"相机电话"或"视频电话"，如图IB的实例 中所说明。然而，本发明中所描述的技术一般来说可适用于视频译码，且可应用于无线和/ 或有线应用。
[0039] 可由视频编码器20对所俘获、预俘获或计算机产生的视频进行编码。可经由源装 置12的输出接口 22将经编码视频数据传输到目的地装置14。经编码视频数据还可(或替代 地)存储到存储装置31上用于稍后由目的地装置14或其它装置存取W用于解码和/或重放。 图IA和IB中说明的视频编码器20可包括图2A所说明的视频编码器20、图2B中说明的视频编 码器23,或本文所描述的任何其它视频编码器。
[0040] 在图IA的实例中，目的地装置14包含输入接口28、视频解码器30和显示装置32。在 一些状况下，输入接口 28可包含接收器和/或调制解调器。目的地装置14的输入接口 28可经 由链路16和/或从存储装置31接收经编码的视频数据。经由链路16传送或在存储装置31上 提供的经编码视频数据可包含由视频编码器20所产生的多种语法元素 W供由例如视频解 码器30的视频解码器用于解码视频数据。此类语法元素可与在通信媒体上发射、存储于存 储媒体上或存储文件服务器的经编码视频数据包含在一起。图IA和IB中说明的视频解码器 30可包括图3A所说明的视频解码器30、图3B中说明的视频解码器33,或本文所描述的任何 其它视频解码器。
[0041] 显示装置32可W与目的地装置14集成或者在目的地装置14外部。在一些实例中， 目的地装置14可包含集成显示装置，且还可经配置W与外部显示装置介接。在其它实例中， 目的地装置14可能是显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可 包括多种显示装置中的任一者，例如液晶显示器化CD)、等离子显示器、有机发光二极管 (OLED)显示器或另一类型的显示装置。
[0042] 在相关方面中，图IB展示实例性视频编解码系统1〇/，其中源装置12和目的地装置 14在装置11上或为装置11的部分。装置11可为电话手持机，例如"智能"电话或类似者。装置 11可包含与源装置12和目的地装置14可操作通信的控制器/处理器装置13(任选地呈现）。 图IB的视频编解码系统1〇/可进一步包含在视频编码器20与输出接口22之间的视频处理单 元21。在一些实施方案中，视频处理单元21为单独单元，如图IB中所说明；然而，在其它实施 方案中，视频处理单元21可被实施为视频编码器20和/或处理器/控制器装置13的一部分。 视频编解码系统1〇/还可包含跟踪器29(任选地呈现），其可跟踪视频序列中的感兴趣对象。 待跟踪的对象或兴趣可通过结合本发明的一或多个方面描述的技术来分段。在相关方面 中，跟踪可由显示装置32单独地或联合跟踪器29而执行。图IB的视频编解码系统1〇/和其组 件另外类似于图IA的视频编解码系统10和其组件。
[0043] 视频编码器20和视频解码器30可根据例如皿VC的视频压缩标准操作，且可符合 皿VC测试模型化M)。或者，视频编码器20和视频解码器30可W根据其它专有或业界标准操 作，所述标准例如ITU-T H. 264标准，或者被称作MPEG-4第10部分AVC，或此类标准的扩展。 但是，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和 ITU-T H.263。
[0044] 尽管图IA和IB的实例中未展示，视频编码器20和视频解码器30可各自与音频编码 器和解码器集成，且可包含适当的多路复用器-多路分用器单元或其它硬件和软件W处置 共同数据流或单独数据流中的音频和视频两者的编码。在一些实例中，如果适用的话，那么 多路复用器-多路分用器单元可W符合ITU H.223多路复用器协议，或例如用户数据报协议 (UDP)等其它协议。
[0045] 视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一者， 例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程口阵列 (FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分W软件实施所述技术时，装置可 将用于所述软件的指令存储于合适非暂时性计算机可读媒体中并使用一或多个处理器用 硬件执行所述指令W执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含 在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组 合编码器/解码器的部分。
[OOW 视频译码过程
[0047]如上文简要提及，视频编码器20编码视频数据。视频数据可W包括一或多个图片。 图片中的每一者为形成视频的部分的静态图像。在一些情况下，图片可被称为视频"帖"。当 视频编码器20对视频数据进行编码时，视频编码器20可产生位流。位流可W包含形成视频 数据的经译码的表示的一连串位。位流可包含经译码图片和相关联数据。经译码的图片是 图片的经译码的表示。
[0048] 为了产生位流，视频编码器20可对视频数据中的每一图片执行编码操作。当视频 编码器20对所述图片执行编码操作时，视频编码器20可产生一系列经译码图片和相关联数 据。相关联数据可包含视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、自适应参数 集(APS)和其它语法结构。SPS可W含有适用于零个或更多的图片序列的参数。PPS可含有适 用于零个或更多图片的参数。APS可含有适用于零个或更多图片的参数。APS中的参数可为 比PI^中的参数更可能改变的参数。
[0049] 为产生经译码图片，视频编码器20可将图片分割为大小相等的视频块。视频块可 为样本的二维阵列。视频块中的每一者与树块相关联。在一些情况下，树块可被称作最大译 码单元化CU)。肥VC的树块可广泛类似于例如H.264/AVC等先前标准的宏块。然而，树块不必 限于特定大小且可包含一或多个CU。视频编码器20可使用四叉树分割将树块的视频块分割 成与CU相关联的视频块(因此名称为"树块"）。
[0050] 在一些实例中，视频编码器20可将图片分割成多个切片。所述切片中的每一者可 包含整数数目个CU。在一些情况下，一个切片包括整数数目个树块。在其它情况下，切片的 边界可在树块内。
[0051] 作为对图片执行编码操作的一部分，视频编码器20可对图片的每一切片执行编码 操作。当视频编码器20对切片执行编码操作时，视频编码器20可产生与切片相关联的经编 码数据。与切片相关联的经编码数据可称为"经译码切片"。
[0052] 为了产生经译码切片，视频编码器20可对切片中的每一树块执行编码操作。当视 频编码器20对树块执行编码操作时，视频编码器20可产生经译码树块。经译码树块可包括 表示树块的经编码版本的数据。
[0053] 当视频编码器20产生经译码切片时，视频编码器20可根据光栅扫描次序对切片中 的树块执行编码操作(例如，编码）。举例来说，视频编码器20可按如下次序来编码切片的树 块:跨越切片中的树块的最顶行从左到右进行，接着跨越树块的下一较低行从左到右进行， W此类推，直到视频编码器20已编码切片中的树块的每一者。
[0054] 作为根据光栅扫描次序编码树块的结果，可已编码在给定树块的上方和左边的树 块，但尚未编码在给定树块的下方和右边的树块。因此，当对给定树块进行编码时，视频编 码器20可能能够存取通过对给定树块的上方和左边的树块进行编码而产生的信息。然而， 当编码给定树块时，视频编码器20可能不能够存取通过编码在给定树块的下方和右边的树 块而产生的信息。
[0055] 为了产生经译码树块，视频编码器20可对树块的视频块递归地执行四叉树分割W 将视频块划分成越来越小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说， 视频编码器20可将树块的视频块分割成四个大小相等的子块、将所述子块中的一或多者分 割成四个大小相等的子子块，W此类推。分割的CU可为其视频块被分割成与其它CU相关联 的视频块的CU。未分割CU可为其视频块未被分割成与其它CU相关联的视频块的CU。
[0056] 位流中的一或多个语法元素可指示视频编码器20可分割树块的视频块的最大次 数。CU的视频块在形状上可为正方形。CU的视频块的大小(例如，CU的大小）范围可从8x8像 素直到具有最大64x64个像素或更大的树块的视频块的大小(例如，树块的大小）。
[0057] 视频编码器20可根据Z扫描次序对树块的每一 CU执行编码操作(例如，编码）。换句 话说，视频编码器20可将左上CU、右上CU、左下CU和接着右下CU按此次序编码。当视频编码 器20对经分割的CU执行编码操作时，视频编码器20可根据Z扫描次序对与经分割的CU的视 频块的子块相关联的CU进行编码。换句话说，视频编码器20可对与左上子块相关联的CU、与 右上子块相关联的CU、与左下子块相关联的CU,且接着是与右下子块相关联的CU按所述顺 序进行编码。
[0058] 作为根据Z扫描次序编码树块的CU的结果，可已编码在给定CU的上方、左上方、右 上方、左边的左下方的CU。尚未对给定CU的右下方的CU进行编码。因此，当对给定CU进行编 码时，视频编码器20可能能够存取通过对与给定CU相邻的一些CU进行编码而产生的信息。 然而，当对给定CU进行编码时，视频编码器20可能不能够存取通过对与给定CU相邻的其它 CU进行编码而产生的信息。
[0059] 当视频编码器20对未分割的CU进行编码时，视频编码器20可产生用于所述CU的一 或多个PUXU的PU中的每一者可与CU的视频块内的不同视频块相关联。视频编码器20可产 生用于CU的每一 PU的经预测视频块。PU的经预测视频块可为样本块。视频编码器20可使用 帖内预测或帖间预测来产生用于PU的预测视频块。
[0060] 当视频编码器20使用帖内预测来产生PU的经预测视频块时，视频编码器20可基于 与PU相关联的图片的经解码样本来产生PU的经预测视频块。如果视频编码器20使用帖内预 测来产生CU的PU的经预测视频块，那么CU为经帖内预测的CU。当视频编码器20使用帖间预 测来产生PU的经预测视频块时，视频编码器20可基于不同于与所述PU相关联的图片的一或 多个图片的经解码样本产生所述PU的经预测视频块。如果视频编码器20使用帖间预测来产 生CU的PU的经预测视频块，那么所述CU为经帖间预测CU。
[0061 ]此外，当视频编码器20使用帖间预测来产生PU的预测视频块时，视频编码器20可 产生所述PU的运动信息。用于PU的运动信息可指示所述PU的一或多个参考块。PU的每一参 考块可为参考图片内的视频块。参考图片可为除与PU相关联的图片W外的图片。在一些情 况下，PU的参考块也可被称作PU的"参考样本"。视频编码器20可基于PU的参考块产生所述 PU的预测视频块。
[0062] 在视频编码器20产生用于CU的一或多个PU的预测视频块之后，视频编码器20可基 于用于CU的所述PU的预测视频块产生所述CU的残余数据。CU的残余数据可指示用于CU的PU 的预测视频块中的样本与CU的原始视频块之间的差。
[0063] 此外，作为对未经分割CU执行编码操作的部分，视频编码器20可对CU的残余数据 执行递归四叉树分割W将CU的残余数据分割成与CU的TU相关联的一或多个残余数据块(例 如，残余视频块）。CU的每一TU可与不同残余视频块相关联。
[0064] 视频编码器20可将一或多个变换应用到与TU相关联的残余视频块W产生与TU相 关联的变换系数块(例如，变换系数块）。在概念上，变换系数块可为变换系数的二维(2D)矩 阵。
[0065] 在产生变换系数块之后，视频编码器20可对所述变换系数块执行量化处理。量化 总体上是指对变换系数进行量化W可能减少用W表示变换系数的数据的量从而提供进一 步压缩的过程。量化过程可减少与变换系数中的一些或全部相关联的位深度。例如，可在量 化期间将n位变换系数向下舍入到m位变换系数，其中n大于m。
[0066] 视频编码器20可使每一 CU与量化参数(QP)值相关联。与CU相关联的QP值可确定视 频编码器20如何对与所述CU相关联的变换系数块进行量化。视频编码器20可通过调整与CU 相关联的QP值来调整应用于与CU相关联的变换系数块的量化的程度。
[0067] 在视频编码器20量化变换系数块之后，视频编码器20可产生表示经量化变换系数 块中的变换系数的语法元素集。视频编码器20可将例如上下文自适应二进制算术译码 (CABAC)操作的赌编码操作应用于运些语法元素中的一些。还可使用例如上下文自适应可 变长度译码(CA化C)、概率区间分割赌(PIPE)译码或其它二进制算术译码等其它赌译码技 术。
[0068] 由视频编码器20产生的位流可包含一系列NAL单元。所述NAL单元中的每一者可为 含有NAL单元中的数据类型的指示及含有数据的字节的语法结构。举例来说，NAL单元可含 有表示视频参数集、序列参数集、图片参数集、经译码切片、补充增强信息（SEI)、存取单元 分隔符、填充数据或另一类型的数据的数据。NAL单元中的数据可包含各种语法结构。
[0069] 视频解码器30可接收由视频编码器20产生的位流。所述位流可包含由视频编码器 20编码的视频数据的经译码表示。当视频解码器30接收到位流时，视频解码器30可对位流 执行剖析操作。当视频解码器30执行剖析操作时，视频解码器30可从所述位流提取语法元 素。视频解码器30可基于从位流提取的语法元素重构视频数据的图片。基于语法元素重构 视频数据的过程可与通过视频编码器20执行W产生语法元素的过程大体上互逆。
[0070] 在视频解码器30提取与CU相关联的语法元素之后，视频解码器30可基于所述语法 元素产生用于CU的PU的经预测视频块。另外，视频解码器30可对与CU的TU相关联的变换系 数块进行逆量化。视频解码器30可对变换系数块执行逆变换W重构与CU的TU相关联的残余 视频块。在产生经预测视频块且重构残余视频块之后，视频解码器30可基于经预测视频块 及残余视频块重构CU的视频块。W此方式，视频解码器30可基于位流中的语法元素重构CU 的视频块。
[007。视频编码器
[0072] 图2A为说明可实施根据本发明中描述的方面的技术的视频编码器20的实例的框 图。视频编码器20可经配置W处理视频帖的单层(例如针对肥VC)。此外，视频编码器20可经 配置W执行本发明的技术中的任一者或全部。在一些实例中，本发明中描述的技术可在视 频编码器20的各种组件之间共享。在一些实例中，另外或替代地，处理器(未图示)可经配置 W执行本发明中描述的技术中的任一者或全部。
[0073] 出于解释的目的，本发明描述在皿VC译码的上下文中的视频编码器20。然而，本发 明的技术可W适用于其它译码标准或方法。图2A中所描绘的实例是针对单层编解码器。然 而，如将关于图2B进一步描述，可复制视频编码器20中的一些或全部W用于多层编解码器 的处理。
[0074] 视频编码器20可执行视频切片内的视频块的帖内和帖间译码。帖内译码依赖于空 间预测W减小或移除给定视频帖或图片内的视频的空间冗余。帖间译码依赖于时间预测来 减少或移除视频序列的邻近帖或图片内的视频中的时间冗余。帖内模式（I模式)可指代若 干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帖间模式 可指代若干基于时间的译码模式中的任一者。
[0075] 在图2A的实例中，视频编码器20包含多个功能组件。视频编码器20的功能组件包 含预测处理单元100、残余产生单元102、变换处理单元104、量化单元106、逆量化单元108、 逆变换单元110、重构单元112、滤波器单元113、经解码图片缓冲器114和赌编码单元116。预 测处理单元100包含帖间预测单元121、运动估计单元122、运动补偿单元124、帖内预测单元 126及层间预测单元128。在其它实例中，视频编码器20可包含更多、更少或不同功能组件。 此外，运动估计单元122和运动补偿单元124可高度集成，但出于解释的目的而在图2A的实 例中分开表示。
[0076] 视频编码器20可接收视频数据。视频编码器20可从各种源接收视频数据。举例来 说，视频编码器20可从视频源18(例如，图IA或IB中所展示)或另一源接收视频数据。视频数 据可表示一系列图片。为编码视频数据，视频编码器20可对图片中的每一者执行编码操作。 作为对图片执行编码操作的一部分，视频编码器20可对图片的每一切片执行编码操作。作 为对切片执行编码操作的部分，视频编码器20可对切片中的树块执行编码操作。
[0077] 作为对树块执行编码操作的部分，预测处理单元100可对树块的视频块执行四叉 树分割W将所述视频块划分成逐渐变小的视频块。较小视频块中的每一者可与不同CU相关 联。举例来说，预测处理单元100可将树块的视频块分割成四个相等大小的子块，将所述子 块中的一或多者分割成四个相等大小的子子块，等等。
[0078] 与CU相关联的视频块的大小范围可从8x8样本高达最大64x64像素或更大的树块 大小。在本发明中，"NxN"和"N乘N"可互换使用来指代在垂直和水平尺寸方面的视频块的样 本尺寸，例如，16x16样本或16乘16样本。一般来说，16x16视频块在垂直方向上具有16个样 本(y=16)，且在水平方向上具有16个样本(x=16)。同样，化N块一般在垂直方向上具有N个 样本，且在水平方向上具有N个样本，其中N表示非负整数值。
[0079] 此外，作为对树块执行编码操作的部分，预测处理单元100可产生用于所述树块的 阶层式四叉树数据结构。例如，树块可对应于四叉树数据结构的根节点。如果预测处理单元 100将树块的视频块分割成四个子块，则所述根节点在所述四叉树数据结构中具有四个子 节点。所述子节点中的每一者对应于与子块中的一者相关联的CU。如果预测处理单元100将 子块中的一者分割成四个子子块，那么对应于与子块相关联的CU的节点可具有四个子节 点，其中每一者对应于与子子块中的一者相关联的CU。
[0080] 四叉树数据结构的每一节点可含有对应树块或CU的语法数据(例如，语法元素）。 例如，四叉树中的节点可包含分裂旗标，其指示对应于所述节点的CU的视频块是否被分割 (例如，分裂)成四个子块。用于CU的语法元素可递归地界定，且可取决于所述CU的视频块是 否分裂成子块。视频块未被分割的CU可对应于四叉树数据结构中的叶节点。经译码树块可 包含基于用于对应树块的四叉树数据结构的数据。
[0081] 视频编码器20可对树块的每一未经分割的CU执行编码操作。当视频编码器20对未 分割CU执行编码操作时，视频编码器20产生表示未分割CU的经编码表示的数据。
[0082] 作为对CU执行编码操作的部分，预测处理单元100可在CU的一或多个PU之间分割 CU的视频块。视频编码器20和视频解码器30可支持各种PU大小。假定特定CU的大小为 2化2N，则视频编码器20及视频解码器30可支持2Nx2N或NxN的PU大小，及2化2N、2化N、化2N、 NxN、2NxnU、nLx2N、nRx2N或类似的对称PU大小的帖间预测。视频编码器20和视频解码器30 还可支持用于2NxnU、2NxnD、化x2N和nRx2N的PU大小的不对称分割。在一些实例中，预测处 理单元100可执行几何分割W沿并不按直角与CU的视频块的侧会合的边界来在CU的PU间分 割CU的视频块。
[0083] 帖间预测单元121可对CU的每一 PU执行帖间预测。帖间预测可提供时间压缩。为了 对PU执行帖间预测，运动估计单元122可产生用于所述PU的运动信息。运动补偿单元124可 基于运动信息和除与CU相关联的图片(例如，参考图片）W外的图片的经解码样本而产生PU 的经预测视频块。在本发明中，由运动补偿单元124产生的经预测视频块可称作经帖间预测 视频块。
[0084] 切片可为I切片、P切片，或B切片。运动估计单元122和运动补偿单元124可取决于 PU处于I切片、P切片还是B切片中而对CU的PU执行不同操作。在I切片中，所有PU都是经帖内 预测。因此，如果PU在I切片中，那么运动估计单元122和运动补偿单元124不对PU执行帖间 预测。
[0085] 如果PU在P切片中，那么含有所述PU的图片与被称作"列表0"的参考图片列表相关 联。列表0中的参考图片中的每一者含有可用于其它图片的帖间预测的样本。当运动估计单 元122关于P切片中的PU执行运动估计操作时，运动估计单元122可捜索列表0中的参考图片 W找出用于PU的参考块。PU的参考块可为最紧密对应于PU的视频块中的样本的一组样本， 例如，样本块。运动估计单元122可使用多种度量来确定参考图片中的一组样本如何紧密地 对应于PU的视频块中的样本。例如，运动估计单元122可通过绝对差总和(SAD)、平方差总和 (SSD)或其它差异度量来确定参考图片中的一组样本对应于PU的视频块中的样本的接近程 度。
[0086] 在识别出P切片中的PU的参考块之后，运动估计单元122可产生指示列表0中含有 参考块的参考图片的参考索引，W及指示PU与参考块之间的空间位移的运动向量。在各种 实例中，运动估计单元122可W不同精确度产生运动向量。举例来说，运动估计单元122可W 四分之一样本精确度、八分之一样本精确度或其它分数样本精确度产生运动向量。在分数 样本精确度的情况下，参考块值可从参考图片中的整数位置样本值内插。运动估计单元122 可将参考索引及运动向量输出为PU的运动信息。运动补偿单元124可基于由PU的运动信息 识别的参考块而产生PU的经预测视频块。
[0087] 如果PU处于B切片中，那么含有PU的图片可与被称作"列表0"和"列表r的两个参 考图片列表相关联。在一些实例中，含有B切片的图片可与为列表0与列表1的组合的列表组 合相关联。
[0088] 此外，如果PU在B切片中，那么运动估计单元122可对PU执行单向预测或双向预测。 当运动估计单元122对PU执行单向预测时，运动估计单元122可捜索列表0或列表1中的参考 图片W找出用于所述PU的参考块。运动估计单元122可接着产生指示列表0或列表1中的含 有参考块的参考图片的参考索引和指示PU与所述参考块之间的空间位移的运动向量。运动 估计单元122可输出参考索引、预测方向指示符和运动向量作为所述PU的运动信息。预测方 向指示符可指示参考索引指示列表0还是列表1中的参考图片。运动补偿单元124可基于由 PU的运动信息指示的参考块来产生PU的经预测视频块。
[0089] 当运动估计单元122针对PU执行双向预测时，运动估计单元122可捜索列表0中的 参考图片W找到用于所述PU的参考块，且还可捜索列表1中的参考图片W找到用于所述PU 的另一参考块。运动估计单元122可接着产生指示列表0和列表1中的含有参考块的参考图 片的参考索引，W及指示所述参考块与PU之间的空间位移的运动向量。运动估计单元122可 输出PU的参考索引及运动向量作为PU的运动信息。运动补偿单元124可基于由PU的运动信 息指示的参考块而产生PU的经预测视频块。
[0090] 在一些情况下，运动估计单元122不将PU的运动信息的完整集合输出到赌编码单 元116。实际上，运动估计单元122可参考另一 PU的运动信息用信号表示PU的运动信息。举例 来说，运动估计单元122可确定PU的运动信息足够类似于相邻PU的运动信息。在此实例中， 运动估计单元122可在与PU相关联的语法结构中指示一值，所述值向视频解码器30指示PU 具有与相邻PU相同的运动信息。在另一实例中，运动估计单元122可在与PU相关联的语法结 构中识别相邻PU和运动向量差(MVD)。运动向量差指示PU的运动向量与所指示的相邻PU的 运动向量之间的差。视频解码器30可使用所指示的相邻PU的运动向量和运动向量差来确定 PU的运动向量。通过在用信号表示第二PU的运动信息时参考第一PU的运动信息，视频编码 器20可能够使用较少的位用信号表示第二PU的运动信息。
[0091] 作为对CU执行编码操作的部分，帖内预测单元126可对CU的PU执行帖内预测。帖内 预测可提供空间压缩。当帖内预测单元12 6对PU执行帖内预测时，帖内预测单元12 6可基于 同一图片中的其它PU的经解码样本来产生用于PU的预测数据。用于PU的预测数据可包含经 预测视频块和各种语法元素。帖内预测单元126可对I切片、P切片和B切片中的PU执行帖内 预测。
[0092] 为了对PU执行帖内预测，帖内预测单元126可使用多个帖内预测模式W产生用于 PU的预测数据的多个集合。当帖内预测单元126使用帖内预测模式来产生用于PU的预测数 据的集合时，帖内预测单元126可在与帖内预测模式相关联的方向和/或梯度上跨PU的视频 块从相邻PU的视频块扩展样本。相邻PU可在所述PU的上方、右上方、左上方或左侧，假定对 于PU、CU和树块采用从左到右、从上到下的编码次序。帖内预测单元126可取决于PU的大小 而使用各种数目个帖内预测模式，例如33个方向性帖内预测模式。
[0093] 预测处理单元100可从由运动补偿单元124针对PU产生的预测数据或由帖内预测 单元126针对PU产生的预测数据当中选择用于PU的预测数据。在一些实例中，预测处理单元 100基于预测数据集合的速率/失真量度来选择用于PU的预测数据。
[0094] 如果预测处理单元100选择由帖内预测单元126产生的预测数据，那么预测处理单 元100可用信号表示用W产生用于PU的预测数据的帖内预测模式，例如，选定帖内预测模 式。预测处理单元100可W各种方式用信号表示所选帖内预测模式。举例来说，有可能所选 帖内预测模式与相邻PU的帖内预测模式相同。换句话说，相邻PU的帖内预测模式可为用于 当前PU的最可能模式。因此，预测处理单元100可产生用W指示选定帖内预测模式与相邻PU 的帖内预测模式相同的语法元素。
[00M]如上文所论述，视频编码器20可包含层间预测单元128。层间预测单元128经配置 W使用在对HEVC的可缩放扩展中可用的一或多个不同层(例如，基础或参考层)预测当前块 (例如，中的当前块）。此预测可称作层间预测。层间预测单元128利用预测方法来减少层 间冗余，进而改进译码效率且减少计算资源要求。层间预测的一些实例可包含层间帖内预 、层间运动预测及层间残余预测。层间帖内预测使用基础层中的协同定位块的重构来预 测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间 残余预测使用基础层的残余来预测增强层的残余。
[0096]在预测处理单元100选择用于CU的PU的预测数据之后，残余产生单元102可通过从 CU的视频块减去(例如，由减号指示)CU的PU的经预测视频块而产生用于CU的残余数据。CU 的残余数据可包含对应于CU的视频块中的样本的不同样本分量的2D残余视频块。举例来 说，残余数据可包含对应于CU的PU的经预测视频块中的样本的明度分量与CU的原始视频块 中的样本的明度分量之间的差的残余视频块。另外，CU的残余数据可包含对应于CU的PU的 预测视频块中的样本的色度分量与CU的原始视频块中的样本的色度分量之间的差的残余 视频块。
[0097] 预测处理单元100可执行四叉树分割W将CU的残余视频块分割成子块。每一未分 割残余视频块可与CU的不同TU相关联。与CU的TU相关联的残余视频块的大小及位置可基于 或可不基于与CU的PU相关联的视频块的大小及位置。被称为"残余四叉树"（RQT)的四叉树 结构可包含与残余视频块中的每一者相关联的节点。CU的TU可W对应于RQT的叶节点。
[0098] 变换处理单元104可通过将一或多个变换应用到与CU的每一 TU相关联的残余视频 块而产生用于所述TU的一或多个变换系数块。所述变换系数块中的每一者可为变换系数的 2D矩阵。变换处理单元104可将各种变换应用到与TU相关联的残余视频块。举例来说，变换 处理单元104可将离散余弦变换化CT)、方向性变换或概念上类似的变换应用到与TU相关联 的残余视频块。
[0099] 在变换处理单元104产生与TU相关联的变换系数块之后，量化单元106可量化所述 变换系数块中的变换系数。量化单元106可基于与CU相关联的QP值而对与CU的TU相关联的 变换系数块进行量化。
[0100] 视频编码器20可W各种方式使QP值与CU相关联。例如，视频编码器20可对与CU相 关联的树块执行速率失真分析。在速率失真分析中，视频编码器20可通过对树块执行多次 编码操作而产生所述树块的多个经译码表示。当视频编码器20产生树块的不同经编码表示 时，视频编码器20可使不同QP值与CU相关联。当给定QP值与具有最低位速率和失真度量的 树块的经译码表示中的CU相关联时，视频编码器20可用信号表示给定QP值与CU相关联。
[0101] 逆量化单元108和逆变换单元110可分别将逆量化及逆变换应用于变换系数块W 从变换系数块重构残余视频块。重构单元112可W将经重构的残余视频块添加到来自由预 测处理单元100产生的一或多个预测视频块的对应样本，W产生与TU相关联的经重构视频 块。通过W此方式重构CU的每一 TU的视频块，视频编码器20可重构CU的视频块。
[0102] 在重构单元112重构CU的视频块之后，滤波器单元113可执行解块操作W减小与所 述CU相关联的视频块中的成块假象。在执行一或多个解块操作之后，滤波器单元113可将CU 的经重构视频块存储在经解码图片缓冲器114中。运动估计单元122和运动补偿单元124可 使用含有经重构视频块的参考图片来对后续图片的PU执行帖间预测。另外，帖内预测单元 126可使用经解码图片缓冲器114中的经重构视频块对处于与CU相同图片中的其它PU执行 帖内预测。
[0103] 赌编码单元116可从视频编码器20的其它功能组件接收数据。举例来说，赌编码单 元116可从量化单元106接收变换系数块，且可从预测处理单元100接收语法元素。当赌编码 单元116接收所述数据时，赌编码单元116可执行一或多个赌编码操作W产生经赌编码数 据。举例来说，视频编码器20可对所述数据执行CAVLC操作、CABAC操作、可变到可变(V2V)长 度译码操作、基于语法的上下文自适应二进制算术译码（SBAC)操作、概率区间分割赌 (PIPE)译码，或另一类型的赌编码操作。赌编码单元116可输出包含经赌编码数据的位流。
[0104] 作为对数据执行赌编码操作的一部分，赌编码单元116可选择上下文模型。如果赌 编码单元116正执行CABAC操作，那么上下文模型可指示特定二进位具有特定值的概率的估 计。在CABAC的情况下，术语"二进位"用W指语法元素的二进制化版本的位。
[01化]多层视频编码器
[0106] 图2B为说明可实施根据本发明中描述的方面的技术的多层视频编码器23(也被简 称为视频编码器23)的实例的框图。视频编码器23可经配置W处理（例如）用于細VC和MV-肥VC的多层视频帖。此外，视频编码器23可经配置W执行本发明的技术中的任一者或全部。
[0107] 视频编码器23包含视频编码器20A和视频编码器20B，其中的每一者可经配置为视 频编码器20并且可执行上文关于视频编码器20所描述的功能。此外，如再使用参考数字所 指示，视频编码器20A和20B可包含系统及子系统中的至少一些作为视频编码器20。虽然将 视频编码器23说明为包含两个视频编码器20A和20B，但视频编码器23不受如此限制且可包 含任何数目的视频编码器20层。在一些实施例中，视频编码器23可包含针对存取单元中的 每一图片或帖的视频编码器20。例如，包含五个图片的存取单元可由包含五个编码器层的 视频编码器处理或编码。在一些实施例中，视频编码器23可包含比存取单元中的帖更多的 编码器层。在一些此类情况下，当处理一些存取单元时，一些视频编码器层可能不在作用 中。
[0108] 除了视频编码器20A及20B之外，视频编码器23可包含再取样单元90。在一些情况 下，再取样单元90可对所接收的视频帖的基础层进行上取样W例如创建增强层。再取样单 元90可对与帖的所接收的基础层相关联的特定信息上取样，但不对其它信息上取样。举例 来说，再取样单元90可上取样基础层的空间大小或像素数目，但切片的数目或图片次序计 数可保持恒定。在一些情况下，再取样单元90可不处理所接收的视频及/或可为任选的。例 如，在一些情况下，预测处理单元100可执行上取样。在一些实施例中，再取样单元90经配置 W对层进行上取样且重新组织、重新界定、修改或调整一或多个切片W符合一组切片边界 规则及/或光栅扫描规则。虽然主要描述为对基础层或存取单元中的较低层进行上取样，但 在一些情况下，再取样单元90可对层进行下取样。例如，如果在视频的流式传输期间减小带 宽，那么可对帖进行下取样而不是上取样。
[0109] 再取样单元90可经配置W从较低层编码器(例如，视频编码器20A)的经解码图片 缓冲器114接收图片或帖(或与图片相关联的图片信息)并对所述图片(或所接收的图片信 息）进行上取样。随后可将经上取样图片提供到较高层编码器(例如，视频编码器20B)的预 测处理单元100,所述较高层编码器经配置W编码与较低层编码器相同的存取单元中的图 片。在一些情况下，较高层编码器为从较低层编码器去除的一个层。在其它情况下，在图2B 的层0视频编码器与层1编码器之间可存在一或多个较高层编码器。
[0110] 在一些情况下，可省略或绕过再取样单元90。在运些情况下，可直接或在至少不提 供到再取样单元90的情况下将来自视频编码器20A的经解码图片缓冲器114的图片提供到 视频编码器20B的预测处理单元100。举例来说，如果提供到视频编码器20B的视频数据和来 自视频编码器20A的经解码图片缓冲器114的参考图片具有相同的大小或分辨率，那么可将 参考图片提供到视频编码器20B而没有任何再取样。
[0111] 在一些实施例中，视频编码器23使用下取样单元94下取样待提供到较低层编码器 的视频数据，随后将所述视频数据提供到视频编码器20A。替代地，下取样单元94可为能够 对视频数据上取样或下取样的再取样单元90。在另外其它实施例中，可省略下取样单元94。
[0112] 如图2B中所说明，视频编码器23可进一步包含多路复用器(或mux)98。多路复用器 98可输出来自视频编码器23的组合位流。通过从视频编码器20A和20B中的每一者取得位流 且使在给定时间输出哪一位流进行交替可产生组合位流。虽然在一些情况下，可一次一个 位地交替来自两个(或在两个W上视频编码器层的情况下，两个W上)位流的位，但在许多 情况下，不同地组合所述位流。举例来说，可通过一次一个块地交替选定位流来产生输出位 流。在另一实例中，可通过从视频编码器20A和20B中的每一者输出非1:1比率的块来产生输 出位流。举例来说，可从视频编码器20B输出用于从视频编码器20A输出的每一块的两个块。 在一些实施例中，可预编程来自多路复用器98的输出流。在其它实施例中，多路复用器98可 基于从视频编码器23外部的系统（例如从包含源装置12的源装置上的处理器)接收的控制 信号而组合来自视频编码器20AJ0B的位流。可基于来自视频源18的视频的分辨率或位速 率、基于链路16的带宽、基于与用户相关联的预订(例如，付费预订与免费预订)或基于用于 确定来自视频编码器23的所要分辨率输出的任何其它因素而产生控制信号。
[。…]视频解码器
[0114] 图3A是说明可实施本发明中描述的方面的技术的视频解码器30的实例的框图。视 频解码器30可经配置W处理视频帖的单层(例如针对皿VC)。此外，视频解码器30可经配置 W执行本发明的技术中的任一者或全部。在一些实例中，本发明中描述的技术可在视频解 码器30的各种组件之间共享。在一些实例中，另外或替代地，处理器(未图示)可经配置W执 行本发明中描述的技术中的任一者或全部。
[0115] 出于解释的目的，本发明在皿VC译码的上下文中描述视频解码器30。然而，本发明 的技术可W适用于其它译码标准或方法。图3A中所描绘的实例是针对单层编解码器。然而， 如将关于图3B进一步描述，可复制视频编码器30中的一些或全部W用于多层编解码器的处 理。
[0116] 在图3A的实例中，视频解码器30包含多个功能组件。视频解码器30的功能组件包 含赌解码单元150、预测处理单元152、逆量化单元154、逆变换单元156、重构单元158、滤波 器单元159和经解码图片缓冲器160。预测处理单元152包含运动补偿单元162、帖内预测单 元164和层间预测单元166。在一些实例中，视频解码器30可执行与关于图2A的视频编码器 20描述的编码遍次大体互逆的解码遍次。在其它实例中，视频解码器30可包含较多、较少或 不同的功能组件。
[0117] 视频解码器30可接收包括经编码视频数据的位流。所述位流可包含多个语法元 素。当视频解码器30接收到位流时，赌解码单元150可对所述位流执行剖析操作。对位流执 行剖析操作的结果是，赌解码单元150可从所述位流提取语法元素。作为执行剖析操作的一 部分，赌解码单元150可对位流中的经赌编码语法元素进行赌解码。预测处理单元152、逆量 化单元154、逆变换单元156、重构单元158及滤波器单元159可执行重构操作，重构操作基于 从位流提取的语法元素产生经解码视频数据。
[011引如上文所论述，位流可包括一系列NAL单元。位流的NAL单元可包含视频参数集NAL 单元、序列参数集NAL单元、图片参数集NAL单元、SEI NAL单元等等。作为对位流执行剖析操 作的一部分，赌解码单元150可执行剖析操作，所述剖析操作从序列参数集NAL单元提取且 赌解码序列参数集、从图片参数集NAL单元提取且赌解码图片参数集、从SEI NAL单元提取 且赌解码SEI数据等等。
[0119]此外，位流的NAL单元可包含经译码切片NAL单元。作为对位流执行剖析操作的部 分，赌解码单元150可执行剖析操作，所述剖析操作从经译码切片NAL单元提取且赌解码经 译码切片。经译码切片中的每一者可包含切片标头W及切片数据。切片标头可W含有关于 切片的语法元素。切片标头中的语法元素可包含识别与含有所述切片的图片相关联的图片 参数集的语法元素。赌解码单元150可对经译码切片标头中的语法元素执行赌解码操作(例 如，CABAC解码操作），W恢复切片标头。
[0120] 作为从经译码切片NAL单元提取切片数据的部分，赌解码单元150可执行从切片数 据中的经译码CU提取语法元素的剖析操作。所提取的语法元素可包含与变换系数块相关联 的语法元素。赌解码单元150可接着对语法元素中的一些执行CABAC解码操作。
[0121] 在赌解码单元150对未分割的CU执行剖析操作之后，视频解码器30可对未分割的 CU执行重构操作。为对未经分割CU执行重构操作，视频解码器30可对CU的每一 TU执行重构 操作。通过对CU的每一 TU执行重构操作，视频解码器30可重构与CU相关联的残余视频块。
[0122] 作为对TU执行重构操作的一部分，逆量化单元154可逆量化(例如，解量化)与TU相 关联的变换系数块。逆量化单元154可W类似于针对肥VC所提议或由H. 264解码标准定义的 逆量化过程的方式来逆量化变换系数块。逆量化单元154可使用由视频编码器20针对变换 系数块的C听十算的量化参数QP来确定量化程度，且同样地，确定逆量化单元154应用的逆量 化的程度。
[0123] 在逆量化单元154逆量化变换系数块之后，逆变换单元156可产生用于与变换系数 块相关联的TU的残余视频块。逆变换单元156可将逆变换应用到变换系数块W便产生所述 TU的残余视频块。举例来说，逆变换单元156可将逆DCT、逆整数变换、逆卡忽南-拉维 化arhunen-Loeve)变换化LT)、逆旋转变换、逆定向变换或另一逆变换应用于变换系数块。 在一些实例中，逆变换单元156可基于来自视频编码器20的信令而确定适用于变换系数块 的逆变换。在运些实例中，逆变换单元156可基于在用于与变换系数块相关联的树块的四叉 树的根节点处的用信号表示的变换来确定逆变换。在其它实例中，逆变换单元156可从例如 块大小、译码模式或类似者等一或多个译码特性推断逆变换。在一些实例中，逆变换单元 156可应用级联的逆变换。
[0124] 在一些实例中，运动补偿单元162可通过基于内插滤波器执行内插而精炼PU的预 测视频块。用于将用于W子样本精确度进行运动补偿的内插滤波器的识别符可包含在语法 元素中。运动补偿单元162可使用由视频编码器20在产生PU的经预测视频块期间使用的相 同内插滤波器来计算参考块的子整数样本的内插值。运动补偿单元162可根据所接收的语 法信息而确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测视频 块。
[0125] 如果PU是使用帖内预测编码，那么帖内预测单元164可执行帖内预测W产生用于 PU的经预测视频块。举例来说，帖内预测单元164可基于位流中的语法元素确定用于PU的帖 内预测模式。位流可包含帖内预测模块164可用W确定PU的帖内预测模式的语法元素。
[0126] 在一些情况下，语法元素可指示帖内预测单元164将使用另一PU的帖内预测模式 来确定当前PU的帖内预测模式。举例来说，可能有可能当前PU的帖内预测模式与相邻PU的 帖内预测模式相同。换句话说，相邻PU的帖内预测模式可为用于当前PU的最可能模式。因 此，在此实例中，位流可包含小语法元素，所述小语法元素指示PU的帖内预测模式与相邻PU 的帖内预测模式相同。帖内预测单元164可接着使用帖内预测模式基于空间相邻PU的视频 块而产生PU的预测数据(例如，经预测样本）。
[0127]如上文所论述，视频解码器30还可包含层间预测单元166。层间预测单元166经配 置W使用在对HEVC的可缩放扩展中可用的一或多个不同层(例如，基础或参考层)预测当前 块(例如，增强层中的当前块）。此预测可称作层间预测。层间预测单元166利用预测方法减 少层间冗余，借此改进译码效率且降低计算资源要求。层间预测的一些实例包含层间帖内 预测、层间运动预测及层间残余预测。层间帖内预测使用基础层中的协同定位块的重构来 预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层 间残余预测使用基础层的残余来预测增强层的残余。W下更详细地论述层间预测方案中的 每一者。
[01%]重构单元158可使用与CU的TU相关联的残余视频块和CU的PU的经预测视频块(例 如，帖内预测数据或帖间预测数据，如果适用)来重构CU的视频块。因此，视频解码器30可基 于位流中的语法元素而产生所预测的视频块及残余视频块，且可基于所预测的视频块及残 余视频块而产生视频块。
[0129]在重构单元158重构CU的视频块之后，滤波器单元159可执行解块操作W减少与所 述CU相关联的成块假象。在滤波器单元159执行解块操作W减小与CU相关联的成块假象之 后，视频解码器30可将所述CU的视频块存储在经解码图片缓冲器160中。经解码图片缓冲器 160可提供参考图片W用于后续运动补偿、帖内预测和在例如图IA或IB的显示装置32等显 示装置上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器160中的视频块对其它 CU的PU执行帖内预测或帖间预测操作。
[0。0]多层解码器
[0131] 图3B是说明可实施根据本发明中所描述的方面的技术的多层视频解码器33(也被 简称为视频解码器33)的实例的框图。视频解码器33可经配置W处理多层视频帖，例如，用 于SHVC及多视图译码。另外，视频解码器33可经配置W执行本发明的技术中的任一者或全 部。
[0132] 视频解码器33包含视频解码器30A和视频解码器30B，其中的每一者可被配置为视 频解码器30且可执行上文关于视频解码器30所描述的功能。此外，如再使用参考数字所指 示，视频解码器30A和30B可包含系统及子系统中的至少一些作为视频解码器30。尽管将视 频解码器33说明为包含两个视频解码器30A和30B，但视频解码器33不受此限制且可包含任 何数目个视频解码器30层。在一些实施例中，视频解码器33可包含用于存取单元中的每一 图片或帖的视频解码器30。举例来说，可由包含五个解码器层的视频解码器处理或解码包 含五个图片的存取单元。在一些实施例中，视频解码器33可包含比存取单元中的帖多的解 码器层。在一些此类情况下，当处理一些存取单元时，一些视频解码器层可能不在作用中。
[0133] 除了视频解码器30A和30B之外，视频解码器33还可包含上取样单元92。在一些实 施例中，上取样单元92可上取样所接收的视频帖的基础层W创建将添加到用于帖或存取单 元的参考图片列表的增强型层。此增强型层可存储在经解码图片缓冲器160中。在一些实施 例中，上取样单元92可包含关于图2A的再取样单元90描述的实施例中的一些或全部。在一 些实施例中，上取样单元92经配置W对层进行上取样且重新组织、重新界定、修改或调整一 或多个切片W符合一组切片边界规则和/或光栅扫描规则。在一些情况下，上取样单元92可 为经配置W对所接收的视频帖的层上取样及/或下取样的再取样单元。
[0134] 上取样单元92可经配置W从较低层解码器(例如，视频解码器30A)的经解码图片 缓冲器160接收图片或帖(或与图片相关联的图片信息)并对所述图片(或所接收的图片信 息）进行上取样。随后可将此经上取样图片提供到较高层解码器(例如，视频解码器30B)的 预测处理单元152,所述较高层解码器经配置W解码与较低层解码器相同的存取单元中的 图片。在一些情况下，较高层解码器为从较低层解码器移除的一个层。在其它情况下，在图 3B的层0解码器与层1解码器之间可存在一或多个较高层解码器。
[0135] 在一些情况下，可省略或绕过上取样单元92。在此些情况下，可直接提供来自视频 解码器30A的经解码图片缓冲器160的图片到视频解码器30B的预测处理单元152,或至少不 提供到上取样单元92。例如，如果提供到视频解码器30B的视频数据及来自视频解码器30A 的经解码图片缓冲器160的参考图片具有相同的大小或分辨率，那么可将参考图片提供到 视频解码器30B而不需要上取样。另外，在一些实施例中，上取样单元92可为经配置W对从 视频解码器30A的经解码图片缓冲器160接收的参考图片上取样或下取样的再取样单元90。
[0136] 如图3B中所说明，视频解码器33可进一步包含多路分用器(或demux)99。多路分用 器99可将经编码视频位流分裂成多个位流，其中由多路分用器99输出的每一位流被提供到 不同的视频解码器30A和30B。可通过接收位流来产生多个位流，且视频解码器30A和30B中 的每一者在给定时间接收位流的一部分。虽然在一些情况下，可在视频解码器(例如，在图 3B的实例中的视频解码器30A和30B)中的每一者之间一次一个位地交替来自在多路分用器 99处接收的位流的位，但在许多情况下，W不同方式划分所述位流。举例来说，可通过一次 一个块地交替哪一视频解码器接收位流而划分所述位流。在另一实例中，可通过到视频解 码器30A和30B中的每一者的块的非1:1比率来划分位流。举例来说，可针对提供到视频解码 器30A的每一块将两个块提供到视频解码器30B。在一些实施例中，可预编程由多路分用器 99对位流的划分。在其它实施例中，多路分用器99可基于从视频解码器33外部的系统（例 如，从包含目的地模块14的目的地装置上的处理器)接收的控制信号而划分位流。可基于来 自输入接口 28的视频的分辨率或位速率、基于链路16的带宽、基于与用户相关联的预订(例 如，付费预订与免费预订)或基于用于确定可由视频解码器33获得的分辨率的任何其它因 素而产生控制信号。
[0。7] 帖内随机存取点（IRAP)图片
[0138] -些视频译码方案可提供贯穿位流的各种随机存取点W使得可从那些随机存取 点中的任一者开始解码位流而无需解码在位流中在那些随机存取点之前的任何图片。在此 类视频译码方案中，可正确地解码除随机存取跳过前导(RA化)图片外的按解码次序跟随随 机存取点的所有图片，而不需使用在所述随机存取点之前的任何图片。举例来说，即使位流 的一部分在发射期间或在解码期间丢失，解码器也可从下一随机存取点开始恢复解码位 流。对随机存取的支持可促进(例如)动态流式传输服务、捜寻操作、信道切换等。
[0139] 在一些译码方案中，此些随机存取点可由称为帖内随机存取点（IRAP)图片的图片 提供。举例来说，包含于存取单元（"auA")中的与增强层（"层A")中的增强层IRAP图片相关 联的随机存取点可提供层特定随机存取，W使得对于层A的具有与包含于在层B中且按解码 次序在auA之前的存取单元（"auB")中的图片相关联的随机存取点（或包含于auA中的随机 存取点）的每一参考层（"层B")(例如，作为用W预测层A的层的参考层），可正确解码层A中 按解码次序跟随auA的图片（包含位于auA中的那些图片）而无需解码层A中在auA之前的任 何图片。
[0140] IRAP图片可使用帖内预测（例如，在不参考其它图片的情况下进行译码)和/或层 间预测经译码，且可包含（例如）即时解码器刷新（IDR)图片、清洁随机存取(CRA)图片和断 链存取(BLA)图片。当在位流中存在IDR图片时，按解码次序在IDR图片之前的所有图片不用 于通过在所述IDR图片之后的图片的预测。当在位流中存在CRA图片时，在CRA图片之后的图 片可或可不将按解码次序在CRA图片之前的图片用于预测。按解码次序在CRA图片之后但使 用按解码次序在CRA图片之前的图片的那些图片可称作RA化图片。按解码次序可在IRAP图 片之后且按输出次序在IRAP图片之前的另一类型的图片为随机存取可解码前导（RA化）图 片，其可不含有对按解码次序在IRAP图片之前的任何图片的参考。如果在CRA图片之前的图 片不可用，那么RA化图片可由解码器丢失。BLA图片对解码器指示在BLA图片之前的图片可 能不对解码器可用(例如，因为两个位流经拼接在一起且BLA图片为按解码次序的第二位流 的第一图片）。含有为IRAP图片的基础层图片(例如，具有层ID值0)的存取单元(例如，由与 跨越多个层相同的输出时间相关联的所有经译码图片组成的图片群组)可称作IRAP存取单 J L O
[0141] 位流末端NAL单元
[0142] 图4是说明根据实施例的多层位流的存取单元的框图。如图4中所展示，存取单元 400包含第一视频译码层(V化)NAL单元460且可包含一或多个其它任选的NAL单元。举例来 说，存取单元400可包含W下各项中的每一者的一或多个:存取单元定界符NAL单元410、VPS NAL单元420、SPS NAL单元430、PPS NAL单元440、前缀沈I NAL单元450、额外经译码图片或 非V化NAL单元470，W及EoB NAL单元480。取决于实施方案的方面可包含列出的任选的NAL 单元中的每一者，且取决于用W对存取单元进行编码或解码的视频译码方案也可W包含其 它语法结构。
[0143] 根据皿VC方案，当EoB NAL单元480存在于存取单元400中时，下一存取单元将为 IRAP存取单元，其可为IDR存取单元、BLA存取单元或CRA存取单元，W便经译码位流符合 肥VC方案。因此，当包含在存取单元中时，EoB NAL单元480指示随后的存取单元是IRAP存取 单元。
[0144] 在常规单层译码方案（例如，皿VC版本1)中，每一存取单元唯一地对应于单个图 片。举例来说，在采用恢复点SEI消息方面，由于每一存取单元含有单个图片，因此术语"存 取单元"与"图片"能够在单层译码方案的上下文中互换使用。然而，多层译码方案的存取单 元可包含针对位流的每一层的单独图片。换句话说，在多层位流中，单个存取单元可含有 (即，包含或包括)多个图片。在例如MV-HEVC和SHVC等一些多层译码实施方案中，每一NAL单 元包含层识别符，其识别所述NAL单元属于的层。因此，基于EoB NAL单元的层识别符的值而 界定EoB NAL单元的层。在常规单层译码方案中，用于全部NAL单元的层识别符限于同一层， 即层零。换句话说，常规单层译码方案的NAL单元全部识别为属于同一层。然而，在多层译码 方案中，对NAL单元内包含的层识别符不存在此些限制，包含与EoB NAL单元相关联的层识 别符。
[0145] 由于多层译码方案中EoB NAL单元的层识别符的不受限制的性质，当EoB NAL单元 具有除零之外的值的层识别符时可能发生许多不合意的解码错误。作为一实例，经译码位 流可包含基础层(BL)和增强层巧L)。当编码器与解码器之间的带宽受限制或下降到低于某 一水平时，所述增强层(或具有除层零外的层识别符的其它层)可从位流丢失(或经不正确 地处理)而节省带宽。运可例如当视频编码器(例如，视频编码器20或视频编码器23)与视频 解码器(例如，视频解码器30或视频解码器33)之间的带宽受到限制时发生。在此情形下，如 果EoB NAL单元具有带有值一（"n的层识别符，即，EoB NAL单元包含于增强层化L)中，那 么所述EoB NAL单元将从位流丢失且将不被解码器接收。
[0146] 存在许多依赖于EoB NAL单元内含有的信息的译码方案的功能性。因此，当EoB NAL单元从位流丢失时，运些功能将不会如预期那样执行。在一个实例中，解码器可基于EoB NAL单元是否存在于紧邻清洁随机存取(CRA)存取单元之前而W不同方式对包含CRA存取单 元的位流进行解码。因此，如果EoB NAL单元从增强层丢失，那么随后的CRA存取单元的解码 将不会如预期那样执行。类似地，其它解码功能性依赖于EoB NAL单元的存在W进行恰当解 码，且因此，当EoB NAL单元具有指示除层零外的层的层识别符值时，EoB NAL单元可丢失， 因为其包含在除基础层外的层中，有可能解码器将不能够恰当地解码位流。
[0147] 另外，多层译码标准并不界定任何额外功能性W允许EoB NAL单元具有除零之外 的值的层识别符。因此，在本发明的至少一个实施例中，将全部EoB NAL单元设定成具有零 的层识别符。具体来说，根据本发明，基于EoB NAL单元具有零的层识别符的约束而执行位 流的编码。通过将全部EoB NAL单元的层识别符限制于层零，NAL单元将不丢失(或经不正确 地处理），因为如上文所论述仅具有除层零外的层识别符的NAL单元丢失。
[014引 些查
[0149] 视频译码方案可维持与经译码视频序列(CVS)的图片相关联的RPS。用于给定图片 的WS含有包含按解码次序在相关联图片之前的可W用于相关联图片的帖间预测的全部参 考图片或按解码次序在相关联图片之后的任何图片的参考图片集合。作为一实例，在皿VC 方案中，RPS包含五个RPS列表，其中S个共同地称为短期RPS，且剩余两个共同称为长期 RPS。短期WS含有可W用于相关联图片W及按解码次序在相关联图片之后的一或多个图片 的帖间预测的全部参考图片。长期RPS含有不用于相关联图片的帖间预测但可W用于按解 码次序在相关联图片之后的一或多个图片的帖间预测的全部参考图片。
[0150] 图5是说明编码器或解码器如何产生RPS的实例的框图。在W下描述中，经解码图 片缓冲器510将描述为包含在解码器(例如，视频解码器30或视频解码器33)中，然而W下相 等地适用于编码器。如图5中所展示，解码器的经解码图片缓冲器510中保持多个图片520到 528"RPS可针对图片产生且可包含对经解码图片缓冲器510中包含的图片的参考。第一 RPS 列表530包含图片520、522、526和528,而第二RPS列表540包含图片520、524、526和528。图5 的实施例仅是实例且包含在WS中的图片可为来自位流的根据用W对位流进行编码的译码 方案的条件而用于参考的任何图片。RPS列表530和540可为包含用作用于对同一层内的图 片进行解码的参考的图片的常规RPS列表，或可为用于对不同层中的图片进行解码的层间 WS列表。
[0151] 例如对肥VC方案的可缩放和多视图扩展等多视图视频译码方案将WS的使用扩展 到包含用于层间预测的RPS。在一些实施例中，针对位流的每一层界定RPS，即，每一图片维 持其自身的RPS。此外，可提供额外RPS，其包含用于相关联图片的层间预测的图片的列表。 用于每一图片的层间RPS可划分成对应于位流的层的子集。举例来说，在2层位流中，层间 WS可划分成层零子集和层一子集，其在下文将分别称为WS层间零和WS层间一。
[0152] 如先前描述，图片可出于例如带宽要求等各种原因而从位流丢失（或经不正确地 处理），或图片可在编码器与解码器之间的发射中失去。当候选层间参考图片不存在于由解 码器接收的位流中时，即未接收到WS层间子集中经识别的参考图片时，应将指示无参考图 片存在的"无参考图片"的条目插入到对应RPS层间子集中。可基于当前层的视图识别符 (ID)、候选层间参考图片属于的层的视图IDW及基础层的视图ID而确定适当子集。此处，视 图ID是指类似于层ID且可指代多视图编码标准内的图片的视图。
[0153] 在当前的可缩放和多视图扩展中，"无参考图片"条目仅输入到WS层间零中，即使 已所述解码器接收的候选层间参考图片原本将已经添加到WS层间一。此行为是不合意的， 因为应在遗失的层间参考图片将已经输入的位置中指示"无参考图片"的条目。无校正的情 况下，此行为可导致当层间参考图片遗失时两个RPS层间子集中的层间参考图片的不合需 要的或不正确的相对定位。另外，此行为也可导致包含于WS层间子集中的列表的大小不正 确。运可潜在地导致当解码位流时层间参考图片的不正确参考。因此，本发明的另一目的是 校正此行为。
[0154] 在一个实施例中，当前图片的视图ID用W确定"无参考图片"的条目插入到哪一 RPS层间子集中。举例来说，当候选层间参考图片对于图片不存在时，基于遗失的层间参考 图片的视图I明尋"无参考图片"的条目包含到对应WS层间子集中。在其它实施例中，在哪一 RPS层间子集对应于遗失的候选层间参考图片的确定中也可W使用其它层的视图ID。举例 来说，在所述确定中可W使用候选层间参考图片的视图ID和基础层的视图ID。因此，通过将 "无参考图片'的条目包含到对应R哟！间子集中，可校正RPS层间子集中的层间参考图片的 相对定位，且也可校正WS层间子集的相应大小。
[0155] 本发明的另一方面可解决位流的发射损失的不正确推断。可缩放和多视图扩展提 出包含可抛弃的旗标，所述旗标指示与所述可抛弃旗标相关联的图片是否既不用于任何其 它图片的层间预测也不用于任何其它图片的帖间预测。在一些实施例中，此旗标包含在位 流的切片标头中，且针对相关联图片内的全部切片片段具有相同值。在常规多层译码方案 中，当图片具有指示所述图片可抛弃的相关联可抛弃旗标时，没有所述可抛弃图片不存在 于任何时间或层间WS中的要求。此外，常规方案也不会不允许可抛弃图片存在于参考图片 列表中，只要没有PU参考可抛弃图片中的PU即可。因此，可抛弃图片可包含在RPS或参考图 片列表中，只要其不用于参考即可。
[0156] 如果可抛弃图片包含在WS或参考图片列表中，那么由于所述包含，解码器可能不 正确地推断损失和/或可能引入带宽和解码低效率。举例来说，当在带宽约束下时，可从位 流移除可抛弃图片W便节省带宽，因为当解码位流中的其它图片时其将不用于参考。当抛 弃的图片包含在RPS中时，解码器将辨识出抛弃的图片可W用于由尚未在解码器处接收的 另一图片参考。由于解码器辨识出抛弃的图片可W用于参考，因此其可请求从编码器重新 发射抛弃的图片。此行为将减少在抛弃可抛弃图片中初始地获得的带宽节省，且导致解码 器中的低效率。
[0157] 因此，在至少一个实施例中，不允许与指示图片可抛弃（即，具有值一）的可抛弃旗 标相关联的图片包含在层间WS或时间WS中。
[0158] 在另一实施例中，用于参考的旗标可与图片唯一地相关联。用于参考的旗标指示 相关联图片是否包含在至少一个WS中。在此实施例中，仅准许具有值为一的用于参考的旗 标的图片包含在WS中。
[0159] 用于对视频信息进行编码的实例流程图
[0160] 参考图6,将描述基于具有值零的层识别值的EoB NAL单元对视频信息进行编码的 实例程序。图6是说明根据实施例的用于对视频信息进行编码的方法600的流程图。图6中说 明的步骤可由视频编码器(例如，视频编码器20或视频编码器23 )、视频解码器(例如，视频 解码器30或视频解码器33)或任何其它组件执行。为方便起见，将方法600描述为由视频编 码器(也简称为编码器)执行，其可为视频编码器20或23、视频解码器30或33或另一组件。
[0161] 方法600开始于框601。在框605处，编码器确定包含在视频信息中的存取单元是否 包含EoB NAL单元。在框610处，编码器根据约束将用于EoB NAL单元的层识别值设定为零。 待编码视频信息包含至少一个EoB NAL单元，其包含识别所述EoB NAL单元属于的层的层识 别值。在框615处，编码器至少部分地基于层识别值的为零的值而对视频信息进行编码。所 述方法在620处结束。
[0162] 参考图7,将描述指示用于视频解码的RPS层间子集中不存在参考图片的实例程 序。图7是说明根据实施例的用于对视频信息进行解码的方法700的流程图。图7中说明的步 骤可由视频编码器(例如，视频编码器20或视频编码器23)、视频解码器(例如，视频解码器 30或视频解码器33)或任何其它组件执行。为方便起见，将方法700描述为由视频解码器(也 简称为解码器)执行，其可为视频编码器20或23、视频解码器30或33或另一组件。
[0163] 方法700开始于框701。在框705处，解码器确定候选层间参考图片是否存在于视频 信息中。图片可响应于带宽限制而从经译码视频信息丢失，或可在从编码器的发射期间意 外地失去。因此，解码器可通过确定候选层间参考图片是否存在而确定候选层间参考图片 是否已从视频信息丢失。
[0164] 所述方法在框710处继续，其中解码器响应于确定候选层间参考图片不存在而确 定候选层间参考图片属于的WS层间子集。举例来说，此确定可包含确定候选层间参考图片 如果存在于视频信息中则将已包含在哪一子集中。在一些实施例中，运可包含确定当前层 的视图ID、候选层间参考图片的视图ID和/或基础层的视图ID。
[0165] 在框715处继续，解码器指示无参考图片存在于候选层间参考图片属于的WS层间 子集中。所述方法在720处结束。
[0166] 参考图8,将描述用于确定是否在用于视频译码的RPS中包含图片的实例程序。图8 是说明根据实施例的用于对视频信息进行编码的方法800的流程图。图8中说明的步骤可由 编码器(例如，视频编码器20或视频编码器23)、视频解码器(例如，视频解码器30或视频解 码器33)或任何其它组件执行。为方便起见，将方法800描述为由视频编码器执行，其可为视 频编码器20或23、视频解码器30或33或另一组件。
[0167] 方法800开始于框801。在框805处，编码器确定视频信息的当前图片是否是可抛弃 图片。每一图片例如包含指示所述图片是否是可抛弃图片的可抛弃旗标。在一些实施例中， 仅当图片不包含在任何WS中时才可将其识别为可抛弃图片。
[0168] 所述方法在框810处继续，其中编码器基于当前图片是可抛弃图片的确定而避免 在WS中包含当前图片。所述方法在815处结束。
[0169] 在方法600至化00中，可移除(例如，不执行）图6至化中所示的框中的一或多者和/或 可切换所述方法执行的次序。在一些实施例中，可对方法600至化00添加额外的框。本发明的 实施例不限于图6至化中所示的实例，且在不脱离本发明的精神的情况下可实施其它变化。
[0170] 实例实施方案
[0171] 下文概括且描述一些实施例。当再现皿VC规范的某些部分W说明可经并入W实施 本文所描述的方法中的一或多者的添加和删除时，分别W斜体字和展示此些修改。 [017。与EoB NAL单元相关的改变
[0173] 在本发明的一些实施方案中，可如下所述修改EoB NAL单元。
[0174]
[01巧]表1-EoB NAL单元语义修改
[017W 对层间RPS的解码过程的改变
[0177]在本发明的一些实施方案中，可如下所述修改层间RPS。
[017 引 [
[0180] 表2-层间RPS语义修改
[0181] 对RPS的解码过程的改变
[0182] 在一些实施方案中（例如，SHVC、MV-HEVC等），可如下所述修改RPS。
[0183]
[0185] 表3-RPS语义修改 [01化]其它考虑
[0187] 可使用多种不同技术和技艺中的任一者来表示本文中所掲示的信息和信号。例 如，可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或或其任何组合来表示贯穿W 上描述可能参考的数据、指令、命令、信息、信号、位、符号和码片。
[0188] 结合本文掲示的实施例所描述的各种说明性逻辑块、电路及算法步骤可实施为电 子硬件、计算机软件，或两者的组合。为清晰地说明硬件与软件的此可互换性，W上已大体 就其功能性来描述了各种说明性组件、块、电路和步骤。此功能性是实施为硬件还是软件取 决于特定应用及施加于整个系统的设计约束。熟练的技术人员可针对每一特定应用W不同 方式实施所描述的功能性，但此类实施决策不应被解释为引起偏离本发明的范围。
[0189] 本文中所描述的技术可W硬件、软件、固件或其任一组合来实施。所述技术可实施 于多种装置中的任一者中，例如通用计算机、无线通信装置手持机或集成电路装置，其具有 包含在无线通信装置手持机及其它装置中的应用的多种用途。被描述为组件的任何特征可 共同实施于集成逻辑装置中或单独实施为离散但可互操作的逻辑装置。如果W软件实施， 那么所述技术可至少部分地由包括程序代码的计算机可读数据存储媒体来实现，所述程序 代码包含在执行时执行上文所描述的方法中的一或多者的指令。计算机可读数据存储媒体 可形成计算机程序产品的一部分，所述计算机程序产品可包含封装材料。计算机可读媒体 可包括存储器或数据存储媒体，例如随机存取存储器(RAM)(例如，同步动态随机存取存储 器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存 储器化EPROM)、快闪存储器、磁性或光学数据存储媒体及类似物。另外或作为替代，所述技 术可至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体W指令或数据结 构的形式载运或传达程序代码且可由计算机存取、读取和/或执行（例如，传播的信号或 波)。
[0190] 程序代码可由处理器执行，所述处理器可包含一或多个处理器，例如，一或多个数 字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或 其它等效集成或离散逻辑电路。此处理器可经配置W执行本发明中描述的技术中的任一 者。通用处理器可为微处理器;但在替代方案中，处理器可为任何常规处理器、控制器、微控 制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处 理器、一或多个微处理器结合DSP核屯、，或任何其它此类配置。因此，如本文中所使用的术语 "处理器"可指前述结构中的任一者、前述结构的任何组合，或适用于实施本文中所描述的 技术的任何其它结构或设备。另外，在某些方面中，可将本文中所描述的功能性提供于经配 置W用于编码和解码的专用软件或硬件内或并入组合的视频编码器-解码器（编解码器） 中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。
[0191] 本发明的技术可在多种多样的装置或设备中实施，包含无线手持机、集成电路 (IC)或一组IC(例如，忍片组）。本发明中描述各种组件或单元是为了强调经配置W执行所 掲示技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述， 各种单元可W配合合适的软件和/或固件组合在编解码器硬件单元中，或者通过互操作硬 件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
[0192] 已描述本发明的各种实施例。运些和其它实施例在所附权利要求书的范围内。
【主权项】
1. 一种用于对多层位流的视频信息进行编码的方法，其包括： 确定所述视频信息的当前图片是否为可抛弃图片； 基于所述当前图片是可抛弃图片的所述确定而避免在参考图片集RPS中包含所述当前 图片。2. 根据权利要求1所述的方法，其中所述确定所述当前图片是否为可抛弃图片包括确 定所述当前图片是否用于层间预测或帧间预测，可抛弃图片是不用于层间预测或帧间预测 的图片。3. 根据权利要求1所述的方法，其中确定所述当前图片是否为可抛弃图片是至少部分 地基于与所述当前图片相关联的指示所述当前图片是否用于层间预测或帧间预测的可抛 弃值。4. 根据权利要求3所述的方法，其中所述可抛弃值是可抛弃旗标，且其中当所述可抛弃 旗标具有等于1的值时所述可抛弃旗标指示所述当前图片是可抛弃图片。5. 根据权利要求1所述的方法，其中所述RPS包括层间RPS或时间RPS。6. 根据权利要求1所述的方法，其进一步包括至少部分地基于所述RPS对所述视频信息 进行编码。7. -种用于对多层位流的视频信息进行编码的装置，其包括： 存储器，其经配置以存储所述视频信息；以及 处理器，其与所述存储器通信且经配置以： 确定所述视频信息的当前图片是否为可抛弃图片；以及 基于所述当前图片是可抛弃图片的所述确定而避免在参考图片集RPS中包含所述当前 图片。8. 根据权利要求7所述的装置，其中所述处理器进一步经配置以确定所述当前图片是 否用于层间预测或帧间预测，且其中可抛弃图片是不用于层间预测或帧间预测的图片。9. 根据权利要求7所述的装置，其中所述处理器进一步经配置以至少部分地基于与所 述当前图片相关联的指示所述当前图片是否用于层间预测或帧间预测的可抛弃值而确定 所述当前图片是否为可抛弃图片。10. 根据权利要求9所述的装置，其中所述可抛弃值是可抛弃旗标，且其中当所述可抛 弃旗标具有等于1的值时所述可抛弃旗标指示所述当前图片是可抛弃图片。11. 根据权利要求7所述的装置，其中所述RPS包括层间RPS或时间RPS。12. 根据权利要求7所述的装置，其中所述处理器进一步经配置以至少部分地基于所述 RPS对所述视频信息进行编码。13. -种设备，其包括： 用于确定视频信息的当前图片是否为可抛弃图片的装置；以及 用于基于所述当前图片是可抛弃图片的所述确定而避免在参考图片集RPS中包含所述 当前图片的装置。14. 根据权利要求13所述的设备，其中所述用于确定所述当前图片是否为可抛弃图片 的装置包括用于确定所述当前图片是否用于层间预测或帧间预测的装置，可抛弃图片是不 用于层间预测或帧间预测的图片。15. 根据权利要求13所述的设备，其中所述用于确定所述当前图片是否为可抛弃图片 的装置包括用于确定与所述当前图片相关联的指示所述当前图片是否用于层间预测或帧 间预测的可抛弃值的装置。16. 根据权利要求15所述的设备，其中所述可抛弃值是可抛弃旗标，且其中当所述可抛 弃旗标具有等于1的值时所述可抛弃旗标指示所述当前图片是可抛弃图片。17. 根据权利要求13所述的设备，其中所述RPS包括层间RPS或时间RPS。18. 根据权利要求13所述的设备，其进一步包括用于至少部分地基于所述RPS对所述视 频信息进行编码的装置。19. 一种非暂时性计算机可读存储媒体，其具有存储于其上的指令，所述指令在执行时 致使装置的处理器： 确定视频信息的当前图片是否为可抛弃图片；以及 基于所述当前图片是可抛弃图片的所述确定而避免在参考图片集RPS中包含所述当前 图片。20. 根据权利要求19所述的非暂时性计算机可读存储媒体，进一步具有存储于其上的 指令，所述指令在执行时致使所述处理器确定所述当前图片是否用于层间预测或帧间预 测，可抛弃图片是不用于层间预测或帧间预测的图片。21. 根据权利要求19所述的非暂时性计算机可读存储媒体，进一步具有存储于其上的 指令，所述指令在执行时致使所述处理器确定与所述当前图片相关联的指示所述当前图片 是否用于层间预测或帧间预测的可抛弃值。22. 根据权利要求21所述的非暂时性计算机可读存储媒体，其中所述可抛弃值是可抛 弃旗标，且其中当所述可抛弃旗标具有等于1的值时所述可抛弃旗标指示所述当前图片是 可抛弃图片。23. 根据权利要求19所述的非暂时性计算机可读存储媒体，其中所述RPS包括层间RPS 或时间RPS。24. 根据权利要求19所述的非暂时性计算机可读存储媒体，进一步具有存储于其上的 指令，所述指令在执行时致使所述处理器至少部分地基于所述RPS对所述视频信息进行编 码。
【文档编号】H04N19/30GK105850122SQ201480068189
【公开日】2016年8月10日
【申请日】2014年12月30日
【发明人】阿达许·克里许纳·瑞玛苏布雷蒙尼安, 伏努·亨利, 王益魁
【申请人】高通股份有限公司