在视频译码中的低延迟视频缓冲的制作方法

在视频译码中的低延迟视频缓冲的制作方法
【专利摘要】作为一个实例，一种译码视频数据的方法包括将视频数据的一或多个解码单元存储在图片缓冲器中。所述方法进一步包括获得用于所述一或多个解码单元的相应缓冲器移除时间，其中获得所述相应缓冲器移除时间包含接收指示用于所述解码单元中的至少一者的所述相应缓冲器移除时间的相应发信值。所述方法进一步包括根据用于所述解码单元中的每一者的所述所获得缓冲器移除时间而从所述图片缓冲器移除所述解码单元。所述方法进一步包括译码对应于所述经移除解码单元的视频数据，其中译码所述视频数据包含解码所述解码单元中的所述至少一者。
【专利说明】在视频译码中的低延迟视频缓冲
[0001] 本申请案主张2012年4月4日申请的美国临时申请案第61/620,266号及2012 年5月1日申请的美国临时申请案第61/641,063号的权利，所述临时申请案中的每一者的 全部内容是以引用方式并入本文中。

【技术领域】
[0002] 本发明是关于视频译码。

【背景技术】
[0003] 数字视频能力可并入到广泛范围的装置中，所述装置包括数字电视、数字直播系 统、无线广播系统、个人数字助理（PDA)、便携式或台式计算机、数字相机、数字记录装置、数 字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线电话、视频电话会议装置， 及其类似者。视频译码标准包括ITU-T H. 261、IS0/IEC MPEG-lVisual、ITU-T H. 262或ISO/ IEC MPEG-2Visual、ITU-T H.263、IS0/IEC MPEG-4 Visual，及 ITU-T Η· 264(也被称为 ISO/ IEC MPEG-4 AVC)，包括其可缩放视频译码（SVC)及多视图视频译码（MVC)扩展。另外，高效 率视频译码（HEVC)为由ITU-T视频译码专家组（VCEG)及IS0/IEC运动图片专家组（MPEG) 的研究视频译码的联合协作小组（JCT-VC)开发的视频译码标准。被称为"HEVC工作草稿6" 或"HEVC WD6"的即将到来的HEVC标准的新近草稿被描述在Bross等人的文档JCTVC-H1003 的"High efficiency video coding (HEVC) text specification draft 6"（ITU-T SG16WP3 及 IS0/IEC JTC1/SC29/WG11的研究视频译码的联合协作小组（JCT-VC)，第8次会议：美国加 利福尼亚圣荷西，2012年2月）中，到2012年5月1日为止，所述文档可从http://phenix. int-evry. fr/jct/doc_end_user/documents/8_San% 20Jose/wgll/JCTVC-H1003-v22. zip 处下载。
[0004] 视频压缩技术执行空间预测及/或时间预测以缩减或移除为视频序列所固有的 冗余。对于基于块的视频译码，可将视频帧或切片分割成若干宏块。可进一步分割每一宏 块。使用关于相邻宏块的空间预测来编码经帧内译码（I)帧或切片中的宏块。经帧间译码 (P或B)帧或切片中的宏块可使用关于所述同一帧或切片中的相邻宏块的空间预测，或关 于其它参考帧的时间预测。


【发明内容】

[0005] 大体上，本发明描述用以以可互操作方式实现缩减编码解码器延迟的各种技术。 在一个实例中，这些技术可经由一般的基于子图片的经译码图片缓冲器（CPB)行为而实 现。
[0006] 在一个实例中，一种译码视频数据的方法包括将视频数据的一或多个解码单元存 储在图片缓冲器中。所述方法进一步包括获得用于所述一或多个解码单元的相应缓冲器移 除时间，其中获得所述相应缓冲器移除时间包含接收指示用于所述解码单元中的至少一者 的所述相应缓冲器移除时间的相应发信值。所述方法进一步包括根据用于所述解码单元中 的每一者的所述所获得缓冲器移除时间而从所述图片缓冲器移除所述解码单元。所述方法 进一步包括译码对应于所述经移除解码单元的视频数据，其中译码所述视频数据包含解码 所述解码单元中的所述至少一者。
[0007] 在另一实例中，一种用于译码视频数据的装置经配置以将视频数据的一或多个解 码单元存储在图片缓冲器中。所述装置经进一步配置以获得用于所述一或多个解码单元的 相应缓冲器移除时间，其中获得所述相应缓冲器移除时间包含接收指示用于所述解码单元 中的至少一者的所述相应缓冲器移除时间的相应发信值。所述装置经进一步配置以根据用 于所述解码单元中的每一者的所述所获得缓冲器移除时间而从所述图片缓冲器移除所述 解码单元。所述装置经进一步配置以译码对应于所述经移除解码单元的视频数据，其中译 码所述视频数据包含解码所述解码单元中的所述至少一者。
[0008] 在另一实例中，一种用于译码视频数据的设备包括用于将视频数据的一或多个解 码单元存储在图片缓冲器中的装置。所述设备进一步包括用于获得用于所述一或多个解码 单元的相应缓冲器移除时间的装置，其中获得所述相应缓冲器移除时间包含接收指示用于 所述解码单元中的至少一者的所述相应缓冲器移除时间的相应发信值。所述设备进一步包 括用于根据用于所述解码单元中的每一者的所述所获得缓冲器移除时间而从所述图片缓 冲器移除所述解码单元的装置。所述设备进一步包括用于译码对应于所述经移除解码单元 的视频数据的装置，其中译码所述视频数据包含解码所述解码单元中的所述至少一者。
[0009] 在另一实例中，一种计算机可读存储媒体包含存储在其上的指令，所述指令在执 行时使处理器将视频数据的一或多个解码单元存储在图片缓冲器中。所述指令进一步使处 理器获得用于所述一或多个解码单元的相应缓冲器移除时间，其中获得所述相应缓冲器移 除时间包含接收指示用于所述解码单元中的至少一者的所述相应缓冲器移除时间的相应 发信值。所述指令进一步使处理器根据用于所述解码单元中的每一者的所述所获得缓冲器 移除时间而从所述图片缓冲器移除所述解码单元。所述指令进一步使处理器译码对应于所 述经移除解码单元的视频数据，其中译码所述视频数据包含解码所述解码单元中的所述至 少一者。
[0010] 在另一实例中，一种方法包括根据多个视频可用性信息（VUI)参数中的至少一者 来处理视频数据。所述多个WI参数包括子图片经译码图片缓冲器（CPB)参数存在旗标 (sub_pic_cpb_params_present_f lag)，所述子图片CPB参数存在旗标指示子图片CPB参数 的存在。所述多个WI参数进一步包括补充增强信息（SEI)消息，所述SEI消息包括以下各 者中的至少一者：指示在到达时间与移除时间之间针对第SchedSelldx个CPB的延迟的语 法元素（initial_du_cpb_removal_delay)，其中所述到达时间为与存取单元中的第一解码 单元相关联的经译码数据的第一位进入经译码图片缓冲器（CPB)的到达时间，所述存取单 元是与缓冲周期SEI消息相关联，且所述移除时间为针对在假设参考解码器（HRD)初始化 之后的第一缓冲周期与所述第一解码单元相关联的所述经译码数据离开所述CPB的移除 时间；及结合指示CPB移除延迟（ Cpb_rem〇Val_delay)的语法元素而指示偏移的语法元素 (initial_du_cpb_removal_delay_offset)，所述偏移是使所述第 SchedSelldx 个 CPB 指定 所述第一解码单元到所述CPB的初始传递时间。所述多个WI参数进一步包括SEI消息， 所述SEI消息包括：指示网络存取层（NAL)单元的数目的至少一个语法元素（num_nalu S_ in_du_minusl)，其中所述数目为在与图片计时SEI消息相关联的所述存取单元的对应第i 解码单元中的网络存取层（NAL)单元的数目；及指定时钟计时周期的数目的语法元素（du_ cpb_removal_delay)，其中所述数目为在从所述CPB移除所述存取单元中的与所述图片计 时SEI消息相关联的所述对应第i解码单元之前在所述存取单元中的与前一存取单元中的 最近缓冲周期SEI消息相关联的所述第一解码单元从所述CPB的移除之后将等待的时钟计 时周期的数目。
[0011] 在随附图式及以下描述中阐述一或多个实例的细节。其它特征、目标及优点将从 所述描述及所述图式以及从权利要求书变得显而易见。

【专利附图】

【附图说明】
[0012] 图1为根据本发明的技术的说明可利用用于对视频块之间的边缘进行去块的技 术的实例视频编码及解码系统的框图。
[0013] 图2为根据本发明的技术的说明可实施用于对视频块之间的边缘进行去块的技 术的视频编码器的实例的框图。
[0014] 图3为根据本发明的技术的说明解码经编码视频序列的视频解码器的实例的框 图。
[0015] 图4为说明可实施本发明的技术中的任一者或全部的实例目的地装置的框图。 [0016] 图5为根据本发明的技术的说明包括根据所获得缓冲器移除时间而从图片缓冲 器移除视频数据的解码单元的实例方法的流程图。
[0017] 图6为根据本发明的技术的说明包括根据所获得缓冲器移除时间而从图片缓冲 器移除视频数据的解码单元的另一实例方法的流程图。
[0018] 图7为根据本发明的技术的说明处理视频数据的另一实例方法的流程图，所述方 法包括在提高进程中输出经剪裁图片。

【具体实施方式】
[0019] 视频应用程序可包括本地播放、流式处理、广播/多播及交谈应用程序。交谈应用 程序可包括视频电话及视频会议，且也被称为低延迟应用程序。交谈应用程序需要全部系 统的相对低的端对端延迟，即，视频帧被捕获时的时间与视频帧被显示时的时间之间的延 迟。通常，针对交谈应用程序的可接受的端对端延迟应小于400毫秒（ms)，且大约150ms的 端对端延迟可被视为极好。每一处理步骤可促成整体端对端延迟，例如，捕获延迟、预处理 延迟、编码延迟、传输延迟、接收缓冲延迟（针对去抖动）、解码延迟、经解码图片输出延迟、 后处理延迟，及显示延迟。因此，通常，编码解码器延迟（编码延迟、解码延迟及经解码图片 输出延迟）在交谈应用程序中应最小化。特别地，译码结构应确保图片的解码顺序与输出 顺序完全相同，使得经解码图片输出延迟等于零。
[0020] 视频译码标准可包括视频缓冲模型的规范。在AVC及HEVC中，缓冲模型被称为假 设参考解码器（HRD)，其包括经译码图片缓冲器（CPB)及经解码图片缓冲器（DPB)两者的缓 冲模型，且CPB行为及DPB行为是以数学方式指定。HRD对不同计时、缓冲器大小及位速率 直接强加约束，且对位流特性及统计间接强加约束。HRD参数的完整集合包括五个基本参 数：初始CPB移除延迟、CPB大小、位速率、初始DPB输出延迟，及DPB大小。
[0021] 在AVC及HEVC中，作为HRD规范的部分，指定位流一致性及解码器一致性。尽管 HRD被命名为一种类型的解码器，但通常在编码器侧处需要HRD以保证位流一致性，而在解 码器侧处通常不需要HRD。指定两种类型的位流或HRD -致性，S卩，Type I及Type II。同 样地，指定两种类型的解码器一致性：输出计时解码器一致性及输出顺序解码器一致性。
[0022] 在AVC及HEVC HRD模型中，解码或CPB移除是基于存取单元，且假设图片解码瞬 时。在实际应用中，如果一致解码器严格地遵循（例如）在图片计时补充增强信息（SEI) 消息中发信的解码时间以开始存取单元的解码，那么输出特定经解码图片的最早可能时间 等于那个特定图片的解码时间加解码那个特定图片所需要的时间。不同于AVC及HEVC HRD 模型，在现实世界中解码图片所需要的时间不等于零。如贯穿本发明所使用的术语"瞬时" 及"瞬时地"可指可在一或多个译码模型或任何一或多个译码模型的理想化方面中被假设 为瞬时的任何持续时间，其中应理解，这种情形可不同于在物理或文本意义上"瞬时"。举例 来说，出于本发明的目的，如果函数或进程发生在针对所述待执行函数或进程的假设或理 想化最早可能时间的实际边限时或内，那么所述函数或进程可被视为名义上"瞬时"。在一 些实例中，如本文所使用的语法及变量名称可根据其在HEVC模型内的含义加以理解。
[0023] 基于子图片的 CPB行为是在Kazui 等人的"Enhancement on operation of coded picture buffer"（ITU-T SG16WP3 及 IS0/IEC JTC1/SC29/WG11 的研究视频译码的联合协 作小组（JCT-VC)，第 7 次会议：日内瓦，CH 21-30,2011 年 11 月，JCTVC-G188(可在 http:// phenix. int-evry. fr/jct/doc_end_user/documents/7_Geneva/wgll/JCTVC-G188-v2. zip 处得到））中被提出，以便以可互操作方式实现一个以下图片周期的译码延迟。可如下汇总 JCTVC-G188方法：可将图片均匀地划分成Μ个树块组，S卩，所述图片的树块光栅扫描中的第 一 Μ个树块属于第一树块组，所述图片的树块光栅扫描中的第二Μ个树块属于第二树块组， 等等。值Μ可在缓冲周期SEI消息中被发信。这个值可用以导出每一树块组的CPB移除时 间（即，解码时间）。在这种意义上，JCTVC-G188CPB行为是基于子图片，其中每一子图片 为树块组。在一些实例中，子图片可对应于一或多个切片、一或多个波（用于图片的波前分 割），或一或多个图像块。在JCTVC-G188的这种方法中假设存取单元级别CPB移除时间照 常被发信（使用图片计时SEI消息），且在每一存取单元内，用于树块组的CPB移除时间被 假设为线性地或均匀地划分从上一存取单元的CPB移除时间到当前存取单元的CPB移除时 间的间隔。
[0024] JCTVC-G188的这种方法进一步暗示以下假设或位流要求：（1)在每一图片内，每 一树块组是以需要相同量的解码时间的方式被编码（不仅在HRD模型中，而且针对现实世 界解码器），其中第一树块组的经译码数据被视为包括在同一存取单元中且在第一 VCL (视 频译码层）NAL(网络抽象层）单元之前的所有非VCL NAL单元；（2)在每一图片内，用于每 一树块组的位的数目完全相同，其中第一树块组的经译码数据被视为包括在同一存取单元 中且在第一 VCL NAL单元之前的所有非VCL NAL单元。
[0025] 用于指定基于子图片的CPB行为的现有方法是与至少以下问题相关联：（1)用于 经译码图片中的每一树块组的经译码数据的量完全相同的要求难以用平衡的译码性能而 实现（其中图片中具有更详细纹理或运动活动的区域的树块组可使用更多位）。（2)当一 个以上树块组包括在切片中时，可不存在容易的方式来拆分属于不同树块组的树块的经译 码位，及在编码器侧处单独地发送所述位且从CPB单独地移除所述位（S卩，单独地解码所述 位）。
[0026] 为了解决以上问题，本发明用各种替代例来描述用于支持基于子图片的CPB行为 的一般设计。在一些实例中，本发明的基于子图片的CPB技术的特征可包括以下技术的方 面：（1)每一子图片可包括在解码顺序方面连续的经译码图片的数个译码块。译码块可完 全相同于树块，或树块的子集；(2)可照常执行子图片的译码及位到图片中的不同子图片 的分配，而不假设或要求用相同量的位来译码一个图片中的每一子图片（即，树块组）。因 此，用于每一子图片的CPB移除时间可在位流中被发信，而非根据经发信图片级别CPB移除 时间而导出；（3)当一个以上子图片包括在切片中时，可在每一子图片结束时应用字节对 准，这与（例如）用于HEVC WD6中的图像块的字节对准形成对比。此外，每一子图片（惟 经译码图片中的第一子图片除外）的入口点可被发信，这与（例如）用于HEVC WD6中的图 像块的字节对准形成对比。举例来说，经接收发信值可指示在视频数据的较大集合（诸如， 切片、图像块或帧）内的子图片中的至少一者的字节对准。特征（1)到（3)中的每一者可 被独立地应用或结合其它特征而应用。
[0027] 在一个实例中，可如下汇总包括基于子图片的CPB行为的HRD操作：当发信指示基 于子图片的CPB行为在使用中时（例如，经由等于1的语法元素 sub_piC_Cpb_flag的序列 级别发信），CPB移除或解码是基于子图片，或等效地，是基于解码单元，解码单元可为存取 单元或存取单元的子集。换言之，每当从CPB移除解码单元（无论是存取单元还是存取单 元的子集）以供解码时，就可从经发信初始CPB移除延迟及针对解码单元而发信的CPB移 除延迟导出解码单元离开CPB的移除时间。CPB下溢被指定为如下条件：对于m的任何值， 解码单元m的名义CPB移除时间'^!!!)小于解码单元m的最终CPB移除时间t af(m)。在一 个实例中，当语法元素 l〇w_delay_hrd_flag等于0时，要求CPB永不下溢。
[0028] 在一个实例中，DPB输出及移除进程可仍在图片级别或存取单元级别处操作，即， 每当从DPB输出或移除整个经解码图片时。经解码图片从DPB的移除可在存取单元η (含 有当前图片）的第一解码单元的CPB移除时间瞬时地发生。
[0029] 图1为说明可利用尤其用于以下操作的技术的实例视频编码及解码系统10的框 图：将视频数据的一或多个解码单元存储在图片缓冲器中；获得用于一或多个解码单元的 相应缓冲器移除时间；根据用于解码单元中的每一者的所获得缓冲器移除时间而从图片缓 冲器移除解码单元；及译码对应于经移除解码单元的视频数据。
[0030] 如图1所示，系统10包括源装置12,源装置12经由通信信道16而将经编码视频 传输到目的地装置14。源装置12及目的地装置14可包含广泛范围的装置中的任一者。在 一些状况下，源装置12及目的地装置14可包含无线通信装置，诸如，无线手机、所谓的蜂窝 或卫星无线电话，或可经由通信信道16而传达视频信息的任何无线装置，在这种状况下， 通信信道16是无线的。然而，本发明的技术未必限于无线应用或设置。举例来说，这些技 术可应用于空中电视广播、有线电视传输、卫星电视传输、因特网视频传输、编码到存储媒 体上的经编码数字视频，或其它情境。因此，通信信道16可包含适合于经编码视频数据的 传输或存储的无线媒体、有线媒体或存储媒体的任何组合。
[0031] 替代地，经编码数据可从传输器24输出到存储装置34。相似地，经编码数据可由 接收器26从存储装置34存取。存储装置34可包括多种分布式或本地存取式数据存储媒 体中的任一者，诸如，硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪速存储器、易失性或非易失性 存储器，或用于存储经编码视频数据的任何其它合适数字存储媒体。在另外实例中，存储装 置34可对应于文件服务器、虚拟服务器、数据中心、数据中心的冗余网络，或可保持由源装 置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式处理或下载而从 存储装置34存取经存储视频数据。存储装置34或其部分的文件服务器实施可为能够存储 经编码视频数据且将那个经编码视频数据传输到目的地装置14的任何服务器类型。实例 文件服务器包括web服务器（例如，用于网站）、FTP服务器、网络连接存储（NAS)装置，或 本地磁盘驱动器。目的地装置14可经由包括因特网连接的任何标准数据连接而存取经编 码视频数据。这种连接可包括适合于存取存储在远程或非本地存储装置34上的经编码视 频数据的无线信道（例如，Wi-Fi连接）、有线连接（例如，DSL、电缆调制解调器，等等），或 这两者的组合。经编码视频数据从存储装置34的传输可为流式处理传输、下载传输，或这 两者的组合。
[0032] 在图1的实例中，源装置12包括视频源18、视频编码器20、调制器/解调器（调 制解调器）22及传输器24。目的地装置14包括接收器26、调制解调器28、视频解码器30 及显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用尤其用于以下操 作的技术：将视频数据的一或多个解码单元存储在图片缓冲器中；获得用于一或多个解码 单元的相应缓冲器移除时间；根据用于解码单元中的每一者的所获得缓冲器移除时间而从 图片缓冲器移除解码单元；及译码对应于经移除解码单元的视频数据。在其它实例中，源装 置及目的地装置可包括其它组件或排列。举例来说，源装置12可从外部视频源（诸如，夕卜 部相机）而非整合式视频源18接收视频数据。同样地，目的地装置14可与外部显示装置 界接，而非包括整合式显示装置32。
[0033] 图1的所说明系统10仅仅为一个实例。用于以下操作的技术可由任何数字视频 编码及/或解码装置执行：将视频数据的一或多个解码单元存储在图片缓冲器中；获得用 于一或多个解码单元的相应缓冲器移除时间；根据用于解码单元中的每一者的所获得缓冲 器移除时间而从图片缓冲器移除解码单元；及译码对应于经移除解码单元的视频数据。尽 管本发明的技术通常是由视频编码装置执行，但所述技术也可由通常被称为"CODEC"的视 频编码器/解码器执行。此外，本发明的技术也可由视频预处理器执行。源装置12及目的 地装置14仅仅为这些译码装置的实例，其中源装置12产生经译码视频数据以供传输到目 的地装置14。在一些实例中，装置12、14可以大体上对称方式而操作，使得装置12、14中的 每一者包括视频编码及解码组件。因此，系统10可支持视频装置12、14之间的单向或双向 视频传输，例如，用于视频流式处理、视频播放、视频广播或视频电话。
[0034] 源装置12的视频源18可包括诸如摄像机的视频捕获装置、含有经以前捕获视频 的视频存档，及/或来自视频内容提供者的视频馈送。作为另外替代例，视频源18可产生 基于计算机图形的数据作为源视频，或实况视频、经存档视频与经计算机产生视频的组合。 在一些状况下，如果视频源18为摄像机，那么源装置12及目的地装置14可形成所谓的相 机电话或视频电话。然而，如上文所提及，本发明所描述的技术大体上可适用于视频译码， 且可应用于无线及/或有线应用。在每一状况下，经捕获、经预捕获或经计算机产生视频可 由视频编码器20编码。经编码视频信息接着可由调制解调器22根据通信标准而调制，且 经由传输器24而传输到目的地装置14。调制解调器22可包括各种混频器、滤波器、放大 器，或经设计用于信号调制的其它组件。传输器24可包括经设计用于传输数据的电路，包 括放大器、滤波器及一或多个天线。
[0035] 目的地装置14的接收器26经由信道16而接收信息，且调制解调器28解调所述 信息。同样地，视频编码进程可实施本文所描述的技术中的一或多者，尤其以将视频数据 的一或多个解码单元存储在图片缓冲器中、获得用于一或多个解码单元的相应缓冲器移除 时间、根据用于解码单元中的每一者的所获得缓冲器移除时间而从图片缓冲器移除解码单 元，且译码对应于经移除解码单元的视频数据。经由信道16而传达的信息可包括由视频编 码器20定义的语法信息，所述语法信息也可由视频解码器30使用，其包括描述宏块、译码 树单元、切片及其它经译码单元（例如，图片组（G0P))的特性及/或处理的语法元素。显 示装置32向用户显示经解码视频数据，且可包含多种显示装置中的任一者，诸如，阴极射 线管（CRT)、液晶显示器（LCD)、等离子显示器、有机发光二极管（0LED)显示器，或另一类型 的显示装置。
[0036] 在图1的实例中，通信信道16可包含任何无线或有线通信媒体，诸如，射频（RF) 频谱或一或多个物理传输线，或无线媒体与有线媒体的任何组合。通信信道16可形成基于 数据包的网络的部分，诸如，局域网、广域网，或诸如因特网的全局网络。通信信道16通常 表示用于将视频数据从源装置12传输到目的地装置14的任何合适通信媒体或不同通信媒 体的集合，包括有线或无线媒体的任何合适组合。通信信道16可包括路由器、交换机、基 站，或可用以促进从源装置12到目的地装置14的通信的任何其它设备。在其它实例中，源 装置12可将经编码数据存储到存储媒体上，诸如，存储在存储装置24中，而非传输所述数 据。同样地，目的地装置14可经配置以从存储装置24或另一存储媒体或装置检索经编码 数据。
[0037] 视频编码器20及视频解码器30可根据诸如本文所描述的标准的视频压缩标准 而操作。然而，本发明的技术不限于任何特定译码标准。尽管图1中未图示，但在一些方 面中，视频编码器20及视频解码器30可各自与音频编码器及解码器整合，且可包括适当 MUX-DEMUX单元或其它硬件及软件，以处置公共数据流或单独数据流中的音频及视频两者 的编码。适用时，MUX-DEMUX单元可符合ITU H. 223多路复用器协议，或诸如用户数据报协 议（Μ)Ρ)的其它协议。
[0038] 视频编码器20及视频解码器30可各自被实施为多种合适编码器电路中的任一 者，诸如，一或多个微处理器、数字信号处理器（DSP)、专用集成电路（ASIC)、现场可编程门 阵列（FPGA)、包括诸如编码器或解码器的视频译码装置的无线通信装置、离散逻辑、软件、 硬件、固件，或其任何组合。视频编码器20及视频解码器30中的每一者可包括在一或多 个编码器或解码器中，所述一或多个编码器或解码器中的任一者可在相应相机、计算机、移 动装置、订户装置、广播装置、机顶盒、服务器或其它装置中整合为组合式编码器/解码器 (CODEC)的部分。
[0039] 视频序列通常包括一系列视频帧。图片组（G0P)通常包含一系列一或多个视频 帧。G0P可包括在G0P的标头中、在G0P的一或多个帧的标头中或在别处的语法数据，所述 语法数据描述包括在G0P中的帧的数目。每一帧可包括描述用于相应帧的编码模式的帧语 法数据。视频编码器20通常对个别视频帧内的视频块（也被称为译码单元（CU))进行操 作，以便编码视频数据。视频块可对应于最大译码单元（LCU)或LCU的分区。视频块可具有 固定或变化大小，且其大小可根据指定译码标准而不同。每一视频帧可包括多个切片。每 一切片可包括多个IXU，所述IXU可排列成若干分区，也被称为子⑶。IXU也可被称为译码 树单元。
[0040] 作为实例，ITU-T Η. 264标准支持以下各者：以各种块大小的帧内预测，诸如，针对 亮度分量的16乘16、8乘8或4乘4,及针对色度分量的8X8 ;以及以各种块大小的帧间 预测，诸如，针对亮度分量的16Χ16、16Χ8、8Χ16、8Χ8、8Χ4、4Χ8及4X4,及针对色度分 量的对应缩放大小。在本发明中，"NXΝ"与"Ν乘Ν"可互换式地用以在垂直维度及水平维 度方面指块的像素尺寸，例如，16X16像素或16乘16像素。一般而言，16X16块将具有在 垂直方向上的16个像素 （y = 16)，及在水平方向上的16个像素 （X = 16)。同样地，NXN 块通常具有在垂直方向上的N个像素及在水平方向上的N个像素，其中N表示非负整数值。 块中的像素可以行及列而排列。此外，块未必需要在水平方向上与在垂直方向上具有相同 数目个像素。举例来说，块可包含NX Μ像素，其中Μ未必等于N。
[0041] 视频块可包含在像素域中的像素数据块，或在变换域中的变换系数块，例如，在将 诸如离散余弦变换（DCT)、整数变换、小波变换或概念上相似变换的变换应用于表示经译码 视频块与预测性视频块之间的像素差的残余视频块数据之后。在一些状况下，视频块可包 含在变换域中的经量化变换系数块。
[0042] 较小视频块可提供较好分辨率，且可用于视频帧的包括高细节级别的位置。一般 而言，可将块及各种分区（有时被称为子块）视为视频块。另外，可将切片视为多个视频块， 诸如，块及/或子块。每一切片可为视频帧的可独立解码单元。替代地，帧自身可为可解码 单元，或帧的其它部分可被定义为可解码单元。术语"经译码单元"可指视频帧的任何可独 立解码单元，诸如，整个帧或帧的切片、也被称为经译码视频序列的图片组（G0P)，或根据适 用译码技术而定义的另一可独立解码单元。
[0043] 在进行帧内预测性或帧间预测性译码以产生预测性数据及残余数据之后，且在进 行任何变换（诸如，在H. 264/AVC中使用的4X4或8X8整数变换，或离散余弦变换DCT) 以产生变换系数之后，可执行变换系数的量化。量化通常是指量化变换系数以可能地缩减 用以表示所述系数的数据的量的进程。量化进程可缩减与系数中的一些或全部相关联的位 深度。举例来说，η位值可在量化期间降值舍入到m位值，其中η大于m。
[0044] HEVC将视频数据块称为译码单元（⑶)，所述⑶可包括一或多个预测单元（PU)及 /或一或多个变换单元（TU)。本发明也可使用术语"块"以指CU、PU或TU中的任一者。位 流内的语法数据可定义最大译码单元（LCU)，所述LCU在像素的数目方面为最大译码单元。 一般而言，CU具有与H. 264的宏块的目的相似的目的，惟CU不具有大小区别除外。因此，CU 可拆分成若干子CU。一般而言，在本发明中对CU的参考可指图片的最大译码单元，或LCU 的子⑶。IXU可拆分成若干子⑶，且每一子⑶可进一步拆分成若干子⑶。用于位流的语 法数据可定义LCU可被拆分的最大次数，被称为CU深度。因此，位流也可定义最小译码单 元（SCU)。
[0045] IXU可与四叉树数据结构相关联。一般而言，四叉树数据结构包括每⑶一个节点， 其中根节点对应于LCU。如果CU拆分成四个子CU，那么对应于所述CU的节点包括四个叶 节点，所述叶节点中的每一者对应于所述子CU中的一者。四叉树数据结构的每一节点可提 供用于对应CU的语法数据。举例来说，四叉树中的节点可包括拆分旗标，所述拆分旗标指 示对应于所述节点的CU是否拆分成若干子CU。用于CU的语法元素可被递归地定义，且可 取决于CU是否拆分成若干子CU。如果CU未被进一步拆分，那么其被称为叶CU。在本发明 中，叶CU的4个子CU也将被称为叶CU，但不存在原始叶CU的显式拆分。举例来说，如果以 16X 16大小的⑶未被进一步拆分，那么四个8X8子⑶也可被称为叶⑶，但16X 16⑶尚 未被拆分。
[0046] 此外，叶⑶的TU也可与相应四叉树数据结构相关联。即，叶⑶可包括指示叶⑶ 如何拆分成若干TU的四叉树。本发明将指示LCU如何被分割的四叉树称为CU四叉树，且 将指示叶CU如何分割成若干TU的四叉树称为TU四叉树。TU四叉树的根节点通常对应于 叶CU，而⑶四叉树的根节点通常对应于IXU。TU四叉树的未被拆分的TU可被称为叶TU。
[0047] 叶⑶可包括一或多个预测单元（PU)。一般而言，PU表示对应⑶的全部或部分， 且可包括用于检索用于所述PU的参考样本的数据。举例来说，当ro被帧间模式编码时，PU 可包括定义用于PU的运动矢量的数据。定义运动矢量的数据可描述（例如）运动矢量的 水平分量、运动矢量的垂直分量、用于运动矢量的分辨率（例如，四分之一像素精度或八分 之一像素精度）、运动矢量所指向的参考帧，及/或用于运动矢量的参考列表（例如，列表〇 或列表1)。定义ro的用于叶CU的数据也可描述（例如）CU成为一或多个PU的分割。取 决于CU未被译码、被帧内预测模式编码还是被帧间预测模式编码，分割模式可不同。对于 帧内译码，PU可被视为与下文所描述的叶变换单元相同。
[0048] 叶⑶可包括一或多个变换单元（TU)。所述变换单元可使用TU四叉树结构予以指 定，如上文所论述。即，拆分旗标可指示叶CU是否拆分成四个变换单元。接着，每一变换单 元可进一步拆分成4个子TU。当TU未被进一步拆分时，其可被称为叶TU。一般而言，拆分 旗标可指示叶TU拆分成若干正方形TU。为了指示TU拆分成若干非正方形TU，可包括其它 语法数据，例如，指示TU将根据非正方形四叉树变换（NSQT)而分割的语法数据。
[0049] 通常，对于帧内译码，属于叶⑶的所有叶TU共享相同帧内预测模式。S卩，通常应 用相同帧内预测模式以计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可使用 帧内预测模式来计算每一叶TU的残余值，作为预测性值的对应于TU的部分与原始块之间 的差。残余值可被变换、量化及扫描。对于帧间译码，视频编码器可在PU级别处执行预测， 且可计算用于每一 PU的残余。对应于叶CU的残余值可被变换、量化及扫描。对于帧间译 码，叶TU可大于或小于PU。对于帧内译码，PU可与对应叶TU并置。在一些实例中，叶TU 的最大大小可为对应叶CU的大小。
[0050] -般而言，本发明使用术语⑶及TU以分别指叶⑶及叶TU，除非另有提到。一般 而言，本发明的技术是关于变换、量化、扫描及熵编码CU的数据。作为实例，本发明的技术 包括选择待使用的变换，以基于用以预测经帧内预测块的帧内预测模式来变换所述块的残 余值。本发明也使用术语"方向性变换"或"经设计变换"以指取决于帧内预测模式方向的 此类变换。即，视频编码器可选择方向性变换以应用于变换单元（TU)。如上文所提到，帧内 预测包括从图片的经以前译码⑶及TU预测所述同一图片的当前⑶的TU。更具体地说，视 频编码器可使用特定帧内预测模式来帧内预测图片的当前TU。
[0051] 在量化之后，可（例如）根据内容自适应可变长度译码（CAVLC)、上下文自适应二 进制算术译码（CABAC)、概率区间分割熵译码（PIPE)或另一熵译码方法来执行经量化数据 的熵译码。经配置用于熵译码的处理单元或另一处理单元可执行其它处理功能，诸如，经量 化系数的零行程长度译码，及/或语法信息的产生，诸如，经译码块样式（CBP)值、宏块类 型、译码模式、用于经译码单元（诸如，帧、切片、宏块或序列）的最大宏块大小，或其它语法 信息。
[0052] 视频编码器20可经配置以执行反量化及反变换，以将待作为参考而用于预测后 续块的经解码块存储在（例如）待在时间上预测的同一或相同帧中。视频编码器20可（例 如）在帧标头、块标头、切片标头或G0P标头中进一步将诸如基于块的语法数据、基于帧的 语法数据及基于G0P的语法数据的语法数据发送到视频解码器30。G0P语法数据可描述相 应G0P中的帧的数目，且帧语法数据可指示用以编码对应帧的编码/预测模式。
[0053] 适用时，视频编码器20及视频解码器30可各自被实施为多种合适编码器或解 码器电路中的任一者，诸如，一或多个微处理器、数字信号处理器（DSP)、专用集成电路 (ASIC)、现场可编程门阵列（FPGA)、离散逻辑电路、软件、硬件、固件，或其任何组合。视频 编码器20及视频解码器30中的每一者可包括在一或多个编码器或解码器中，所述一或多 个编码器或解码器中的任一者可整合为组合式视频编码器/解码器（CODEC)的部分。包括 视频编码器20及/或视频解码器30的设备可包含集成电路、微处理器，及/或无线通信装 置，诸如，蜂窝电话。
[0054] 根据本发明的技术，视频编码器20及/或视频解码器30可经配置尤其以将视频 数据的一或多个解码单元存储在图片缓冲器中、获得用于一或多个解码单元的相应缓冲器 移除时间、根据用于解码单元中的每一者的所获得缓冲器移除时间而从图片缓冲器移除解 码单元，且译码对应于经移除解码单元的视频数据。
[0055] 以下定义是关于实例视频编码器20及/或视频解码器30而提供，视频编码器20 及/或视频解码器30经配置尤其以将视频数据的一或多个解码单元存储在图片缓冲器中、 获得用于一或多个解码单元的相应缓冲器移除时间、根据用于解码单元中的每一者的所获 得缓冲器移除时间而从图片缓冲器移除解码单元，且译码对应于经移除解码单元的视频数 据。
[0056] 出于描述一个实例集合的目的，可如下定义术语"解码单元"：
[0057] 解码单元：存取单元或存取单元的子集。如果sub_pic_cpb_flag等于0,那么解 码单元为存取单元；否则，解码单元为存取单元的子集。当sub_pic_cpb_flag等于1时，存 取单元中的第一解码单元包括存取单元中的所有非VCL NAL单元，及同一存取单元中的第 一 VCL NAL单元，且存取单元中的每一其它解码单元为并非存取单元中的第一经译码切片 NAL单元的经译码切片NAL单元。
[0058] 出于描述第二实例集合的目的，可如下定义术语"解码单元"，其中术语"子图片" 的额外定义是如"解码单元"的对应实例定义中所使用：
[0059] 解码单元：存取单元或存取单元的子集。如果sub_pic_cpb_flag等于0,那么解 码单元为存取单元；否则，解码单元为存取单元的子集。当sub_pic_cpb_flag等于1时，存 取单元中的第一解码单元包括存取单元中的所有非VCL NAL单元，及同一存取单元中的图 片的第一子图片，且存取单元中的每一其它解码单元为并非存取单元中的第一子图片的子 图片。
[0060] 子图片：在解码顺序方面连续的经译码图片的数个译码块。
[0061] 在根据上文所提供的第二实例集合的定义中，当一个以上子图片包括在切片中 时，可在每一子图片结束时应用字节对准，这与（例如）用于HEVC WD6中的图像块的字节 对准形成对比。此外，每一子图片（惟经译码图片中的第一子图片除外）的入口点可被发 ?目。
[0062] 在一些替代例中，当位流含有多个可缩放层或视图时，解码单元可被定义为层表 示或视图组件。在层表示或视图组件的第一 VCLNAL单元之前的所有非VCL单元也属于含 有层表示或视图组件的解码单元。
[0063] 提供实例假设参考解码器（HRD)操作、经译码图片缓冲器的实例操作、位流到达 的实例计时、解码单元移除的实例计时、解码单元的实例解码、经解码图片缓冲器的实例操 作、图片从经解码图片缓冲器的实例移除、实例图片输出以及实例当前经解码图片标记及 存储的以下描述以说明视频编码器20及/或视频解码器30的实例，视频编码器20及/ 或视频解码器30可经配置尤其以将视频数据的一或多个解码单元存储在图片缓冲器中、 获得用于一或多个解码单元的相应缓冲器移除时间、根据用于解码单元中的每一者的所获 得缓冲器移除时间而从图片缓冲器移除解码单元，且译码对应于经移除解码单元的视频数 据。在其它实例中，可不同地定义或执行所述操作。如此，视频编码器20及/或视频解码 器30可经配置以根据下文所描述的HRD操作的各种实例而操作。
[0064] 作为一个实例，可如下概括地描述HRD操作：CPB大小（位的数目）为 CpbSize [SchedSelldx]。用于时间层X的DPB大小（图片存储缓冲器的数目）针对 在 0 到 max_temporal_layers_minusl (包括在内）的范围内的每 一 X 为 max_dec_pic_ buffering[X]+l。在这个实例中，HRD可操作如下：与根据指定到达调度而流动到CPB中的 存取单元相关联的数据可由假设流调度器（HSS)(即，传递调度器）传递。与每一解码单元 相关联的数据可通过瞬时解码进程在CPB移除时间瞬时地移除及解码。每一经解码图片可 放置在DPB中。在DPB输出时间的较迟时间或经解码图片变得不再为帧间预测参考所需要 的时间，可从DPB移除经解码图片。
[0065] 可用真实值来进行这些实例中的算术，使得不传播舍入误差。举例来说，恰好在解 码单元的移除之前或之后的CPB中的位的数目未必为整数。
[0066] 变量t。可被导出如下，且可被称为时钟计时周期：
[0067] t c = num_units_in_tick + time_scale (C_l)
[0068] 可指定以下内容以用于表达在对HEVC的实例附件修改中的约束：
[0069] 使存取单元η为按解码顺序的第η存取单元，其中第一存取单元为存取单元0 ;
[0070] 使图片η为存取单元η的经译码图片或经解码图片；
[0071] 使解码单元m为按解码顺序的第m解码单元，其中第一解码单元为解码单元0。
[0072] 如下描述用于操作经译码图片缓冲器（CPB)的一些实例技术。根据一些视频译码 技术，可实施CPB操作的各种方法。HEVC WD6关于CPB操作的章节中的规范可由本发明修 改，且可独立地应用于所存在的每一 CPB参数集合且应用于Type I -致性点及Type II - 致性点两者。
[0073] 如下描述涉及位流到达的计时的一些实例。HRD可以缓冲周期补充增强信息 (SEI)消息中的任一者予以初始化。在初始化之前，CPB可空白。在初始化之后，HRD可不 再次通过后续缓冲周期SEI消息初始化。
[0074] 与初始化CPB的缓冲周期SEI消息相关联的存取单元可被称为存取单元0。每一 解码单元可被称为解码单元m，其中编号m识别特定解码单元。存取单元0中按解码顺序的 第一解码单元可被称为解码单元0。m的值针对按解码顺序的每一后续解码单元可递增1。 [0075] 解码单元m的第一位开始进入CPB的时间可被称为初始到达时间tai (m)。可如下 导出解码单元的初始到达时间：
[0076] 如果解码单元为解码单元0,那么tai(0) = 0，
[0077] 否则（解码单元为解码单元m，其中m > 0)，以下内容可适用：
[0078] 如果cbr_flag[SchedSelIdx]等于1，那么用于解码单元m的初始到达时间等于解 码单元m-Ι的最终到达时间（其在下文被导出），即，
[0079] tai(m) = taf(m-l) (C_2)
[0080] 否则（cbr_flag[SchedSelIdx]等于0)，用于解码单元m的初始到达时间是由下式 导出：
[0081 ] tai (m) = Max (taf (m-1), taij earliest (m)) (C_3)
[0082] 其中 tai,earliest(m)被导出如下。
[0083] 如果解码单元m并非后续缓冲周期的第一解码单元，那么tai,eartiest(m)可被导出 为：
[0084] tai, earliest (m) = tr, n (m)_ (in?t?al_cpb_removal_de 1 ay [SchedSelldx] +initial_ cpb_removal_delay_offset [SchedSelldx]) -i-90000 (C_4)
[0085] 其中tr,n(m)为如所指定的解码单元m离开CPB的名义移除时间，且initial_cpb_ removal_delay[SchedSelldx]及 initial_cpb_removal_delay_offset[SchedSelldx]被 指定在上一缓冲周期SEI消息中；
[0086] 否则（解码单元m为后续缓冲周期的第一解码单元），tai,_liest(m)可被导出为：
[0087] tai, earliest (m) = tr, n (m) _ (in ? t ? al_cpb_r emo va l_de 1 ay [SchedSe 11 dx] -i-90000) (C-5)
[0088] 其中 initial_cpb_removal_delay [SchedSelldx]被指定在与含有解码单兀 m 的 存取单元相关联的缓冲周期SEI消息中。
[0089] 用于解码单元m的最终到达时间可由下式导出：
[0090] taf(m) = tai (m)+b (m)-i-BitRate [SchedSelldx] (C_6)
[0091] 其中b (m)可为解码单元m的以位为单位的大小，其针对Type I -致性点而计数 VCL NAL单元及填充物数据NAL单元的位或针对Type II -致性点而计数Type II位流的 所有位。
[0092] 在一些实例中，可如下约束 SchedSelldx、BitRate[SchedSelldx]及 CpbSize[SchedSelldx]的值：
[0093] 如果用于含有解码单元m的存取单元的活动序列参数集合的内容与用于上一存 取单元的活动序列参数集合的内容不同，那么HSS从提供在用于含有解码单元m的存取单 元的活动序列参数集合中的SchedSelldx的值当中选择SchedSelldx的值SchedSelldxl， 所述值SchedSelldxl针对含有解码单元m的存取单元引起BitRate [SchedSelldxl] 或 CpbSize[SchedSelldxl]。 BitRate[SchedSelldxl]或 CpbSize[SchedSelldxl]的 值可不同于针对在使用中用于上一存取单元的SchedSelldx的值SchedSelldxO的 BitRate[SchedSelldxO]或 CpbSize[SchedSelldxO]的值。
[0094] 否则，HSS 继续用 SchedSelIdx、BitRate [SchedSelldx]及 CpbSize [SchedSelldx] 的先前值而操作。
[0095] 当HSS选择不同于上一存取单元的值的BitRate[SchedSelIdx]或 CpbSize[SchedSelldx]的值时，以下内容在一些实例中可适用：
[0096] 变量 BitRate [SchedSelldx]在时间 tai (m)开始生效
[0097] 变量 CpbSize [SchedSelldx]开始生效如下：
[0098] 如果CpbSize [SchedSelldx]的新值超过旧CPB大小，那么其在时间tai(m)开始生 效，
[0099] 否则，CpbSize [SchedSelldx]的新值在含有解码单元m的存取单元的最后解码单 元的CPB移除时间开始生效。
[0100] 当sub_pic_cpb_flag等于1时，存取单元η的初始CPB到达时间tai (η)可设置 到存取单元η中的第一解码单元的初始CPB到达时间，且存取单元η的最终CPB到达时间 taf (η)可设置到存取单元η中的最后解码单元的最终CPB到达时间。
[0101] 如下描述涉及解码单元移除的计时及解码单元的解码的一些实例。当解码单元m 为m等于0的解码单元（初始化HRD的存取单元的第一解码单元）时，解码单元离开CPB 的名义移除时间可由下式指定：
[0102] tr,n(0) = initial_cpb_removal_delay [SchedSel Idx] -i-90000 (C-7)
[0103] 当解码单元m为并不初始化HRD的缓冲周期的第一存取单元的第一解码单元时， 解码单元离开CPB的名义移除时间可由下式指定：
[0104] tr，n(m) = tr，n(mb)+tc*cpb_removal_delay (m) (C_8)
[0105] 其中仁,n(mb)为上一缓冲周期的第一解码单元的名义移除时间，且cpb_removal_ delay (m)为在与含有解码单元m的存取单元相关联的图片计时SEI消息中所指定的用于解 码单兀 m 的 cpb_removal_delay[i]的值。
[0106] 当解码单元η为缓冲周期的第一解码单元时，mb可设置为在解码单元η的移除时 间仁, n(m)等于m。并非缓冲周期的第一解码单元的解码单元m的名义移除时间仁,n(m)可 由下式给出：
[0107] tr,n(m) = tr,n(mb)+tc*cpb_removal_delay (m) (C_9)
[0108] 其中仁,n(mb)为当前缓冲周期的第一解码单元的名义移除时间，且cpb_removal_ delay (m)为在与含有解码单元m的存取单元相关联的图片计时SEI消息中所指定的用于解 码单兀 m 的 cpb_removal_delay[i]的值。
[0109] 可如下指定解码单元m的移除时间：
[0110] 如果low_delay_hrd_flag等于0或tr,n(m) >= taf (m),那么解码单元η的移除时 间可由下式指定：
[0111] tr(m) = tr,n(m) (C-10)
[0112] 否则（low_delay_hrd_flag等于1且tr,n(m) < taf (m))，解码单元m的移除时间是 由下式指定：
[0113] tr(m) = tr，n(m)+tc*Ceil ((taf (m)_tr，n(m))+tc) (C-ll)
[0114] 后一状况指示解码单元m的大小b(m)如此大以致于其防止在名义移除时间的移 除。
[0115] 当sub_pic_cpb_flag等于1时，存取单元η的名义CPB移除时间tr, n(n)可设置 到存取单元η中的最后解码单元的正常CPB移除时间，存取单元η的CPB移除时间仁(η)可 设置到存取单元η中的最后解码单元的CPB移除时间。
[0116] 在一些实例中，在解码单元m的CPB移除时间，所述解码单元可被瞬时地解码。
[0117] 如下描述经解码图片缓冲器（DPB)的操作的一些实例。所述经解码图片缓冲器可 含有图片存储缓冲器。所述图片存储缓冲器中的每一者可含有经解码图片，所述经解码图 片被标记为"用于参考"或经保持以供未来输出。在初始化之前，DPB可空白（DPB充满度设 置到零）。本发明的技术的这些实例的以下步骤可以所列出序列而发生。
[0118] 如下描述图片从经解码图片缓冲器（DPB)的移除的一些实例。在一些实例中，在 当前图片的解码之前（但在分析当前图片的第一切片的切片标头之后）图片从DPB的移除 可在存取单元η (含有当前图片）的第一解码单元的CPB移除时间瞬时地发生，且可进行如 下。
[0119] 可调用如在HEVC WD6的子条款8. 3. 2中所指定的用于参考图片集合的解码进程。 如果当前图片为瞬时解码器刷新（IDR)图片，那么以下内容可适用：
[0120] 1.当IDR图片并非经解码的第一 IDR图片（例如，当无先前图片输出旗标具有不 等于1的值时）且从活动序列参数集合导出的pic_width_in_luma_samples (例如，亮度 样本中的图片宽度）或 pic_height_in_luma_samples 或 max_dec_pic_buffering 的值分 别不同于从针对前一图片为活动的序列参数集合导出的pic_width_in_luma_samples或 pic_height_in_luma_samples 或 max_dec_pic_buffering 的值时，no_output_of_prior_ pics_flag可推断为等于1或由HRD设置为等于1，而不管no_output_of_prior_pics_flag 白勺实际值$口?可。才目 t匕于关于 pic_width_in_luma_samples 或 pic_height_in_luma_samples 的改变的HRD，解码器实施可更从容地处置图片或DPB大小改变。
[0121] 2.当no_output_of_prior_pics_flag等于1或设置为或推断为等于1时，可使 DPB中的所有图片存储缓冲器空白而没有其所含有的图片的输出，且DPB充满度可设置到 0〇
[0122] 可从DPB移除DPB中的所有图片k (对于所述图片，所有以下条件成立）：图片k被 标记为"未用于参考";图片k具有等于0的PicOutputFlag，或其DPB输出时间小于或等于 当前图片η的第一解码单元（被表示为解码单元m)的CPB移除时间；即，
[0123] t0j dpb (k) < = tr (m)
[0124] 当从DPB移除图片时，DPB充满度可递减1。
[0125] 如下描述图片输出的一些实例。以下情形可在存取单元η(含有当前图片）的最 后解码单元（被表示为解码单元m)的CPB移除时间tjm)瞬时地发生。图片η可在所述 图片的最后解码单元被解码之后被视为经解码。
[0126] 变量maxPicOrderCnt (对于最大图片顺序计数（P0C))可设置为等于当前图片 及DPB中当前被标记为"用于短期参考"或具有大于t, (m)的DPB输出时间的所有图片的 PicOrderCntVal (对于图片顺序计数（P0C)值）值的最大值。变量minPicOrderCnt (对于 最小图片顺序计数（P0C))可设置为等于当前图片及DPB中当前被标记为"用于短期参考" 或具有大于t,(m)的DPB输出时间的所有图片的PicOrderCntVal的最小值。以下内容可为 位流一致性的要求：maxPicOrderCnt-minPicOrderCnt 的值应小于 MaxPic0rderCntLsb/2。
[0127] 当图片η具有等于1的PicOutputFlag时，其DPB输出时间t。, dpb(n)可由下式导 出：
[0128] t。, dpb (n) = tr (m)+tc*dpb_output_delay (n) (C-12)
[0129] 其中dpb_output_delay(n)为在与存取单元n相关联的图片计时SEI消息中所指 定的dpb_output_delay的值。可如下指定当前图片的输出：
[0130] 如果PicOutputFlag等于1且tQ,dpb(n) = tr(m),那么当前图片被输出；
[0131] 否则，如果PicOutputFlag等于0,那么当前图片未被输出，但可存储在DPB中，如 下文进一步所指定；
[0132] 否则（PicOutputFlag等于1且tQ,dpb (n) > tr(m)),当前图片稍后被输出且将存储 在DPB中（如下文进一步所指定），且在时间t。, dpb (η)被输出，除非被指示不会通过等于1 的no_output_of_prior_pics_flag的解码或推断在Ι^,^Οι)之前的时间被输出。
[0133] 当被输出时，当前或选定图片可使用在活动序列参数集合中所指定的剪裁矩形予 以剪裁，从而基于选定图片（即，当前图片）来产生经剪裁图片。当图片η为被输出且并非 被输出的位流的最后图片的图片时，At。, dpb(η)的值被定义为：
[0134] Δ t0, dpb (n) = t0, dpb (nn) _t〇, dpb (n) (C-13)
[0135] 其中nn指示在输出顺序方面跟随在图片n之后且具有等于1的PicOutputFlag的 图片。下文进一步提供提高进程及剪裁进程的另外细节。
[0136] 如下描述涉及当前经解码图片标记及存储的一些实例。以下情形可在存取单元 η(含有当前图片）的最后解码单元的CPB移除时间tjm)瞬时地发生。当前经解码图片可 在DPB中存储在空白图片存储缓冲器中，且DPB充满度可递增1。如果当前图片为参考图 片，那么其可被标记为"用于参考"，否则，其可被标记为"未用于参考"。
[0137] 用于CPB行为模式的发信的以下实例语法及语义是关于实例视频编码器20及/ 或视频解码器30而提供，视频编码器20及/或视频解码器30经配置尤其以将视频数据 的一或多个解码单元存储在图片缓冲器中、获得用于一或多个解码单元的相应缓冲器移除 时间、根据用于解码单元中的每一者的所获得缓冲器移除时间而从图片缓冲器移除解码单 元，且译码对应于经移除解码单元的视频数据。
[0138] 如下描述用于CPB行为模式的发信的语法及语义的一些实例。可通过添加子图片 CPB旗标sub_pic_cpb_flag来改变视频可用性信息（VUI)参数的语法，如下表1所示：
[0139] 表 1
[0140]

【权利要求】
1. 一种译码视频数据的方法，所述方法包含： 将视频数据的一或多个解码单元存储在图片缓冲器中； 获得用于所述一或多个解码单元的相应缓冲器移除时间，其中获得所述相应缓冲器移 除时间包含接收指示用于所述解码单元中的至少一者的所述相应缓冲器移除时间的相应 发信值； 根据用于所述解码单元中的每一者的所述所获得缓冲器移除时间而从所述图片缓冲 器移除所述解码单元；及 译码对应于所述经移除解码单元的视频数据，其中译码所述视频数据包含解码所述解 码单元中的所述至少一者。
2. 根据权利要求1所述的方法，其中视频数据的所述一或多个解码单元中的每一者为 存取单元或存取单元的子集。
3. 根据权利要求1所述的方法，其进一步包含以连续解码顺序将视频数据的所述一或 多个解码单元存储在所述图片缓冲器中。
4. 根据权利要求3所述的方法，其进一步包含在存储所述一或多个解码单元之前以所 述连续解码顺序接收视频数据的所述一或多个解码单元。
5. 根据权利要求1所述的方法，其中所述图片缓冲器为经译码图片缓冲器。
6. 根据权利要求5所述的方法，所述方法进一步包含在从所述经译码图片缓冲器移除 所述解码单元中的第二解码单元之前从所述经译码图片缓冲器移除所述解码单元中的第 一解码单元，其中所述第一解码单元及所述第二解码单元包含公共存取单元的相应子集。
7. 根据权利要求1所述的方法，其中指示用于所述解码单元中的所述至少一者的所述 缓冲器移除时间的所述发信值包含指示由所述解码单元中的所述至少一者包含的网络抽 象层NAL单元的数目的发信值。
8. 根据权利要求1所述的方法，其中所述一或多个解码单元包含公共图片的多个子图 片，且其中接收指示用于所述解码单元中的所述至少一者的所述相应缓冲器移除时间的所 述相应发信值包含接收指示用于所述公共图片的所述子图片中的每一者的所述缓冲器移 除时间的相应发信值。
9. 根据权利要求8所述的方法，其中所述图片缓冲器为经译码图片缓冲器CPB，且其中 接收指示用于所述公共图片的所述子图片中的每一者的所述缓冲器移除时间的所述相应 发信值包含接收指示存取单元级别处的初始CPB移除延迟、存取单元级别处的初始CPB移 除延迟偏移、子图片级别处的初始CPB移除延迟及子图片级别处的初始CPB移除延迟偏移 的相应发信值。
10. 根据权利要求8所述的方法，其中指示用于所述公共图片的所述子图片中的每一 者的所述缓冲器移除时间的所述相应发信值包含在适用于所述公共图片的图片计时补充 增强信息SEI消息中。
11. 根据权利要求8所述的方法，其中指示用于所述公共图片的所述子图片中的每一 者的所述缓冲器移除时间的所述相应发信值包含在适用于相应子图片的补充增强信息SEI 消息中。
12. 根据权利要求1所述的方法，其中译码所述视频数据包含编码视频数据以形成所 述解码单元中的至少一者，且其中获得所述缓冲器移除时间包含确定指示所述缓冲器移除 时间的值。
13. 根据权利要求1所述的方法，其中根据所述所获得缓冲器移除时间而从所述图片 缓冲器移除视频数据的所述解码单元包含在自所述解码单元中的至少一者在所述图片缓 冲器中的所述存储以来已经过所述所获得缓冲器移除时间之后从所述图片缓冲器移除所 述解码单元中的至少一者。
14. 根据权利要求1所述的方法，其中所述一或多个解码单元包含相应子图片。
15. 根据权利要求14所述的方法，其进一步包含接收指示在所述视频数据的较大集合 内的所述子图片中的至少一者的字节对准的发信值。
16. 根据权利要求15所述的方法，其中所述视频数据的所述较大集合包含存取单元、 存取单元的子集、图片、帧、切片、波，或图像块。
17. 根据权利要求14所述的方法，其中所述子图片对应于一或多个视频数据块序列、 一或多个切片、一或多个波、一或多个图像块或一或多个网络抽象层NAL单元中的至少一 者。
18. 根据权利要求1所述的方法，其中获得用于所述解码单元中的相应解码单元的所 述相应缓冲器移除时间包含： 如果所述相应解码单元包含所述视频数据的序号第一解码单元，那么确定所述缓冲器 移除时间包含在与包含所述相应解码单元的存取单元相关联的缓冲周期补充增强信息SEI 消息中指定的经译码图片缓冲器移除延迟值；及 如果所述相应解码单元并非所述视频数据的所述序号第一解码单元，其中所述相应解 码单元包含序号第i解码单元，其中i > 0,那么确定所述缓冲器移除时间包含如在与包含 所述相应解码单元的所述存取单元相关联的所述图片计时SEI消息中指定的解码单元经 译码图片缓冲器移除延迟[i]。
19. 根据权利要求1所述的方法，其中获得用于所述解码单元中的相应解码单元的所 述相应缓冲器移除时间包含： 如果所述相应解码单元包含所述视频数据的存取单元的序号第一解码单元，那么确定 用于所述解码单元的名义移除时间包含初始经译码图片缓冲器移除延迟值除以90000 ;及 如果所述相应解码单元并非所述存取单元的所述序号第一解码单元，其中所述解码单 元包含所述存取单元的序号第m解码单元，其中m > 0,那么确定用于所述解码单元的名义 移除时间包含上一缓冲周期的序号第一解码单元的名义移除时间加时钟计时周期乘与所 述序号第m解码单元相关联的经译码图片缓冲器移除延迟。
20. 根据权利要求1所述的方法，其中所述解码单元中的至少两者包括不同数目个译 码块，且译码对应于所述经移除解码单元的所述视频数据包含译码所述至少两个解码单元 中的所述不同数目个译码块。
21. 根据权利要求1所述的方法，其中所述解码单元中的至少两者包括不同数目个位， 且译码对应于所述经移除解码单元的所述视频数据包含译码所述至少两个解码单元中的 所述不同数目个位。
22. -种用于译码视频数据的装置，所述装置包含视频译码器，所述视频译码器经配置 以： 将视频数据的一或多个解码单元存储在图片缓冲器中； 获得用于所述一或多个解码单元的相应缓冲器移除时间，其中获得所述相应缓冲器移 除时间包含接收指示用于所述解码单元中的至少一者的所述相应缓冲器移除时间的相应 发信值； 根据用于所述解码单元中的每一者的所述所获得缓冲器移除时间而从所述图片缓冲 器移除所述解码单元；及 译码对应于所述经移除解码单元的视频数据，其中译码所述视频数据包含解码所述解 码单元中的所述至少一者。
23. 根据权利要求22所述的装置，其中视频数据的所述一或多个解码单元中的每一者 为存取单元或存取单元的子集。
24. 根据权利要求22所述的装置，其中所述视频译码器经进一步配置成以连续解码顺 序将视频数据的所述一或多个解码单元存储在所述图片缓冲器中。
25. 根据权利要求24所述的装置，其中所述视频译码器经进一步配置以在存储所述一 或多个解码单元之前以所述连续解码顺序接收视频数据的所述一或多个解码单元。
26. 根据权利要求22所述的装置，其中所述图片缓冲器为经译码图片缓冲器。
27. 根据权利要求26所述的装置，其中所述视频译码器经进一步配置以在从所述经译 码图片缓冲器移除所述解码单元中的第二解码单元之前从所述经译码图片缓冲器移除所 述解码单元中的第一解码单元，其中所述第一解码单元及所述第二解码单元包含公共存取 单元的相应子集。
28. 根据权利要求22所述的装置，其中指示用于所述解码单元中的所述至少一者的所 述缓冲器移除时间的所述发信值包含指示由所述解码单元中的所述至少一者包含的网络 抽象层NAL单元的数目的发信值。
29. 根据权利要求22所述的装置，其中所述一或多个解码单元包含公共图片的多个子 图片，且其中接收指示用于所述解码单元中的所述至少一者的所述相应缓冲器移除时间的 所述相应发信值包含接收指示用于所述公共图片的所述子图片中的每一者的所述缓冲器 移除时间的相应发信值。
30. 根据权利要求29所述的装置，其中所述图片缓冲器为经译码图片缓冲器CPB，且其 中接收指示用于所述公共图片的所述子图片中的每一者的所述缓冲器移除时间的所述相 应发信值包含接收指示存取单元级别处的初始CPB移除延迟、存取单元级别处的初始CPB 移除延迟偏移、子图片级别处的初始CPB移除延迟及子图片级别处的初始CPB移除延迟偏 移的相应发信值。
31. 根据权利要求29所述的装置，其中指示用于所述公共图片的所述子图片中的每一 者的所述缓冲器移除时间的所述相应发信值包含在适用于所述公共图片的图片计时补充 增强信息SEI消息中。
32. 根据权利要求29所述的装置，其中指示用于所述公共图片的所述子图片中的每一 者的所述缓冲器移除时间的所述相应发信值包含在适用于相应子图片的补充增强信息SEI 消息中。
33. 根据权利要求22所述的装置，其中为了译码所述视频数据，所述视频译码器经进 一步配置以编码所述视频数据以形成所述解码单元中的至少一者，且其中为了获得所述缓 冲器移除时间，所述视频译码器经进一步配置以确定指示所述缓冲器移除时间的值。
34. 根据权利要求22所述的装置，其中为了根据所述所获得缓冲器移除时间而从所述 图片缓冲器移除视频数据的所述解码单元，所述视频译码器经进一步配置以在自所述解码 单元中的至少一者在所述图片缓冲器中的所述存储以来已经过所述所获得缓冲器移除时 间之后从所述图片缓冲器移除所述解码单元中的至少一者。
35. 根据权利要求22所述的装置，其中所述一或多个解码单元包含相应子图片。
36. 根据权利要求35所述的装置，其中所述视频译码器经进一步配置以接收指示在所 述视频数据的较大集合内的所述子图片中的至少一者的字节对准的发信值。
37. 根据权利要求36所述的装置，其中所述视频数据的所述较大集合包含存取单元、 存取单元的子集、图片、帧、切片、波，或图像块。
38. 根据权利要求35所述的装置，其中所述子图片对应于一或多个视频数据块序列、 一或多个切片、一或多个波、一或多个图像块或一或多个网络抽象层NAL单元中的至少一 者。
39. 根据权利要求22所述的装置，其中为了获得用于所述解码单元中的相应解码单元 的所述相应缓冲器移除时间，所述视频译码器经进一步配置以： 如果所述相应解码单元包含所述视频数据的序号第一解码单元，那么确定所述缓冲器 移除时间包含在与包含所述相应解码单元的存取单元相关联的缓冲周期补充增强信息SEI 消息中指定的经译码图片缓冲器移除延迟值；及 如果所述相应解码单元并非所述视频数据的所述序号第一解码单元，其中所述相应解 码单元包含序号第i解码单元，其中i > 0,那么确定所述缓冲器移除时间包含如在与包含 所述相应解码单元的所述存取单元相关联的所述图片计时SEI消息中指定的解码单元经 译码图片缓冲器移除延迟[i]。
40. 根据权利要求22所述的装置，其中为了获得用于所述解码单元中的相应解码单元 的所述相应缓冲器移除时间，所述视频译码器经进一步配置以： 如果所述相应解码单元包含所述视频数据的存取单元的序号第一解码单元，那么确定 用于所述解码单元的名义移除时间包含初始经译码图片缓冲器移除延迟值除以90000 ;及 如果所述相应解码单元并非所述存取单元的所述序号第一解码单元，其中所述解码单 元包含所述存取单元的序号第m解码单元，其中m>0,那么确定用于所述解码单元的名义 移除时间包含上一缓冲周期的序号第一解码单元的名义移除时间加时钟计时周期乘与所 述序号第m解码单元相关联的经译码图片缓冲器移除延迟。
41. 根据权利要求22所述的装置，其中所述解码单元中的至少两者包括不同数目个译 码块，且译码对应于所述经移除解码单元的所述视频数据包含译码所述至少两个解码单元 中的所述不同数目个译码块。
42. 根据权利要求22所述的装置，其中所述解码单元中的至少两者包括不同数目个 位，且译码对应于所述经移除解码单元的所述视频数据包含译码所述至少两个解码单元中 的所述不同数目个位。
43. 根据权利要求22所述的装置，其中所述装置包含以下各者中的至少一者： 一或多个集成电路； 一或多个微处理器；及 无线通信装置，其包括所述视频译码器。
44. 根据权利要求22所述的装置，其中为了译码对应于所述经移除解码单元的所述视 频数据，所述视频译码器经进一步配置以解码所述视频数据。
45. 根据权利要求22所述的装置，其中所述图片缓冲器为经译码图片缓冲器，且所述 装置进一步包含存储器，所述存储器经配置以将一或多个经解码图片存储在经解码图片缓 冲器中。
46. 根据权利要求22所述的装置，其中所述图片缓冲器为经译码图片缓冲器，且所述 装置进一步包含存储器，所述存储器经配置以将经译码视频数据存储在所述经译码图片缓 冲器中。
47. 根据权利要求22所述的装置，其中所述图片缓冲器为经译码图片缓冲器，且所述 装置进一步包含流调度单元，所述流调度单元经配置以将经译码视频数据存储到所述经译 码图片缓冲器。
48. -种用于译码视频数据的设备，所述设备包含： 用于将视频数据的一或多个解码单元存储在图片缓冲器中的装置； 用于获得用于所述一或多个解码单元的相应缓冲器移除时间的装置，其中获得所述相 应缓冲器移除时间包含接收指示用于所述解码单元中的至少一者的所述相应缓冲器移除 时间的相应发信值； 用于根据用于所述解码单元中的每一者的所述所获得缓冲器移除时间而从所述图片 缓冲器移除所述解码单元的装置；及 用于译码对应于所述经移除解码单元的视频数据的装置，其中译码所述视频数据包含 解码所述解码单元中的所述至少一者。
49. 根据权利要求48所述的设备，其中视频数据的所述一或多个解码单元中的每一者 为存取单元或存取单元的子集。
50. 根据权利要求48所述的设备，其进一步包含用于以连续解码顺序将视频数据的所 述一或多个解码单元存储在所述图片缓冲器中的装置。
51. 根据权利要求50所述的设备，其进一步包含在存储所述一或多个解码单元之前以 所述连续解码顺序接收视频数据的所述一或多个解码单元。
52. 根据权利要求48所述的设备，其中所述图片缓冲器为经译码图片缓冲器。
53. 根据权利要求52所述的设备，其进一步包含用于在从所述经译码图片缓冲器移除 所述解码单元中的第二解码单元之前从所述经译码图片缓冲器移除所述解码单元中的第 一解码单元的装置，其中所述第一解码单元及所述第二解码单元包含公共存取单元的相应 子集。
54. 根据权利要求48所述的设备，其中指示用于所述解码单元中的所述至少一者的所 述缓冲器移除时间的所述发信值包含指示由所述解码单元中的所述至少一者包含的网络 抽象层NAL单元的数目的发信值。
55. 根据权利要求48所述的设备，其中所述一或多个解码单元包含公共图片的多个子 图片，且其中接收指示用于所述解码单元中的所述至少一者的所述相应缓冲器移除时间的 所述相应发信值包含接收指示用于所述公共图片的所述子图片中的每一者的所述缓冲器 移除时间的相应发信值。
56. 根据权利要求55所述的设备，其中所述图片缓冲器为经译码图片缓冲器CPB，且其 中所述用于接收指示用于所述公共图片的所述子图片中的每一者的所述缓冲器移除时间 的所述相应发信值的装置包含用于接收指示存取单元级别处的初始CPB移除延迟、存取单 元级别处的初始CPB移除延迟偏移、子图片级别处的初始CPB移除延迟及子图片级别处的 初始CPB移除延迟偏移的相应发信值的装置。
57. 根据权利要求55所述的设备，其中指示用于所述公共图片的所述子图片中的每一 者的所述缓冲器移除时间的所述相应发信值包含在适用于所述公共图片的图片计时补充 增强信息SEI消息中。
58. 根据权利要求55所述的设备，其中指示用于所述公共图片的所述子图片中的每一 者的所述缓冲器移除时间的所述相应发信值包含在适用于相应子图片的补充增强信息SEI 消息中。
59. 根据权利要求48所述的设备，其中所述用于译码所述视频数据的装置包含编码视 频数据以形成所述解码单元中的至少一者，且其中所述用于获得所述缓冲器移除时间的装 置包含用于确定指示所述缓冲器移除时间的值的装置。
60. 根据权利要求48所述的设备，其中所述用于根据所述所获得缓冲器移除时间而从 所述图片缓冲器移除视频数据的所述解码单元的装置包含用于在自所述解码单元中的至 少一者在所述图片缓冲器中的所述存储以来已经过所述所获得缓冲器移除时间之后从所 述图片缓冲器移除所述解码单元中的至少一者的装置。
61. 根据权利要求48所述的设备，其中所述一或多个解码单元包含相应子图片。
62. 根据权利要求61所述的设备，其进一步包含用于接收指示在所述视频数据的较大 集合内的所述子图片中的至少一者的字节对准的发信值的装置。
63. 根据权利要求62所述的设备，其中所述视频数据的所述较大集合包含存取单元、 存取单元的子集、图片、帧、切片、波，或图像块。
64. 根据权利要求61所述的设备，其中所述子图片对应于一或多个视频数据块序列、 一或多个切片、一或多个波、一或多个图像块或一或多个网络抽象层NAL单元中的至少一 者。
65. 根据权利要求48所述的设备，其中所述用于获得用于所述解码单元中的相应解码 单元的所述相应缓冲器移除时间的装置包含： 用于以下操作的装置：如果所述相应解码单元包含所述视频数据的序号第一解码单 元，那么确定所述缓冲器移除时间包含在与包含所述相应解码单元的存取单元相关联的缓 冲周期补充增强信息SEI消息中指定的经译码图片缓冲器移除延迟值；及 用于以下操作的装置：如果所述相应解码单元并非所述视频数据的所述序号第一解码 单元，其中所述相应解码单元包含序号第i解码单元，其中i > 0,那么确定所述缓冲器移除 时间包含如在与包含所述相应解码单元的所述存取单元相关联的所述图片计时SEI消息 中指定的解码单元经译码图片缓冲器移除延迟[i]。
66. 根据权利要求48所述的设备，其中所述用于获得用于所述解码单元中的相应解码 单元的所述相应缓冲器移除时间的装置包含： 用于以下操作的装置：如果所述相应解码单元包含所述视频数据的存取单元的序号第 一解码单元，那么确定用于所述解码单元的名义移除时间包含初始经译码图片缓冲器移除 延迟值除以90000 ;及 用于以下操作的装置：如果所述相应解码单元并非所述存取单元的所述序号第一解码 单元，其中所述解码单元包含所述存取单元的序号第m解码单元，其中m > 0,那么确定用于 所述解码单元的名义移除时间包含上一缓冲周期的序号第一解码单元的名义移除时间加 时钟计时周期乘与所述序号第m解码单元相关联的经译码图片缓冲器移除延迟。
67. 根据权利要求48所述的设备，其中所述解码单元中的至少两者包括不同数目个译 码块，且译码对应于所述经移除解码单元的所述视频数据包含译码所述至少两个解码单元 中的所述不同数目个译码块。
68. 根据权利要求48所述的设备，其中所述解码单元中的至少两者包括不同数目个 位，且译码对应于所述经移除解码单元的所述视频数据包含译码所述至少两个解码单元中 的所述不同数目个位。
69. 根据权利要求48所述的设备，其中所述设备包含以下各者中的至少一者： 一或多个集成电路； 一或多个微处理器；及 无线通信装置，其包括视频译码装置。
70. -种计算机程序产品，其包含计算机可读存储媒体，所述计算机可读存储媒体包含 存储在其上的指令，所述指令在执行时使处理器： 将视频数据的一或多个解码单元存储在图片缓冲器中； 获得用于所述一或多个解码单元的相应缓冲器移除时间，其中获得所述相应缓冲器移 除时间包含接收指示用于所述解码单元中的至少一者的所述相应缓冲器移除时间的相应 发信值； 根据用于所述解码单元中的每一者的所述所获得缓冲器移除时间而从所述图片缓冲 器移除所述解码单元；及 译码对应于所述经移除解码单元的视频数据，其中译码所述视频数据包含解码所述解 码单元中的所述至少一者。
71. 根据权利要求70所述的计算机程序产品，其中视频数据的所述一或多个解码单元 中的每一者为存取单元或存取单元的子集。
72. 根据权利要求70所述的计算机程序产品，其中所述指令进一步使所述处理器以连 续解码顺序将视频数据的所述一或多个解码单元存储在所述图片缓冲器中。
73. 根据权利要求72所述的计算机程序产品，其进一步包含在存储所述一或多个解码 单元之前以所述连续解码顺序接收视频数据的所述一或多个解码单元。
74. 根据权利要求70所述的计算机程序产品，其中所述图片缓冲器为经译码图片缓冲 器。
75. 根据权利要求74所述的计算机程序产品，方法进一步包含在从所述经译码图片缓 冲器移除所述解码单元中的第二解码单元之前从所述经译码图片缓冲器移除所述解码单 元中的第一解码单元，其中所述第一解码单元及所述第二解码单元包含公共存取单元的相 应子集。
76. 根据权利要求70所述的计算机程序产品，其中指示用于所述解码单元中的所述至 少一者的所述缓冲器移除时间的所述发信值包含指示由所述解码单元中的所述至少一者 包含的网络抽象层NAL单元的数目的发信值。
77. 根据权利要求70所述的计算机程序产品，其中所述一或多个解码单元包含公共图 片的多个子图片，且其中接收指示用于所述解码单元中的所述至少一者的所述相应缓冲器 移除时间的所述相应发信值包含接收指示用于所述公共图片的所述子图片中的每一者的 所述缓冲器移除时间的相应发信值。
78. 根据权利要求77所述的计算机程序产品，其中所述图片缓冲器为经译码图片缓冲 器CPB，且其中接收指示用于所述公共图片的所述子图片中的每一者的所述缓冲器移除时 间的所述相应发信值包含接收指示存取单元级别处的初始CPB移除延迟、存取单元级别处 的初始CPB移除延迟偏移、子图片级别处的初始CPB移除延迟及子图片级别处的初始CPB 移除延迟偏移的相应发信值。
79. 根据权利要求77所述的计算机程序产品，其中指示用于所述公共图片的所述子图 片中的每一者的所述缓冲器移除时间的所述相应发信值包含在适用于所述公共图片的图 片计时补充增强信息SEI消息中。
80. 根据权利要求77所述的计算机程序产品，其中指示用于所述公共图片的所述子图 片中的每一者的所述缓冲器移除时间的所述相应发信值包含在适用于相应子图片的补充 增强信息SEI消息中。
81. 根据权利要求70所述的计算机程序产品，其中译码所述视频数据包含编码视频数 据以形成所述解码单元中的至少一者，且其中获得所述缓冲器移除时间包含确定指示所述 缓冲器移除时间的值。
82. 根据权利要求70所述的计算机程序产品，其中根据所述所获得缓冲器移除时间而 从所述图片缓冲器移除视频数据的所述解码单元包含在自所述解码单元中的至少一者在 所述图片缓冲器中的所述存储以来已经过所述所获得缓冲器移除时间之后从所述图片缓 冲器移除所述解码单元中的至少一者。
83. 根据权利要求70所述的计算机程序产品，其中所述一或多个解码单元包含相应子 图片。
84. 根据权利要求83所述的计算机程序产品，其中所述指令进一步使所述处理器接收 指示在所述视频数据的较大集合内的所述子图片中的至少一者的字节对准的发信值。
85. 根据权利要求84所述的计算机程序产品，其中所述视频数据的所述较大集合包含 存取单元、存取单元的子集、图片、帧、切片、波，或图像块。
86. 根据权利要求83所述的计算机程序产品，其中所述子图片对应于一或多个视频数 据块序列、一或多个切片、一或多个波、一或多个图像块或一或多个网络抽象层NAL单元中 的至少一者。
87. 根据权利要求70所述的计算机程序产品，其中获得用于所述解码单元中的相应解 码单元的所述相应缓冲器移除时间包含： 如果所述相应解码单元包含所述视频数据的序号第一解码单元，那么确定所述缓冲器 移除时间包含在与包含所述相应解码单元的存取单元相关联的缓冲周期补充增强信息SEI 消息中指定的经译码图片缓冲器移除延迟值；及 如果所述相应解码单元并非所述视频数据的所述序号第一解码单元，其中所述相应解 码单元包含序号第i解码单元，其中i > 0,那么确定所述缓冲器移除时间包含如在与包含 所述相应解码单元的所述存取单元相关联的所述图片计时SEI消息中指定的解码单元经 译码图片缓冲器移除延迟[i]。
88. 根据权利要求70所述的计算机程序产品，其中获得用于所述解码单元中的相应解 码单元的所述相应缓冲器移除时间包含： 如果所述相应解码单元包含所述视频数据的存取单元的序号第一解码单元，那么确定 用于所述解码单元的名义移除时间包含初始经译码图片缓冲器移除延迟值除以90000 ;及 如果所述相应解码单元并非所述存取单元的所述序号第一解码单元，其中所述解码单 元包含所述存取单元的序号第m解码单元，其中m > 0,那么确定用于所述解码单元的名义 移除时间包含上一缓冲周期的序号第一解码单元的名义移除时间加时钟计时周期乘与所 述序号第m解码单元相关联的经译码图片缓冲器移除延迟。
89. 根据权利要求70所述的计算机程序产品，其中所述解码单元中的至少两者包括不 同数目个译码块，且译码对应于所述经移除解码单元的所述视频数据包含译码所述至少两 个解码单元中的所述不同数目个译码块。
90. 根据权利要求70所述的计算机程序产品，其中所述解码单元中的至少两者包括不 同数目个位，且译码对应于所述经移除解码单元的所述视频数据包含译码所述至少两个解 码单元中的所述不同数目个位。
91. 一种处理视频数据的方法，所述方法包含： 根据多个视频可用性信息WI参数中的至少一者来处理视频数据，所述多个WI参数 包括： 子图片经译码图片缓冲器CPB参数存在旗标（sub_pic_cpb_params_present_flag)， 其指示子图片CPB参数的存在， 补充增强信息SEI消息，其包括以下各者中的至少一者：指示在到达时间与移除时间 之间针对第SchedSelldx个CPB的延迟的语法元素（initial_du_cpb_removal_delay)，其 中所述到达时间为与存取单元中的第一解码单元相关联的经译码数据的第一位进入经译 码图片缓冲器CPB的到达时间，所述存取单元是与缓冲周期SEI消息相关联，且所述移除 时间为针对在假设参考解码器HRD初始化之后的第一缓冲周期与所述第一解码单元相关 联的所述经译码数据离开所述CPB的移除时间；及结合指示CPB移除延迟（cpb_ rem〇val_ delay)的语法元素而指示偏移的语法元素（initial_du_cpb_removal_delay_offset)，所 述偏移是使所述第SchedSelldx个CPB指定所述第一解码单元到所述CPB的初始传递时 间，及 SEI消息，其包括：指示网络存取层NAL单元的数目的至少一个语法元素（num_naluS_ in_du_minuSl)，其中所述数目为在与图片计时SEI消息相关联的所述存取单元的对应第 i解码单元中的网络存取层NAL单元的数目；及指定时钟计时周期的数目的语法元素（du_ cpb_removal_delay)，其中所述数目为在从所述CPB移除所述存取单元中的与所述图片计 时SEI消息相关联的所述对应第i解码单元之前在所述存取单元中的与前一存取单元中的 最近缓冲周期SEI消息相关联的所述第一解码单元从所述CPB的移除之后将等待的时钟计 时周期的数目。
【文档编号】H04N19/70GK104221387SQ201380018437
【公开日】2014年12月17日 申请日期:2013年2月26日 优先权日:2012年4月4日
【发明者】王益魁, 陈颖 申请人:高通股份有限公司