在视频译码中的低延迟缓冲模型的制作方法
【专利说明】
[0001] 相关申请案
[0002] 本申请案主张2012年12月19日申请的美国临时申请案第61/739, 632号及2012 年12月21日申请的美国临时申请案第61/745, 423号的权利，所述两个临时申请案的全部 内容是以引用方式并入本文中。
技术领域
[0003] 本发明涉及视频译码，且更明确地说，涉及用于在视频译码过程中的低延迟缓冲 的技术。
【背景技术】
[0004] 数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系 统、无线广播系统、个人数字助理（PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读 器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫 星无线电话、所谓"智能电话"、视频电话会议装置、视频流式处理装置，及其类似者。数字视 频装置实施视频压缩技术，诸如，由MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H. 264/MPEG-4第 10部分的高级视频译码（AVC)定义的标准、目前在开发中的高效率视频译码（HEVC)标准及 这些标准的扩展中描述的视频压缩技术。视频装置可通过实施这些视频压缩技术而较有效 率地发射、接收、编码、解码及/或存储数字视频信息。
[0005] 视频压缩技术执行空间（图片内）预测及/或时间（图片间）预测以缩减或移除 为视频序列所固有的冗余。对于基于块的视频译码，可将视频切片（即，视频帧或视频帧的 部分）分割成视频块，视频块也可被称作树状块、译码单元（CU)及/或译码节点。图片的 经帧内译码（I)切片中的视频块是使用关于同一图片中的相邻块中的参考样本的空间预 测而编码。图片的经帧间译码（P或B)切片中的视频块可使用关于同一图片中的相邻块中 的参考样本的空间预测，或关于其它参考图片中的参考样本的时间预测。图片可被称作帧， 且参考图片可被称作参考帧。
[0006] 空间预测或时间预测利用预测性块。残差数据表示原始待译码块与预测性块之间 的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动矢量及指示经译码 块与预测性块之间的差的残差数据而编码。经帧内译码块是根据帧内译码模式及残差数据 而编码。出于进一步压缩起见，可将残差数据从像素域变换到变换域，从而引起残差变换系 数，残差变换系数接着可被量化。可扫描最初以二维阵列而布置的经量化变换系数以便产 生变换系数的一维矢量，且可应用熵译码以实现甚至更多的压缩。
【发明内容】
[0007] 大体上，本发明描述用于视频译码的技术，且更明确地说，描述用于在视频译码过 程中的低延迟缓冲的技术。在一或多个实例中，本发明提议用于发信经解码图片缓冲器 (DPB)输出延迟以在视频解码器正在子图片级别处操作时予以使用以便改进视频缓冲器延 迟的技术。
[0008] 在本发明的一个实例中，一种解码视频的方法包括：接收用于经解码图片的第一 经解码图片缓冲器（DPB)输出延迟及第二DPB输出延迟；在用于视频解码器的假设参考解 码器（HRD)设置指示在图片级别处的操作的状况下针对所述经解码图片而使用所述第一 DPB输出延迟来确定第一 DPB输出时间；及在用于所述视频解码器的所述HRD设置指示在 子图片级别处的操作的状况下针对所述经解码图片而使用所述第二DPB输出延迟来确定 第二DPB输出时间。
[0009] 在本发明的另一实例中，一种编码视频的方法包括：在用于视频解码器的HRD设 置指示在图片级别处的操作的状况下使用第一 DPB输出延迟来确定第一 DPB输出时间；在 用于所述视频解码器的所述HRD设置指示在子图片级别处的操作的状况下使用第二DPB输 出延迟来确定第二DPB输出时间；及发信所述第一经解码图片缓冲器（DPB)输出延迟及所 述第二DPB输出延迟。
[0010] 在本发明的另一实例中，一种经配置以解码视频数据的设备包括视频解码器，所 述视频解码器经配置以：接收用于经解码图片的第一 DPB输出延迟及第二DPB输出延迟； 在用于视频解码器的HRD设置指示在图片级别处的操作的状况下针对所述经解码图片而 使用所述第一 DPB输出延迟来确定第一 DPB输出时间；及在用于所述视频解码器的所述 HRD设置指示在子图片级别处的操作的状况下针对所述经解码图片而使用所述第二DPB输 出延迟来确定第二DPB输出时间。
[0011] 在本发明的另一实例中，一种经配置以编码视频数据的设备包括视频编码器，所 述视频编码器经配置以：在用于视频解码器的HRD设置指示在图片级别处的操作的状况下 使用第一 DPB输出延迟来确定第一 DPB输出时间；在用于所述视频解码器的所述HRD设置 指示在子图片级别处的操作的状况下使用第二DPB输出延迟来确定第二DPB输出时间；及 发信所述第一 DPB输出延迟及所述第二DPB输出延迟。
[0012] 在本发明的另一实例中，一种经配置以解码视频数据的设备包括：用于接收用于 经解码图片的第一 DPB输出延迟及第二DPB输出延迟的装置；用于在用于视频解码器的 HRD设置指示在图片级别处的操作的状况下针对所述经解码图片而使用所述第一 DPB输出 延迟来确定第一 DPB输出时间的装置；及用于在用于所述视频解码器的所述HRD设置指示 在子图片级别处的操作的状况下针对所述经解码图片而使用所述第二DPB输出延迟来确 定第二DPB输出时间的装置。
[0013] 在本发明的另一实例中，一种经配置以编码视频数据的设备包括：用于在用于视 频解码器的HRD设置指示在图片级别处的操作的状况下使用第一 DPB输出延迟来确定第一 DPB输出时间的装置；用于在用于所述视频解码器的所述HRD设置指示在子图片级别处的 操作的状况下使用第二DPB输出延迟来确定第二DPB输出时间的装置；用于发信所述第一 DPB输出延迟及所述第二DPB输出延迟的装置。
[0014] 在另一实例中，本发明揭示一种计算机可读存储媒体，所述计算机可读存储媒体 存储指令，所述指令在执行时致使经配置以解码视频数据的装置的一或多个处理器：接收 用于经解码图片的第一 DPB输出延迟及第二DPB输出延迟；在用于视频解码器的HRD设置 指示在图片级别处的操作的状况下针对所述经解码图片而使用所述第一 DPB输出延迟来 确定第一 DPB输出时间；及在用于所述视频解码器的所述HRD设置指示在子图片级别处的 操作的状况下针对所述经解码图片而使用所述第二DPB输出延迟来确定第二DPB输出时 间。
[0015] 在另一实例中，本发明揭示一种计算机可读存储媒体，所述计算机可读存储媒体 存储指令，所述指令在执行时致使经配置以编码视频数据的装置的一或多个处理器：在用 于视频解码器的HRD设置指示在图片级别处的操作的状况下使用第一 DPB输出延迟来确定 第一 DPB输出时间；在用于所述视频解码器的所述HRD设置指示在子图片级别处的操作的 状况下使用第二DPB输出延迟来确定第二DPB输出时间；及发信所述第一 DPB输出延迟及 所述第二DPB输出延迟。
[0016] 在附图及以下描述中阐述一或多个实例的细节。其它特征、目标及优点将从所述 描述及所述附图且从权利要求书显而易见。
【附图说明】
[0017] 图1为说明可利用本发明所描述的技术的实例视频编码及解码系统的框图。
[0018] 图2为说明用于假设参考解码器（HRD)的缓冲器模型的框图。
[0019] 图3为说明可实施本发明所描述的技术的实例视频编码器的框图。
[0020] 图4为说明可实施本发明所描述的技术的实例视频解码器的框图。
[0021] 图5为展示根据本发明的技术的实例编码方法的流程图。
[0022] 图6为展示根据本发明的技术的实例解码方法的流程图。
【具体实施方式】
[0023] 本发明描述用以经由一般的基于子图片的假设参考解码器（HRD)模型而以能共 同操作的方式来实现缩减的编码解码器（译码器/解码器）延迟的各种方法及技术，所述 模型包含基于子图片的经译码图片缓冲器（CPB)操作及基于子图片时序的经解码图片缓 冲器（DPB)操作两者。
[0024] 用以最小化CPB及/或DPB延迟时间的当前方法展现以下缺点。经解码图片的输 出时间等于最后解码单元（即，用于存取单元级别操作的存取单元自身）的解码时间（即， CPB移除时间）加经发信DPB输出延迟。因此，通常使用用以缩减所述延迟的两种方法。一 种方法是较早地使解码时间移位。另一方法是缩减经发信DPB输出延迟（相对于CPB移除 时间）的值。然而，用于超低延迟缓冲模型的现有解决方案仅涉及基于子图片的CPB操作， 且仅利用第一方法以缩减延迟。
[0025] 鉴于这些缺点，本发明提议用于经由发信及使用相对于CPB移除时间的经发信 DPB输出延迟的缩减值而进一步缩减解码延迟