用于视频译码中的随机存取的视频缓冲操作的制作方法
【专利说明】用于视频语码中的随机存取的视频缓冲操作
[0001] 本申请案主张2013年1月7日申请的美国临时申请案第61/749,820号的权利， 所述申请案的全部内容W引用的方式并入本文中。
技术领域
[0002] 本发明设及视频译码，且更特定来说，设及用于控制视频解码器的视频缓冲操作 的技术。
【背景技术】
[0003] 数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系 统、无线广播系统、个人数字助理（PDA)、膝上型或桌上型计算机、平板型计算机、电子书阅 读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式 或卫星无线电电话、所谓的"智能型手机"、视频电传会议装置、视频流式传输装置，和其类 似者。数字视频装置实施视频压缩技术，例如描述于W下各者中的那些技术：由MPEG-2、 MPEG-4、ITU-TH. 263JTU-T比264/MPEG-4第10部分（先进视频译码（AVC))定义的标准、 目前在开发中的高效率视频译码（肥VC)标准，和该些标准的扩展。视频装置可通过实施该 些视频压缩技术而较有效率地发射、接收、编码、解码和/或存储数字视频信息。
[0004] 视频压缩技术执行空间（图片内）预测和/或时间（图片间）预测，W减少或去 除视频序列中所固有的冗余。对于基于块的视频译码来说，可将视频切片（即，视频帖或视 频帖的一部分）分割成视频块，所述视频块也可被称作树型块、译码单元（CU)和/或译码 节点。使用相对于同一图片中的相邻块中的参考样本的空间预测来编码图片的经帖内译码 (I)切片中的视频块。图片的经帖间译码（P或B)切片中的视频块可使用相对于同一图片 中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图 片可被称作帖，且参考图片可被称作参考帖。
[0005] 空间预测或时间预测利用预测性块。残余数据表示待译码的原始块与预测性块之 间的像素差。根据指向形成预测性块的参考样本的块的运动向量和指示经译码块与预测性 块之间的差异的残余数据来编码经帖间译码块。根据帖内译码模式和残余数据来编码经帖 内译码块。为进行进一步压缩，可将残余数据从像素域变换到变换域，从而产生可接着进行 量化的残余变换系数。可扫描最初排列成二维阵列的经量化的变换系数，W便产生变换系 数的一维向量，且可应用滴译码W达成甚至更多的压缩。
【发明内容】
[0006] 大体来说，本发明描述用于针对具有丢弃前置图片的随机存取点（RAP)图片而控 制视频解码器中的缓冲操作的技术。在一些实例中，当位流包含在初始RAP图片之后的后 续RAP图片时，解码器可经配置W在不存在所述后续RAP图片的前置图片（例如，随机存取 跳过前置（RA化）图片）时移位在所述后续RAP图片之后的存取单元的经译码图片缓冲器 (CPB)去除时间。
[0007] 在本发明的一个实例中，一种处理视频数据的方法包含；在视频位流中接收具有 第一随机存取点（RAP)图片的存取单元；在所述位流中的所述存取单元之后，在所述视频 位流中接收具有第二RAP图片的后续存取单元；和在所述所接收的位流中不存在所述后续 存取单元的一或多个随机存取跳过前置（RA化）图片的状况下，基于图片缓冲器去除延迟 偏移将图片缓冲器去除时间移位得较早。
[000引在本发明的另一实例中，一种处理视频数据的方法包含；在对假想参考解码器 (HRD)进行较早初始化之后，接收存取单元，所述存取单元具有随机存取点（RAP)图片，其 中不接收含有随机存取跳过前置（RA化）图片的相关联的存取单元；和响应于接收所述存 取单元而不接收含有RA化图片的所述相关联的存取单元，重新初始化图片缓冲器去除时 间和图片缓冲器去除延迟偏移。
[0009] 在另一实例中，本发明描述一种用于处理视频数据的装置，其包含处理器，所述处 理器经配置W进行W下操作：在视频位流中接收具有RAP图片的存取单元；在所述位流中 的所述存取单元之后，在所述视频位流中接收具有第二RAP图片的后续存取单元；和在所 述所接收的位流中不存在所述后续存取单元的一或多个随机存取跳过前置（RASL)图片的 状况下，基于图片缓冲器去除延迟偏移将图片缓冲器去除时间移位得较早。
[0010] 在另一实例中，本发明描述一种用于处理视频数据的装置，其包含处理器，所述处 理器经配置W进行W下操作；在对假想参考解码器（HRD)进行较早初始化之后，接收存取 单元，所述存取单元具有RAP图片，其中不接收含有RA化图片的相关联的存取单元讯响应 于接收所述存取单元而不接收含有RA化图片的所述相关联的存取单元，重新初始化所述 HRD，所述重新初始化包含重新初始化图片缓冲器去除时间和图片缓冲器去除延迟偏移。
[0011] 在另一实例中，本发明描述一种用于处理视频数据的装置，其包含；用于在视频位 流中接收具有RAP图片的存取单元的装置；用于在所述位流中的所述存取单元之后在所述 视频位流中接收具有第二RAP图片的后续存取单元的装置；和用于在所述后续存取单元的 一或多个随机存取跳过前置（RA化）图片的状况下基于图片缓冲器去除延迟偏移将图片缓 冲器去除时间移位得较早的装置。
[0012] 在另一实例中，本发明描述一种用于处理视频数据的装置，其包含；用于在对假想 参考解码器（HRD)进行较早初始化之后接收一存取单元的装置，所述存取单元具有RAP图 片，其中不接收含有RASL图片的相关联的存取单元；和用于响应于接收所述存取单元而不 接收含有RASL图片的所述相关联的存取单元来重新初始化所述HRD的装置，所述重新初始 化包含重新初始化图片缓冲器去除时间和图片缓冲器去除延迟偏移。
[0013] 在另一实例中，本发明描述一种计算机可读存储媒体。所述计算机可读存储媒体 上存储有在执行后使一或多个处理器进行W下操作的指令：在视频位流中接收具有RAP图 片的存取单元；在所述位流中的所述存取单元之后，在所述视频位流中接收具有第二RAP 图片的后续存取单元；在所述所接收的位流中不存在所述后续存取单元的一或多个随机存 取跳过前置（RA化）图片的状况下，基于图片缓冲器去除延迟偏移将图片缓冲器去除时间 移位得较早。
[0014] 在另一实例中，本发明描述一种计算机可读存储媒体。所述计算机可读存储媒体 上存储有在执行后使一或多个处理器进行W下操作的指令；在对假想参考解码器（H畑）进 行较早初始化之后，接收存取单元，所述存取单元具有随机存取点（RAP)图片，其中不接收 含有随机存取跳过前置（RA化）图片的相关联的存取单元；和响应于接收所述存取单元而 不接收含有RA化图片的所述相关联的存取单元，重新初始化所述HRD，所述重新初始化包 含重新初始化图片缓冲器去除时间和图片缓冲器去除延迟偏移。
[0015] 在另一实例中，本发明描述一种处理视频数据的方法，其包含：针对每一CRA或 BLA存取单元用信号发送(PB去除延迟偏移；针对所相关联的RA化图片不存在的每一CRA 或BLA存取单元，将按解码次序在所述CRA存取单元或所述BLA存取单元之后的存取单元 中的每一者的CBP去除时间移位得早出所述(PB去除延迟偏移；不管H畑是否在所述CRA 存取单元或所述BLA存取单元处初始化。
[0016] 在一些实例中，本发明描述各种方法。广泛多种处理器、处理单元和设备可经配置 W实施所述实例方法。本发明也描述可经配置W执行所述实例方法中的任何一或多者的功 能的计算机可读存储媒体。
[0017] 一或多个实例的细节阐述于随附图式和W下描述中。其它特征、目标和优势将从 所述描述和所述图式W及从权利要求书显而易见。
[0018] 一或多个实例的细节阐述于随附图式和W下描述中。其它特征、目标和优势将从 所述描述和所述图式W及从权利要求书显而易见。
【附图说明】
[0019] 图1为说明可利用本发明中所描述的技术的实例视频编码和解码系统的框图。
[0020] 图2为说明可实施本发明中所描述的技术的实例视频编码器的框图。
[0021] 图3为说明可实施本发明中所描述的技术的实例视频解码器的框图。
[0022] 图4为说明根据本发明中所描述的一或多个实例的实例方法的流程图。
[0023] 图5为说明根据本发明中所描述的一或多个实例的实例方法的流程图。
【具体实施方式】
[0024] 本发明描述用于针对具有丢弃前置图片的随机存取点（RAP)图片来控制视频解 码器中的缓冲操作的各种技术。所述技术可支持改善的假想参考解码器（HRD)操作，所述 操作可跨越含有清洁随机存取（CRA)图片或断链存取炬LA)图片的中间存取单元（AU)而 被应用，针对所述图片丢弃相关联的随机存取跳过前置（RASL)存取单元。CRA图片仅含有 I切片，且按解码次序可为位流中的第一图片，或可出现于位流中稍后处。CRA图片可具有 相关联的RADL或RA化图片。当CRA图片按解码次序为位流中的第一图片时，CRA图片按 解码次序为经译码视频序列的第一图片，且解码器并不输出任何相关联的RA化图片，且所 述图片可能不可解码，该是因为其可含有对不存在于位流中的图片的参考。BLA图片仅含有 I切片，且按解码次序可为位流中的第一图片，或可出现于位流中稍后处。每一BLA图片开 始新的经译码视频序列，且对解码过程具有与IDR图片相同的效应。然而，BLA图片含有指 定非空参考图片集的语法元素。RA化图片为相关联的BLA或CRA图片的前置图片。所有 RA化图片为相关联的BLA或CRA图片之前置图片。当相关联的RAP图片为BLA图片，或为 位流中的第一经译码图片时，并不输出RA化图片，且RA化图片可能不可正确解码，该是因 为RASL图片可含有对不存在于位流中的图片的参考。RASL图片并不用作非RASL图片的解 码过程的参考图片。当存在时，所有RA化图片按解码次序在同一相关联的RAP图片的所有 尾随图片之前。
[0025]视频译码标准包含口U-TH. 261、ISO/IECMPEG-lVisual、口U-T比 262 或ISO/ IECMPEG-2Visual、ITU-TH. 263、IS0/IECMPEG-4Visual和口U-TH. 264(也称为ISO/ lECMPEG-4AVC)，所述标准包含其可调式视频译码（SVC)和多视图视频译码（MVC)扩展。
[0026] 另外，存在由ITU-T视频译码专家组（VCEG)和IS0/IEC运动图片专家组（MPEG)的 视频译码联合合作小组（JCT-VC)开发的新视频译码标准，即，高效率视频译码（肥VC)。从 2013 年1月 7 日起，可从http://phenix.int-evrv.fr/ict/docenduser/documents/11 化311址31/讯311/1(：17(：-1(1003-￥13.21〇巧得肥￥〔的工作草案（WD)(布罗斯等人的"高 效率视频译码（肥VC)文本规范草案9(Hi曲Efficien巧VideoCoding(肥VC)text specification化aft9)"且下文称作肥VCWD9)。
[0027] 肥VC标准的新近草案（称作"肥VC工作草案10"或"WDIO")描述于布罗斯等人 的"高效率视频译码（肥VC)文本规范草案10 (针对抑IS和最后通话）（化曲efficiency videocoding(肥VC)textspecification化aft10(for抑IS&Last化11))"中（ITU-T SG16WP3和ISO/IECJTC1/SC29/WG11的视频译码联合合作小组（JCT-VC)在2013年1月14 日到23日举行的第12次会议（瑞：t日内瓦）），所述草案可从hUp://phenix.int-evry. fr/ict/docenduser/do州ments/12Geneva/wRll/'TCTYC-L1003-v34.zip下裁。
[0028] 肥VC标准的另一草案（在本文中称作"WDIO修订版"）描述于Bross等人的"编辑 提议的对肥VC版本 1 的校正巧ditors'proposedcorrectionsto肥VCversion1)"中 (ITU-TSG16WP3 和ISO/IECJTC1/SC29/WG11 的视频译码联合合作小组（JCT-VC)在 2013 年4月举行的第13次会议（韩国仁川）），所述草案从2013年6月7日起可从ht化：// phenix.int-evrv.fr/ict/docenduser/documents/13Incheon/wgll/.TCTVC-M0432-v3. 过&获得。
[0029] 肥VC标准化努力是基于称为肥VC测试模型（HM)的视频译码装置的模型。歷假 设当前视频译码装置相对于在其它先前视频译码标准（例如，ITU-TH.264/AVC)的开发期 间可用的视频译码装置的能力改善。例如，比264提供九个帖内预测编码模式，而肥VC提 供多达S十五个帖内预测编码模式。肥VCWD9和肥VCWD10的全部内容W引用的方式并入 本文中。
[0030] 视频译码标准通常包含视频缓冲模型的规范。在AVC和肥VC中，缓冲模型被称作 假想参考解码器（HRD)，其包含经译码图片缓冲器（CPB)和经解码图片缓冲器值PB)两者的 缓冲模型。W数学方式指定(PB和DPB行为。HRD直接对不同时序、缓冲器大小和位速率强 加约束，且间接地对位流特性和统计强加约束。H畑参数的完整集合包含五个基本参数：初 始CPB去除延迟、CPB大小、位速率、初始DPB输出延迟和DPB大小。
[003U在AVC和肥VC中，将位流符合性和解码器符合性指定为H畑规范的部分。尽管将HRD称为解码器，但在编码器侧通常需要HRD规范，W保证位流符合性。指定两种类型的位 流符合性或HRD符合性，即，类型I和类型II。另外，指定两种类型的解码器符合性（输出 时序解码器符合性和输出次序解码器符合性）。
[0032] 通常在随机存取点（RAP)图片处初始化H畑。在肥VC和AVC两者中，一旦初始化 H畑，那么无需重新初始化，其便能继续操作直到位流的结尾为止。
[0033] 在肥VCWD9中，如果H畑在CRA或BLA存取单元处初始化（此初始存取单元被称 作存取单元0)，那么取决于是否存在与存取单元0相关联的RA化存取单元，选择与初始存 取单元0相关联的默认初始(PB去除延迟和延迟偏移，抑或与初始存取单元0相关联的替 代性初始(PB去除延迟和延迟偏移，W用于H畑操作中。如果不存在与存取单元0相关联 的RA化存取单元，那么（例如）由视频解码器选择替代性初始(PB去除延迟和延迟偏移； 否则（即，存在与存取单元0相关联的RASL存取单元），（例如）由视频解码器选择默认初 始(PB去除延迟和延迟偏移。接着，（例如）由视频解码器使用初始(PB去除延迟和延迟 偏移的选定集合，直到位流的结尾为止。
[0034] 在美国专利公开案2013/0107953 (在2012年10月30日申请，公开日期为2013 年5月2日，其全部内容W引用的方式并入本文中）中，描述W下方法。可针对每一CRA存 取单元用信号发送(PB去除延迟偏移。如果HRD在此CRA存取单元（其也被称作存取单元 0)处初始化，且不存在相关联的RA化图片，那么将按解码次序在CRA存取单元之后的存取 单元中的每一者的(PB去除时间移位得早出CPB去除延迟偏移。
[0035] 如肥VCWD9中所描述的H畑技术展现W下问题。首先，假定将初始(PB去除延迟 和延迟偏移的选定集合应用于如下状况；其中位流中按解码次序在存取单元0之后的所有 CRA或BLA存取单元（如果存在）的相关联的RA化存取单元存在。仅在位流中不存在按解 码次序在存取单元0之后且所相关联的RA化存取单元不存在的CRA或BLA存取单元的情 况下，肥VCWD9的当前技术才将正确地起作用。然而，如果位流中存在此CRA或BLA存取 单元，那么(PB可在第一此CRA或BLA存取单元之后溢位，且因此可发生超出预期的解码结 果。
[0036] 类似地，假定初始(PB去除延迟和延迟偏移的选定集合应用于如下状况；其中位 流中按解码次序在存取单元0之后的所有CRA或BLA存取单元（如果存在）的相关联的 RASL存取单元不存在。仅在位流中不存在按解码次序在存取单元0之后的CRA或BLA存取 单元且存在存取单元0的相关联的RA化存取单元的情况下，肥VCWD9的当前技术才将正 确地起作用，且在位流中存在此CRA或BLA存取单元的情况下，所述技术将无法正确地起作 用。在针对肥VCWD9所提出的技术下，此情形在将初始(PB去除延迟和延迟偏移的选定集 合应用于如下状况时适用于任何CRA或BLA存取单元；其中位流中按解码次序上在存取单 元0之后的所有CRA或BLA存取单元（如果存在）的相关联的RA化存取单元不存在。
[0037] 关于初始(PB去除延迟和延迟偏移的选定集合的其它假定也可导致不正确的解 码。例如，只要关于紧跟着的CRA或BLA存取单元的相关联的RA化存取单元的存在和缺乏 的假定不成立，那么也可能无法正确地解码W下情形：在存取单元0之后的一些CRA或BLA 存取单元的相关联的RA化存取单元存在，且在存取单元0之后的其它CRA或BLA存取单元 的相关联的RASL存取单元不存在。
[003引在一些状况下，归因于丢弃与存取单元0相关联的RA化存取单元，（PB去除延迟