平铺块及波前并行处理的制作方法

平铺块及波前并行处理的制作方法
【专利摘要】本发明描述可使视频译码器能够同时实施多个并行处理机制的技术，所述多个并行处理机制包含波前并行处理WPP、平铺块及熵切片中的两者或两者以上。本发明描述不仅与仅允许一次实施一个并行处理机制的译码标准兼容而且与可允许同时实施一个以上并行处理机制的可能的未来译码标准兼容的信号发送技术。本发明还描述可使WPP及平铺块能够同时实施的限制。
【专利说明】平铺块及波前并行处理
[0001] 本发明主张于2012年6月29日申请的第61/666, 617号美国临时申请案的权利， 所述申请案的全部内容W引用的方式并入。

【技术领域】
[0002] 本发明设及视频译码。

【背景技术】
[0003] 数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系 统、无线广播系统、个人数字助理（PDA)、膝上型或桌上型计算机、平板计算机、电子书阅 读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式 或卫星无线电电话、所谓的"智能电话"、视频电话会议装置、视频流式传输装置及其类似 者。数字视频装置实施视频压缩技术，例如在W下各者中所描述的那些技术：由MPEG-2、 MPEG-4、ITU-T H. 263JTU-T比264/MPEG-4第10部分（高级视频译码（AVC))定义的标准、 目前在开发中的高效率视频译码（肥VC)标准及此些标准的扩展。视频装置可通过实施此 些视频压缩技术来更有效地发射、接收、编码、解码及/或存储数字视频信息。
[0004] 视频压缩技术执行空间（图片内）预测及/或时间（图片间）预测W减少或移除 视频序列中所固有的冗余。对于基于块的视频译码，可将视频切片（即，视频帖或视频帖的 部分）分割成视频块，视频块还可被称作树型块、译码单元（CU)及/或译码节点。图片的 经帖内译码（I)切片中的视频块使用相对于同一图片中的相邻块中的参考样本的空间预 测来编码。图片的经帖间译码（P或B)切片中的视频块可使用相对于同一图片中的相邻块 中的参考样本的空间预测，或相对于其它参考图片中的参考样本的时间预测。图片可被称 作帖，且参考图片可被称作参考帖。
[0005] 空间或时间预测产生待译码的块的预测性块。残余数据表示待译码的原始块与预 测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量及指示经译码块 与预测性块之间的差的残余数据来编码经帖间译码块。根据帖内译码模式及残余数据来编 码经帖内译码块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生接着可 经量化的残余变换系数。可按次序扫描最初布置成二维阵列的经量化变换系数W产生变换 系数的一维向量，且可应用滴译码W达成甚至更多压缩。


【发明内容】

[0006] 本发明描述可使视频译码器能够同时实施多个并行处理机制的技术，多个并行处 理机制包含波前并行处理（WPP)、平铺块及滴切片中的两者或两者W上。本发明描述不仅与 仅允许一次实施一个并行处理机制的译码标准兼容而且与可允许同时实施一个W上并行 处理机制的可能的未来译码标准兼容的信号发送技术。
[0007] 在一实例中，一种解码视频数据的方法包含；接收包括一或多个第一位及一或多 个第二位的参数集，其中所述一或多个第一位指示是否针对一系列视频块启用平铺块，其 中所述一或多个第二位不同于所述一或多个第一位，且其中所述一或多个第二位指示是否 针对所述系列视频块启用波前并行处理（WP巧；及基于所述参数集解码所述系列视频块。 [000引在另一实例中，一种用于解码视频数据的装置，所述装置包含；用于接收包括一或 多个第一位及一或多个第二位的参数集的装置，其中所述一或多个第一位指示是否针对一 系列视频块启用平铺块，其中所述一或多个第二位不同于所述一或多个第一位，且其中所 述一或多个第二位指示是否针对所述系列视频块启用波前并行处理（WP巧；及用于基于所 述参数集解码所述系列视频块的装置。
[0009] 在另一实例中，一种用于解码视频数据的装置包含；用于接收参数集中的一或多 个第一位的装置，其中所述一或多个第一位指示是否针对一系列视频块启用平铺块；及用 于接收所述参数集中的一或多个第二位的装置，其中所述一或多个第二位不同于所述一或 多个第一位，且其中所述一或多个第二位指示是否针对所述系列视频块启用波前并行处理 (WP 巧。
[0010] 在另一实例中，一种计算机可读存储媒体存储指令，所述指令在由一或多个处理 器执行时使所述一或多个处理器进行W下操作；接收包括一或多个第一位及一或多个第二 位的参数集，其中所述一或多个第一位指示是否针对一系列视频块启用平铺块，其中所述 一或多个第二位不同于所述一或多个第一位，且其中所述一或多个第二位指示是否针对所 述系列视频块启用波前并行处理（WP巧；及基于所述参数集解码所述系列视频块。
[0011] 在另一实例中，一种编码视频数据的方法包含；产生参数集中的一或多个第一位， 其中所述一或多个第一位指示是否针对一系列视频块启用平铺块；及产生所述参数集中的 一或多个第二位，其中所述一或多个第二位不同于所述一或多个第一位，且其中所述一或 多个第二位指示是否针对所述系列视频块启用波前并行处理（WP巧。
[0012] 在另一实例中，一种用于编码视频数据的装置包含视频编码器，所述视频编码器 经配置W进行W下操作：接收参数集中的一或多个第一位，其中所述一或多个第一位指示 是否针对一系列视频块启用平铺块；及接收所述参数集中的一或多个第二位，其中所述一 或多个第二位不同于所述一或多个第一位，且其中所述一或多个第二位指示是否针对所述 系列视频块启用波前并行处理（WP巧。
[0013] 在另一实例中，一种用于编码视频数据的装置包含；用于产生参数集中的一或多 个第一位的装置，其中所述一或多个第一位指示是否针对一系列视频块启用平铺块；及用 于产生所述参数集中的一或多个第二位的装置，其中所述一或多个第二位不同于所述一或 多个第一位，且其中所述一或多个第二位指示是否针对所述系列视频块启用波前并行处理 (WP 巧。
[0014] 在另一实例中，一种计算机可读存储媒体存储指令，所述指令在由一或多个处理 器执行时使所述一或多个处理器进行W下操作；产生参数集中的一或多个第一位，其中所 述一或多个第一位指示是否针对一系列视频块启用平铺块；及产生所述参数集中的一或多 个第二位，其中所述一或多个第二位不同于所述一或多个第一位，且其中所述一或多个第 二位指示是否针对所述系列视频块启用波前并行处理（WP巧。
[0015] 一或多个实例的细节陈述于随附图式及W下描述中。其它特征、目标及优势将从 所述描述及所述图式W及从权利要求书显而易见。

【专利附图】

【附图说明】
[0016] 图1为说明可利用本发明中所描述的技术的实例视频编码及解码系统的框图。
[0017] 图2为说明经分成数个波前的实例图片的概念图。
[001引图3为展示帖的平铺块的概念图。
[0019] 图4为说明实例位流的概念图。
[0020] 图5展示说明根据本发明的技术的平铺块与波前并行处理（WP巧的共存的概念 图。
[0021] 图6为说明可实施本发明中所描述的技术的实例视频编码器的框图。
[0022] 图7为说明可实施本发明中所描述的技术的实例视频解码器的框图。
[0023] 图8为说明本发明的技术的流程图。

【具体实施方式】
[0024] 本发明描述可允许在新兴的高效率视频译码（肥VC)标准中的多个并行处理机制 的共存的设计技术，所述高效率视频译码（肥VC)标准是由口U-T视频译码专家群（VCEG) 及ISO/IEC运动图片专家群（M阳G)的视频译码联合工作小组（JCT-VC)开发。肥VC的各种 提议实施若干并行处理机制，包含波前并行处理（WPP)、平铺块及滴切片，但此些并行处理 机制大体上彼此独立地实施。举例来说，可使用WPP或平铺块中的一者但不使用WPP及平 铺块两者来编码一系列视频块。本发明介绍W下信号发送技术；可允许视频译码器（例如， 视频编码器或视频解码器）使用WPP、平铺块及滴切片将图片彼此独立地译码（如肥VC中 所指定），同时还允许视频译码器实施可同时启用WPP、平铺块及滴切片中的两者或两者W 上的肥VC标准的可能的未来版本及扩展。作为一实例，使用本发明的技术，视频译码器可 经配置W同时实施平铺块及WPP两者，此情形与仅实施平铺块及WPP中的一者形成对比。
[0025] 当实施WPP时，视频译码器（例如，视频编码器或视频解码器）可将图片分割成多 个波前，其中每一波前对应于图片的块（例如，最大译码单元（LCU))的列。贯穿本发明，波 前还可被称作WPP子流、WPP流或波前子流。视频译码器可实质上并行地译码波前。举例 来说，视频译码器可与图片的第二波前的块并行地译码图片的第一波前的块。
[0026] 在一些实例中，视频译码器可将切片的译码单元（CU)分成被称作"子流"或"子切 片"的较小群组。视频译码器可将切片的CU分成各种类型的子流。举例来说，视频译码器 可将切片的CU分成多个平铺块。视频译码器可通过定义图片的两个或两个W上水平边界 及图片的两个或两个W上垂直边界将CU分成平铺块。水平边界可包含图片的顶边缘及底 边缘。垂直边界可包含图片的左侧边及右侧边。当视频译码器不使用平铺块时，视频译码 器可W光栅扫描次序编码帖的所有树型块。然而，当视频译码器使用平铺块时，视频译码器 可W光栅扫描次序译码平铺块。当视频译码器译码平铺块时，视频译码器可W光栅扫描次 序译码平铺块内的树型块（即，LCU)。因此，视频译码器可使用平铺块来改变图片的树型块 的编码次序。
[0027] 在肥VC WD7中，不允许平铺块、波前及滴切片的共存。然而，本发明预期可存在W 下状况：此些机制（例如，平铺块及波前）中的两者或两者W上的共存可潜在地改进视频译 码且可潜在地经添加到肥VC的未来版本或扩展。因此，本发明描述支持肥VC架构内的多 个并行处理机制的共存使用的信号发送技术。在本发明中所介绍的各种技术当中，本发明 描述用于w下情形的技术；在针对视频数据的部分启用平铺块的情况下通过用于视频数据 的所述部分的参数集中的一或多个第一位来用信号发送，在针对视频数据的所述部分启用 WPP的情况下通过一或多个第二位来用信号发送，及/或在针对视频数据的所述部分启用 滴切片的情况下通过一或多个第S位来用信号发送。
[002引此些信号发送技术与将视频数据的译码仅限于一并行处理机制（例如，平铺块、 WPP及滴切片中的一者）的肥VC版本兼容，同时还使肥VC的未来版本及扩展能够同时启用 一个W上并行处理机制。因此，肥VC的未来版本及扩展允许同时实施一个W上并行处理机 审IJ，用于用信号发送平铺块、WPP及滴切片的语法可能无需更改，因此减少使视频译码器与 未来版本或扩展兼容将需要的重新配置的量，且可能甚至在无需重新配置的情况下使视频 译码器向后兼容。
[0029] 在肥VC WD7中，在图片参数集（PP巧中用信号发送平铺块或WPP的存在。两位语 法元素用W识别W下四个可能情形中的一者-1)启用WPP，2)启用平铺块，3)启用滴切片， 或4) 1到3中无一者经启用。为剖析或解码多个平铺块或波前，视频解码器可需要确定与 波前或平铺块相关联的经编码语法元素在经译码切片网络抽象层（NAL)单元内的位置。换 句话说，视频解码器可需要确定波前或平铺块的"进入点"。举例来说，解码器可需要确定 与第一波前或第一平铺块相关联的经编码语法元素在何处开始，与第二波前或平铺块相关 联的经编码语法元素在何处开始，等等。在WD7中，因为不允许平铺块与WPP的共存，所W 在切片标头中用信号发送的进入点的类型方面不存在不明确性。如果在PPS中平铺块经启 用，那么视频解码器知道切片标头中的进入点为平铺块进入点。如果在PSS中WPP经启用， 那么视频解码器知道切片标头中的进入点为WPP进入点。
[0030] 为了有效地实现平铺块与波前的共存，本发明提议实施W下限制：当WPP及平铺 块两者经启用时，平铺块开始新切片（具有切片标头）。另外，本发明提议；如果平铺块及 WPP两者在图片中经启用，那么每一波前在平铺块内。如果平铺块与WPP的共存不存在，那 么无需强加此些限制，且可使用现有技术。因此，根据本发明的技术，如果平铺块及WPP两 者在图片中经启用，那么波前可在不横跨平铺块的情况下存在于平铺块中。如果平铺块与 波前两者在图片中共存，那么切片标头中用信号发送的进入点可为WPP进入点。如果平铺 块及WPP中的仅一者在图片中经启用，那么切片标头中用信号发送的进入点可如在肥VC WD7规范中对应于平铺块或WPP (如PPS中所指示）。
[0031] 为实现WPP与平铺块两者的共存，本发明进一步提议平铺块及WPP两者经启用的 信号发送（例如，在PPS中）。此信号发送可（例如）包含用可另外用信号发送WPP及平 铺块两者的存在W及仅平铺块或仅WPP的存在的3位语法元素替代上文描述的2位语法元 素。
[0032] 图1为说明可利用本发明中所描述的技术的实例视频编码及解码系统10的框图。 如下文将较详细地解释，系统10可使用多个并行处理机制（例如，平铺块及WPP两者）来 同时译码（编码及解码两者）视频块。如图1中所展示，系统10包含源装置12,源装置12 产生稍后待由目的地装置14解码的经编码视频数据。源装置12及目的地装置14可包括 广泛范围的装置中的任一者，包含桌上型计算机、笔记型（即，膝上型）计算机、平板型计算 机、机顶盒、电话手持机（例如，所谓的"智能"电话）、所谓的"智能"板、电视、相机、显示装 置、数字媒体播放器、视频游戏控制台、视频流式传输装置，或其类似者。在一些状况下，源 装置12及目的地装置14可经装备W用于无线通信。
[0033] 目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能 够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一实 例中，链路16可包括用W使源装置12能够实时将经编码视频数据直接发射到目的地装置 14的通信媒体。可根据通信标准（例如，无线通信协议）调制经编码视频数据，且将经编码 视频数据发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频（RF) 频谱或一或多个物理传输线。通信媒体可形成基于包的网络（例如，局域网、广域网或例如 因特网等全球网络）的部分。通信媒体可包含路由器、交换器、基站或可有用于促进从源装 置12到目的地装置14的通信的任何其它设备。
[0034] 或者，经编码数据可从输出接口 22输出到存储装置34。类似地，经编码数据可通 过输入接口从存储装置34存取。存储装置34可包含多种分散式或本地存取的数据存储媒 体中的任一者，例如硬盘、藍光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器， 或用于存储经编码视频数据的任何其它合适数字存储媒体。在另一实例中，存储装置34可 对应于文件服务器或可保持由源装置12产生的经编码视频的另一中间存储装置。目的地 装置14可经由流式传输或下载从存储装置34存取所存储视频数据。文件服务器可为能 够存储经编码视频数据且将所述经编码视频数据发射到目的地装置14的任何类型的服务 器。实例文件服务器包含web服务器（例如，用于网站）、FTP服务器、网络附接存储（NA巧 装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接（包含因特网连接）而 存取经编码视频数据。此数据连接可包含适合于存取存储于文件服务器上的经编码视频数 据的无线信道（例如，Wi-Fi连接）、有线连接（例如，D化、缆线调制解调器等）或两者的组 合。经编码视频数据从存储装置34的传输可为流式传输、下载传输或两者的组合。
[0035] 本发明的技术未必限于无线应用或设定。所述技术可应用于视频译码，所述视频 译码支持例如W下各者等多种多媒体应用中的任一者；空中电视广播、有线电视传输、卫星 电视传输、流式视频传输（例如，经由因特网）、编码数字视频W用于存储于数据存储媒体 上、解码存储于数据存储媒体上的数字视频，或其它应用。在一些实例中，系统10可经配置 W支持单向或双向视频传输W支持例如视频流式传输、视频播放、视频广播及/或视频电 话等应用。
[0036] 在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口 22。在一 些状况下，输出接口 22可包含调制器/解调器（调制解调器）及/或发射器。在源装置12 中，视频源18可包含例如W下各者等源；视频俘获装置（例如，摄像机）、含有先前俘获的 视频的视频存档、用W从视频内容提供者接收视频的视频馈入接口，及/或用于产生计算 机图形数据作为源视频的计算机图形系统，或此些源的组合。作为一实例，如果视频源18 为摄像机，那么源装置12与目的地装置14可形成所谓的相机电话或视频电话。然而，一般 来说，本发明中所描述的技术可适用于视频译码，且可应用于无线及/或有线应用。
[0037] 经俘获、经预先俘获或经计算机产生的视频可由视频编码器20来编码。可经由源 装置12的输出接口 22将经编码视频数据直接发射到目的地装置14。还可（或替代地）将 经编码视频数据存储到存储装置34上W供稍后由目的地装置14或其它装置存取W用于解 码及/或播放。
[003引 目的地装置14包含输入接口 28、视频解码器30及显示装置32。在一些状况下， 输入接口 28可包含接收器及/或调制解调器。目的地装置14的输入接口 28经由链路16 接收经编码视频数据。经由链路16传达或在存储装置34上提供的经编码视频数据可包含 由视频编码器20产生W供例如视频解码器30的视频解码器使用W解码视频数据的多种语 法元素。可在发射于通信媒体上、存储于存储媒体上或存储于文件服务器上的经编码视频 数据中包含此些语法元素。
[0039] 显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中，目 的地装置14可包含集成式显示装置，且还经配置W与外部显示装置介接。在其它实例中， 目的地装置14可为显示装置。一般来说，显示装置32向用户显示经解码视频数据，且可 包括多种显示装置中的任一者，例如液晶显示器（LCD)、等离子体显示器、有机发光二极管 (OLED)显示器或另一类型的显示装置。
[0040] 系统10可根据不同视频译码标准来操作。举例来说，视频编码器20及视频解码 器30可根据视频压缩标准来操作，例如包含口U-T H. 261、ISO/IEC MPEG-lVisual、口U-T 比 262或 ISO/IEC MPEG-2Visual、ITU-T H. 263、ISO/IEC MPEG-4Visual 及 ITU-T H. 264(还 称为ISO/IEC MPEG-4AVC)，包含其可调式视频译码（SVC)及多视图视频译码（MVC)扩展。在 "用于通用视听服务的先进视频译码（Advanced video coding for generic audiovisual services)" (ITU-T国际标准H. 264, 2010年3月）中描述MVC扩展的较新近公开可得的 联合草案。在"用于通用视听服务的先进视频译码（Advanced video coding化r generic audiovisual services) "(ITU-T国际标准H. 264,2011年6月）中描述MVC扩展的较新近 公开可得的联合草案。从2012年1月起已批准MVC扩展的联合草案。
[0041] 另外，存在新的视频译码标准，即，目前由ITU-T视频译码专家群（VCEG)及ISO/ IEC运动图片专家群（M阳G)的视频译码联合工作小组（JCT-VC)开发中的高效率视频译 码（肥VC)标准。肥VC的一工作草案为文献肥TVC-I1003;Bross等人的"高效率视频译 码（肥VC)文本规范草案 7(Hi曲 Efficiency Video Coding(肥VC)Text Specification Draft 7) " (ITU-T SG16WP3 及 ISO/IEC JTC1/SC29/WG11 的视频译码联合工作小组 (JCT-VC)的第 9 次会议（Geneva, Switzerland) ,2012 年 4 月 27 日到 2012 年 5 月 7 日）。 此文献被称作肥VC WD7,且从2013年3月14日起可从ht1:p ;//phenix. int-eviT. fr/jct/ doc_end_user/documents/9_Geneva/wgll/JCTVC-I1003-v6. zip 下载。
[0042] 出于描述的目的，在肥VC或H. 264标准及此些标准的扩展的上下文中描述视频编 码器20及视频解码器30。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的 其它实例包含MPEG-2及口U-T H. 263。专属译码技术（例如，称作化2 VP6/VP7/VP8的那 些技术）还可实施本文中所描述的技术中的一或多者。
[0043] 尽管未在图1中展示，但在一些方面中，视频编码器20及视频解码器30可各自与 音频编码器及解码器集成，且可包含适当MUX-DEMW(单元或其它硬件及软件W处置共同数 据流或单独数据流中的音频及视频两者的编码。如果适用，那么在一些实例中，MUX-DEMUX 单元可遵照口U H. 223多路复用器协议或例如用户数据报协议扣D巧等其它协议。
[0044] 视频编码器20及视频解码器30各自可实施为多种合适编码器电路中的任一者， 例如一或多个微处理器、数字信号处理器值SP)、专用集成电路（ASIC)、现场可编程口阵列 (FPGA)、离散逻辑、软件、硬件、固件或其任何组合。在所述技术部分地W软件实施时，装置 可将用于软件的指令存储于合适的非暂时性计算机可读媒体中且使用一或多个处理器W 硬件执行指令W执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含于 一或多个编码器或解码器中，其中的任一者可作为组合式编码器/解码器（CODEC)的部分 而集成于相应装置中。
[0045] JCT-VC致力于肥VC标准的开发。肥VC标准化努力是基于视频译码装置的演进模 型，其被称作肥VC测试模型（HM)。歷假设视频译码装置相对于根据（例如）ITU-TH.264/ AVC的现有装置的若干额外能力。举例来说，H. 264提供九个帖内预测编码模式，而歷可提 供多达=十=个帖内预测编码模式。
[0046] 一般来说，HM的工作模型描述可将视频帖或图片划分成包含亮度样本及色度样本 两者的树型块或最大译码单元（LCU)的序列。树型块具有与H. 264标准的宏块的目的类似 的目的。切片包含按译码次序的数个连续树型块。可将视频帖或图片分割成一或多个切片。 每一树型块可根据四分树而分裂成译码单元（CU)。举例来说，树型块（作为四分树的根节 点）可分裂成四个子代节点，且每一子代节点又可为亲代节点，且分裂成另外四个子代节 点。作为四分树的叶节点的最终不可分裂子代节点包括译码节点，即，经译码视频块。与经 译码位流相关联的语法数据可定义树型块可分裂的最大次数，且还可定义译码节点的最小 大小。
[0047] CU包含译码节点及与所述译码节点相关联的预测单元（PU)及变换单元（TU)。CU 的大小对应于译码节点的大小且形状必须为正方形。CU的大小可在从8X8个像素直到最 大64X64个像素或更大的树型块的大小的范围内。每一 CU可含有一或多个PU及一或多 个TU。举例来说，与CU相关联的语法数据可描述CU到一或多个PU的分割。分割模式可视 CU是经跳过或直接模式编码、经帖内预测模式编码还是经帖间预测模式编码而不同。PU可 分割成形状为非正方形。举例来说，与CU相关联的语法数据还可描述CU根据四分树到一 或多个TU的分割。TU的形状可为正方形或非正方形。
[0048] 肥VC标准允许根据TU的变换，所述变换对于不同CU可为不同的。通常基于针对 经分割LCU定义的给定CU内的PU的大小而设定TU的大小，但此可不总是为所述状况。TU 的大小通常与PU相同或小于PU。在一些实例中，可使用被称作"残余四分树"（RQT)的四 分树结构将对应于CU的残余样本再分成较小单元。RQT的叶节点可被称作变换单元（TU)。 可变换与TU相关联的像素差值W产生变换系数，变换系数可被量化。
[0049] 一般来说，PU包含与预测过程有关的数据。举例来说，在PU W帖内模式编码时， PU可包含描述PU的帖内预测模式的数据。作为另一实例，在PU W帖间模式编码时，PU可 包含定义PU的运动向量的数据。举例来说，定义PU的运动向量的数据可描述运动向量的 水平分量、运动向量的垂直分量、运动向量的分辨率（例如，四分之一像素精度或八分之一 像素精度）、运动向量所指向的参考图片，及/或运动向量的参考图片列表（例如，列表0、 列表1或列表C)。
[0化日]一般来说，TU用于变换过程及量化过程。具有一或多个PU的给定CU还可包含一 或多个变换单元（TU)。在预测之后，视频编码器20可计算对应于PU的残余值。残余值包 括像素差值，像素差值可变换成变换系数、经量化且使用TU扫描W产生串行化变换系数W 用于滴译码。本发明通常使用术语"视频块"来指代CU的译码节点。在一些特定状况下， 本发明还可使用术语"视频块"来指代包含译码节点及PU W及TU的树型块，即，LCU或CU。 [0化1] 视频序列通常包含一系列视频帖或图片。图片群组佑0巧通常包括一系列一或多 个视频图片。GOP可在GOP的标头中、图片中的一或多者的标头中或别处包含语法数据，所 述语法数据描述包含于G0P中的图片的数目。图片的每一切片可包含切片语法数据，其描 述相应切片的编码模式。视频编码器20通常对个别视频切片内的视频块进行操作W便编 码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根 据指定译码标准而在大小上不同。
[005引作为一实例，歷支持W各种PU大小进行预测。假定特定CU的大小为2NX2N，歷 支持W 2NX2N或NXN的PU大小进行帖内预巧U，及W 2NX2N、2NXN、NX2N或NXN的对 称PU大小进行帖间预测。HM还支持W 2NXnU、2NXnD、nLX2N及nRX2N的PU大小进行 帖间预测的不对称分割。在不对称分割中，CU的一方向未分割，而另一方向分割成25%及 75%。对应于25%分割区的CU的部分由"n"后跟着"上"、"下"、"左"或"右"的指示来指 示。因此，例如，"2NXnU"指代在水平方向上W顶部2NX0. 5N PU及底部2NX1.5N PU分 割的 2NX2N CU。
[0化3] 在本发明中，"NXN"与"N乘N"可互换使用W指代按照垂直及水平尺寸的视频块 的像素尺寸，例如，16X16像素或16乘16像素。一般来说，16X16块在垂直方向上将具有 16个像素（y = 16)且在水平方向上将具有16个像素（X = 16)。同样地，NXN块通常在 垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。可将块 中的像素布置成行及列。此外，块未必需要在水平方向上与在垂直方向上具有相同数目个 像素。举例来说，块可包括NXM个像素，其中M未必等于N。
[0化4] 在使用CU的PU的帖内预测性或帖间预测性译码之后，视频编码器20可计算CU 的TU的残余数据。PU可包括空间域（还被称作像素域）中的像素数据，且TU可包括在将 变换（例如，离散余弦变换值CT)、整数变换、小波变换或概念上类似的变换）应用于残余视 频数据之后的变换域中的系数。残余数据可对应于W下两者之间的像素差；未经编码图片 的像素，及对应于PU的预测值。视频编码器20可形成包含CU的残余数据的TU，且接着变 换TU W产生CU的变换系数。
[0化5] 在任何变换W产生变换系数之后，视频编码器20可执行变换系数的量化。量化通 常指代如下过程；对变换系数进行量化W可能减少用W表示系数的数据的量，从而提供进 一步压缩。量化过程可减小与系数中的一些或全部相关联的位深度。举例来说，可在量化 期间将n位值降值舍位到m位值，其中n大于m。
[0化6] 在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化变换系数W 产生可经滴编码的串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描 经量化变换系数W形成一维向量之后，视频编码器20可（例如）根据上下文自适应可变长 度译码（CAVLC)、上下文自适应二进制算术译码（CABAC)、基于语法的上下文自适应二进制 算术译码（SBAC)、概率区间分割滴（PIP巧译码或另一滴编码方法来滴编码一维向量。视频 编码器20还可滴编码与经编码视频数据相关联的语法元素W供视频解码器30在解码视频 数据时使用。
[0化7] 为了执行CABAC，视频编码器20可将上下文模型内的上下文指派给待发射的符 号。上下文可与（例如）符号的相邻值是否为非零有关。为了执行CAVLC，视频编码器20 可选择待发射的符号的可变长度码。VLC中的码字可经建构W使得相对较短码对应于更有 可能的符号，而较长码对应于较不可能的符号。W此方式，相比（例如）针对待发射的每一 符号使用相等长度码字，VLC的使用可达成位节省。概率确定可基于指派给符号的上下文。 [005引本发明介绍允许多个并行处理机制（例如，肥VC中的平铺块及波前并行处理两 者）的受限共存的技术。WPP实现W波前方式并行地处理多个LCU行，其中在所述波前的开 始之间存在两个译码树型块（CTB)延迟。在WD7中，存在每一 CTB行一波前的限制，其中到 波前子流的开始的位流进入点是在同一经译码切片NAL单元中的波前之前在切片标头中 用信号发送。CTB还被称作最大译码单元（LCU)。
[0059] 图2为说明分成波前150到160的实例图片100的概念图。波前150到160中的 每一者包含数个块。应注意，图片100可包含额外波前，且每一波前可包含除所展示的那些 块外的额外块。所述块中的每一者可对应于（例如）LCU。
[0060] 视频译码器（例如，视频编码器20及视频解码器30)可经配置W并行地译码波前 150到160。视频编码器20可在已译码上方波前的两个块之后开始译码波前。图2说明如 下块；在所述块之后可使用由相对水平的弯曲箭头连接的黑点来译码波前。举例来说，可在 已译码波前154的块128之后译码波前156的块134。作为一实例，视频译码器可并行地译 码标记的块（即，块116、124、132及136)中的每一者。在图2的实例中，虚线102、 104、106及108表示W下块；已剖析所述块且在特定译码时间信息可用于从所述块检索。特 定译码时间可对应于译码标记的块（即，块116、124、132及136)所在的时间。
[0061] 因此，视频译码器可从通过图4中的实线白色箭头所指向的块检索标记的 块的上下文信息。如图2中所展示，实线白色箭头所指向的块中的每一者在虚线102、104、 106及108中的每一者内。举例来说，视频译码器可从块114检索块116的上下文信息；视频 译码器可从块11〇、112、114及/或122检索块124的上下文信息；视频译码器可从块118、 120、122及/或130检索块132的上下文信息；且视频译码器可从块126、128、130及/或 134检索块136的上下文信息。
[0062] 根据本发明的技术，波前150到160中的每一者可包含一或多个切片。或者，切片 可包含一或多个完整波前，例如波前150到160中的一或多者。举例来说，第一切片可包含 波前150及152的块，第二切片可包含波前154及156的块，且第S切片可包含波前158及 160的块。W此方式，当切片跨越两个波前之间的边界时，切片可包含两个波前的所有块。
[0063] W此方式，当译码在特定位置处的块时，本文中所描述的译码方案可确保译码 (例如，使用CABAC)所述块所需的所有数据可用。举例来说，假设视频译码器将译码块132。 为了初始化波前154(其包含块132)的上下文状态，视频译码器可需要包含块132的切片 的切片标头的一或多个参数。如果切片经准许在波前152的中间的块处开始且跨越波前 152与波前154之间的边界，那么视频译码器可需要等待译码切片中的第一块W检索切片 标头的信息。举例来说，如果切片将在波前152中处于块116下方的块的水平位置处开始， 那么此块将尚未经剖析，且因此在视频译码器可开始译码波前154之前，视频译码器将需 要等待直到所述块经剖析为止。然而，在本发明的一或多个实例中，可需要切片包含一或多 个完整波前，或可需要波前包含一或多个完整切片。因此，可减少或防止发生译码延迟的情 形。
[0064] W此方式，视频译码器可在译码视频数据的图片的第一波前的第二块之前安全地 译码第一波前的第一块，其中第一块具有水平位置X+N，其中X及N为整数，第二块具有水平 位置X+K，其中K > N且其中K为整数；确定包含第二波前的第S块的切片的一或多个切片 参数，第=块具有水平位置X，其中第二波前在第一波前下方；至少部分地基于一或多个切 片参数来初始化第二波前的上下文；且基于第二波前的当前上下文来译码第二波前的第= 块，其中译码第=块包括实质上与第一波前的第四块并行地译码第=块，第四块具有小于 X+K的水平位置。
[00化]作为一实例，假设视频译码器译码波前152的块124。令块132表示波前154中的 在水平位置X处的块。在此实例中，块124将表示在水平位置X+2(例如，X+N，其中N = 2) 处的块。波前152中的在块124右方（在虚线104外）的块表示具有水平位置X+K(其中 K >脚的块的实例。根据本发明的技术，包含块132的切片将在波前154的开头处开始或 将包含波前152的所有块（包含块124)。在任一状况下，视频译码器将在译码块132之前 已确定包含块132的切片的一或多个切片参数。因此，视频译码器可至少部分地基于一或 多个切片参数来初始化波前154的上下文。波前154的上下文的初始化还可基于波前152 中的在块126及128上方的块的数据。此外，视频译码器可基于当前上下文来译码块132。 在此实例中，将在译码块126、128及130之后确定波前154的当前上下文。作为一替代实 例，视频编码器可基于波前154的初始化上下文来译码块126。
[0066] 平铺块提供图片到多个独立可解码（包含剖析及重建构）区域的矩形分割（具有 CTB细微度）。每一平铺块的位流进入点是在同一经译码NAL单元中的平铺块数据之前在 切片标头中用信号发送。
[0067] 图3为展示帖的实例平铺块的概念图。可将帖160分成多个最大译码单元 (LCU) 161。可将两个或两个W上LCU分群成矩形形状的平铺块。当启用基于平铺块的译码 时，在译码后续平铺块之前一起译码（即，编码或解码）每一平铺块内的译码单元。如针对 帖160所展示，平铺块162及163是W水平方式定向，且具有水平边界及垂直边界两者。如 针对帖170所展示，平铺块172及173是W垂直方式定向，且具有水平边界及垂直边界两 者。
[0068] 图4为说明具有平铺块的实例位流的概念图。在一些实例中，视频编码器可将切 片的CU分成较小群组。此些群组可被称作"子流"或"子切片"。视频编码器可将切片的CU 分成各种类型的子流。举例来说，视频编码器可将切片的CU分成多个平铺块。视频编码器 可通过定义图片的两个或两个W上水平边界及图片的两个或两个W上垂直边界而将CU分 成多个平铺块。水平边界可包含图片的顶边缘及底边缘。垂直边界可包含图片的左侧边及 右侧边。当视频编码器不使用平铺块时，视频编码器可W光栅扫描次序编码帖的所有树型 块。然而，当视频编码器使用平铺块时，视频编码器可W光栅扫描次序编码平铺块。当视频 编码器编码平铺块时，视频编码器可W光栅扫描次序编码平铺块内的树型块（即，LCU)。因 此，视频编码器可使用平铺块来改变图片的树型块的编码次序。
[0069] 此外，在一些例子中，当视频编码器正编码给定CU时，视频编码器可仅使用与处 在与给定CU相同的平铺块中的CU相关联的信息来对给定CU执行帖内预测或帖间预测。类 似地，在一些例子中，当视频编码器正编码给定CU时，视频编码器可仅使用与处在与给定 CU相同的平铺块中的CU相关联的信息来选择用于滴编码给定CU的语法元素的上下文。由 于此些限制，视频编码器可能够并行地编码所述平铺块中的两者或两者W上。
[0070] 与给定切片相关联的经译码切片NAL单元可包含与给定切片的平铺块中的每一 者相关联的经编码数据。举例来说，经译码切片NAL单元可包含与所述平铺块中的每一者 相关联的经编码语法元素。为了并行地剖析或解码切片的多个子流，视频解码器可需要确 定与平铺块相关联的经编码语法元素在经译码切片NAL单元内的位置。换句话说，视频解 码器可需要确定平铺块的"进入点"。举例来说，解码器可需要确定与第一平铺块相关联的 经编码语法元素在何处开始，与第二平铺块相关联的经编码语法元素在何处开始，等等。 [007U 在肥VC WD7规范中，W两种或两种W上不同方式来用信号发送平铺块进入点。 此些方式中的第一者为使用从NAL单元的开头开始的相对于前一进入点的进入点NAL单 元偏移。用W译码平铺块进入点的另一方式可在每一平铺块切片标头开始的第一平 铺块除外）的开始之前在字节对准位置处使用平铺块开始码标记（entry_point_marker_ two_3^tes = 0x000002)。而且，当使用平铺块开始码标记时，将tile_idx_minusl语法元 素作为TilelD来用信号发送。在肥VC WD7规范中，每一平铺块可不必具有用信号发送的 进入点。可存在比用信号发送的进入点的数目多的平铺块（考虑切片中的第一平铺块具有 隐含地用信号发送的进入点）。
[007引肥VC WD7规范允许两种类型的信号发送的存在；同时或单独地。而且，当同时使用 两种方法时，进入点信号发送的两种方式不必对准。此意谓位流可具有：第一平铺块，其进 入点仅W进入点标记来用信号发送；第二平铺块，其进入点仅W进入点偏移来用信号发送； 第=平铺块，其进入点是W进入点标记及进入点标记两者来用信号发送；及第四平铺块，其 进入点未用信号发送。
[0073] 在HEVC WD7规范中，不支持平铺块与波前的共存。然而，可能存在平铺块与波前 的共存可有用的状况。对于此些状况，本发明描述简单的限制性方案W在肥VC架构中支持 平铺块及波前并行处理两者。
[0074] 在肥VC WD7规范中，在如下文在表1中所展示的图片参数集中用信号发送平铺块 或WPP的存在。在表1 W及本发明中的其它表中，描述符栏识别用于特定语法元素的位数 目。举例来说，描述符"U (2)"指示两个位，描述符"U (4)"指示四个位，等等。描述符"ue (V)" 指示位的数目可变，且解码器实施滴解码W解译语法元素。
[0075] 表1-7. 3. 2. 3图片参数集RBSP语法
[0076]

【权利要求】
1. 一种解码视频数据的方法，所述方法包括： 接收包括一或多个第一位及一或多个第二位的参数集，其中所述一或多个第一位指 示是否针对一系列视频块启用平铺块，其中所述一或多个第二位不同于所述一或多个第一 位，且其中所述一或多个第二位指示是否针对所述系列视频块启用波前并行处理WPP;及， 基于所述参数集解码所述系列视频块。
2. 根据权利要求1所述的方法，所述方法进一步包括： 使用平铺块及WPP两者来解码所述系列视频块。
3. 根据权利要求1所述的方法，其中波前完全存在于平铺块内。
4. 根据权利要求3所述的方法，其中波前不横跨多个平铺块。
5. 根据权利要求1所述的方法，其中所述参数集为图片参数集。
6. 根据权利要求1所述的方法，其中所述系列视频块包括多个平铺块，其中每一平铺 块开始新切片，且其中每一新切片具有对应切片标头。
7. 根据权利要求1所述的方法，其进一步包括： 接收在切片标头中用信号发送的WPP进入点。
8. 根据权利要求1所述的方法，其进一步包括： 接收用于第二系列视频块的参数集，所述参数集指示针对图片仅启用平铺块及WPP中 的一者； 响应于仅启用平铺块，将在切片标头中用信号发送的进入点解译为对应于平铺块进入 占. 响应于仅启用WPP，将在所述切片标头中用信号发送的所述进入点解译为对应于WPP 进入点。
9. 一种用于解码视频数据的装置，所述装置包括： 视频解码器，其经配置以进行以下操作：接收包括一或多个第一位及一或多个第二位 的参数集，其中所述一或多个第一位指示是否针对一系列视频块启用平铺块，其中所述一 或多个第二位不同于所述一或多个第一位，且其中所述一或多个第二位指示是否针对所述 系列视频块启用波前并行处理WPP ;及基于所述参数集解码所述系列视频块。
10. 根据权利要求9所述的装置，其中所述视频解码器经进一步配置以使用平铺块及 WPP两者来解码所述系列视频块。
11. 根据权利要求9所述的装置，其中波前完全存在于平铺块内。
12. 根据权利要求11所述的装置，其中波前不横跨多个平铺块。
13. 根据权利要求9所述的装置，其中所述参数集为图片参数集。
14. 根据权利要求9所述的装置，其中所述系列视频块包括多个平铺块，其中每一平铺 块开始新切片，且其中每一新切片具有对应切片标头。
15. 根据权利要求9所述的装置，其中所述视频解码器经进一步配置以接收在切片标 头中用信号发送的WPP进入点。
16. 根据权利要求9所述的装置，其中所述视频解码器经进一步配置以进行以下操作： 接收用于第二系列视频块的参数集，所述参数集指示针对图片仅启用平铺块及WPP中的一 者；响应于仅启用平铺块，将在切片标头中用信号发送的进入点解译为对应于平铺块进入 点；响应于仅启用WPP，将在所述切片标头中用信号发送的所述进入点解译为对应于WPP进 入点。
17. 根据权利要求9所述的装置，其中所述装置包括以下各者中的至少一者： 集成电路； 微处理器；及， 无线通信装置，其包括视频解码器。
18. -种用于解码视频数据的装置，所述装置包括： 用于接收包括一或多个第一位及一或多个第二位的参数集的装置，其中所述一或多个 第一位指示是否针对一系列视频块启用平铺块，其中所述一或多个第二位不同于所述一或 多个第一位，且其中所述一或多个第二位指示是否针对所述系列视频块启用波前并行处理 WPP ;及， 用于基于所述参数集解码所述系列视频块的装置。
19. 根据权利要求18所述的装置，所述装置进一步包括： 用于使用平铺块及WPP两者来解码所述系列视频块的装置。
20. 根据权利要求18所述的装置，其中波前完全存在于平铺块内。
21. 根据权利要求18所述的装置，其中波前不横跨多个平铺块。
22. 根据权利要求18所述的装置，其中所述参数集为图片参数集。
23. 根据权利要求18所述的装置，其中所述系列视频块包括多个平铺块，其中每一平 铺块开始新切片，且其中每一新切片具有对应切片标头。
24. 根据权利要求18所述的装置，其进一步包括： 用于接收在切片标头中用信号发送的WPP进入点的装置。
25. 根据权利要求18所述的装置，其进一步包括： 用于接收用于第二系列视频块的参数集的装置，所述参数集指示针对图片仅启用平铺 块及WPP中的一者； 用于响应于仅启用平铺块而将在切片标头中用信号发送的进入点解译为对应于平铺 块进入点的装置； 用于响应于仅启用WPP而将在所述切片标头中用信号发送的所述进入点解译为对应 于WPP进入点的装置。
26. -种计算机可读存储媒体，其存储在由一或多个处理器执行时使所述一或多个处 理器进行以下操作的指令： 接收包括一或多个第一位及一或多个第二位的参数集，其中所述一或多个第一位指 示是否针对一系列视频块启用平铺块，其中所述一或多个第二位不同于所述一或多个第一 位，且其中所述一或多个第二位指示是否针对所述系列视频块启用波前并行处理WPP;及， 基于所述参数集解码所述系列视频块。
27. 根据权利要求26所述的计算机可读存储媒体，其存储在执行时使所述一或多个处 理器进行以下操作的其它指令： 使用平铺块及WPP两者来解码所述系列视频块。
28. 根据权利要求26所述的计算机可读存储媒体，其中波前完全存在于平铺块内。
29. 根据权利要求26所述的计算机可读存储媒体，其中波前不横跨多个平铺块。
30. 根据权利要求26所述的计算机可读存储媒体，其中所述参数集为图片参数集。
31. 根据权利要求26所述的计算机可读存储媒体，其中所述系列视频块包括多个平铺 块，其中每一平铺块开始新切片，且其中每一新切片具有对应切片标头。
32. 根据权利要求26所述的计算机可读存储媒体，其存储在执行时使所述一或多个处 理器进行以下操作的其它指令： 接收在切片标头中用信号发送的WPP进入点。
33. 根据权利要求26所述的计算机可读存储媒体，其存储在执行时使所述一或多个处 理器进行以下操作的其它指令： 接收用于第二系列视频块的参数集，所述参数集指示针对图片仅启用平铺块及WPP中 的一者； 响应于仅启用平铺块，将在切片标头中用信号发送的进入点解译为对应于平铺块进入 占. 响应于仅启用WPP，将在所述切片标头中用信号发送的所述进入点解译为对应于WPP 进入点。
34. -种编码视频数据的方法，所述方法包括： 产生参数集中的一或多个第一位，其中所述一或多个第一位指示是否针对一系列视频 块启用平铺块； 产生所述参数集中的一或多个第二位，其中所述一或多个第二位不同于所述一或多个 第一位，且其中所述一或多个第二位指示是否针对所述系列视频块启用波前并行处理WPP。
35. 根据权利要求34所述的方法，所述方法进一步包括： 使用平铺块及WPP两者来编码所述系列视频块。
36. 根据权利要求34所述的方法，其中波前完全存在于平铺块内。
37. 根据权利要求34所述的方法，其中波前不横跨多个平铺块。
38. 根据权利要求34所述的方法，其中所述参数集为图片参数集。
39. 根据权利要求34所述的方法，其中所述系列视频块包括多个平铺块，其中每一平 铺块开始新切片，且其中每一新切片具有对应切片标头。
40. 根据权利要求34所述的方法，其进一步包括： 产生在切片标头中用信号发送的WPP进入点。
41. 根据权利要求34所述的方法，其进一步包括： 产生用于第二系列视频块的参数集，所述参数集指示针对图片仅启用平铺块及WPP中 的一者； 响应于仅启用平铺块，产生识别对应于平铺块进入点的进入点的语法元素； 响应于仅启用WPP，产生识别对应于WPP进入点的进入点的语法元素。
42. -种用于编码视频数据的装置，所述装置包括： 视频编码器，其经配置以进行以下操作：接收参数集中的一或多个第一位，其中所述一 或多个第一位指示是否针对一系列视频块启用平铺块；及接收所述参数集中的一或多个第 二位，其中所述一或多个第二位不同于所述一或多个第一位，且其中所述一或多个第二位 指示是否针对所述系列视频块启用波前并行处理WPP。
43. 根据权利要求42所述的装置，其中所述视频编码器经进一步配置以使用平铺块及 WPP两者来编码所述系列视频块。
44. 根据权利要求42所述的装置，其中波前完全存在于平铺块内。
45. 根据权利要求42所述的装置，其中波前不横跨多个平铺块。
46. 根据权利要求42所述的装置，其中所述参数集为图片参数集。
47. 根据权利要求42所述的装置，其中所述系列视频块包括多个平铺块，其中每一平 铺块开始新切片，且其中每一新切片具有对应切片标头。
48. 根据权利要求42所述的装置，其中所述视频编码器经进一步配置以接收在切片标 头中用信号发送的WPP进入点。
49. 根据权利要求42所述的装置，其中所述视频编码器经进一步配置以进行以下操 作：接收用于第二系列视频块的参数集，所述参数集指示针对图片仅启用平铺块及WPP中 的一者；响应于仅启用平铺块，将在切片标头中用信号发送的进入点解译为对应于平铺块 进入点；响应于仅启用WPP，将在所述切片标头中用信号发送的所述进入点解译为对应于 WPP进入点。
50. 根据权利要求42所述的装置，其中所述装置包括以下各者中的至少一者： 集成电路； 微处理器；及， 无线通信装置，其包括视频解码器。
51. -种用于编码视频数据的装置，所述装置包括： 用于产生参数集中的一或多个第一位的装置，其中所述一或多个第一位指示是否针对 一系列视频块启用平铺块； 用于产生所述参数集中的一或多个第二位的装置，其中所述一或多个第二位不同于所 述一或多个第一位，且其中所述一或多个第二位指示是否针对所述系列视频块启用波前并 行处理WPP。
52. -种计算机可读存储媒体，其存储在由一或多个处理器执行时使所述一或多个处 理器进行以下操作的指令： 产生参数集中的一或多个第一位，其中所述一或多个第一位指示是否针对一系列视频 块启用平铺块； 产生所述参数集中的一或多个第二位，其中所述一或多个第二位不同于所述一或多个 第一位，且其中所述一或多个第二位指示是否针对所述系列视频块启用波前并行处理WPP。
【文档编号】H04N19/00GK104488267SQ201380032634
【公开日】2015年4月1日 申请日期:2013年6月28日 优先权日:2012年6月29日
【发明者】穆罕默德·蔡德·科班, 王益魁 申请人:高通股份有限公司