在视频译码中波前平行处理的子流的制作方法
在视频译码中波前平行处理的子流的制作方法
【专利摘要】一种视频编码器用信号发出是否使用WPP来编码一连串视频图片中的一个图片。如果使用WPP来编码所述图片，那么所述视频编码器产生包含多个子流的经译码切片NAL单元，所述子流中的每一者包含表示所述图片的切片中的译码树块CTB的一个经编码行的位的连续系列。视频解码器接收包含所述经译码切片NAL单元的位流。此外，所述视频解码器可基于所述位流中的语法元素而确定所述切片是使用WPP编码，且可使用WPP来解码所述切片。
【专利说明】在视频译码中波前平行处理的子流
[0001] 本申请案主张于2012年1月18日申请的美国临时专利申请案第61/588, 096号 的权利，所述申请案的全部内容在此以引用的方式并入。
【技术领域】
[0002] 本发明涉及视频译码（即，视频数据的编码和/或解码）。
【背景技术】
[0003] 可将数字视频能力并入到广泛范围的装置中，所述装置包含数字电视、数字直播 系统、无线广播系统、个人数字助理（PDA)、膝上型计算机或桌上型计算机、平板计算机、电 子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、 蜂窝式或卫星无线电电话、所谓的"智能电话"、视频电话会议装置、视频流式传输装置和 类似者。数字视频装置实施视频压缩技术，例如在由MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H. 264/MPEG-4第10部分（先进视频译码（AVC))定义的标准、目前在开发中的高效率视频 译码（HEVC)标准和这些标准的扩展中所描述的视频压缩技术。视频装置可通过实施这些 视频压缩技术来更有效率地发射、接收、编码、解码和/或存储数字视频信息。
[0004] 视频压缩技术执行空间（图片内）预测和/或时间（图片间）预测以减少或去除 视频序列中所固有的冗余。对于基于块的视频译码，可将视频切片（即，视频帧或视频帧的 一部分）分割成视频块，视频块也可被称作树块、译码单元（CU)和/或译码节点。图片的 经帧内译码（I)切片中的视频块是使用相对于相同图片中的相邻块中的参考样本的空间 预测来编码。图片的经帧间译码（P或B)切片中的视频块可使用相对于相同图片中的相邻 块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称 作帧，且参考图片可被称作参考帧。
[0005] 空间或时间预测产生待译码的块的预测性块。残余数据表示待译码的原始块与预 测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量和指示经译码块 与预测性块之间的差的残余数据来编码经帧间译码块。根据帧内译码模式和残余数据来编 码经帧内译码块。为了进一步压缩，可将残余数据自像素域变换到变换域，从而产生残余系 数，所述残余系数接着可经量化。可按次序扫描最初布置成二维阵列的经量化系数以便产 生系数的一维向量，且可应用熵译码以达成甚至更多压缩。
【发明内容】
[0006] 大体来说，本发明描述涉及图像块和波前平行处理（WPP)的用于视频译码的技 术。更具体来说，视频编码器可用信号发出是否使用WPP来编码一连串视频图片中的一个 图片。如果使用WPP来编码所述图片，那么所述视频编码器产生多个子流。所述子流中的 每一者可包含表示所述图片的切片中的译码树块（CTB)的一个经编码行的位的连续系列。 所述视频编码器可产生包含所述多个子流的经译码切片网络抽象层（NAL)单元。视频解码 器可接收包含所述经译码切片NAL单元的位流。此外，所述视频解码器可基于所述位流中 的语法元素而确定所述切片是使用WPP编码，且可使用WPP来解码所述切片。
[0007] 在一方面，本发明描述一种用于编码视频数据的方法。所述方法包括用信号发出 使用WPP来编码一连串视频图片中的一个图片。所述方法也包括执行WPP以产生多个子流， 所述子流中的每一者包含表示所述图片的切片中的CTB的一个经编码行的位的连续系列。 所述方法也包括产生包含所述多个子流的经译码切片网络抽象层（NAL)单元。
[0008] 在另一方面，本发明描述一种包括一或多个处理器的计算装置，所述一或多个处 理器经配置以用信号发出使用WPP来编码一连串视频图片中的一个图片。所述一或多个处 理器也经配置以执行WPP以产生多个子流，所述子流中的每一者包含表示所述图片的切片 中的CTB的一个经编码行的位的连续系列。所述一或多个处理器也经配置以产生包含所述 多个子流的经译码切片NAL单元。
[0009] 在另一方面，本发明描述一种计算装置，所述计算装置包括用于用信号发出使用 WPP来编码图片的装置。所述计算装置也包括用于执行WPP以产生多个子流的装置，所述子 流中的每一者包含表示所述图片的切片中的CTB的一个经编码行的位的连续系列。另外， 所述方法包括用于产生包含所述多个子流的经译码切片NAL单元的装置。
[0010] 在另一方面，本发明描述一种存储指令的计算机可读存储媒体，所述指令在由计 算装置的一或多个处理器执行时配置所述计算装置以用信号发出使用WPP来编码图片。所 述指令也配置所述计算装置以执行WPP以产生多个子流，所述子流中的每一者包含表示所 述图片的切片中的CTB的一个经编码行的位的连续系列。另外，所述指令配置所述计算装 置以产生包含所述多个子流的经译码切片NAL单元。
[0011] 在另一方面，本发明描述一种用于解码视频数据的方法。所述方法包括接收包含 经译码切片NAL单元的位流，所述经译码切片NAL单元包含多个子流，所述子流中的每一者 包含表示图片的切片中的译码树块（CTB)的一行的位的连续系列。所述方法也包括基于所 述位流中的语法元素而确定所述切片是使用WPP编码。另外，所述方法包括使用WPP来解 码所述切片。
[0012] 在另一方面，本发明描述一种包括一或多个处理器的计算装置，所述一或多个处 理器经配置以接收包含经译码切片NAL单元的位流，所述经译码切片NAL单元包含多个子 流，所述子流中的每一者包含表示图片的切片中的CTB的一行的位的连续系列。所述一或 多个处理器也经配置以基于所述位流中的一或多个语法元素而确定所述切片是使用WPP 编码。另外，所述一或多个处理器经配置以使用WPP来解码所述切片。
[0013] 在另一方面，本发明描述一种计算装置，所述计算装置包括用于接收包含经译码 切片NAL单元的位流的装置，所述经译码切片NAL单元包含多个子流，所述子流中的每一者 包含表示图片的切片中的CTB的一行的位的连续系列。所述计算装置也包括用于基于所述 位流中的一或多个语法元素而确定所述切片是使用WPP编码的装置。所述计算装置也包括 用于使用WPP解码所述切片的装置。
[0014] 在另一方面，本发明描述一种存储指令的计算机可读存储媒体，所述指令在由计 算装置的一或多个处理器执行时配置所述计算装置以接收包含经译码切片NAL单元的位 流，所述经译码切片NAL单元包含多个子流，所述子流中的每一者包含表示图片的切片中 的CTB的一行的位的连续系列。所述指令也配置所述计算装置以基于所述位流中的一或多 个语法元素而确定所述切片是使用WPP编码。另外，所述指令配置所述计算装置以使用WPP 解码所述切片。
[0015] 本发明的一或多个实例的细节陈述于随附图式和以下描述中。其它特征、目标和 优势将自描述、图式和权利要求书而显而易见。
【专利附图】
【附图说明】
[0016] 图1为说明可利用本发明中所描述的技术的实例视频译码系统的框图。
[0017] 图2为说明可实施本发明中所描述的技术的实例视频编码器的框图。
[0018] 图3为说明可实施本发明中所描述的技术的实例视频解码器的框图。
[0019] 图4为说明根据本发明的一或多个方面的用于编码视频数据的视频编码器的实 例操作的流程图，其中不允许单一图片内的图像块与波前平行处理（WPP)的组合。
[0020] 图5为说明根据本发明的一或多个方面的用于解码视频数据的视频解码器的实 例操作的流程图，其中不允许单一图片内的图像块与WPP的组合。
[0021] 图6为说明根据本发明的一或多个方面的用于解码视频数据的视频解码器的另 一实例操作的流程图，其中不允许单一图片内的图像块与WPP的组合。
[0022] 图7为说明根据本发明的一或多个方面的用于编码视频数据的视频编码器的实 例操作的流程图，其中图片的译码树块（CTB)的每一行在单独子流中。
[0023] 图8为说明根据本发明的一或多个方面的用于解码视频数据的视频解码器的实 例操作的流程图，其中图片的CTB的每一行在单独子流中。
[0024] 图9A为说明根据本发明的一或多个方面的剖析切片数据的实例上下文自适应性 二进制算术译码（CABAC)剖析过程的第一部分的流程图。
[0025] 图9B为说明图9A的实例CABAC剖析过程的接续部分的流程图。
[0026] 图10为说明WPP的实例的概念图。
[0027] 图11为说明在将图片分割成多个图像块时的实例译码次序的概念图。
【具体实施方式】
[0028] 在视频译码期间，可将图片分割成多个图像块、波前平行处理（WPP)波和/或熵切 片。由穿过图片的水平和/或垂直图像块边界定义图片的图像块。根据光栅扫描次序译码 图片的图像块，且也根据光栅扫描次序译码每一图像块内的译码树块（CTB)。在WPP中，图 片中的CTB的每一行为"WPP波"。在视频译码器使用WPP来译码图片时，视频译码器可在 视频译码器已译码紧接的较高WPP波的两个或两个以上CTB之后，开始自左到右译码WPP 波的CTB。熵切片可包含根据光栅扫描次序的一系列连续CTB。来自跨越熵切片边界的信 息的使用被禁止用于选择熵译码上下文，但可被允许用于达成其它目的。
[0029] 在现有视频译码系统中，图片可具有图像块、WPP波和熵切片的任何组合。例如， 可将图片分割成多个图像块。在此实例中，可根据光栅扫描次序译码图像块中的一些图像 块中的CTB，而可使用WPP来译码图像块中的其它图像块中的CTB。允许图片包含图像块、 WPP波和熵切片的组合可不必要地增加这些视频译码系统的实施方案复杂度和成本。
[0030] 本发明的技术可解决此问题。即，根据本发明的技术，不允许在图片内的两个或两 个以上图像块、WPP波和熵切片中的任一者的组合。例如，视频编码器可产生包含语法元素 的位流，所述语法元素指示根据第一译码模式或是第二译码模式来编码图片。在所述第一 译码模式中，使用WPP来完整地编码所述图片。在所述第二译码模式中，所述图片具有一或 多个图像块，且在不使用WPP的情况下编码所述图片的每一图像块。
[0031] 此外，在此实例中，视频解码器可自包含图片的经译码表示的位流剖析语法元素。 响应于确定所述语法元素具有特定值，所述视频解码器可使用WPP来完整地解码所述图 片。响应于确定所述语法元素不具有所述特定值，所述视频解码器可在不使用WPP的情况 下解码所述图片的每一图像块。图片可具有一或多个图像块。
【专利附图】
【附图说明】 [0032] 实例。在附图中由参考数字指示的元件对应于以下描述中通过相似参考 数字指示的元件。在本发明中，具有以序数词（例如，"第一"、"第二"、"第三"等）开始的 名称的元件未必暗示元件具有特定次序。相反地，这些序数词仅用以指相同或类似类型的 不同元件。
[0033] 图1为说明可利用本发明的技术的实例视频译码系统10的框图。如本文中所描 述地使用，术语"视频译码器"一般地指视频编码器与视频解码器两者。在本发明中，术语 "视频译码"或"译码"可一般地指视频编码或视频解码。
[0034] 如图1中所展示，视频译码系统10包含源装置12和目的地装置14。源装置12产 生经编码视频数据。因此，源装置12可被称作视频编码装置或视频编码设备。目的地装置 14可解码由源装置12产生的经编码视频数据。因此，目的地装置14可被称作视频解码装 置或视频解码设备。源装置12和目的地装置14可为视频译码装置或视频译码设备的实例。 源装置12和目的地装置14可包括广泛范围的装置，包含桌上型计算机、移动计算装置、笔 记型（例如，膝上型）计算机、平板计算机、机顶盒、例如所谓的"智能型"电话的电话手持 机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机或类似者。
[0035] 目的地装置14可经由信道16自源装置12接收经编码视频数据。信道16可包括 能够将经编码视频数据自源装置12移动到目的地装置14的一或多个媒体和/或装置。在 一个实例中，信道16可包括使源装置12能够实时将经编码视频数据直接传输到目的地装 置14的一或多个通信媒体。在此实例中，源装置12可根据例如无线通信协议的通信标准 调制经编码视频数据，且可将经调制视频数据传输到目的地装置14。一或多个通信媒体可 包含无线和/或有线通信媒体，例如射频（RF)频谱或一或多个物理传输线。一或多个通信 媒体可形成基于包的网络（例如，局域网、广域网或全球网络（例如，因特网））的部分。一 或多个通信媒体可包含路由器、交换器、基站或促进自源装置12到目的地装置14的通信的 其它装备。
[0036] 在另一实例中，信道16可包含存储由源装置12产生的经编码视频数据的存储媒 体。在此实例中，目的地装置14可经由磁盘存取或卡存取来存取存储媒体。存储媒体可包 含多种本地存取的数据存储媒体，例如，蓝光光盘、DVD、⑶-ROM、快闪存储器或用于存储经 编码视频数据的其它合适数字存储媒体。
[0037] 在另一实例中，信道16可包含存储由源装置12产生的经编码视频的文件服务器 或另一中间存储装置。在此实例中，目的地装置14可经由流式传输或下载来存取存储于文 件服务器或其它中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频 数据且将经编码视频数据传输到目的地装置14的类型的服务器。实例文件服务器包含页 面服务器（例如，用于网站）、文件传送协议（FTP)服务器、网络附接存储（NAS)装置和本地 磁盘机。
[0038] 目的地装置14可经由例如因特网连接的标准数据连接存取经编码视频数据。数 据连接的实例类型包含适合于存取存储于文件服务器上的经编码视频数据的无线信道 (例如，Wi-Fi连接）、有线连接（例如，DSL、缆线调制解调器等）或无线信道与有线连接两 者的组合。经编码视频数据自文件服务器的传输可为流式传输、下载传输或流式传输与下 载传输两者的组合。
[0039] 本发明的技术不限于无线应用或设定。所述技术可应用于视频译码以支持多种多 媒体应用，例如，空中电视广播、有线电视传输、卫星电视传输、流式传输视频传输（例如， 经由因特网）、编码视频数据以用于存储于数据存储媒体上、解码存储于数据存储媒体上的 视频数据或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频传 输以支持例如视频流式传输、视频播放、视频广播和/或视频电话的应用。
[0040] 在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口 22。在一 些实例中，输出接口 22可包含调制器/解调制器（调制解调器）和/或发射器。视频源18 可包含视频俘获装置（例如，摄像机）、含有先前俘获的视频数据的视频存档、自视频内容 提供者接收视频数据的视频馈入接口和/或用于产生视频数据的计算机图形系统，或这些 视频数据源的组合。
[0041] 视频编码器20可编码来自视频源18的视频数据。在一些实例中，源装置12经由 输出接口 22将经编码视频数据直接传输到目的地装置14。经编码视频数据也可存储到存 储媒体或文件服务器上以供稍后由目的地装置14存取以用于解码和/或播放。
[0042] 在图1的实例中，目的地装置14包含输入接口 28、视频解码器30和显示装置32。 在一些实例中，输入接口 28包含接收器和/或调制解调器。输入接口 28可经由信道16接 收经编码视频数据。显示装置32可与目的地装置14集成或可在目的地装置14外部。大 体来说，显示装置32显示经解码视频数据。显示装置32可包括多种显示装置，例如，液晶 显示器（LCD)、等离子显示器、有机发光二极管（0LED)显示器或另一类型的显示装置。
[0043] 视频编码器20和视频解码器30可根据例如目前在开发中的高效率视频译码 (HEVC)标准的视频压缩标准操作，且可遵照HEVC测试模型（HM)。被称作"HEVC工作草案5" 或"WD5"的即将到来的HEVC标准的草案描述于布罗斯（Bross)等人的"WD5 :高效率视频译 码的工作草案 5 (WD5 :Working Draft 5 of High-Efficiency Video Coding)，，（ITU-T SG16WP3 和IS0/IEC JTC1/SC29/WG11视频译码联合协作小组（JCT-VC)于2011年11月在瑞士日内 瓦的第7次会议）中，所述草案可自2012年10月10日起自http://phenix. int-evry. fr/ jct/doc_end_user/documents/7_Geneva/wgll/JCTVC-G1103_v3· zip 下载，所述草案的全 部内容以引用的方式并入本文中。被称作" HEVC工作草案9 "的即将到来的HEVC标准的另一 草案描述于布罗斯等人的"高效率视频译码（HEVC)文本规范草案9 (High Efficiency Video Coding (HEVC) text specification draft9) "（ITU-T SG16WP3 和 IS0/IEC JTC1/SC29/WG11 视 频译码联合协作小组（JCT-VC)于2012年10月在中国上海的第11次会议）中，所述草案可 [=| 2012^11^ 7 H^3[=| http://phenix. int-evry. fr/jet/doc_end_user/documents/ll_ Shanghai/wgll/JCTVC-K1003-v8. zip下载，所述草案的全部内容被以引用的方式并入本文 中。
[0044] 替代地，视频编码器20和视频解码器30可根据其它专有或工业标准来操作， 其它专有或工业标准包含 ITU-T H. 261、IS0/IEC MPEG-lVisual、ITU-T H. 262 或 IS0/IEC MPEG-2Visual、ITU-T Η· 263、ISO/IEC MPEG-4Visual 和 ITU-T H. 264(也被称为 ISO/IEC MPEG-4AVC)，包含其可调式视频译码（SVC)和多视图视频译码（MVC)扩展。然而，本发明的 技术不限于任何特定译码标准或技术。
[0045] 此外，图1仅为实例且本发明的技术可应用于未必包含编码装置与解码装置之间 的任何数据通信的视频译码设定（例如，视频编码或视频解码）。在其它实例中，数据是自 本地存储器检索，经由网络而流式传输，或类似者。编码装置可编码数据且将数据存储到存 储器，和/或解码装置可自存储器检索数据且解码数据。在许多实例中，由并不彼此通信而 是简单地将数据编码到存储器和/或自存储器检索数据且解码数据的装置执行编码和解 码。
[0046] 视频编码器20和视频解码器30各自可实施为例如以下各者的多种合适电路中的 任一者：一或多个微处理器、数字信号处理器（DSP)、专用集成电路（ASIC)、现场可编程门 阵列（FPGA)、离散逻辑、硬件或其任何组合。如果部分地以软件实施技术，那么装置可将软 件的指令存储于合适的非暂时性计算机可读存储媒体中且可使用一或多个处理器以硬件 执行指令，以执行本发明的技术。前文中的任一者（包含硬件、软件、硬件与软件的组合等） 可被视为一或多个处理器。视频编码器20和视频解码器30中的每一者可包含于一或多个 编码器或解码器中，编码器或解码器中的任一者可作为组合式编码器/解码器（CODEC)的 部分而集成于相应装置中。
[0047] 本发明可大体上提到视频编码器20将某些信息"用信号发出"到例如视频解码器 30的另一装置。术语"用信号发出"大体上可指语法元素和/或表示经编码视频数据的其 它数据的传达。此传达可实时地或近实时地发生。交替地，此传达可在时间跨度内发生，例 如，可在编码时在将语法元素存储到计算机可读存储媒体时在经编码位流中发生，接着可 在将语法元素存储到此媒体之后的任何时间由解码装置检索语法元素。
[0048] 如上文简要地提及，视频编码器20编码视频数据。视频数据可包括一或多个图 片。图片中的每一者可为静态图像。在一些例子中，图片可被称作视频"帧"。视频编码器 20可产生包含形成视频数据的经译码表示的位序列的位流。位流可包含经译码图片和相关 联的数据。经译码图片为图片的经译码表示。相关联的数据可包含序列参数集（SPS)、图片 参数集（PPS)和其它语法结构。SPS可含有适用于图片的零个或零个以上序列的参数。PPS 可含有适用于零个或零个以上图片的参数。
[0049] 为了产生图片的经编码表示，视频编码器20可将图片分割成译码树块（CTB)的栅 格。在一些例子中，CTB可被称作"树块"、"最大译码单元"（IXU)或"译码树单元"。HEVC 的CTB可广泛地类似于例如H. 264/AVC的先前标准的宏块。然而，CTB未必限于特定大小 且可包含一或多个译码单元（⑶）。
[0050] CTB中的每一者可与图片内的大小相等的不同像素块相关联。每一像素可包括一 个明度（luminance或luma)样本和两个色度（chrominance或chroma)样本。因此，每一 CTB可与明度样本的一个块和色度样本的两个块相关联。为了便于解释，本发明可将像素的 二维阵列称作像素块且可将样本的二维阵列称作样本块。视频编码器20可使用四分树分 割来将与CTB相关联的像素块分割成与CU相关联的像素块（因此名称为"译码树块"）。
[0051] 可将图片的CTB分群成一或多个切片。在一些实例中，切片中的每一者包含整数 数目个CTB。作为编码图片的部分，视频编码器20可产生图片的每一切片的经编码表示 (即，经译码切片）。为了产生经译码切片，视频编码器20可编码切片的每一 CTB以产生切 片的CTB中的每一者的经编码表示（即，经译码CTB)。
[0052] 为了产生经译码CTB，视频编码器20可对与CTB相关联的像素块递回地执行四分 树分割以将像素块划分成逐步减小的像素块。较小像素块中的每一者可与CU相关联。经 分割CU可为像素块经分割成与其它CU相关联的像素块的CU。未经分割CU可为像素块未 经分割成与其它⑶相关联的像素块的⑶。
[0053] 视频编码器20可针对每一未经分割⑶产生一或多个预测单元（PU)。⑶的PU中 的每一者可与⑶的像素块内的一不同像素块相关联。视频编码器20可针对⑶的每一 PU 产生预测性像素块。PU的预测性像素块可为像素的块。
[0054] 视频编码器20可使用帧内预测或帧间预测来产生PU的预测性像素块。如果视频 编码器20使用帧内预测来产生PU的预测性像素块，那么视频编码器20可基于与PU相关 联的图片的经解码像素而产生PU的预测性像素块。如果视频编码器20使用帧间预测来产 生PU的预测性像素块，那么视频编码器20可基于不同于与PU相关联的图片的一或多个图 片的经解码像素而产生PU的预测性像素块。
[0055] 视频编码器20可基于⑶的PU的预测性像素块而产生⑶的残余像素块。⑶的残 余像素块可指示CU的PU的预测性像素块中的样本与CU的原始像素块中的对应样本之间 的差。
[0056] 此外，作为编码未经分割⑶的部分，视频编码器20可对⑶的残余像素块执行递 回四分树分割以将CU的残余像素块分割成与CU的变换单元（TU)相关联的一或多个较小 残余像素块。因为与TU相关联的像素块中的像素各自包含一个明度样本和两个色度样本， 所以TU中的每一者可与明度样本的一个残余样本块和色度样本的两个残余样本块相关 联。
[0057] 视频译码器20可对与TU相关联的残余样本块应用一或多个变换以产生系数块 (即，系数的块）。视频编码器20可对系数块中的每一者执行量化过程。量化大体上指对 系数进行量化以可能减少用以表示系数的数据的量从而提供进一步压缩的过程。
[0058] 视频编码器20可产生表示经量化系数块中的系数的语法元素的集合。视频编码 器20可将例如上下文自适应性二进制算术译码（CABAC)操作的熵编码操作应用于这些语 法元素中的至少一些语法元素。作为执行熵编码操作的部分，视频编码器20可选择译码上 下文。在CABAC的状况下，译码上下文可指示值0和值1分格的概率。
[0059] 由视频编码器20产生的位流可包含一系列网络抽象层（NAL)单元。NAL单元中的 每一者可为含有NAL单元中的数据的类型的指示和含有数据的字节的语法结构。例如，NAL 单元可含有表示SPS、PPS、经译码切片、补充增强信息（SEI)、存取单元定界符、填充数据或 另一类型的数据的数据。经译码切片NAL单元为包含经译码切片的NAL单元。
[0060] 视频解码器30可接收位流。位流可包含由视频编码器20编码的视频数据的经译 码表示。视频解码器30可剖析位流以自位流提取语法元素。作为自位流提取一些语法元 素的部分，视频解码器30可熵解码（例如，CABAC解码、指数哥伦布解码等）位流中的数据。 视频解码器30可基于自位流提取的语法元素而重构建视频数据的图片。
[0061] 基于语法元素而重构建视频数据的过程可与由视频编码器20执行以产生语法元 素的过程大体上互逆。例如，视频解码器30可基于与CU相关联的语法元素而产生CU的PU 的预测性像素块。另外，视频解码器30可对与CU的TU相关联的系数块进行反量化。视频 解码器30可对系数块执行反变换以重构建与CU的TU相关联的残余像素块。视频解码器 30可基于预测性像素块和残余像素块而重构建CU的像素块。
[0062] 在一些实例中，视频编码器20可将图片划分成多个熵切片。本发明可使用术语 "规则切片"来区分切片与熵切片。熵切片可包含规则切片的CU的子集。在一些实例中，视 频编码器20可在熵切片当中分割CU，以使得熵切片中无一者包含比上限多的分格（例如， 经熵译码位）。在单独NAL单元中可包含每一熵切片。
[0063] 在本发明中，图片中预测可指使用与图片的第一单元（例如，CTB、CU、PU等）相关 联的信息以用于译码同一图片的第二单元。允许跨越熵切片边界的图片中预测，用于达成 熵译码的目的除外。例如，如果视频译码器（例如，视频编码器20或视频解码器30)正对 特定PU执行帧内预测，那么视频译码器可使用来自相邻TO的样本，即使相邻PU在不同于 特定TO的熵切片中也如此。在此实例中，如果相邻PU在不同于特定PU的切片中，那么视 频译码器可能不能够使用来自相邻PU的样本。
[0064] 然而，在视频译码器正对与特定TO相关联的数据执行熵译码时，如果特定PU与相 邻PU在相同熵切片中，那么仅允许视频译码器基于与相邻ro相关联的信息而选择译码上 下文。因为此限制，所以视频译码器可能能够对切片的多个熵切片平行地执行熵译码（即， 熵编码或解码）操作。因此，视频解码器30可能能够平行地剖析多个熵切片的语法元素。 然而，视频解码器30不能够平行地重构建切片的多个熵切片的像素块。
[0065] 如上文所指示，经译码切片NAL单元可含有经译码切片。此切片可为熵切片或规 则切片。经译码切片NAL单元中的切片标头可包含指示切片为熵切片或是规则切片的语法 元素（例如，entropy_slice_flag)。例如，如果语法元素等于1，那么经译码切片NAL单元 中的切片可为熵切片。
[0066] 每一经译码切片可包含切片标头和切片数据。熵切片的切片标头可不同于规则切 片的切片标头。例如，熵切片的切片标头中的语法元素可包含规则切片的切片标头中的语 法元素的子集。因为熵切片的切片标头包含比规则切片的切片标头少的语法元素，所以熵 切片也可被称作轻型切片、具有短切片标头的切片或短切片。熵切片可自按解码次序在熵 切片之前的规则切片的切片标头继承自熵切片的切片标头省略的语法元素。
[0067] 按照惯例，视频编码器针对每一熵切片产生单独NAL单元。常常以单独包在网络 上输送个别NAL单元。换句话说，在经由网络传输NAL单元期间，每一包可存在一个NAL单 元。此情形对于含有熵切片的NAL单元来说可为有问题的。如果含有包含规则切片的NAL 单元的包在传输期间丢失，那么视频解码器30可能不能够使用自规则切片的切片标头继 承语法元素的熵切片。此外，如果对于图片中预测，第一熵切片的一或多个CTB依赖于第二 熵切片的一或多个CTB，且含有包含第二熵切片的NAL单元的包在传输期间丢失，那么视频 解码器30可能不能够解码第一熵切片的CTB。
[0068] 在一些实例中，视频译码器可使用波前平行处理（WPP)来译码图片的至少部分。 下文中详细描述的图9为说明WPP的实例的概念图。如果视频译码器使用WPP来译码图片， 那么视频译码器可将图片的CTB划分成多个"WPP波"。WPP波中的每一者可对应于图片中 的CTB的不同行。如果视频译码器使用WPP来译码图片，那么视频译码器可开始译码CTB 的顶行。在视频译码器已译码顶行的两个或两个以上CTB之后，视频译码器可开始与译码 CTB的顶行平行地译码CTB的次顶行。在视频译码器已译码次顶行的两个或两个以上CTB 之后，视频译码器可开始与译码CTB的较高行平行地译码CTB的顶部起第三行。此型样可 沿图片中的CTB的行往下继续。
[0069] 如果视频译码器正使用WPP，那么只要空间上相邻的⑶在当前CTB的左方、左上 方、上方或右上方，视频译码器便可使用与在当前CTB之外的空间上相邻的CU相关联的信 息来对当前CTB中的特定CU执行图片中预测。如果当前CTB为不同于最顶行的行中的最 左CTB，那么视频译码器可使用与紧接的较高行的第二CTB相关联的信息来选择用于CABAC 译码当前CTB的一或多个语法元素的上下文。否则，如果当前CTB并非行中的最左CTB，那 么视频译码器可使用与当前CTB左方的CTB相关联的信息来选择用于CABAC译码当前CTB 的一或多个语法元素的上下文。以此方式，视频译码器可在编码紧接的较高行的两个或两 个以上CTB之后，基于紧接的较高行的CABAC状态而初始化行的CABAC状态。
[0070] 因此，响应于确定第一 CTB通过单一 CTB而与图片的左边界分离，视频译码器可存 储与第一 CTB相关联的上下文变量。视频译码器可至少部分基于与第一 CTB相关联的上下 文变量而熵译码（例如，熵编码或熵解码）第二CTB的一或多个语法元素，第二CTB邻近于 图片的左边界且比第一 CTB低一行CTB。
[0071] 甚至在使用WPP时，仍通常根据光栅扫描次序将切片的经译码CTB布置于经译码 切片NAL单元中。此情形可使实施WPP的视频译码器的设计变得复杂。在WPP波的数目大 于1且小于图片的CTB行的数目时，CTB的经译码位的位流次序（即，在通过一个解码器核 心处理经译码图片而非平行地解码经译码图片的情况下的解码次序）与如下未应用WPP时 的情形相比较来说改变了。按位流/解码次序较迟的经译码CTB可能需要由按解码次序较 早的另一经译码CTB进行图片中预测。此情形可打破无较早数据取决于按位流/解码次序 较迟到来的数据的位流因果关系。位流因果关系已为包含视频译码标准的视频译码设计中 的大体遵循的原理。虽然解码过程起作用，但在指示在位流中的当前位置的位流指标可在 与经译码切片NAL单元相关联的位流的部分内前后移动时，解码过程可更复杂。
[0072] 在一些实例中，视频编码器20可将图片划分成一或多个图像块。图像块可包括图 片的CTB的非重叠集合。视频编码器20可通过界定两个或两个以上垂直图像块边界和两 个或两个以上水平图像块边界而将图片划分成图像块。图片的每一垂直侧可为垂直图像块 边界。当前图片的每一水平侧可为水平图像块边界。例如，如果视频编码器20界定图片的 四个垂直图像块边界和三个水平图像块边界，那么将当前图片划分成六个图像块。
[0073] 例如视频编码器20或视频解码器30的视频译码器可根据图像块扫描次序译码图 片的图像块的CTB。为了根据图像块扫描次序译码CTB，视频译码器可根据光栅扫描次序译 码图片的图像块。即，视频译码器可按由左到右次序译码一行图像块中的每一图像块，自图 像块的顶行开始且接着沿图片向下进行。此外，视频译码器可根据光栅扫描次序译码图像 块内的每一 CTB。以此方式，视频译码器可在译码图片的另一图像块的任何CTB之前，译码 图片的给定图像块的每一 CTB。换句话说，图像块扫描次序按图像块内的CTB光栅扫描次 序遍历CTB，且按图片内的图像块光栅扫描次序遍历图像块。因此，视频译码器译码图片的 CTB的次序在将图片分割成多个图像块的情况下与在不将图片分割成多个图像块的情况下 可不同。下文所描述的图10为说明在将图片分割成多个图像块时的实例图像块扫描次序 的概念图。
[0074] 在一些例子中，视频译码器可执行跨越图像块边界但不跨越切片边界的图片中预 测。在其它例子中，禁止跨越图像块边界和切片边界的图片中预测。在禁止跨越图像块边 界和切片边界的图片中预测的例子中，视频译码器可能能够平行地译码多个图像块。
[0075] 在一些实例中，由旗标（例如，"tile_boundary_independence_idc"）控制跨越图 像块边界的图片中预测。如果旗标等于1，那么在图片内不允许跨越图像块边界的图片中 预测。否则，允许跨越图像块边界的图片中预测，也为图片边界或切片边界的图像块边界除 夕卜。如果允许跨越图像块边界的图片中预测，那么图像块的功能性可为与图片不具有图像 块或等效地具有仅一个图像块的状况相比较来说改变CTB的扫描次序。如果不允许跨越图 像块边界的图片中预测，那么除改变CTB的扫描次序之外，图像块也可提供可用于图像块 的平行译码（编码和/或解码）的独立分割。因此，如果将图片分割成至少第一图像块和 第二图像块，那么在视频解码器30在不使用WPP的情况下解码图像块时，视频解码器30可 平行地解码第一图像块的CTB和第二图像块的CTB。
[0076] 在一些例子中，可将图片分割成图像块、WPP波和熵切片的组合。例如，可将图片 分割成图像块和WPP波的集合。在另一实例中，可将图片分割成两个图像块和一个熵切片。 允许图片内的图像块、WPP波和熵切片的组合可为有问题的，这是因为允许这些组合可增加 视频编码器和/或视频解码器的复杂度和成本。
[0077] 本发明的技术可解决上文所描述的问题。根据本发明的技术，可不将图片分割成 图像块、WPP波和熵切片的任何组合。换句话说，可将图片分割成一或多个图像块，可将图片 分割成WPP波，或可将图片分割成一或多个熵切片。然而，可不将图片分割成以下组合中的 任一者：（a)图像块、WPP波和熵切片、（b)图像块和WPP波、（c)图像块和熵切片或（d)WPP 波和熵切片。
[0078] 为了实现此情形，视频编码器20可在位流中包含语法元素，所述语法元素指示根 据第一译码模式或是第二译码模式来编码图片。在所述第一译码模式中，使用WPP来完整 地编码所述图片。即，可将图片中的每一行CTB编码为WPP波。在第二译码模式中，图片可 具有一或多个图像块。此外，在所述第二译码模式中，可在不使用WPP的情况下编码所述图 片的每一图像块。例如，在第二译码模式中，视频编码器20可针对图片的每一图像块，按跨 越CTB的行自左到右且沿图像块的CTB的行向下的次序顺序地编码图像块内的CTB。为了 便于解释，此语法元素可在本文中被称作译码模式语法元素。
[0079] 视频解码器30可自包含视频数据中的图片的经译码表示的位流剖析语法元素。 响应于确定所述语法元素具有特定值，视频解码器30可使用WPP来完整地解码所述图片。 响应于确定所述语法元素不具有所述特定值，视频解码器30可在不使用WPP的情况下解码 所述图片的每一图像块，其中图片具有一或多个图像块。
[0080] 位流的各个部分可包含译码模式语法元素。例如，视频编码器20可产生包含译码 模式语法元素的SPS。在此实例中，视频解码器30可从位流剖析包含译码模式语法元素的 SPS。在另一实例中，视频编码器20可产生包含译码模式语法元素的PPS。在此实例中，视 频解码器30可从位流剖析包含译码模式语法元素的PPS。此外，如果根据第二译码模式编 码图片，那么位流可包含指示针对图片是否启用熵切片的一或多个语法元素。位流的各个 部分可包含指示针对图片是否启用熵切片的一或多个语法元素。例如，SPS可包含指示针 对与SPS相关联的图片启用熵切片的一或多个语法元素。在另一实例中，PPS可包含指示 针对与PPS相关联的图片启用熵切片的一或多个语法元素。例如，在此实例中，PPS可包含 指示参考PPS的经译码切片是否可由熵切片组成的entropy_slice_enabled_flag语法元 素。
[0081] 如果图片包含一或多个熵切片，那么与图片的切片相关联的每一熵切片可包含于 单一经译码切片NAL单元中，而非包含于单独NAL单元中。因此，可将熵切片定义为切片的 子集，其中熵切片的熵解码过程独立于相同切片中的其它熵切片。
[0082] 如上文简要地提及，位流可包含包含经译码切片的经译码切片NAL单元。经译码 切片可包括切片标头和切片数据。切片数据可包含一或多个子流。根据本发明的技术，如 果在第一译码模式中编码图片（即，使用WPP来完整地编码图片），那么由子流中的单一者 来表示切片的CTB的每一行。如果在第二译码模式中编码图片（即，在不使用WPP的情况 下编码图片的每一图像块），那么由子流中的单一子流表示具有切片中的一或多个CTB的 图片的每一图像块。
[0083] 此外，根据本发明的技术，经译码切片的切片标头可包含指示经译码切片NAL单 元的切片数据内的图像块、WPP波或熵切片的入口点的语法元素的集合。子流的入口点可 为子流的第一位。此外，经译码切片NAL单元的切片数据内的图像块、WPP波或熵切片可包 含确保图像块、WPP波或熵切片字节对准的填补位。
[0084] 图2为说明经配置以实施本发明的技术的实例视频编码器20的框图。出于解释 的目的而提供图2且不应将图2视为限制如本发明中广泛地例示和描述的技术。出于解释 的目的，本发明在HEVC译码的情况下描述视频编码器20。然而，本发明的技术可适用于其 它译码标准或方法。
[0085] 在图2的实例中，视频编码器20包含预测处理单元100、残余产生单元102、变换 处理单元104、量化单元106、反量化单元108、反变换处理单元110、重构建单元112、滤波器 单元113、经解码图片缓冲器114和熵编码单元116。预测处理单元100包含帧间预测处理 单元121和帧内预测处理单元126。帧间预测处理单元121包含运动估计单元122和运动 补偿单元124。在其它实例中，视频编码器20可包含更多、更少或不同功能组件。
[0086] 视频编码器20可接收视频数据。为了编码视频数据，视频编码器20可编码视频数 据的每一图片的每一切片。作为编码切片的部分，视频编码器20可编码切片中的每一 CTB。 作为编码CTB的部分，预测处理单元100可对与CTB相关联的像素块执行四分树分割，以将 像素块划分成逐步减小的像素块。较小像素块可与CU相关联。例如，预测处理单元100可 将CTB的像素块分割成四个大小相等的子块，将子块中的一或多者分割成四个大小相等的 子子块，等等。
[0087] 视频编码器20可编码CTB的⑶以产生⑶的经编码表示（即，经译码⑶）。视频 编码器20可根据z扫描次序编码CTB的⑶。换句话说，视频编码器20可按左上方⑶、右 上方⑶、左下方⑶和接着右下方⑶的彼次序编码所述⑶。在视频编码器20编码经分割 CU时，视频编码器20可根据z扫描次序编码与经分割CU的像素块的子块相关联的CU。
[0088] 作为编码⑶的部分，预测处理单元100可在⑶的一或多个TO当中分割⑶的像素 块。视频编码器20和视频解码器30可支持各种PU大小。假定特定CU的大小为2NX2N， 视频编码器20和视频解码器30可支持2NX 2N或NXN的PU大小以供帧内预测，且支持 2NX 2N、2NX N、NX 2N、NX N或类似大小的对称PU大小以供帧间预测。视频编码器20和视 频解码器30也可支持对2NXnU、2NXnD、nLX 2N和nRX 2N的PU大小的非对称分割以供帧 间预测。
[0089] 帧间预测处理单元121可通过对⑶的每一 PU执行帧间预测来产生PU的预测性 数据。PU的预测性数据可包含对应于ro的预测性像素块和PU的运动信息。切片可为I切 片、P切片或B切片。帧间预测单元121可取决于PU在I切片中、在P切片中或是在B切 片中而对CU的PU执行不同操作。在I切片中，对所有PU进行帧内预测。因此，如果PU在 I切片中，那么帧间预测单元121不对TO执行帧间预测。
[0090] 如果TO在P切片中，那么运动估计单元122可搜索参考图片列表（例如，"列表 〇"）中的参考图片以查找PU的参考块。PU的参考块可为最紧密地对应于PU的像素块的像 素块。运动估计单兀122可广生指不含有HJ的参考块的列表0中的参考图片的参考图片 索引，和指示PU的像素块与参考块之间的空间位移的运动向量。运动估计单元122可输出 参考图片索引和运动向量作为PU的运动信息。运动补偿单元124可基于通过PU的运动信 息指示的参考块而产生TO的预测性像素块。
[0091] 如果PU在B切片中，那么运动估计单元122可对PU执行单向帧间预测或双向帧 间预测。为了对PU执行单向帧间预测，运动估计单元122可搜索第一参考图片列表（"列 表0"）或第二参考图片列表（"列表1"）的参考图片以查找PU的参考块。运动估计单元 122可输出以下各者作为PU的运动信息：指示参考图片的列表0或列表1中含有参考块的 位置的参考图片索引、指示PU的像素块与参考块之间的空间位移的运动向量，和指示参考 图片在列表0或是列表1中的预测方向指示符。
[0092] 为了对TO执行双向帧间预测，运动估计单元122可搜索列表0中的参考图片以查 找PU的参考块，且也可搜索列表1中的参考图片以查找PU的另一参考块。运动估计单元 122可产生指示参考图片的列表0和列表1中含有参考块的位置的参考图片索引。另外，运 动估计单元122可产生指示参考块与PU的像素块之间的空间位移的运动向量。PU的运动 信息可包含PU的参考图片索引和运动向量。运动补偿单元124可基于通过PU的运动信息 指示的参考块而产生TO的预测性像素块。
[0093] 帧内预测处理单元126可通过对PU执行帧内预测来产生PU的预测性数据。PU的 预测性数据可包含PU的预测性像素块和各种语法元素。帧内预测处理单元126可对I切 片、P切片和B切片中的PU执行帧内预测。
[0094] 为了对TO执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式来产生 PU的预测性数据的多个集合。为了使用帧内预测模式来产生PU的预测性数据的集合，帧 内预测处理单元126可使样本在与帧内预测模式相关联的方向上自相邻PU的样本块跨越 TO的样本块延伸。假定PU、⑶和CTB的左到右、上到下编码次序，那么相邻PU可在PU的 上方、右上方、左上方或左方。帧内预测处理单元126可使用各种数目个帧内预测模式，例 如，33个定向帧内预测模式。在一些实例中，帧内预测模式的数目可取决于PU的像素块的 大小。
[0095] 预测处理单元100可自⑶的TO的由帧间预测处理单元121产生的预测性数据或 PU的由帧内预测处理单元126产生的预测性数据当中选择PU的预测性数据。在一些实例 中，预测处理单元100基于预测性数据的集合的位率/失真度量而选择CU的PU的预测性 数据。所选定预测性数据的预测性像素块可在本文中被称作所选定预测性像素块。
[0096] 残余产生单元102可基于⑶的像素块和⑶的PU的所选定预测性像素块而产生 CU的残余像素块。例如，残余产生单元102可产生CU的残余像素块，以使得残余像素块中 的每一样本具有等于CU的像素块中的样本与CU的PU的所选定预测性像素块中的对应样 本之间的差的值。
[0097] 预测处理单元100可执行四分树分割以将CU的残余像素块分割成子块。每一未 经划分的残余像素块可与CU的不同TU相关联。与CU的TU相关联的残余像素块的大小和 位置可或可不基于⑶的PU的像素块的大小和位置。
[0098] 因为TU的残余像素块的像素可包括一个明度样本和两个色度样本，所以TU中的 每一者可与明度样本的一个块和色度样本的两个块相关联。变换处理单元104可通过将一 或多个变换应用于与TU相关联的残余样本块而产生CU的每一 TU的系数块。变换处理单 元104可将各种变换应用于与TU相关联的残余样本块。例如，变换处理单元104可将离散 余弦变换（DCT)、方向变换或概念上类似的变换应用于残余样本块。
[0099] 量化单元106可对与TU相关联的系数块中的系数进行量化。量化过程可减小与 系数中的一些或全部相关联的位深度。例如，可在量化期间将η位系数降值舍位到m位系 数，其中η大于m。量化单元106可基于与CU相关联的量化参数（QP)值而对与CU的TU相 关联的系数块进行量化。视频编码器20可通过调整与CU相关联的QP值来调整应用于与 CU相关联的系数块的量化的程度。
[0100] 反量化单元108和反变换处理单元110可分别将反量化和反变换应用于系数块以 自系数块重构建残余样本块。重构建单元112可将经重构建残余样本块与来自由预测处理 单元100产生的一或多个预测性样本块的对应样本相加以产生与TU相关联的经重构建样 本块。通过以此方式重构建⑶的每一 TU的样本块，视频编码器20可重构建⑶的像素块。
[0101] 滤波器单元113可执行解块操作以减少与CU相关联的像素块中的块伪影。经解 码图片缓冲器114可在滤波器单元113对经重构建像素块执行一或多个解块操作之后，存 储经重构建像素块。帧间预测单元121可使用含有经重构建像素块的参考图片来对其它图 片的PU执行帧间预测。另外，帧内预测处理单元126可使用经解码图片缓冲器114中的经 重构建像素块来对与CU相同的图片中的其它PU执行帧内预测。
[0102] 熵编码单元116可自视频编码器20的其它功能组件接收数据。例如，熵编码单元 116可自量化单元106接收系数块且可自预测处理单元100接收语法元素。熵编码单元116 可对数据执行一或多个熵编码操作以产生经熵编码数据。例如，熵编码单元116可对数据 执行以下操作：上下文自适应性可变长度译码（CAVLC)操作、CABAC操作、变量到变量（V2V) 长度译码操作、基于语法的上下文自适应性二进制算术译码（SBAC)操作、概率区间分割熵 (PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。
[0103] 视频编码器20可输出包含由熵编码单元116产生的经熵编码数据的位流。位流 可包含一系列NAL单元。NAL单元可包含经译码切片NAL单元、SPS NAL单元、PPS NAL单元 等等。为了确保图片不包含图像块、WPP波和熵切片的组合，位流可包含指示是否使用WPP 来完整地编码图片或是否在不使用WPP的情况下编码图片的每一图像块的语法元素。
[0104] 图3为说明经配置以实施本发明的技术的实例视频解码器30的框图。出于解释 的目的而提供图3且图3并不限制如本发明中广泛地例示和描述的技术。出于解释的目 的，本发明在HEVC译码的情况下描述视频解码器30。然而，本发明的技术可适用于其它译 码标准或方法。
[0105] 在图3的实例中，视频解码器30包含熵解码单元150、预测处理单元152、反量化 单元154、反变换处理单元156、重构建单元158、滤波器单元159和经解码图片缓冲器160。 预测处理单元152包含运动补偿单元162和帧内预测处理单元164。在其它实例中，视频解 码器30可包含更多、更少或不同功能组件。
[0106] 视频解码器30可接收位流。熵解码单元150可剖析位流以自位流提取语法元素。 作为剖析位流的部分，熵解码单元150可熵解码位流中的经熵编码语法元素。预测处理单 元152、反量化单元154、反变换处理单元156、重构建单元158和滤波器单元159可基于自 位流提取的语法元素而产生经解码视频数据。
[0107] 位流可包括一系列NAL单元。位流的NAL单元可包含经译码切片NAL单元。作为 剖析位流的部分，熵解码单元150可自经译码切片NAL单元提取语法元素且熵解码语法元 素。经译码切片中的每一者可包含切片标头和切片数据。切片标头可含有关于切片的语法 元素。切片标头中的语法元素可包含识别与含有切片的图片相关联的PPS的语法元素。
[0108] 另外，视频解码器30可对未经分割⑶执行重构建操作。为了对未经分割⑶执行 重构建操作，视频解码器30可对⑶的每一 TU执行重构建操作。通过对⑶的每一 TU执行 重构建操作，视频解码器30可重构建与⑶相关联的残余像素块。
[0109] 作为对CU的TU执行重构建操作的部分，反量化单元154可对与TU相关联的系数 块进行反量化（即，去量化）。反量化单元154可使用与TU的CU相关联的QP值来确定量 化的程度，且同样地，确定反量化单元154将应用的反量化的程度。
[0110] 在反量化单元154对系数块进行反量化之后，反变换处理单元156可将一或多个 反变换应用于系数块以便产生与TU相关联的残余样本块。例如，反变换处理单元156可将 反DCT、反整数变换、反卡忽南-拉维变换（KLT)、反旋转变换、反方向变换或另一反变换应 用于系数块。
[0111] 如果使用帧内预测来编码PU，那么帧内预测处理单元164可执行帧内预测以产生 PU的预测性样本块。帧内预测处理单元164可使用帧内预测模式来基于空间上相邻的PU 的像素块而产生TO的预测性像素块。帧内预测处理单元164可基于自位流剖析的一或多 个语法元素而确定PU的帧内预测模式。
[0112] 运动补偿单元162可基于自位流提取的语法元素而构建第一参考图片列表（列表 〇)和第二参考图片列表（列表1)。此外，如果使用帧间预测来编码PU，那么熵解码单元150 可提取PU的运动信息。运动补偿单元162可基于PU的运动信息而确定PU的一或多个参 考块。运动补偿单元162可基于PU的一或多个参考块而产生PU的预测性像素块。
[0113] 重构建单元158可在可适用时，使用与⑶的TU相关联的残余像素块和⑶的PU 的预测性像素块（即，帧内预测数据或帧间预测数据）来重构建CU的像素块。明确地说， 重构建单元158可将残余像素块的样本与预测性像素块的对应样本相加以重构建CU的像 素块。
[0114] 滤波器单元159可执行解块操作以减少与CU的像素块相关联的块伪影。视频解码 器30可将⑶的像素块存储于经解码图片缓冲器160中。经解码图片缓冲器160可提供用 于后续运动补偿、帧内预测和呈现于显示装置（例如，图1的显示装置32)上的参考图片。 例如，视频解码器30可基于经解码图片缓冲器160中的像素块而对其它CU的PU执行帧内 预测或帧间预测操作。
[0115] 如上文所提及，视频解码器30可接收包含译码模式语法元素的位流。如果译码模 式语法元素具有特定值，那么译码模式语法元素指示使用WPP来完整地编码图片。在各种 实例中，译码模式语法元素可在位流的各个部分中。例如，SPS可包含译码模式语法元素。 以下表1提供包含译码模式语法元素（"tilejnode"）的SPS的实例语法。
[0116] 表1--序列参数集RBSP语法
[0117]
【权利要求】
1. 一种编码视频数据的方法，所述方法包括： 用信号发出使用波前平行处理WPP来编码一连串视频图片中的一个图片； 执行WPP以产生多个子流，所述子流中的每一者包含表示所述图片的切片中的译码树 块CTB的一个经编码行的位的连续系列；以及 产生包含所述多个子流的经译码切片网络抽象层NAL单元。
2. 根据权利要求1所述的方法，其中产生所述经译码切片NAL单元包括产生所述经译 码切片NAL单元的切片标头和所述经译码切片NAL单元的切片数据，所述切片数据包含所 述子流，所述切片标头包含多个偏移语法元素，可从所述多个偏移语法元素确定所述子流 的入口点。
3. 根据权利要求2所述的方法，其中所述切片标头进一步包含第一语法元素和第二 语法元素，所述多个偏移语法元素中的偏移语法元素的数目可基于所述第一语法元素而确 定，且所述偏移语法元素中的每一者的以位为单位的长度可基于所述第二语法元素而确 定。
4. 根据权利要求1所述的方法，其中用信号发出使用WPP来编码所述图片包括产生包 含指示使用那个WPP来编码所述图片的语法元素的图片参数集PPS。
5. 根据权利要求1所述的方法，其中用信号发出使用WPP来编码所述图片包括产生包 含指示使用那个WPP来编码所述图片的语法元素的序列参数集SPS。
6. 根据权利要求1所述的方法，其中执行WPP以产生所述多个子流包括： 响应于确定第一 CTB与所述图片的左边界分离单一 CTB，存储与所述第一 CTB相关联的 上下文变量；以及 至少部分基于与所述第一 CTB相关联的所述上下文变量而熵编码第二CTB的一或多个 语法元素，所述第二CTB邻近于所述图片的所述左边界且比所述第一 CTB低一行CTB。
7. 根据权利要求1所述的方法，其中所述方法由移动计算装置执行。
8. -种计算装置，其包括经配置以进行以下操作的一或多个处理器： 用信号发出使用波前平行处理WPP来编码一连串视频图片中的一个图片； 执行WPP以产生多个子流，所述子流中的每一者包含表示所述图片的切片中的译码树 块CTB的一个经编码行的位的连续系列；以及 产生包含所述多个子流的经译码切片网络抽象层NAL单元。
9. 根据权利要求8所述的计算装置，其中产生所述经译码切片NAL单元包括产生所述 经译码切片NAL单元的切片标头和所述经译码切片NAL单元的切片数据，所述切片数据包 含所述子流，所述切片标头包含多个偏移语法元素，可从所述多个偏移语法元素确定所述 子流的入口点。
10. 根据权利要求9所述的计算装置，其中所述切片标头进一步包含第一语法元素和 第二语法元素，所述多个偏移语法元素中的偏移语法元素的数目可基于所述第一语法元素 而确定，且所述偏移语法元素中的每一者的以位为单位的长度可基于所述第二语法元素而 确定。
11. 根据权利要求8所述的计算装置，其中所述一或多个处理器经配置以产生包含指 示使用WPP来编码所述图片的语法元素的图片参数集PPS。
12. 根据权利要求8所述的计算装置，其中所述一或多个处理器经配置以产生包含指 示使用WPP来编码所述图片的语法元素的序列参数集SPS。
13. 根据权利要求8所述的计算装置，其中所述一或多个处理器经配置以： 响应于确定第一 CTB与所述图片的左边界分离单一 CTB，存储与所述第一 CTB相关联的 上下文变量；以及 至少部分基于与所述第一 CTB相关联的所述上下文变量而熵编码第二CTB的一或多个 语法元素，所述第二CTB邻近于所述图片的所述左边界且比所述第一 CTB低一行CTB。
14. 根据权利要求8所述的计算装置，其中所述计算装置为移动计算装置。
15. -种计算装置，其包括： 用于用信号发出使用波前平行处理WPP来编码图片的装置； 用于执行WPP以产生多个子流的装置，所述子流中的每一者包含表示所述图片的切片 中的译码树块CTB的一个经编码行的位的连续系列；以及 用于产生包含所述多个子流的经译码切片网络抽象层NAL单元的装置。
16. -种存储指令的计算机可读存储媒体，所述指令在由计算装置的一或多个处理器 执行时配置所述计算装置以： 用信号发出使用波前平行处理WPP来编码图片； 执行WPP以产生多个子流，所述子流中的每一者包含表示所述图片的切片中的译码树 块CTB的一个经编码行的位的连续系列；以及 产生包含所述多个子流的经译码切片网络抽象层NAL单元。
17. -种解码视频数据的方法，所述方法包括： 接收包含经译码切片网络抽象层NAL单元的位流，所述经译码切片NAL单元包含多 个子流，所述子流中的每一者包含表示图片的切片中的译码树块CTB的一行的位的连续系 列； 基于所述位流中的语法元素而确定所述切片是使用波前平行处理WPP而编码；以及 使用WPP解码所述切片。
18. 根据权利要求17所述的方法，其中所述经译码切片NAL单元包含切片标头和切片 数据，且所述方法进一步包括至少部分基于指示所述切片是使用WPP编码的所述切片标头 中的语法元素，确定所述经译码切片NAL单元包含指示在所述子流的所述切片数据内的位 置的多个偏移语法元素。
19. 根据权利要求18所述的方法，其中所述切片标头包含第一语法元素和第二语法元 素，且所述方法进一步包括： 基于所述第一语法元素而确定在所述多个偏移语法元素中有多少个偏移语法元素； 基于所述第二语法元素而确定所述偏移语法元素的以位为单位的长度；以及 至少部分基于在所述多个偏移语法元素中有多少个偏移语法元素和所述偏移语法元 素的以位为单位的所述长度，从所述位流剖析所述偏移语法元素。
20. 根据权利要求18所述的方法，其进一步包括至少部分基于所述偏移语法元素而确 定所述子流在存储器中的位置。
21. 根据权利要求17所述的方法，其中所述位流包含图片参数集PPS，且所述方法进一 步包括基于所述PPS中的一或多个语法元素而确定使用WPP来编码所述图片。
22. 根据权利要求17所述的方法，其中所述位流包含序列参数集SPS，且所述方法进一 步包括基于所述SPS中的一或多个语法元素而确定使用WPP来编码所述图片。
23. 根据权利要求17所述的方法，其中使用WPP解码所述切片包括： 响应于确定第一 CTB与所述图片的左边界分离单一 CTB，存储与所述第一 CTB相关联的 上下文变量；以及 至少部分基于与所述第一 CTB相关联的所述上下文变量而熵解码第二CTB的一或多个 语法元素，所述第二CTB邻近于所述图片的所述左边界且比所述第一 CTB低一行CTB。
24. 根据权利要求17所述的方法，其中所述方法由移动计算装置执行。
25. -种计算装置，其包括经配置以进行以下操作的一或多个处理器： 接收包含经译码切片网络抽象层NAL单元的位流，所述经译码切片NAL单元包含多 个子流，所述子流中的每一者包含表示图片的切片中的译码树块CTB的一行的位的连续系 列； 基于所述位流中的一或多个语法元素而确定所述切片是使用波前平行处理WPP而编 码；以及 使用WPP解码所述切片。
26. 根据权利要求25所述的计算装置，其中所述经译码切片NAL单元包含切片标头和 切片数据，且所述一或多个处理器经进一步配置以至少部分基于指示所述切片是使用WPP 编码的所述切片标头中的语法元素，确定所述经译码切片NAL单元包含指示在所述子流的 所述切片数据内的位置的多个偏移语法元素。
27. 根据权利要求26所述的计算装置，其中所述切片标头包含第一语法元素和第二语 法元素，所述第一语法元素指示在所述多个偏移语法元素中有多少个偏移语法元素，所述 第二语法元素指示所述偏移语法元素的以位为单位的长度；以及 所述一或多个处理器经配置以至少部分基于所述第一语法元素和所述第二语法元素 而从所述位流剖析所述偏移语法元素。
28. 根据权利要求25所述的计算装置，其中所述位流包含图片参数集PPS，且所述一或 多个处理器经进一步配置以基于所述PPS中的一或多个语法元素而确定使用WPP来编码所 述图片。
29. 根据权利要求25所述的计算装置，其中所述位流包含序列参数集SPS，且所述一 或多个处理器经进一步配置以基于所述SPS中的一或多个语法元素而确定使用WPP来 编码所述图片。
30. 根据权利要求25所述的计算装置，其中一或多个处理器经配置以： 响应于确定第一 CTB与所述图片的左边界分离单一 CTB，存储与所述第一 CTB相关联的 上下文变量；以及 至少部分基于与所述第一 CTB相关联的所述上下文变量而熵解码第二CTB的一或多个 语法元素，所述第二CTB邻近于所述图片的所述左边界且比所述第一 CTB低一行CTB。
31. 根据权利要求25所述的计算装置，其中所述计算装置为移动计算装置。
32. -种计算装置，其包括： 用于接收包含经译码切片网络抽象层NAL单元的位流的装置，所述经译码切片NAL单 元包含多个子流，所述子流中的每一者包含表示图片的切片中的译码树块CTB的一行的位 的连续系列； 用于基于所述位流中的一或多个语法元素而确定所述切片是使用波前平行处理WPP 而编码的装置；以及 用于使用WPP解码所述切片的装置。
33. -种存储指令的计算机可读存储媒体，所述指令在由计算装置的一或多个处理器 执行时配置所述计算装置以： 接收包含经译码切片NAL单元的位流，所述经译码切片网络抽象层NAL单元包含多 个子流，所述子流中的每一者包含表示图片的切片中的译码树块CTB的一行的位的连续系 列； 基于所述位流中的一或多个语法元素而确定所述切片是使用波前平行处理WPP而编 码；以及 使用WPP解码所述切片。
【文档编号】H04N19/436GK104054348SQ201280067198
【公开日】2014年9月17日 申请日期:2012年12月19日 优先权日:2012年1月18日
【发明者】王益魁, 穆罕默德·蔡德·科班 申请人:高通股份有限公司
【专利摘要】一种视频编码器用信号发出是否使用WPP来编码一连串视频图片中的一个图片。如果使用WPP来编码所述图片，那么所述视频编码器产生包含多个子流的经译码切片NAL单元，所述子流中的每一者包含表示所述图片的切片中的译码树块CTB的一个经编码行的位的连续系列。视频解码器接收包含所述经译码切片NAL单元的位流。此外，所述视频解码器可基于所述位流中的语法元素而确定所述切片是使用WPP编码，且可使用WPP来解码所述切片。
【专利说明】在视频译码中波前平行处理的子流
[0001] 本申请案主张于2012年1月18日申请的美国临时专利申请案第61/588, 096号 的权利，所述申请案的全部内容在此以引用的方式并入。
【技术领域】
[0002] 本发明涉及视频译码（即，视频数据的编码和/或解码）。
【背景技术】
[0003] 可将数字视频能力并入到广泛范围的装置中，所述装置包含数字电视、数字直播 系统、无线广播系统、个人数字助理（PDA)、膝上型计算机或桌上型计算机、平板计算机、电 子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、 蜂窝式或卫星无线电电话、所谓的"智能电话"、视频电话会议装置、视频流式传输装置和 类似者。数字视频装置实施视频压缩技术，例如在由MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H. 264/MPEG-4第10部分（先进视频译码（AVC))定义的标准、目前在开发中的高效率视频 译码（HEVC)标准和这些标准的扩展中所描述的视频压缩技术。视频装置可通过实施这些 视频压缩技术来更有效率地发射、接收、编码、解码和/或存储数字视频信息。
[0004] 视频压缩技术执行空间（图片内）预测和/或时间（图片间）预测以减少或去除 视频序列中所固有的冗余。对于基于块的视频译码，可将视频切片（即，视频帧或视频帧的 一部分）分割成视频块，视频块也可被称作树块、译码单元（CU)和/或译码节点。图片的 经帧内译码（I)切片中的视频块是使用相对于相同图片中的相邻块中的参考样本的空间 预测来编码。图片的经帧间译码（P或B)切片中的视频块可使用相对于相同图片中的相邻 块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称 作帧，且参考图片可被称作参考帧。
[0005] 空间或时间预测产生待译码的块的预测性块。残余数据表示待译码的原始块与预 测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量和指示经译码块 与预测性块之间的差的残余数据来编码经帧间译码块。根据帧内译码模式和残余数据来编 码经帧内译码块。为了进一步压缩，可将残余数据自像素域变换到变换域，从而产生残余系 数，所述残余系数接着可经量化。可按次序扫描最初布置成二维阵列的经量化系数以便产 生系数的一维向量，且可应用熵译码以达成甚至更多压缩。
【发明内容】
[0006] 大体来说，本发明描述涉及图像块和波前平行处理（WPP)的用于视频译码的技 术。更具体来说，视频编码器可用信号发出是否使用WPP来编码一连串视频图片中的一个 图片。如果使用WPP来编码所述图片，那么所述视频编码器产生多个子流。所述子流中的 每一者可包含表示所述图片的切片中的译码树块（CTB)的一个经编码行的位的连续系列。 所述视频编码器可产生包含所述多个子流的经译码切片网络抽象层（NAL)单元。视频解码 器可接收包含所述经译码切片NAL单元的位流。此外，所述视频解码器可基于所述位流中 的语法元素而确定所述切片是使用WPP编码，且可使用WPP来解码所述切片。
[0007] 在一方面，本发明描述一种用于编码视频数据的方法。所述方法包括用信号发出 使用WPP来编码一连串视频图片中的一个图片。所述方法也包括执行WPP以产生多个子流， 所述子流中的每一者包含表示所述图片的切片中的CTB的一个经编码行的位的连续系列。 所述方法也包括产生包含所述多个子流的经译码切片网络抽象层（NAL)单元。
[0008] 在另一方面，本发明描述一种包括一或多个处理器的计算装置，所述一或多个处 理器经配置以用信号发出使用WPP来编码一连串视频图片中的一个图片。所述一或多个处 理器也经配置以执行WPP以产生多个子流，所述子流中的每一者包含表示所述图片的切片 中的CTB的一个经编码行的位的连续系列。所述一或多个处理器也经配置以产生包含所述 多个子流的经译码切片NAL单元。
[0009] 在另一方面，本发明描述一种计算装置，所述计算装置包括用于用信号发出使用 WPP来编码图片的装置。所述计算装置也包括用于执行WPP以产生多个子流的装置，所述子 流中的每一者包含表示所述图片的切片中的CTB的一个经编码行的位的连续系列。另外， 所述方法包括用于产生包含所述多个子流的经译码切片NAL单元的装置。
[0010] 在另一方面，本发明描述一种存储指令的计算机可读存储媒体，所述指令在由计 算装置的一或多个处理器执行时配置所述计算装置以用信号发出使用WPP来编码图片。所 述指令也配置所述计算装置以执行WPP以产生多个子流，所述子流中的每一者包含表示所 述图片的切片中的CTB的一个经编码行的位的连续系列。另外，所述指令配置所述计算装 置以产生包含所述多个子流的经译码切片NAL单元。
[0011] 在另一方面，本发明描述一种用于解码视频数据的方法。所述方法包括接收包含 经译码切片NAL单元的位流，所述经译码切片NAL单元包含多个子流，所述子流中的每一者 包含表示图片的切片中的译码树块（CTB)的一行的位的连续系列。所述方法也包括基于所 述位流中的语法元素而确定所述切片是使用WPP编码。另外，所述方法包括使用WPP来解 码所述切片。
[0012] 在另一方面，本发明描述一种包括一或多个处理器的计算装置，所述一或多个处 理器经配置以接收包含经译码切片NAL单元的位流，所述经译码切片NAL单元包含多个子 流，所述子流中的每一者包含表示图片的切片中的CTB的一行的位的连续系列。所述一或 多个处理器也经配置以基于所述位流中的一或多个语法元素而确定所述切片是使用WPP 编码。另外，所述一或多个处理器经配置以使用WPP来解码所述切片。
[0013] 在另一方面，本发明描述一种计算装置，所述计算装置包括用于接收包含经译码 切片NAL单元的位流的装置，所述经译码切片NAL单元包含多个子流，所述子流中的每一者 包含表示图片的切片中的CTB的一行的位的连续系列。所述计算装置也包括用于基于所述 位流中的一或多个语法元素而确定所述切片是使用WPP编码的装置。所述计算装置也包括 用于使用WPP解码所述切片的装置。
[0014] 在另一方面，本发明描述一种存储指令的计算机可读存储媒体，所述指令在由计 算装置的一或多个处理器执行时配置所述计算装置以接收包含经译码切片NAL单元的位 流，所述经译码切片NAL单元包含多个子流，所述子流中的每一者包含表示图片的切片中 的CTB的一行的位的连续系列。所述指令也配置所述计算装置以基于所述位流中的一或多 个语法元素而确定所述切片是使用WPP编码。另外，所述指令配置所述计算装置以使用WPP 解码所述切片。
[0015] 本发明的一或多个实例的细节陈述于随附图式和以下描述中。其它特征、目标和 优势将自描述、图式和权利要求书而显而易见。
【专利附图】
【附图说明】
[0016] 图1为说明可利用本发明中所描述的技术的实例视频译码系统的框图。
[0017] 图2为说明可实施本发明中所描述的技术的实例视频编码器的框图。
[0018] 图3为说明可实施本发明中所描述的技术的实例视频解码器的框图。
[0019] 图4为说明根据本发明的一或多个方面的用于编码视频数据的视频编码器的实 例操作的流程图，其中不允许单一图片内的图像块与波前平行处理（WPP)的组合。
[0020] 图5为说明根据本发明的一或多个方面的用于解码视频数据的视频解码器的实 例操作的流程图，其中不允许单一图片内的图像块与WPP的组合。
[0021] 图6为说明根据本发明的一或多个方面的用于解码视频数据的视频解码器的另 一实例操作的流程图，其中不允许单一图片内的图像块与WPP的组合。
[0022] 图7为说明根据本发明的一或多个方面的用于编码视频数据的视频编码器的实 例操作的流程图，其中图片的译码树块（CTB)的每一行在单独子流中。
[0023] 图8为说明根据本发明的一或多个方面的用于解码视频数据的视频解码器的实 例操作的流程图，其中图片的CTB的每一行在单独子流中。
[0024] 图9A为说明根据本发明的一或多个方面的剖析切片数据的实例上下文自适应性 二进制算术译码（CABAC)剖析过程的第一部分的流程图。
[0025] 图9B为说明图9A的实例CABAC剖析过程的接续部分的流程图。
[0026] 图10为说明WPP的实例的概念图。
[0027] 图11为说明在将图片分割成多个图像块时的实例译码次序的概念图。
【具体实施方式】
[0028] 在视频译码期间，可将图片分割成多个图像块、波前平行处理（WPP)波和/或熵切 片。由穿过图片的水平和/或垂直图像块边界定义图片的图像块。根据光栅扫描次序译码 图片的图像块，且也根据光栅扫描次序译码每一图像块内的译码树块（CTB)。在WPP中，图 片中的CTB的每一行为"WPP波"。在视频译码器使用WPP来译码图片时，视频译码器可在 视频译码器已译码紧接的较高WPP波的两个或两个以上CTB之后，开始自左到右译码WPP 波的CTB。熵切片可包含根据光栅扫描次序的一系列连续CTB。来自跨越熵切片边界的信 息的使用被禁止用于选择熵译码上下文，但可被允许用于达成其它目的。
[0029] 在现有视频译码系统中，图片可具有图像块、WPP波和熵切片的任何组合。例如， 可将图片分割成多个图像块。在此实例中，可根据光栅扫描次序译码图像块中的一些图像 块中的CTB，而可使用WPP来译码图像块中的其它图像块中的CTB。允许图片包含图像块、 WPP波和熵切片的组合可不必要地增加这些视频译码系统的实施方案复杂度和成本。
[0030] 本发明的技术可解决此问题。即，根据本发明的技术，不允许在图片内的两个或两 个以上图像块、WPP波和熵切片中的任一者的组合。例如，视频编码器可产生包含语法元素 的位流，所述语法元素指示根据第一译码模式或是第二译码模式来编码图片。在所述第一 译码模式中，使用WPP来完整地编码所述图片。在所述第二译码模式中，所述图片具有一或 多个图像块，且在不使用WPP的情况下编码所述图片的每一图像块。
[0031] 此外，在此实例中，视频解码器可自包含图片的经译码表示的位流剖析语法元素。 响应于确定所述语法元素具有特定值，所述视频解码器可使用WPP来完整地解码所述图 片。响应于确定所述语法元素不具有所述特定值，所述视频解码器可在不使用WPP的情况 下解码所述图片的每一图像块。图片可具有一或多个图像块。
【专利附图】
【附图说明】 [0032] 实例。在附图中由参考数字指示的元件对应于以下描述中通过相似参考 数字指示的元件。在本发明中，具有以序数词（例如，"第一"、"第二"、"第三"等）开始的 名称的元件未必暗示元件具有特定次序。相反地，这些序数词仅用以指相同或类似类型的 不同元件。
[0033] 图1为说明可利用本发明的技术的实例视频译码系统10的框图。如本文中所描 述地使用，术语"视频译码器"一般地指视频编码器与视频解码器两者。在本发明中，术语 "视频译码"或"译码"可一般地指视频编码或视频解码。
[0034] 如图1中所展示，视频译码系统10包含源装置12和目的地装置14。源装置12产 生经编码视频数据。因此，源装置12可被称作视频编码装置或视频编码设备。目的地装置 14可解码由源装置12产生的经编码视频数据。因此，目的地装置14可被称作视频解码装 置或视频解码设备。源装置12和目的地装置14可为视频译码装置或视频译码设备的实例。 源装置12和目的地装置14可包括广泛范围的装置，包含桌上型计算机、移动计算装置、笔 记型（例如，膝上型）计算机、平板计算机、机顶盒、例如所谓的"智能型"电话的电话手持 机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机或类似者。
[0035] 目的地装置14可经由信道16自源装置12接收经编码视频数据。信道16可包括 能够将经编码视频数据自源装置12移动到目的地装置14的一或多个媒体和/或装置。在 一个实例中，信道16可包括使源装置12能够实时将经编码视频数据直接传输到目的地装 置14的一或多个通信媒体。在此实例中，源装置12可根据例如无线通信协议的通信标准 调制经编码视频数据，且可将经调制视频数据传输到目的地装置14。一或多个通信媒体可 包含无线和/或有线通信媒体，例如射频（RF)频谱或一或多个物理传输线。一或多个通信 媒体可形成基于包的网络（例如，局域网、广域网或全球网络（例如，因特网））的部分。一 或多个通信媒体可包含路由器、交换器、基站或促进自源装置12到目的地装置14的通信的 其它装备。
[0036] 在另一实例中，信道16可包含存储由源装置12产生的经编码视频数据的存储媒 体。在此实例中，目的地装置14可经由磁盘存取或卡存取来存取存储媒体。存储媒体可包 含多种本地存取的数据存储媒体，例如，蓝光光盘、DVD、⑶-ROM、快闪存储器或用于存储经 编码视频数据的其它合适数字存储媒体。
[0037] 在另一实例中，信道16可包含存储由源装置12产生的经编码视频的文件服务器 或另一中间存储装置。在此实例中，目的地装置14可经由流式传输或下载来存取存储于文 件服务器或其它中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频 数据且将经编码视频数据传输到目的地装置14的类型的服务器。实例文件服务器包含页 面服务器（例如，用于网站）、文件传送协议（FTP)服务器、网络附接存储（NAS)装置和本地 磁盘机。
[0038] 目的地装置14可经由例如因特网连接的标准数据连接存取经编码视频数据。数 据连接的实例类型包含适合于存取存储于文件服务器上的经编码视频数据的无线信道 (例如，Wi-Fi连接）、有线连接（例如，DSL、缆线调制解调器等）或无线信道与有线连接两 者的组合。经编码视频数据自文件服务器的传输可为流式传输、下载传输或流式传输与下 载传输两者的组合。
[0039] 本发明的技术不限于无线应用或设定。所述技术可应用于视频译码以支持多种多 媒体应用，例如，空中电视广播、有线电视传输、卫星电视传输、流式传输视频传输（例如， 经由因特网）、编码视频数据以用于存储于数据存储媒体上、解码存储于数据存储媒体上的 视频数据或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频传 输以支持例如视频流式传输、视频播放、视频广播和/或视频电话的应用。
[0040] 在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口 22。在一 些实例中，输出接口 22可包含调制器/解调制器（调制解调器）和/或发射器。视频源18 可包含视频俘获装置（例如，摄像机）、含有先前俘获的视频数据的视频存档、自视频内容 提供者接收视频数据的视频馈入接口和/或用于产生视频数据的计算机图形系统，或这些 视频数据源的组合。
[0041] 视频编码器20可编码来自视频源18的视频数据。在一些实例中，源装置12经由 输出接口 22将经编码视频数据直接传输到目的地装置14。经编码视频数据也可存储到存 储媒体或文件服务器上以供稍后由目的地装置14存取以用于解码和/或播放。
[0042] 在图1的实例中，目的地装置14包含输入接口 28、视频解码器30和显示装置32。 在一些实例中，输入接口 28包含接收器和/或调制解调器。输入接口 28可经由信道16接 收经编码视频数据。显示装置32可与目的地装置14集成或可在目的地装置14外部。大 体来说，显示装置32显示经解码视频数据。显示装置32可包括多种显示装置，例如，液晶 显示器（LCD)、等离子显示器、有机发光二极管（0LED)显示器或另一类型的显示装置。
[0043] 视频编码器20和视频解码器30可根据例如目前在开发中的高效率视频译码 (HEVC)标准的视频压缩标准操作，且可遵照HEVC测试模型（HM)。被称作"HEVC工作草案5" 或"WD5"的即将到来的HEVC标准的草案描述于布罗斯（Bross)等人的"WD5 :高效率视频译 码的工作草案 5 (WD5 :Working Draft 5 of High-Efficiency Video Coding)，，（ITU-T SG16WP3 和IS0/IEC JTC1/SC29/WG11视频译码联合协作小组（JCT-VC)于2011年11月在瑞士日内 瓦的第7次会议）中，所述草案可自2012年10月10日起自http://phenix. int-evry. fr/ jct/doc_end_user/documents/7_Geneva/wgll/JCTVC-G1103_v3· zip 下载，所述草案的全 部内容以引用的方式并入本文中。被称作" HEVC工作草案9 "的即将到来的HEVC标准的另一 草案描述于布罗斯等人的"高效率视频译码（HEVC)文本规范草案9 (High Efficiency Video Coding (HEVC) text specification draft9) "（ITU-T SG16WP3 和 IS0/IEC JTC1/SC29/WG11 视 频译码联合协作小组（JCT-VC)于2012年10月在中国上海的第11次会议）中，所述草案可 [=| 2012^11^ 7 H^3[=| http://phenix. int-evry. fr/jet/doc_end_user/documents/ll_ Shanghai/wgll/JCTVC-K1003-v8. zip下载，所述草案的全部内容被以引用的方式并入本文 中。
[0044] 替代地，视频编码器20和视频解码器30可根据其它专有或工业标准来操作， 其它专有或工业标准包含 ITU-T H. 261、IS0/IEC MPEG-lVisual、ITU-T H. 262 或 IS0/IEC MPEG-2Visual、ITU-T Η· 263、ISO/IEC MPEG-4Visual 和 ITU-T H. 264(也被称为 ISO/IEC MPEG-4AVC)，包含其可调式视频译码（SVC)和多视图视频译码（MVC)扩展。然而，本发明的 技术不限于任何特定译码标准或技术。
[0045] 此外，图1仅为实例且本发明的技术可应用于未必包含编码装置与解码装置之间 的任何数据通信的视频译码设定（例如，视频编码或视频解码）。在其它实例中，数据是自 本地存储器检索，经由网络而流式传输，或类似者。编码装置可编码数据且将数据存储到存 储器，和/或解码装置可自存储器检索数据且解码数据。在许多实例中，由并不彼此通信而 是简单地将数据编码到存储器和/或自存储器检索数据且解码数据的装置执行编码和解 码。
[0046] 视频编码器20和视频解码器30各自可实施为例如以下各者的多种合适电路中的 任一者：一或多个微处理器、数字信号处理器（DSP)、专用集成电路（ASIC)、现场可编程门 阵列（FPGA)、离散逻辑、硬件或其任何组合。如果部分地以软件实施技术，那么装置可将软 件的指令存储于合适的非暂时性计算机可读存储媒体中且可使用一或多个处理器以硬件 执行指令，以执行本发明的技术。前文中的任一者（包含硬件、软件、硬件与软件的组合等） 可被视为一或多个处理器。视频编码器20和视频解码器30中的每一者可包含于一或多个 编码器或解码器中，编码器或解码器中的任一者可作为组合式编码器/解码器（CODEC)的 部分而集成于相应装置中。
[0047] 本发明可大体上提到视频编码器20将某些信息"用信号发出"到例如视频解码器 30的另一装置。术语"用信号发出"大体上可指语法元素和/或表示经编码视频数据的其 它数据的传达。此传达可实时地或近实时地发生。交替地，此传达可在时间跨度内发生，例 如，可在编码时在将语法元素存储到计算机可读存储媒体时在经编码位流中发生，接着可 在将语法元素存储到此媒体之后的任何时间由解码装置检索语法元素。
[0048] 如上文简要地提及，视频编码器20编码视频数据。视频数据可包括一或多个图 片。图片中的每一者可为静态图像。在一些例子中，图片可被称作视频"帧"。视频编码器 20可产生包含形成视频数据的经译码表示的位序列的位流。位流可包含经译码图片和相关 联的数据。经译码图片为图片的经译码表示。相关联的数据可包含序列参数集（SPS)、图片 参数集（PPS)和其它语法结构。SPS可含有适用于图片的零个或零个以上序列的参数。PPS 可含有适用于零个或零个以上图片的参数。
[0049] 为了产生图片的经编码表示，视频编码器20可将图片分割成译码树块（CTB)的栅 格。在一些例子中，CTB可被称作"树块"、"最大译码单元"（IXU)或"译码树单元"。HEVC 的CTB可广泛地类似于例如H. 264/AVC的先前标准的宏块。然而，CTB未必限于特定大小 且可包含一或多个译码单元（⑶）。
[0050] CTB中的每一者可与图片内的大小相等的不同像素块相关联。每一像素可包括一 个明度（luminance或luma)样本和两个色度（chrominance或chroma)样本。因此，每一 CTB可与明度样本的一个块和色度样本的两个块相关联。为了便于解释，本发明可将像素的 二维阵列称作像素块且可将样本的二维阵列称作样本块。视频编码器20可使用四分树分 割来将与CTB相关联的像素块分割成与CU相关联的像素块（因此名称为"译码树块"）。
[0051] 可将图片的CTB分群成一或多个切片。在一些实例中，切片中的每一者包含整数 数目个CTB。作为编码图片的部分，视频编码器20可产生图片的每一切片的经编码表示 (即，经译码切片）。为了产生经译码切片，视频编码器20可编码切片的每一 CTB以产生切 片的CTB中的每一者的经编码表示（即，经译码CTB)。
[0052] 为了产生经译码CTB，视频编码器20可对与CTB相关联的像素块递回地执行四分 树分割以将像素块划分成逐步减小的像素块。较小像素块中的每一者可与CU相关联。经 分割CU可为像素块经分割成与其它CU相关联的像素块的CU。未经分割CU可为像素块未 经分割成与其它⑶相关联的像素块的⑶。
[0053] 视频编码器20可针对每一未经分割⑶产生一或多个预测单元（PU)。⑶的PU中 的每一者可与⑶的像素块内的一不同像素块相关联。视频编码器20可针对⑶的每一 PU 产生预测性像素块。PU的预测性像素块可为像素的块。
[0054] 视频编码器20可使用帧内预测或帧间预测来产生PU的预测性像素块。如果视频 编码器20使用帧内预测来产生PU的预测性像素块，那么视频编码器20可基于与PU相关 联的图片的经解码像素而产生PU的预测性像素块。如果视频编码器20使用帧间预测来产 生PU的预测性像素块，那么视频编码器20可基于不同于与PU相关联的图片的一或多个图 片的经解码像素而产生PU的预测性像素块。
[0055] 视频编码器20可基于⑶的PU的预测性像素块而产生⑶的残余像素块。⑶的残 余像素块可指示CU的PU的预测性像素块中的样本与CU的原始像素块中的对应样本之间 的差。
[0056] 此外，作为编码未经分割⑶的部分，视频编码器20可对⑶的残余像素块执行递 回四分树分割以将CU的残余像素块分割成与CU的变换单元（TU)相关联的一或多个较小 残余像素块。因为与TU相关联的像素块中的像素各自包含一个明度样本和两个色度样本， 所以TU中的每一者可与明度样本的一个残余样本块和色度样本的两个残余样本块相关 联。
[0057] 视频译码器20可对与TU相关联的残余样本块应用一或多个变换以产生系数块 (即，系数的块）。视频编码器20可对系数块中的每一者执行量化过程。量化大体上指对 系数进行量化以可能减少用以表示系数的数据的量从而提供进一步压缩的过程。
[0058] 视频编码器20可产生表示经量化系数块中的系数的语法元素的集合。视频编码 器20可将例如上下文自适应性二进制算术译码（CABAC)操作的熵编码操作应用于这些语 法元素中的至少一些语法元素。作为执行熵编码操作的部分，视频编码器20可选择译码上 下文。在CABAC的状况下，译码上下文可指示值0和值1分格的概率。
[0059] 由视频编码器20产生的位流可包含一系列网络抽象层（NAL)单元。NAL单元中的 每一者可为含有NAL单元中的数据的类型的指示和含有数据的字节的语法结构。例如，NAL 单元可含有表示SPS、PPS、经译码切片、补充增强信息（SEI)、存取单元定界符、填充数据或 另一类型的数据的数据。经译码切片NAL单元为包含经译码切片的NAL单元。
[0060] 视频解码器30可接收位流。位流可包含由视频编码器20编码的视频数据的经译 码表示。视频解码器30可剖析位流以自位流提取语法元素。作为自位流提取一些语法元 素的部分，视频解码器30可熵解码（例如，CABAC解码、指数哥伦布解码等）位流中的数据。 视频解码器30可基于自位流提取的语法元素而重构建视频数据的图片。
[0061] 基于语法元素而重构建视频数据的过程可与由视频编码器20执行以产生语法元 素的过程大体上互逆。例如，视频解码器30可基于与CU相关联的语法元素而产生CU的PU 的预测性像素块。另外，视频解码器30可对与CU的TU相关联的系数块进行反量化。视频 解码器30可对系数块执行反变换以重构建与CU的TU相关联的残余像素块。视频解码器 30可基于预测性像素块和残余像素块而重构建CU的像素块。
[0062] 在一些实例中，视频编码器20可将图片划分成多个熵切片。本发明可使用术语 "规则切片"来区分切片与熵切片。熵切片可包含规则切片的CU的子集。在一些实例中，视 频编码器20可在熵切片当中分割CU，以使得熵切片中无一者包含比上限多的分格（例如， 经熵译码位）。在单独NAL单元中可包含每一熵切片。
[0063] 在本发明中，图片中预测可指使用与图片的第一单元（例如，CTB、CU、PU等）相关 联的信息以用于译码同一图片的第二单元。允许跨越熵切片边界的图片中预测，用于达成 熵译码的目的除外。例如，如果视频译码器（例如，视频编码器20或视频解码器30)正对 特定PU执行帧内预测，那么视频译码器可使用来自相邻TO的样本，即使相邻PU在不同于 特定TO的熵切片中也如此。在此实例中，如果相邻PU在不同于特定PU的切片中，那么视 频译码器可能不能够使用来自相邻PU的样本。
[0064] 然而，在视频译码器正对与特定TO相关联的数据执行熵译码时，如果特定PU与相 邻PU在相同熵切片中，那么仅允许视频译码器基于与相邻ro相关联的信息而选择译码上 下文。因为此限制，所以视频译码器可能能够对切片的多个熵切片平行地执行熵译码（即， 熵编码或解码）操作。因此，视频解码器30可能能够平行地剖析多个熵切片的语法元素。 然而，视频解码器30不能够平行地重构建切片的多个熵切片的像素块。
[0065] 如上文所指示，经译码切片NAL单元可含有经译码切片。此切片可为熵切片或规 则切片。经译码切片NAL单元中的切片标头可包含指示切片为熵切片或是规则切片的语法 元素（例如，entropy_slice_flag)。例如，如果语法元素等于1，那么经译码切片NAL单元 中的切片可为熵切片。
[0066] 每一经译码切片可包含切片标头和切片数据。熵切片的切片标头可不同于规则切 片的切片标头。例如，熵切片的切片标头中的语法元素可包含规则切片的切片标头中的语 法元素的子集。因为熵切片的切片标头包含比规则切片的切片标头少的语法元素，所以熵 切片也可被称作轻型切片、具有短切片标头的切片或短切片。熵切片可自按解码次序在熵 切片之前的规则切片的切片标头继承自熵切片的切片标头省略的语法元素。
[0067] 按照惯例，视频编码器针对每一熵切片产生单独NAL单元。常常以单独包在网络 上输送个别NAL单元。换句话说，在经由网络传输NAL单元期间，每一包可存在一个NAL单 元。此情形对于含有熵切片的NAL单元来说可为有问题的。如果含有包含规则切片的NAL 单元的包在传输期间丢失，那么视频解码器30可能不能够使用自规则切片的切片标头继 承语法元素的熵切片。此外，如果对于图片中预测，第一熵切片的一或多个CTB依赖于第二 熵切片的一或多个CTB，且含有包含第二熵切片的NAL单元的包在传输期间丢失，那么视频 解码器30可能不能够解码第一熵切片的CTB。
[0068] 在一些实例中，视频译码器可使用波前平行处理（WPP)来译码图片的至少部分。 下文中详细描述的图9为说明WPP的实例的概念图。如果视频译码器使用WPP来译码图片， 那么视频译码器可将图片的CTB划分成多个"WPP波"。WPP波中的每一者可对应于图片中 的CTB的不同行。如果视频译码器使用WPP来译码图片，那么视频译码器可开始译码CTB 的顶行。在视频译码器已译码顶行的两个或两个以上CTB之后，视频译码器可开始与译码 CTB的顶行平行地译码CTB的次顶行。在视频译码器已译码次顶行的两个或两个以上CTB 之后，视频译码器可开始与译码CTB的较高行平行地译码CTB的顶部起第三行。此型样可 沿图片中的CTB的行往下继续。
[0069] 如果视频译码器正使用WPP，那么只要空间上相邻的⑶在当前CTB的左方、左上 方、上方或右上方，视频译码器便可使用与在当前CTB之外的空间上相邻的CU相关联的信 息来对当前CTB中的特定CU执行图片中预测。如果当前CTB为不同于最顶行的行中的最 左CTB，那么视频译码器可使用与紧接的较高行的第二CTB相关联的信息来选择用于CABAC 译码当前CTB的一或多个语法元素的上下文。否则，如果当前CTB并非行中的最左CTB，那 么视频译码器可使用与当前CTB左方的CTB相关联的信息来选择用于CABAC译码当前CTB 的一或多个语法元素的上下文。以此方式，视频译码器可在编码紧接的较高行的两个或两 个以上CTB之后，基于紧接的较高行的CABAC状态而初始化行的CABAC状态。
[0070] 因此，响应于确定第一 CTB通过单一 CTB而与图片的左边界分离，视频译码器可存 储与第一 CTB相关联的上下文变量。视频译码器可至少部分基于与第一 CTB相关联的上下 文变量而熵译码（例如，熵编码或熵解码）第二CTB的一或多个语法元素，第二CTB邻近于 图片的左边界且比第一 CTB低一行CTB。
[0071] 甚至在使用WPP时，仍通常根据光栅扫描次序将切片的经译码CTB布置于经译码 切片NAL单元中。此情形可使实施WPP的视频译码器的设计变得复杂。在WPP波的数目大 于1且小于图片的CTB行的数目时，CTB的经译码位的位流次序（即，在通过一个解码器核 心处理经译码图片而非平行地解码经译码图片的情况下的解码次序）与如下未应用WPP时 的情形相比较来说改变了。按位流/解码次序较迟的经译码CTB可能需要由按解码次序较 早的另一经译码CTB进行图片中预测。此情形可打破无较早数据取决于按位流/解码次序 较迟到来的数据的位流因果关系。位流因果关系已为包含视频译码标准的视频译码设计中 的大体遵循的原理。虽然解码过程起作用，但在指示在位流中的当前位置的位流指标可在 与经译码切片NAL单元相关联的位流的部分内前后移动时，解码过程可更复杂。
[0072] 在一些实例中，视频编码器20可将图片划分成一或多个图像块。图像块可包括图 片的CTB的非重叠集合。视频编码器20可通过界定两个或两个以上垂直图像块边界和两 个或两个以上水平图像块边界而将图片划分成图像块。图片的每一垂直侧可为垂直图像块 边界。当前图片的每一水平侧可为水平图像块边界。例如，如果视频编码器20界定图片的 四个垂直图像块边界和三个水平图像块边界，那么将当前图片划分成六个图像块。
[0073] 例如视频编码器20或视频解码器30的视频译码器可根据图像块扫描次序译码图 片的图像块的CTB。为了根据图像块扫描次序译码CTB，视频译码器可根据光栅扫描次序译 码图片的图像块。即，视频译码器可按由左到右次序译码一行图像块中的每一图像块，自图 像块的顶行开始且接着沿图片向下进行。此外，视频译码器可根据光栅扫描次序译码图像 块内的每一 CTB。以此方式，视频译码器可在译码图片的另一图像块的任何CTB之前，译码 图片的给定图像块的每一 CTB。换句话说，图像块扫描次序按图像块内的CTB光栅扫描次 序遍历CTB，且按图片内的图像块光栅扫描次序遍历图像块。因此，视频译码器译码图片的 CTB的次序在将图片分割成多个图像块的情况下与在不将图片分割成多个图像块的情况下 可不同。下文所描述的图10为说明在将图片分割成多个图像块时的实例图像块扫描次序 的概念图。
[0074] 在一些例子中，视频译码器可执行跨越图像块边界但不跨越切片边界的图片中预 测。在其它例子中，禁止跨越图像块边界和切片边界的图片中预测。在禁止跨越图像块边 界和切片边界的图片中预测的例子中，视频译码器可能能够平行地译码多个图像块。
[0075] 在一些实例中，由旗标（例如，"tile_boundary_independence_idc"）控制跨越图 像块边界的图片中预测。如果旗标等于1，那么在图片内不允许跨越图像块边界的图片中 预测。否则，允许跨越图像块边界的图片中预测，也为图片边界或切片边界的图像块边界除 夕卜。如果允许跨越图像块边界的图片中预测，那么图像块的功能性可为与图片不具有图像 块或等效地具有仅一个图像块的状况相比较来说改变CTB的扫描次序。如果不允许跨越图 像块边界的图片中预测，那么除改变CTB的扫描次序之外，图像块也可提供可用于图像块 的平行译码（编码和/或解码）的独立分割。因此，如果将图片分割成至少第一图像块和 第二图像块，那么在视频解码器30在不使用WPP的情况下解码图像块时，视频解码器30可 平行地解码第一图像块的CTB和第二图像块的CTB。
[0076] 在一些例子中，可将图片分割成图像块、WPP波和熵切片的组合。例如，可将图片 分割成图像块和WPP波的集合。在另一实例中，可将图片分割成两个图像块和一个熵切片。 允许图片内的图像块、WPP波和熵切片的组合可为有问题的，这是因为允许这些组合可增加 视频编码器和/或视频解码器的复杂度和成本。
[0077] 本发明的技术可解决上文所描述的问题。根据本发明的技术，可不将图片分割成 图像块、WPP波和熵切片的任何组合。换句话说，可将图片分割成一或多个图像块，可将图片 分割成WPP波，或可将图片分割成一或多个熵切片。然而，可不将图片分割成以下组合中的 任一者：（a)图像块、WPP波和熵切片、（b)图像块和WPP波、（c)图像块和熵切片或（d)WPP 波和熵切片。
[0078] 为了实现此情形，视频编码器20可在位流中包含语法元素，所述语法元素指示根 据第一译码模式或是第二译码模式来编码图片。在所述第一译码模式中，使用WPP来完整 地编码所述图片。即，可将图片中的每一行CTB编码为WPP波。在第二译码模式中，图片可 具有一或多个图像块。此外，在所述第二译码模式中，可在不使用WPP的情况下编码所述图 片的每一图像块。例如，在第二译码模式中，视频编码器20可针对图片的每一图像块，按跨 越CTB的行自左到右且沿图像块的CTB的行向下的次序顺序地编码图像块内的CTB。为了 便于解释，此语法元素可在本文中被称作译码模式语法元素。
[0079] 视频解码器30可自包含视频数据中的图片的经译码表示的位流剖析语法元素。 响应于确定所述语法元素具有特定值，视频解码器30可使用WPP来完整地解码所述图片。 响应于确定所述语法元素不具有所述特定值，视频解码器30可在不使用WPP的情况下解码 所述图片的每一图像块，其中图片具有一或多个图像块。
[0080] 位流的各个部分可包含译码模式语法元素。例如，视频编码器20可产生包含译码 模式语法元素的SPS。在此实例中，视频解码器30可从位流剖析包含译码模式语法元素的 SPS。在另一实例中，视频编码器20可产生包含译码模式语法元素的PPS。在此实例中，视 频解码器30可从位流剖析包含译码模式语法元素的PPS。此外，如果根据第二译码模式编 码图片，那么位流可包含指示针对图片是否启用熵切片的一或多个语法元素。位流的各个 部分可包含指示针对图片是否启用熵切片的一或多个语法元素。例如，SPS可包含指示针 对与SPS相关联的图片启用熵切片的一或多个语法元素。在另一实例中，PPS可包含指示 针对与PPS相关联的图片启用熵切片的一或多个语法元素。例如，在此实例中，PPS可包含 指示参考PPS的经译码切片是否可由熵切片组成的entropy_slice_enabled_flag语法元 素。
[0081] 如果图片包含一或多个熵切片，那么与图片的切片相关联的每一熵切片可包含于 单一经译码切片NAL单元中，而非包含于单独NAL单元中。因此，可将熵切片定义为切片的 子集，其中熵切片的熵解码过程独立于相同切片中的其它熵切片。
[0082] 如上文简要地提及，位流可包含包含经译码切片的经译码切片NAL单元。经译码 切片可包括切片标头和切片数据。切片数据可包含一或多个子流。根据本发明的技术，如 果在第一译码模式中编码图片（即，使用WPP来完整地编码图片），那么由子流中的单一者 来表示切片的CTB的每一行。如果在第二译码模式中编码图片（即，在不使用WPP的情况 下编码图片的每一图像块），那么由子流中的单一子流表示具有切片中的一或多个CTB的 图片的每一图像块。
[0083] 此外，根据本发明的技术，经译码切片的切片标头可包含指示经译码切片NAL单 元的切片数据内的图像块、WPP波或熵切片的入口点的语法元素的集合。子流的入口点可 为子流的第一位。此外，经译码切片NAL单元的切片数据内的图像块、WPP波或熵切片可包 含确保图像块、WPP波或熵切片字节对准的填补位。
[0084] 图2为说明经配置以实施本发明的技术的实例视频编码器20的框图。出于解释 的目的而提供图2且不应将图2视为限制如本发明中广泛地例示和描述的技术。出于解释 的目的，本发明在HEVC译码的情况下描述视频编码器20。然而，本发明的技术可适用于其 它译码标准或方法。
[0085] 在图2的实例中，视频编码器20包含预测处理单元100、残余产生单元102、变换 处理单元104、量化单元106、反量化单元108、反变换处理单元110、重构建单元112、滤波器 单元113、经解码图片缓冲器114和熵编码单元116。预测处理单元100包含帧间预测处理 单元121和帧内预测处理单元126。帧间预测处理单元121包含运动估计单元122和运动 补偿单元124。在其它实例中，视频编码器20可包含更多、更少或不同功能组件。
[0086] 视频编码器20可接收视频数据。为了编码视频数据，视频编码器20可编码视频数 据的每一图片的每一切片。作为编码切片的部分，视频编码器20可编码切片中的每一 CTB。 作为编码CTB的部分，预测处理单元100可对与CTB相关联的像素块执行四分树分割，以将 像素块划分成逐步减小的像素块。较小像素块可与CU相关联。例如，预测处理单元100可 将CTB的像素块分割成四个大小相等的子块，将子块中的一或多者分割成四个大小相等的 子子块，等等。
[0087] 视频编码器20可编码CTB的⑶以产生⑶的经编码表示（即，经译码⑶）。视频 编码器20可根据z扫描次序编码CTB的⑶。换句话说，视频编码器20可按左上方⑶、右 上方⑶、左下方⑶和接着右下方⑶的彼次序编码所述⑶。在视频编码器20编码经分割 CU时，视频编码器20可根据z扫描次序编码与经分割CU的像素块的子块相关联的CU。
[0088] 作为编码⑶的部分，预测处理单元100可在⑶的一或多个TO当中分割⑶的像素 块。视频编码器20和视频解码器30可支持各种PU大小。假定特定CU的大小为2NX2N， 视频编码器20和视频解码器30可支持2NX 2N或NXN的PU大小以供帧内预测，且支持 2NX 2N、2NX N、NX 2N、NX N或类似大小的对称PU大小以供帧间预测。视频编码器20和视 频解码器30也可支持对2NXnU、2NXnD、nLX 2N和nRX 2N的PU大小的非对称分割以供帧 间预测。
[0089] 帧间预测处理单元121可通过对⑶的每一 PU执行帧间预测来产生PU的预测性 数据。PU的预测性数据可包含对应于ro的预测性像素块和PU的运动信息。切片可为I切 片、P切片或B切片。帧间预测单元121可取决于PU在I切片中、在P切片中或是在B切 片中而对CU的PU执行不同操作。在I切片中，对所有PU进行帧内预测。因此，如果PU在 I切片中，那么帧间预测单元121不对TO执行帧间预测。
[0090] 如果TO在P切片中，那么运动估计单元122可搜索参考图片列表（例如，"列表 〇"）中的参考图片以查找PU的参考块。PU的参考块可为最紧密地对应于PU的像素块的像 素块。运动估计单兀122可广生指不含有HJ的参考块的列表0中的参考图片的参考图片 索引，和指示PU的像素块与参考块之间的空间位移的运动向量。运动估计单元122可输出 参考图片索引和运动向量作为PU的运动信息。运动补偿单元124可基于通过PU的运动信 息指示的参考块而产生TO的预测性像素块。
[0091] 如果PU在B切片中，那么运动估计单元122可对PU执行单向帧间预测或双向帧 间预测。为了对PU执行单向帧间预测，运动估计单元122可搜索第一参考图片列表（"列 表0"）或第二参考图片列表（"列表1"）的参考图片以查找PU的参考块。运动估计单元 122可输出以下各者作为PU的运动信息：指示参考图片的列表0或列表1中含有参考块的 位置的参考图片索引、指示PU的像素块与参考块之间的空间位移的运动向量，和指示参考 图片在列表0或是列表1中的预测方向指示符。
[0092] 为了对TO执行双向帧间预测，运动估计单元122可搜索列表0中的参考图片以查 找PU的参考块，且也可搜索列表1中的参考图片以查找PU的另一参考块。运动估计单元 122可产生指示参考图片的列表0和列表1中含有参考块的位置的参考图片索引。另外，运 动估计单元122可产生指示参考块与PU的像素块之间的空间位移的运动向量。PU的运动 信息可包含PU的参考图片索引和运动向量。运动补偿单元124可基于通过PU的运动信息 指示的参考块而产生TO的预测性像素块。
[0093] 帧内预测处理单元126可通过对PU执行帧内预测来产生PU的预测性数据。PU的 预测性数据可包含PU的预测性像素块和各种语法元素。帧内预测处理单元126可对I切 片、P切片和B切片中的PU执行帧内预测。
[0094] 为了对TO执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式来产生 PU的预测性数据的多个集合。为了使用帧内预测模式来产生PU的预测性数据的集合，帧 内预测处理单元126可使样本在与帧内预测模式相关联的方向上自相邻PU的样本块跨越 TO的样本块延伸。假定PU、⑶和CTB的左到右、上到下编码次序，那么相邻PU可在PU的 上方、右上方、左上方或左方。帧内预测处理单元126可使用各种数目个帧内预测模式，例 如，33个定向帧内预测模式。在一些实例中，帧内预测模式的数目可取决于PU的像素块的 大小。
[0095] 预测处理单元100可自⑶的TO的由帧间预测处理单元121产生的预测性数据或 PU的由帧内预测处理单元126产生的预测性数据当中选择PU的预测性数据。在一些实例 中，预测处理单元100基于预测性数据的集合的位率/失真度量而选择CU的PU的预测性 数据。所选定预测性数据的预测性像素块可在本文中被称作所选定预测性像素块。
[0096] 残余产生单元102可基于⑶的像素块和⑶的PU的所选定预测性像素块而产生 CU的残余像素块。例如，残余产生单元102可产生CU的残余像素块，以使得残余像素块中 的每一样本具有等于CU的像素块中的样本与CU的PU的所选定预测性像素块中的对应样 本之间的差的值。
[0097] 预测处理单元100可执行四分树分割以将CU的残余像素块分割成子块。每一未 经划分的残余像素块可与CU的不同TU相关联。与CU的TU相关联的残余像素块的大小和 位置可或可不基于⑶的PU的像素块的大小和位置。
[0098] 因为TU的残余像素块的像素可包括一个明度样本和两个色度样本，所以TU中的 每一者可与明度样本的一个块和色度样本的两个块相关联。变换处理单元104可通过将一 或多个变换应用于与TU相关联的残余样本块而产生CU的每一 TU的系数块。变换处理单 元104可将各种变换应用于与TU相关联的残余样本块。例如，变换处理单元104可将离散 余弦变换（DCT)、方向变换或概念上类似的变换应用于残余样本块。
[0099] 量化单元106可对与TU相关联的系数块中的系数进行量化。量化过程可减小与 系数中的一些或全部相关联的位深度。例如，可在量化期间将η位系数降值舍位到m位系 数，其中η大于m。量化单元106可基于与CU相关联的量化参数（QP)值而对与CU的TU相 关联的系数块进行量化。视频编码器20可通过调整与CU相关联的QP值来调整应用于与 CU相关联的系数块的量化的程度。
[0100] 反量化单元108和反变换处理单元110可分别将反量化和反变换应用于系数块以 自系数块重构建残余样本块。重构建单元112可将经重构建残余样本块与来自由预测处理 单元100产生的一或多个预测性样本块的对应样本相加以产生与TU相关联的经重构建样 本块。通过以此方式重构建⑶的每一 TU的样本块，视频编码器20可重构建⑶的像素块。
[0101] 滤波器单元113可执行解块操作以减少与CU相关联的像素块中的块伪影。经解 码图片缓冲器114可在滤波器单元113对经重构建像素块执行一或多个解块操作之后，存 储经重构建像素块。帧间预测单元121可使用含有经重构建像素块的参考图片来对其它图 片的PU执行帧间预测。另外，帧内预测处理单元126可使用经解码图片缓冲器114中的经 重构建像素块来对与CU相同的图片中的其它PU执行帧内预测。
[0102] 熵编码单元116可自视频编码器20的其它功能组件接收数据。例如，熵编码单元 116可自量化单元106接收系数块且可自预测处理单元100接收语法元素。熵编码单元116 可对数据执行一或多个熵编码操作以产生经熵编码数据。例如，熵编码单元116可对数据 执行以下操作：上下文自适应性可变长度译码（CAVLC)操作、CABAC操作、变量到变量（V2V) 长度译码操作、基于语法的上下文自适应性二进制算术译码（SBAC)操作、概率区间分割熵 (PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。
[0103] 视频编码器20可输出包含由熵编码单元116产生的经熵编码数据的位流。位流 可包含一系列NAL单元。NAL单元可包含经译码切片NAL单元、SPS NAL单元、PPS NAL单元 等等。为了确保图片不包含图像块、WPP波和熵切片的组合，位流可包含指示是否使用WPP 来完整地编码图片或是否在不使用WPP的情况下编码图片的每一图像块的语法元素。
[0104] 图3为说明经配置以实施本发明的技术的实例视频解码器30的框图。出于解释 的目的而提供图3且图3并不限制如本发明中广泛地例示和描述的技术。出于解释的目 的，本发明在HEVC译码的情况下描述视频解码器30。然而，本发明的技术可适用于其它译 码标准或方法。
[0105] 在图3的实例中，视频解码器30包含熵解码单元150、预测处理单元152、反量化 单元154、反变换处理单元156、重构建单元158、滤波器单元159和经解码图片缓冲器160。 预测处理单元152包含运动补偿单元162和帧内预测处理单元164。在其它实例中，视频解 码器30可包含更多、更少或不同功能组件。
[0106] 视频解码器30可接收位流。熵解码单元150可剖析位流以自位流提取语法元素。 作为剖析位流的部分，熵解码单元150可熵解码位流中的经熵编码语法元素。预测处理单 元152、反量化单元154、反变换处理单元156、重构建单元158和滤波器单元159可基于自 位流提取的语法元素而产生经解码视频数据。
[0107] 位流可包括一系列NAL单元。位流的NAL单元可包含经译码切片NAL单元。作为 剖析位流的部分，熵解码单元150可自经译码切片NAL单元提取语法元素且熵解码语法元 素。经译码切片中的每一者可包含切片标头和切片数据。切片标头可含有关于切片的语法 元素。切片标头中的语法元素可包含识别与含有切片的图片相关联的PPS的语法元素。
[0108] 另外，视频解码器30可对未经分割⑶执行重构建操作。为了对未经分割⑶执行 重构建操作，视频解码器30可对⑶的每一 TU执行重构建操作。通过对⑶的每一 TU执行 重构建操作，视频解码器30可重构建与⑶相关联的残余像素块。
[0109] 作为对CU的TU执行重构建操作的部分，反量化单元154可对与TU相关联的系数 块进行反量化（即，去量化）。反量化单元154可使用与TU的CU相关联的QP值来确定量 化的程度，且同样地，确定反量化单元154将应用的反量化的程度。
[0110] 在反量化单元154对系数块进行反量化之后，反变换处理单元156可将一或多个 反变换应用于系数块以便产生与TU相关联的残余样本块。例如，反变换处理单元156可将 反DCT、反整数变换、反卡忽南-拉维变换（KLT)、反旋转变换、反方向变换或另一反变换应 用于系数块。
[0111] 如果使用帧内预测来编码PU，那么帧内预测处理单元164可执行帧内预测以产生 PU的预测性样本块。帧内预测处理单元164可使用帧内预测模式来基于空间上相邻的PU 的像素块而产生TO的预测性像素块。帧内预测处理单元164可基于自位流剖析的一或多 个语法元素而确定PU的帧内预测模式。
[0112] 运动补偿单元162可基于自位流提取的语法元素而构建第一参考图片列表（列表 〇)和第二参考图片列表（列表1)。此外，如果使用帧间预测来编码PU，那么熵解码单元150 可提取PU的运动信息。运动补偿单元162可基于PU的运动信息而确定PU的一或多个参 考块。运动补偿单元162可基于PU的一或多个参考块而产生PU的预测性像素块。
[0113] 重构建单元158可在可适用时，使用与⑶的TU相关联的残余像素块和⑶的PU 的预测性像素块（即，帧内预测数据或帧间预测数据）来重构建CU的像素块。明确地说， 重构建单元158可将残余像素块的样本与预测性像素块的对应样本相加以重构建CU的像 素块。
[0114] 滤波器单元159可执行解块操作以减少与CU的像素块相关联的块伪影。视频解码 器30可将⑶的像素块存储于经解码图片缓冲器160中。经解码图片缓冲器160可提供用 于后续运动补偿、帧内预测和呈现于显示装置（例如，图1的显示装置32)上的参考图片。 例如，视频解码器30可基于经解码图片缓冲器160中的像素块而对其它CU的PU执行帧内 预测或帧间预测操作。
[0115] 如上文所提及，视频解码器30可接收包含译码模式语法元素的位流。如果译码模 式语法元素具有特定值，那么译码模式语法元素指示使用WPP来完整地编码图片。在各种 实例中，译码模式语法元素可在位流的各个部分中。例如，SPS可包含译码模式语法元素。 以下表1提供包含译码模式语法元素（"tilejnode"）的SPS的实例语法。
[0116] 表1--序列参数集RBSP语法
[0117]
【权利要求】
1. 一种编码视频数据的方法，所述方法包括： 用信号发出使用波前平行处理WPP来编码一连串视频图片中的一个图片； 执行WPP以产生多个子流，所述子流中的每一者包含表示所述图片的切片中的译码树 块CTB的一个经编码行的位的连续系列；以及 产生包含所述多个子流的经译码切片网络抽象层NAL单元。
2. 根据权利要求1所述的方法，其中产生所述经译码切片NAL单元包括产生所述经译 码切片NAL单元的切片标头和所述经译码切片NAL单元的切片数据，所述切片数据包含所 述子流，所述切片标头包含多个偏移语法元素，可从所述多个偏移语法元素确定所述子流 的入口点。
3. 根据权利要求2所述的方法，其中所述切片标头进一步包含第一语法元素和第二 语法元素，所述多个偏移语法元素中的偏移语法元素的数目可基于所述第一语法元素而确 定，且所述偏移语法元素中的每一者的以位为单位的长度可基于所述第二语法元素而确 定。
4. 根据权利要求1所述的方法，其中用信号发出使用WPP来编码所述图片包括产生包 含指示使用那个WPP来编码所述图片的语法元素的图片参数集PPS。
5. 根据权利要求1所述的方法，其中用信号发出使用WPP来编码所述图片包括产生包 含指示使用那个WPP来编码所述图片的语法元素的序列参数集SPS。
6. 根据权利要求1所述的方法，其中执行WPP以产生所述多个子流包括： 响应于确定第一 CTB与所述图片的左边界分离单一 CTB，存储与所述第一 CTB相关联的 上下文变量；以及 至少部分基于与所述第一 CTB相关联的所述上下文变量而熵编码第二CTB的一或多个 语法元素，所述第二CTB邻近于所述图片的所述左边界且比所述第一 CTB低一行CTB。
7. 根据权利要求1所述的方法，其中所述方法由移动计算装置执行。
8. -种计算装置，其包括经配置以进行以下操作的一或多个处理器： 用信号发出使用波前平行处理WPP来编码一连串视频图片中的一个图片； 执行WPP以产生多个子流，所述子流中的每一者包含表示所述图片的切片中的译码树 块CTB的一个经编码行的位的连续系列；以及 产生包含所述多个子流的经译码切片网络抽象层NAL单元。
9. 根据权利要求8所述的计算装置，其中产生所述经译码切片NAL单元包括产生所述 经译码切片NAL单元的切片标头和所述经译码切片NAL单元的切片数据，所述切片数据包 含所述子流，所述切片标头包含多个偏移语法元素，可从所述多个偏移语法元素确定所述 子流的入口点。
10. 根据权利要求9所述的计算装置，其中所述切片标头进一步包含第一语法元素和 第二语法元素，所述多个偏移语法元素中的偏移语法元素的数目可基于所述第一语法元素 而确定，且所述偏移语法元素中的每一者的以位为单位的长度可基于所述第二语法元素而 确定。
11. 根据权利要求8所述的计算装置，其中所述一或多个处理器经配置以产生包含指 示使用WPP来编码所述图片的语法元素的图片参数集PPS。
12. 根据权利要求8所述的计算装置，其中所述一或多个处理器经配置以产生包含指 示使用WPP来编码所述图片的语法元素的序列参数集SPS。
13. 根据权利要求8所述的计算装置，其中所述一或多个处理器经配置以： 响应于确定第一 CTB与所述图片的左边界分离单一 CTB，存储与所述第一 CTB相关联的 上下文变量；以及 至少部分基于与所述第一 CTB相关联的所述上下文变量而熵编码第二CTB的一或多个 语法元素，所述第二CTB邻近于所述图片的所述左边界且比所述第一 CTB低一行CTB。
14. 根据权利要求8所述的计算装置，其中所述计算装置为移动计算装置。
15. -种计算装置，其包括： 用于用信号发出使用波前平行处理WPP来编码图片的装置； 用于执行WPP以产生多个子流的装置，所述子流中的每一者包含表示所述图片的切片 中的译码树块CTB的一个经编码行的位的连续系列；以及 用于产生包含所述多个子流的经译码切片网络抽象层NAL单元的装置。
16. -种存储指令的计算机可读存储媒体，所述指令在由计算装置的一或多个处理器 执行时配置所述计算装置以： 用信号发出使用波前平行处理WPP来编码图片； 执行WPP以产生多个子流，所述子流中的每一者包含表示所述图片的切片中的译码树 块CTB的一个经编码行的位的连续系列；以及 产生包含所述多个子流的经译码切片网络抽象层NAL单元。
17. -种解码视频数据的方法，所述方法包括： 接收包含经译码切片网络抽象层NAL单元的位流，所述经译码切片NAL单元包含多 个子流，所述子流中的每一者包含表示图片的切片中的译码树块CTB的一行的位的连续系 列； 基于所述位流中的语法元素而确定所述切片是使用波前平行处理WPP而编码；以及 使用WPP解码所述切片。
18. 根据权利要求17所述的方法，其中所述经译码切片NAL单元包含切片标头和切片 数据，且所述方法进一步包括至少部分基于指示所述切片是使用WPP编码的所述切片标头 中的语法元素，确定所述经译码切片NAL单元包含指示在所述子流的所述切片数据内的位 置的多个偏移语法元素。
19. 根据权利要求18所述的方法，其中所述切片标头包含第一语法元素和第二语法元 素，且所述方法进一步包括： 基于所述第一语法元素而确定在所述多个偏移语法元素中有多少个偏移语法元素； 基于所述第二语法元素而确定所述偏移语法元素的以位为单位的长度；以及 至少部分基于在所述多个偏移语法元素中有多少个偏移语法元素和所述偏移语法元 素的以位为单位的所述长度，从所述位流剖析所述偏移语法元素。
20. 根据权利要求18所述的方法，其进一步包括至少部分基于所述偏移语法元素而确 定所述子流在存储器中的位置。
21. 根据权利要求17所述的方法，其中所述位流包含图片参数集PPS，且所述方法进一 步包括基于所述PPS中的一或多个语法元素而确定使用WPP来编码所述图片。
22. 根据权利要求17所述的方法，其中所述位流包含序列参数集SPS，且所述方法进一 步包括基于所述SPS中的一或多个语法元素而确定使用WPP来编码所述图片。
23. 根据权利要求17所述的方法，其中使用WPP解码所述切片包括： 响应于确定第一 CTB与所述图片的左边界分离单一 CTB，存储与所述第一 CTB相关联的 上下文变量；以及 至少部分基于与所述第一 CTB相关联的所述上下文变量而熵解码第二CTB的一或多个 语法元素，所述第二CTB邻近于所述图片的所述左边界且比所述第一 CTB低一行CTB。
24. 根据权利要求17所述的方法，其中所述方法由移动计算装置执行。
25. -种计算装置，其包括经配置以进行以下操作的一或多个处理器： 接收包含经译码切片网络抽象层NAL单元的位流，所述经译码切片NAL单元包含多 个子流，所述子流中的每一者包含表示图片的切片中的译码树块CTB的一行的位的连续系 列； 基于所述位流中的一或多个语法元素而确定所述切片是使用波前平行处理WPP而编 码；以及 使用WPP解码所述切片。
26. 根据权利要求25所述的计算装置，其中所述经译码切片NAL单元包含切片标头和 切片数据，且所述一或多个处理器经进一步配置以至少部分基于指示所述切片是使用WPP 编码的所述切片标头中的语法元素，确定所述经译码切片NAL单元包含指示在所述子流的 所述切片数据内的位置的多个偏移语法元素。
27. 根据权利要求26所述的计算装置，其中所述切片标头包含第一语法元素和第二语 法元素，所述第一语法元素指示在所述多个偏移语法元素中有多少个偏移语法元素，所述 第二语法元素指示所述偏移语法元素的以位为单位的长度；以及 所述一或多个处理器经配置以至少部分基于所述第一语法元素和所述第二语法元素 而从所述位流剖析所述偏移语法元素。
28. 根据权利要求25所述的计算装置，其中所述位流包含图片参数集PPS，且所述一或 多个处理器经进一步配置以基于所述PPS中的一或多个语法元素而确定使用WPP来编码所 述图片。
29. 根据权利要求25所述的计算装置，其中所述位流包含序列参数集SPS，且所述一 或多个处理器经进一步配置以基于所述SPS中的一或多个语法元素而确定使用WPP来 编码所述图片。
30. 根据权利要求25所述的计算装置，其中一或多个处理器经配置以： 响应于确定第一 CTB与所述图片的左边界分离单一 CTB，存储与所述第一 CTB相关联的 上下文变量；以及 至少部分基于与所述第一 CTB相关联的所述上下文变量而熵解码第二CTB的一或多个 语法元素，所述第二CTB邻近于所述图片的所述左边界且比所述第一 CTB低一行CTB。
31. 根据权利要求25所述的计算装置，其中所述计算装置为移动计算装置。
32. -种计算装置，其包括： 用于接收包含经译码切片网络抽象层NAL单元的位流的装置，所述经译码切片NAL单 元包含多个子流，所述子流中的每一者包含表示图片的切片中的译码树块CTB的一行的位 的连续系列； 用于基于所述位流中的一或多个语法元素而确定所述切片是使用波前平行处理WPP 而编码的装置；以及 用于使用WPP解码所述切片的装置。
33. -种存储指令的计算机可读存储媒体，所述指令在由计算装置的一或多个处理器 执行时配置所述计算装置以： 接收包含经译码切片NAL单元的位流，所述经译码切片网络抽象层NAL单元包含多 个子流，所述子流中的每一者包含表示图片的切片中的译码树块CTB的一行的位的连续系 列； 基于所述位流中的一或多个语法元素而确定所述切片是使用波前平行处理WPP而编 码；以及 使用WPP解码所述切片。
【文档编号】H04N19/436GK104054348SQ201280067198
【公开日】2014年9月17日 申请日期:2012年12月19日 优先权日:2012年1月18日
【发明者】王益魁, 穆罕默德·蔡德·科班 申请人:高通股份有限公司
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1
- 一种激光雷达用3341nm、1208nm双波长光纤输出激光器的制造方法
- 一种激光雷达用3341nm、1550nm双波长光纤输出激光器的制造方法
- 一种激光雷达用3196nm、1550nm双波长光纤输出激光器的制造方法
- 一种激光雷达用2970nm、1208nm双波长光纤输出激光器的制造方法
- 一种激光雷达用2970nm、1550nm双波长光纤输出激光器的制造方法
- 一种激光雷达用1764nm、905nm双波长光纤输出激光器的制造方法
- 一种激光雷达1764nm、830nm、1500nm三波长光纤输出激光器的制造方法
- 一种激光雷达用2831nm、905nm双波长光纤输出激光器的制造方法
- 一种激光雷达用2831nm、1500nm双波长光纤输出激光器的制造方法
- 一种激光雷达用559nm、1500nm双波长光纤输出激光器的制造方法