存储器、易失性或非易失性存储器，或用于存储 经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置31可对应于文 件服务器或可保持由源模块12产生的经编码视频的另一中间存储装置。目的地模块14可经 由流式传输或下载从存储装置31存取所存储的视频数据。文件服务器可为能够存储经编码 视频数据且将经编码视频数据传输到目的地模块14的任何类型的服务器。实例文件服务器 包含网络服务器（例如，用于网站）、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动 器。目的地模块14可W通过任何标准数据连接(包含因特网连接)来存取经编码的视频数 据。此可包含无线信道(例如，Wi-Fi连接）、有线连接(例如，D化、电缆调制解调器等），或适 合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装 置31的发射可为流式传输发射、下载发射或两者的组合。
[0039] 本发明的技术不限于无线应用或设置。所述技术可应用于支持多种多媒体应用中 的任一者的视频译码，例如空中电视广播、有线电视发射、卫星电视发射、例如经由因特网 的流式传输视频发射(例如，HTTP动态自适应流式传输(DASH)等）、用于存储于数据存储媒 体上的数字视频的编码、存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实 例中，视频译码系统10可经配置W支持单向或双向视频传输W支持例如视频流式传输、视 频回放、视频广播及/或视频电话等应用。
[0040] 在图IA的实例中，源模块12包含视频源18、视频编码器20和输出接口 22。在一些情 况下，输出接口 22可包含调制器/解调器(调制解调器)及/或发射器。在源模块12中，视频源 18可包含来源，例如视频俘获装置，例如摄像机，包含先前俘获的视频的视频存档，用于从 视频内容提供者接收视频的视频馈入接口和/或用于产生计算机图形数据作为源视频的计 算机图形系统，或此类来源的组合。作为一个实例，如果视频源18是摄像机，那么源模块12 和目的地模块14可形成所谓的相机电话或视频电话，如图IB的实例中所说明。然而，本发明 中所描述的技术一般来说可适用于视频译码，且可应用于无线和/或有线应用。
[0041] 可由视频编码器20对所俘获、预俘获或计算机产生的视频进行编码。经编码视频 数据可经由源模块12的输出接口 22直接发射到目的地模块14。经编码视频数据还可(或替 代地)存储到存储装置31上用于稍后由目的地模块14或其它装置存取W用于解码和/或重 放。图IA和IB中说明的视频编码器20可包括图2A中说明的视频编码器20、图2B中说明的视 频编码器23或本文中描述的任一其它视频编码器。
[0042] 在图IA的实例中，目的地模块14包含输入接口28、视频解码器30和显示装置32。在 一些情况下，输入接口 28可包含接收器及/或调制解调器。目的地模块14的输入接口 28可经 由链路16接收经编码视频数据。经由链路16传送或在存储装置31上提供的经编码视频数据 可包含由视频编码器20所产生的多种语法元素 W供由例如视频解码器30的视频解码器用 于解码视频数据。此类语法元素可与在通信媒体上发射、存储于存储媒体上或存储文件服 务器的经编码视频数据包含在一起。图IA和图IB中说明的视频解码器30可包括图3A中说明 的视频解码器30、图3B中说明的视频解码器33或本文中描述的任一其它视频解码器。
[0043] 显示装置32可与目的地模块14集成或在目的地模块14外部。在一些实例中，目的 地模块14可包含集成显示装置，并且还经配置W与外部显示装置介接。在其它实例中，目的 地模块14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多 种显示装置中的任一者，例如液晶显示器化CD)、等离子显示器、有机发光二极管(OLED)显 示器或另一类型的显示装置。
[0044] 在相关方面，图IB展示实例视频编码和解码系统10'，其中源模块12和目的地模块 14在装置或用户装置11上或为其部分。装置11可为电话手持机，例如"智能"电话或类似者。 装置11可包含与源模块12和目的地模块14操作通信的任选的控制器/处理器模块13。图IB 的系统1〇/可进一步包含视频编码器20与输出接口22之间的视频处理单元21。在一些实施 方案中，视频处理单元21是单独的单元，如图IB中所说明；然而，在其它实施方案中，视频处 理单元21可实施为视频编码器20和/或处理器/控制器模块13的一部分。系统1〇/还可包含 任选的跟踪器29,其可跟踪视频序列中的所关注对象。待跟踪的对象或兴趣可通过结合本 发明的一或多个方面描述的技术来分段。在相关方面中，跟踪可由显示装置32单独或与跟 踪器29结合而执行。图IB的系统1〇/及其组件另外类似于图IA的系统10及其组件。
[0045] 视频编码器20和视频解码器30可根据视频压缩标准(例如目前正在开发的高效率 视频译码化EVC)标准）来操作，且可符合皿VC测试模型化M)。或者，视频编码器20和视频解 码器30可根据其它专有或业界标准来操作，所述标准例如是ITU-T H. 264标准，也被称为 MPEG-4第10部分高级视频译码(AVC)，或此类标准的扩展。但是，本发明的技术不限于任何 特定译码标准。视频压缩标准的其它实例包含MPEG-2和口U-T H.263。
[0046] 尽管图IA和IB的实例中未展示，但在一些方面中，视频编码器20和视频解码器30 可各自与音频编码器和解码器集成，且可包含适当的多路复用器-多路分用器单元或其它 硬件和软件W处置共同数据流或单独数据流中的音频和视频两者的编码。在一些实例中， 如果适用的话，那么多路复用器-多路分用器单元可W符合ITU H. 223多路复用器协议，或 例如用户数据报协议(UDP)等其它协议。
[0047] 视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一者， 例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程口阵列 (FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分用软件实施时，装置可 将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中并使用一或多个处理器 用硬件执行所述指令W执行本发明的技术。视频编码器20和视频解码器30中的每一者可包 含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的 组合编码器/解码器(编解码器)的部分。
[004引视频译码过程
[0049] 如上文简要提及，视频编码器20编码视频数据。视频数据可W包括一或多个图片。 图片中的每一者为形成视频的部分的静态图像。在一些情况下，图片可被称为视频"帖"。当 视频编码器20编码视频数据时，视频编码器20可产生位流。位流可W包含形成视频数据的 经译码表示的位序列。位流可包含经译码图片和相关联数据。经译码的图片是图片的经译 码的表示。
[0050] 为产生位流，视频编码器20可对视频数据中的每一图片执行编码操作。当视频编 码器20对所述图片执行编码操作时，视频编码器20可产生一系列经译码图片和相关联数 据。所述相关联数据可包含视频参数集(VPS)、序列参数集、图片参数集、调适参数集及其它 语法结构。序列参数集(SPS)可含有适用于零或更多个图片序列的参数。图片参数集(PPS) 可含有适用于零或零个W上图片的参数。自适应参数集(APS)可含有适用于零或更多个图 片的参数。AI^中的参数可为比PI^中的参数更可能改变的参数。
[0051] 为产生经译码图片，视频编码器20可将图片分割为大小相等的视频块。视频块可 为样本的二维阵列。视频块中的每一者与树块相关联。在一些情况下，树块可被称作最大译 码单元化CU)。肥VC的树块可广泛类似于例如H.264/AVC等先前标准的宏块。然而，树块不必 限于特定大小，且可包含一或多个译码单元(CU)。视频编码器20可使用四叉树分割将树块 的视频块分割成与CU相关联的视频块(因此名称为"树块"）。
[0052] 在一些实例中，视频编码器20可将图片分割成多个切片。所述切片中的每一者可 包含整数数目个CU。在一些情况下，一个切片包括整数数目个树块。在其它情况下，切片的 边界可在树块内。
[0053] 作为对图片执行编码操作的一部分，视频编码器20可对图片的每一切片执行编码 操作。当视频编码器20对切片执行编码操作时，视频编码器20可产生与切片相关联的经编 码数据。与切片相关联的经编码数据可称为"经译码切片"。
[0054] 为产生经译码切片，视频编码器20可对切片中的每一树块执行编码操作。当视频 编码器20对树块执行编码操作时，视频编码器20可产生经译码树块。经译码树块可包括表 示树块的经编码版本的数据。
[0055] 当视频编码器20产生经译码切片时，视频编码器20可根据光栅扫描次序对切片中 的树块执行编码操作（即，编码）。举例来说，视频编码器20可按如下次序来编码切片的树 块:跨越切片中的树块的最顶行从左到右进行，接着跨越树块的下一较低行从左到右进行， W此类推，直到视频编码器20已编码切片中的树块的每一者。
[0056] 作为根据光栅扫描次序编码树块的结果，可已编码在给定树块的上方和左边的树 块，但尚未编码在给定树块的下方和右边的树块。因此，当对给定树块进行编码时，视频编 码器20可能能够存取通过对给定树块的上方和左边的树块进行编码而产生的信息。然而， 当编码给定树块时，视频编码器20可能不能够存取通过编码在给定树块的下方和右边的树 块而产生的信息。
[0057] 为产生经译码树块，视频编码器20可对树块的视频块递归地执行四叉树分割W将 所述视频块划分成逐渐变小的视频块。较小视频块中的每一者可与不同CU相关联。举例来 说，视频编码器20可将树块的视频块分割成四个大小相等的子块、将所述子块中的一者或 一者W上分割成四个大小相等的子子块，W此类推。经分割CU可为视频块被分割成与其它 CU相关联的视频块的CU。未分割CU可为其视频块未被分割成与其它CU相关联的视频块的 CUo
[0058] 位流中的一或多个语法元素可指示视频编码器20可分割树块的视频块的最大次 数。CU的视频块在形状上可为正方形。CU的视频块的大小(例如，CU的大小）范围可从8X8像 素直到具有最大64X64个像素或更大的树块的视频块的大小(例如，树块的大小）。
[0059] 视频编码器20可根据Z扫描次序对(例如，编码)树块的每一 CU执行编码操作。换句 话说，视频编码器20可将左上CU、右上CU、左下CU和接着右下CU按此次序编码。当视频编码 器20对经分割的CU执行编码操作时，视频编码器20可根据Z扫描次序对与经分割的CU的视 频块的子块相关联的CU进行编码。换句话说，视频编码器20可对与左上子块相关联的CU、与 右上子块相关联的CU、与左下子块相关联的CU,且接着是与右下子块相关联的CU按所述顺 序进行编码。
[0060] 作为根据Z扫描次序编码树块的CU的结果，可已编码在给定CU的上方、左上方、右 上方、左边的左下方的CU。尚未对给定CU的右下方的CU进行编码。因此，当对给定CU进行编 码时，视频编码器20可能能够存取通过对与给定CU相邻的一些CU进行编码而产生的信息。 然而，当对给定CU进行编码时，视频编码器20可能不能够存取通过对与给定CU相邻的其它 CU进行编码而产生的信息。
[0061] 当视频编码器20对进行未分割的CU编码时，视频编码器20可产生用于所述CU的一 或多个预测单元(PU)。〇]的PU中的每一者可与CU的视频块内的不同视频块相关联。视频编 码器20可产生用于CU的每一 PU的经预测视频块。PU的经预测视频块可为样本块。视频编码 器20可使用帖内预测或帖间预测来产生用于PU的预测视频块。
[0062] 当视频编码器20使用帖内预测来产生PU的经预测视频块时，视频编码器20可基于 与PU相关联的图片的经解码样本来产生PU的经预测视频块。如果视频编码器20使用帖内预 测来产生CU的PU的经预测视频块，那么CU为经帖内预测的CU。当视频编码器20使用帖间预 测来产生PU的经预测视频块时，视频编码器20可基于不同于与PU相关联的图片的一或多个 图片的经解码样本来产生所述PU的经预测视频块。如果视频编码器20使用帖间预测来产生 CU的PU的经预测视频块，那么所述CU为经帖间预测CU。
[0063] 此外，当视频编码器20使用帖间预测来产生用于PU的经预测视频块时，视频编码 器20可产生用于所述PU的运动信息。用于PU的运动信息可指示所述PU的一或多个参考块。 PU的每一参考块可为参考图片内的视频块。参考图片可为除与PU相关联的图片W外的图 片。在一些情况下，PU的参考块也可被称作PU的"参考样本"。视频编码器20可基于PU的参考 块产生所述PU的预测视频块。
[0064] 在视频编码器20产生用于CU的一或多个PU的经预测视频块之后，视频编码器20可 基于用于CU的所述PU的预测视频块产生所述CU的残余数据。CU的残余数据可指示用于CU的 PU的预测视频块中的样本与CU的原始视频块之间的差。
[0065] 此外，作为对未分割的CU执行编码操作的部分，视频编码器20可对CU的残余数据 执行递归四叉树分割W将CU的残余数据分割成与CU的变换单元(TU)相关联的一或多个残 余数据块(例如，残余视频块）dCU的每一TU可与不同残余视频块相关联。
[0066] 视频编码器20可对与TU相关联的残余视频块应用一或多个变换W产生与TU相关 联的变换系数块(例如，变换系数的块）。在概念上，变换系数块可为变换系数的二维(2D)矩 阵。
[0067] 在产生变换系数块之后，视频编码器20可对所述变换系数块执行量化处理。量化 总体上是指对变换系数进行量化W可能减少用W表示变换系数的数据的量从而提供进一 步压缩的过程。量化过程可减少与变换系数中的一些或全部相关联的位深度。例如，可在量 化期间将n位变换系数向下舍入到m位变换系数，其中n大于m。
[0068] 视频编码器20可使每一 CU与量化参数(QP)值相关联。与CU相关联的QP值可确定视 频编码器20如何与所述CU相关联的变换系数块进行量化。视频编码器20可通过调整与CU相 关联的QP值来调整应用于与CU相关联的变换系数块的量化的程度。
[0069] 在视频编码器20量化变换系数块之后，视频编码器20可产生表示经量化变换系数 块中的变换系数的语法元素集。视频编码器20可将例如上下文自适应性二进制算术译码 (CABAC)操作的赌编码操作应用于运些语法元素中的一些。还可使用例如内容自适应可变 长度译码(CAVLC)、概率区间分割赌(PIPE)译码或其它二进制算术译码等其它赌译码技术。
[0070] 由视频编码器20产生的位流可包含一系列网络抽象层(NAL)单元。所述NAL单元中 的每一者可为含有NAL单元中的数据类型的指示及含有数据的字节的语法结构。举例来说， NAL单元可含有表示视频参数集、序列参数集、图片参数集、经译码切片、补充增强信息 (SEI)、存取单元分隔符、填充数据或另一类型的数据的数据。NAL单元中的数据可包含各种 语法结构。
[0071] 视频解码器30可接收由视频编码器20产生的位流。所述位流可包含由视频编码器 20编码的视频数据的经译码表示。当视频解码器30接收到位流时，视频解码器30可对所述 位流执行剖析操作。当视频解码器30执行剖析操作时，视频解码器30可从所述位流提取语 法元素。视频解码器30可基于从位流提取的语法元素重构视频数据的图片。基于语法元素 重构视频数据的过程可与由视频编码器20执行W产生语法元素的过程大体互逆。
[0072] 在视频解码器30提取与CU相关联的语法元素之后，视频解码器30可基于所述语法 元素产生用于CU的PU的经预测视频块。另外，视频解码器30可对与CU的TU相关联的变换系 数块进行逆量化。视频解码器30可对变换系数块执行逆变换W重构与CU的TU相关联的残余 视频块。在产生经预测视频块且重构残余视频块之后，视频解码器30可基于经预测视频块 及残余视频块重构CU的视频块。W此方式，视频解码器30可基于位流中的语法元素重构CU 的视频块。
[007引视频编码器
[0074] 图2A是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。 视频编码器20可经配置W处理视频帖的单层(例如针对皿VC)。此外，视频编码器20可经配 置W执行本发明的技术中的任一者或全部。作为一个实例，预测处理单元100可经配置W执 行本发明中描述的技术中的任一者或全部。在另一实施例中，视频编码器20包含任选层间 预测单元128,所述层间预测单元经配置W执行本发明中描述的技术中的任一者或全部。在 其它实施例中，层间预测可由预测处理单元1〇〇(例如，帖间预测单元121及/或帖内预测单 元126)执行，在此情况下可省略层间预测单元128。然而，本发明的方面不限于此。在一些实 例中，本发明中描述的技术可在视频编码器20的各种组件之间共享。在一些实例中，另外或 替代地，处理器(未图示)可经配置W执行本发明中描述的技术中的任一者或全部。
[0075] 出于解释的目的，本发明W皿VC译码为背景来描述视频编码器20。然而，本发明的 技术可W适用于其它译码标准或方法。图2A中所描绘的实例是针对单层编解码器。然而，如 将关于图2B进一步描述，可复制视频编码器20中的一些或全部W用于多层编解码器的处 理。
[0076] 视频编码器20可执行视频切片内的视频块的帖内和帖间译码。帖内译码依赖于空 间预测W减小或移除给定视频帖或图片内的视频的空间冗余。帖间译码依靠时间预测来减 少或移除视频序列的邻近帖或