0'，其中源模块12和目的地模 块14在装置或用户装置11上或为其部分。装置11可为电话手持机，例如"智能"电话或类似 物。装置11可包含与源模块12和目的地模块14操作通信的任选的控制器/处理器模块13。图 1Β的系统10'可进一步包含视频编码器20与输出接口 22之间的视频处理单元21。在一些实 施方案中，视频处理单元21是单独的单元，如图1Β中所说明；然而，在其它实施方案中，视频 处理单元21可实施为视频编码器20和/或处理器/控制器模块13的一部分。系统10'还可包 含任选的跟踪器29,其可跟踪视频序列中的所关注对象。待跟踪的对象或兴趣可通过结合 本发明的一或多个方面描述的技术来分段。在相关方面中，跟踪可由显示装置32单独或与 跟踪器29结合而执行。图1Β的系统10'及其组件另外类似于图1Α的系统10及其组件。
[0047]视频编码器20和视频解码器30可根据视频压缩标准（例如，目前正在开发的高效 率视频译码(HEVC)标准）来操作，且可符合HEVC测试模型(ΗΜ)。或者，视频编码器20和视频 解码器30可以根据其它专有或业界标准来操作，所述标准例如是ITU-T Η.264标准，也被称 为MPEG-4第10部分高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任 何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T Η.263。
[0048] 尽管图1Α和1Β的实例中未展示，但在一些方面中，视频编码器20和视频解码器30 可各自与音频编码器和解码器集成，且可包含适当的多路复用器-多路分用器单元或其它 硬件和软件以处置共同数据流或单独数据流中的音频和视频两者的编码。在一些实例中， 如果适用的话，多路复用器一多路分用器单元可以复合ITU Η.223多路复用器协议，或例如 用户数据报协议(UDP)等其它协议。
[0049] 视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一者， 例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列 (FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时，装置 可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中且使用一或多个处理 器用硬件执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可 包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中 的组合编码器/解码器(编解码器)的部分。
[0050] 视频译码过程
[0051]如上文简要提及，视频编码器20对视频数据进行编码。视频数据可包括一或多个 图片。图片中的每一者是形成视频的一部分的静态图像。在一些情况下，图片可被称为视频 "帧"。当视频编码器20编码视频数据时，视频编码器20可产生位流。位流可包含形成视频数 据的经译码表示的位序列。位流可以包含经译码的图片以及相关联的数据。经译码图片为 图片的经译码表示。
[0052]为产生位流，视频编码器20可对视频数据中的每一图片执行编码操作。当视频编 码器20对所述图片执行编码操作时，视频编码器20可产生一系列经译码图片和相关联数 据。所述相关联数据可包含视频参数集(VPS)、序列参数集、图片参数集、自适应参数集和其 它语法结构。序列参数集（SPS)可含有适用于零或零个以上图片序列的参数。图片参数集 (PPS)可含有适用于零或零个以上图片的参数。自适应参数集(APS)可含有适用于零或零个 以上图片的参数。APS中的参数可为比PPS中的参数更可能改变的参数。
[0053]为产生经译码图片，视频编码器20可将图片分割为大小相等的视频块。视频块可 为样本的二维阵列。视频块中的每一者与树块相关联。在一些情况下，树块可被称作最大译 码单元(LCU)。HEVC的树块可广泛类似于例如H. 264/AVC的先前标准的宏块。然而，树块不必 限于特定大小，且可包含一或多个译码单元(CU)。视频编码器20可使用四叉树分割来将树 块的视频块分割成与CU相关联的像素块(因此名称为"树块"）。
[0054]在一些实例中，视频编码器20可将图片分割成多个切片。所述切片中的每一者可 包含整数数目个CU。在一些情况下，切片包括整数数目个树块。在其它情况下，切片的边界 可在树块内。
[0055] 作为对图片执行编码操作的一部分，视频编码器20可对图片的每一切片执行编码 操作。当视频编码器20对切片执行编码操作时，视频编码器20可产生与切片相关联的经编 码数据。与切片相关联的经编码数据可被称为"经译码切片"。
[0056] 为产生经译码切片，视频编码器20可对切片中的每一树块执行编码操作。当视频 编码器20对树块执行编码操作时，视频编码器20可产生经译码树块。经译码树块可包括表 示树块的经编码版本的数据。
[0057]当视频编码器20产生经译码切片时，视频编码器20可根据光栅扫描次序对切片中 的树块执行编码操作（即，编码）。举例来说，视频编码器20可按如下次序来对切片的树块进 行编码:跨越切片中的树块的最顶彳丁从左到右进彳丁，接着跨越树块的下一 $父低彳丁从左到右 进行，以此类推，直到视频编码器20已对切片中的树块的每一者进行了编码为止。
[0058] 作为根据光栅扫描次序编码树块的结果，可已编码在特定树块的上方和左侧的树 块，但尚未编码在给定树块的下方和右侧的树块。因此，当编码给定树块时，视频编码器20 可能能够存取通过编码在给定树块的上方和左边的树块而产生的信息。然而，当编码给定 树块时，视频编码器20可能不能够存取通过编码在给定树块的下方和右边的树块而产生的 信息。
[0059] 为了产生经译码树块，视频编码器20可对树块的视频块递归地执行四叉树分割以 将视频块划分为越来越小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说， 视频编码器20可将树块的视频块分割成四个大小相等的子块、将所述子块中的一或多者分 割成四个大小相等的子子块，以此类推。分割的CU可为视频块被分割成与其它CU相关联的 视频块的CU。未分割CU可为视频块未被分割成与其它CU相关联的视频块的CU。
[0060] 位流中的一或多个语法元素可指示视频编码器20可分割树块的视频块的最大次 数。CU的视频块的形状可为正方形。CU的视频块的大小(例如，CU的大小）范围可从8x8像素 直到具有最大64x64个像素或更大的树块的视频块的大小(例如，树块的大小）。
[0061] 视频编码器20可根据z扫描次序对树块的每一 CU执行编码操作(例如，编码）。换句 话说，视频编码器20可将左上⑶、右上⑶、左下⑶和接着右下⑶按此次序编码。当视频编码 器20对经分割的CU执行编码操作时，视频编码器20可根据z扫描次序编码与经分割的CU的 视频块的子块相关联的CU。换句话说，视频编码器20可对与左上子块相关联的CU、与右上子 块相关联的CU、与左下子块相关联的CU，且接着是与右下子块相关联的CU按所述顺序进行 编码。
[0062]根据z扫描次序对树块的⑶进行编码的结果是，可能已经对给定⑶的上方、左上 方、右上方、左边的左下方的CU进行编码。尚未对给定CU的右下方的CU进行编码。因此，当对 给定CU进行编码时，视频编码器20可能能够存取通过对与给定CU相邻的一些CU进行编码而 产生的信息。然而，当编码给定CU时，视频编码器20可能不能够存取通过编码邻接给定CU的 其它⑶而产生的信息。
[0063]当视频编码器20对进行未分割的⑶编码时，视频编码器20可产生用于所述⑶的一 或多个预测单元(PU)<XU的PU中的每一者可与CU的视频块内的不同视频块相关联。视频编 码器20可产生用于CU的每一 PU的经预测视频块。PU的经预测视频块可为样本块。视频编码 器20可使用帧内预测或帧间预测来产生用于的预测视频块。
[0064]当视频编码器20使用帧内预测来产生PU的经预测视频块时，视频编码器20可基于 与PU相关联的图片的经解码样本来产生PU的经预测视频块。如果视频编码器20使用帧内预 测来产生CU的PU的经预测视频块，则CU为经帧内预测的CU。当视频编码器20使用帧间预测 来产生PU的预测视频块时，视频编码器20可基于不同于与所述PU相关联的图片的一或多个 图片的经解码样本产生所述PU的预测视频块。如果视频编码器20使用帧间预测来产生CU的 PU的预测视频块，则所述CU为经帧间预测CU。
[0065] 此外，当视频编码器20使用帧间预测来产生PU的预测视频块时，视频编码器20可 产生所述PU的运动信息。用于PU的运动信息可指示所述PU的一或多个参考块。PU的每一参 考块可为参考图片内的视频块。参考图片可为不同于与PU相关联的图片的图片。在一些情 况下，PU的参考块也可称作PU的"参考样本"。视频编码器20可基于PU的参考块产生所述PU 的预测视频块。
[0066] 在视频编码器20产生用于⑶的一或多个PU的经预测视频块之后，视频编码器20可 基于用于CU的所述PU的所述经预测视频块产生所述CU的残余数据。用于CU的残余数据可指 示用于CU的PU的经预测视频块与CU的原始视频块中的样本之间的差异。
[0067] 此外，作为对未分割的CU执行编码操作的部分，视频编码器20可对CU的残余数据 执行递回四叉树分割以将CU的残余数据分割成与CU的变换单元(TU)相关联的一或多个残 余数据块(例如，残余视频块）。〇]的每一 TU可与不同残余视频块相关联。
[0068] 视频译码器20可对与TU相关联的残余视频块应用一或多个变换以产生与TU相关 联的变换系数块(例如，变换系数的块）。在概念上，变换系数块可为变换系数的二维(2D)矩 阵。
[0069] 在产生变换系数块之后，视频编码器20可对所述变换系数块执行量化处理。量化 通常指对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压 缩的过程。量化过程可减少与变换系数中的一些或全部相关联的位深度。举例来说，可在量 化期间将η位的变换系数四舍五入到m位的变换系数，其中η大于m。
[0070] 视频编码器20可使每一 CU与量化参数(QP)值相关联。与CU相关联的QP值可确定视 频编码器20如何量化与所述CU相关联的变换系数块。视频编码器20可通过调整与CU相关联 的QP值来调整应用于与CU相关联的变换系数块的量化的程度。
[0071] 在视频编码器20量化变换系数块之后，视频编码器20可产生表示经量化变换系数 块中的变换系数的语法元素的集合。视频编码器20可将例如上下文自适应二进制算术译码 (CABAC)操作等熵编码操作应用于这些语法元素中的一些。还可使用例如内容自适应可变 长度译码(CAVLC)、概率区间分割熵(PIPE)译码或其它二进制算术译码等其它熵译码技术。 [0072]由视频编码器20产生的位流可包含一系列网络抽象层(NAL)单元。所述NAL单元中 的每一者可为含有NAL单元中的数据类型的指示和含有数据的字节的语法结构。举例来说， NAL单元可含有表示视频参数集、序列参数集、图片参数集、经译码切片、补充增强信息 (SEI)、存取单元分隔符、填充数据或另一类型的数据的数据。NAL单元中的数据可包含各种 语法结构。
[0073] 视频解码器30可接收由视频编码器20产生的位流。所述位流可包含由视频编码器 20编码的视频数据的经译码表示。当视频解码器30接收到位流时，视频解码器30可对所述 位流执行剖析操作。当视频解码器30执行剖析操作时，视频解码器30可从所述位流提取语 法元素。视频解码器30可基于从位流提取的语法元素重构视频数据的图片。基于语法元素 重构视频数据的过程可与由视频编码器20执行以产生语法元素的过程大体互逆。
[0074]在视频解码器30提取与⑶相关联的语法元素之后，视频解码器30可基于所述语法 元素产生用于CU的PU的经预测视频块。此外，视频解码器30可逆量化与CU的TU相关联的变 换系数块。视频解码器30可对变换系数块执行逆变换以重构与CU的TU相关联的残余视频 块。在产生经预测视频块且重构残余视频块之后，视频解码器30可基于经预测视频块及残 余视频块重构CU的视频块。以此方式，视频解码器30可基于位流中的语法元素重构CU的视 频块。
[0075] 视频编码器
[0076]图2A是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。 视频编码器20可经配置以处理视频帧的单层(例如针对HEVC)。此外，视频编码器20可经配 置以执行本发明的技术中的任一者或全部。作为一个实例，预测处理单元100可经配置以执 行本发明中描述的技术中的任一者或全部。在另一实施例中，视频编码器20包括任选层间 预测单元128,其经配置以执行本发明中描述的技术中的任一者或全部。在其它实施例中， 层间预测可由预测处理单元100 (例如，帧间预测单元121及/或帧内预测单元126)执行，在 此情况下可省略层间预测单元128。然而，本发明的方面不受如此限制。在一些实例中，本发 明中描述的技术可在视频编码器20的各种组件之间共享。在一些实例中，另外或替代地，处 理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。
[0077]出于解释的目的，本发明在HEVC译码的上下文中描述视频编码器20。然而，本发明 的技术可适用于其它译码标准或方法。图2A中所描绘的实例是针对单层编解码器。然而，如 将关于图2B进一步描述，可复制视频编码器20中的一些或全部以用于多层编解码器的处 理。
[0078]视频编码器20可以对视频切片内的视频块执行帧内和帧间译码。帧内译码依赖于 空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预 测来减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式（I模式)可指 代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间 模式可指代若干基于时间的译码模式中的任一者。
[0079]在图2A的实例中，视频编码器20包含多个功能组件。视频编码器20的功能组件包 含预测处理单元100、残余产生单元102、变换处理单元104、量化单元106、逆量化单元108、 逆变换单元110、重构单元112、滤波器单元113、经解码图片缓冲器114和熵编码单元116。预 测处理单元1〇〇包含帧间预测单元121、运动估计单元122、运动补偿单元124、帧内预测单元 126及层间预测单元128。在其它实例中，视频编码器20可包含更多、更少或不同功能组件。 此外，运动估计单元122与运动补偿单元124可高度集成，但出于解释的目的而在图2A的实 例中分开来表不。
[0080] 视频编码器20可以接收视频数据。视频编码器20可从各种源接收视频数据。举例 来说，视频编码器20可从视频源18(例如，图1A或1B中所示)或另一源接收视频数据。视频数 据可表示一系列图片。为编码视频数据，视频编码器20可对图片中的每一者执行编码操作。 作为对图片执行编码操作的一部分，视频编码器20可对图片的每一切片执行编码操作。作 为对切片执行编码操作的部分，视频编码器20可对切片中的树块执行编码操作。
[0081] 作为对树块执行编码操作的部分，预测处理单元100可对树块的视频块执行四叉 树分割以将所述视频块划分成逐渐变小的视频块。较小视频块中的每一者可与不同CU相关 联。举例来说，预测处理单元100可将树块的视频块分割成四个相等大小的子块，将所述子 块中的一或多者分割成四个相等大小的子子块，等等。
[0082] 与CU相关联的视频块的大小范围可从8x8样本尚达最大64x64样本或更大的树块 大小。在本发明中，"NxN"和"N乘N"可互换使用来指代在垂直及水平尺寸方面的视频块的样 本尺寸，例如，16x16样本或16乘16样本。一般来说，16x16视频块在垂直方向上具有十六个 样本(y = 16)，且在水平方向上具有十六个样本(x= 16)。同样，NxN块一般在垂直方向上具 有N个样本，且在水平方向上具有N个样本，其中N表示非负整数值。
[0083] 此外，作为对树块执行编码操作的部分，预测处理单元100可产生用于所述树块的 阶层式四叉树数据结构。例如，树块可对应于四叉树数据结构的根节点。如果预测处理单元 100将树块的视频块分割成四个子块，则所述根节点在所述四叉树数据结构中具有四个子 节点。所述子节点中的每一者对应于与子块中的一者相关联的CU。如果预测处理单元100将 子块中的一者分割成四个子子块，那么对应于与子块相关联的CU的节点可具有四个子节 点，其中每一者对应于与子子块中的一者相关联的CU。
[0084] 四叉树数据结构的每一节点可含有用于对应树块或CU的语法数据(例如，语法元 素）。例如，四叉树中的节点可包含分裂旗标，其指示对应于所述节点的CU的视频块是否被 分割(例如，分裂)成四个子块。用于CU的语法元素可递归地界定，且可取决于所述CU的视频 块是否分裂成子块。视频块未被分割的CU可对应于四叉树数据结构中的叶节点。经译码树 块可包含基于用于对应树块的四叉树数据结构的数据。
[0085] 视频编码器20可对树块的每一未分割⑶执行编码操作。当视频编码器20对未分割 CU执行编码操作时，视频编码器20产生表示未分割CU的经编码表示的数据。
[0086] 作为对⑶执行编码操作的部分，预测处理单元100可在⑶的一或多个PU之间分割 CU的视频块。视频编码器20及视频解码器30可支持各种PU大小。假定特定CU的大小为 2Nx2N，则视频编码器20及视频解码器30可支持2Nx2N或NxN的PU大小，及2Nx2N、2NxN、Nx2N、 啦12啦111]、111^21111^2~或类似的对称?1]大小的帧间预测。视频编码器20和视频解码器30 还可支持用于2NxnU、2NxnD、nLx2N和nRx2N的PU大小的不对称分割。在一些实例中，预测处 理单元100可执行几何分割以沿并不按直角与CU的视频块的侧会合的边界来在CU的PU间分 割CU的视频块。
[0087]帧间预测单元121可对CU的每一 PU执行帧间预测。帧间预测可提供时间压缩。为了 对PU执行帧间预测，运动估计单元122可产生用于所述PU的运动信息。运动补偿单元124可 基于运动信息和除与CU相关联的图片(例如，参考图片)之外的图片的经解码样本产生PU的 经预测视频块。在本发明中，由运动补偿单元124产生的经预测视频块可称作经帧间预测视 频块。
[0088]切片可为I切片、P切片，或B切片。运动估计单元122及运动补偿单元124可取决于 PU处于I切片、P切片还是B切片中而对CU的PU执行不同操作。在I切片中，所有PU经帧内预 测。因此，如果PU在I切片中，那么运动估计单元122和运动补偿单元124不对PU执行帧间预 测。
[0089]如果在P切片中，那么含有所述PU的图片与被称作"列表0"的参考图片列表相关 联。列表0中的参考图片中的每一者含有可用于其它图片的帧间预测的样本。当运动估计单 元122关于P切片中的PU执行运动估计操作时，运动估计单元122可搜索列表0中的参考图片 以找出用于PU的参考块。PU的参考块可为最紧密对应于PU的视频块中的样本的一组样本， 例如样本块。运动估计单元122可使用多种度量来确定参考图片中的一组样本如何紧密地 对应于PU的视频块中的样本。举例来说，运动估计单元122可通过绝对差总和(SAD)、平方差 总和(SSD)或其它差异度量来确定参考图片中的一组样本如何紧密地对应于PU的视频块中 的样本。
[0090]在识别出P切片中的PU的参考块之后，运动估计单元122可产生指示列表0中含有 参考块的参考图片的参考索引，以及指示PU与参考块之间的空间位移的运动向量。在各种 实例中，运动估计单元122可以变化的精度产生运动向量。举例来说，运动估计单元1