应用于支持多种多媒体应用中的任一者的视频译码，例如空中协议电视广播、有线电视传输、卫星电视传输、因特网流式视频传输(例如，动态自适应HTTP流式传输(DASH))、经编码到数据存储媒体上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输，以支持例如视频流式传输、视频回放、视频广播和/或视频电话等应用。
[0031]在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口 22。目的地装置14包含输入接口 28、视频解码器30和显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于对包含符合多个标准或标准扩展的视频数据的位流进行译码的技术。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18 (例如外部相机)接收视频数据。同样，目的地装置14可以与外部显示装置介接，而非包含集成显示装置。
[0032]图1的说明的系统10只是一个实例。本发明的技术可由任何数字视频编码器及/或解码器执行。此外，本发明的技术还可以在视频编码或解码之前或之后(例如)由在解码之后应用的滤波器执行。在一些实例中，装置12、14可以实质上对称的方式操作，使得装置12、14中的每一者包含视频编码及解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频传输以例如用于视频流式传输、视频回放、视频广播或视频电话。
[0033]源装置12的视频源18可包含视频俘获装置，例如视频摄像机、含有先前所俘获视频的视频存档及/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、所存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18是摄像机，则源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术一般来说可适用于视频译码，且可应用于无线及/或有线应用。在每一种情况下，可由视频编码器20编码所俘获、经预先俘获或计算机产生的视频。经编码视频信息可接着通过输出接口 22输出到计算机可读媒体16上。
[0034]计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络传输，或存储媒体(也就是说，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可例如经由网络传输、直接有线通信等从源装置12接收经编码视频数据且将经编码视频数据提供给目的地装置14。类似地，媒体生产设施(例如光盘冲压设施)的计算装置可以从源装置12接收经编码视频数据并且生产容纳经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可以理解为包含各种形式的一或多个计算机可读媒体。
[0035]目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20界定的语法信息，所述语法信息还供视频解码器30使用，所述语法信息包含描述块及其它经译码单元(例如，GOP)的特性及/或处理的语法元素。显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(IXD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
[0036]视频编码器20和视频解码器30可以根据视频译码标准(例如目前正在开发的高效率视频译码(HEVC)标准)来操作，并且可以符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可以根据其它专有或业界标准来操作，所述标准例如是ITU-T H.264标准，也被称为MPEG-4，第10部分，高级视频译码(AVC)，或此类标准的扩展。本发明的技术不限于任何特定译码标准，包含但不限于上文所列的标准中的任一者。视频译码标准的其它实例包含MPEG-2及ITU-T H.263。虽然在图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件及软件，以处置对共同数据流或单独数据流中的音频及视频两者的编码。如果适用的话，MUX-DEMUX单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
[0037]视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(CODEC)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置，例如蜂窝式电话。
[0038]JCT-VC正在致力于开发HEVC标准。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM假设视频译码装置根据(例如)ITU-T H.264/AVC相对于现有装置的若干额外能力。举例来说，虽然H.264提供了九种帧内预测编码模式，但是HM可提供多达三十三种帧内预测编码模式。
[0039]一般来说，HM的工作模型描述视频帧或图片可以分成包含亮度及色度样本两者的一连串树块或最大译码单元(LCU)。位流内的语法数据可以界定最大译码单元(LCU，其在像素数目方面为最大译码单元)的大小。切片包含呈译码次序的多个连续树块。视频帧或图片可以被分割成一或多个切片。每一树块可以根据四叉树分裂成译码单元(CU)。一般来说，四叉树数据结构包含每个CU —个节点，其中一个根节点对应于所述树块。如果CU分裂成四个子CU，那么对应于CU的节点包含四个叶节点，其中叶节点中的每一者对应于所述子CU中的一者。
[0040]四叉树数据结构的每一节点可以提供相对应的CU的语法数据。举例来说，四叉树中的一节点可包含一分裂旗标，其指示对应于所述节点的所述CU是否分裂成子CU。CU的语法元素可以递归地界定，且可以取决于CU是否分裂成子CU。如果CU不进一步分裂，那么将其称为叶CU。在本发明中，叶CU的子CU也将被称作叶CU，即使不存在原始叶CU的显式分裂时也是如此。举例来说，如果16X16大小的⑶不进一步分裂，那么这四个8X8子⑶将也被称作叶⑶，虽然16 X 16⑶从未分裂。
[0041]CU具有类似于H.264标准的宏块的目的，但是CU并不具有大小区别。举例来说，树块可以分裂成四个子节点(还被称作子CU)，并且每一子节点又可以是父节点并且可以分裂成另外四个子节点。最终的未分裂子节点(被称作四叉树的叶节点)包括译码节点，还称为叶CU。与经译码位流相关联的语法数据可以界定树块可以分裂的最大次数，被称作最大CU深度，并且还可界定译码节点的最小大小。因此，位流还可界定最小译码单元(SCU)。本发明使用术语“块”来指代在HEVC的情况下的CU、PU或TU或在其它标准的情况下的类似数据结构(例如，H.264/AVC中的宏块及其子块)中的任一者。
[0042]CU包含译码节点以及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小可以在从8X8样本直到具有最大64X64样本或更大的树块的大小的范围内。每一 CU可含有一或多个I3U及一或多个TU。举例来说，与CU相关联的语法数据可描述将CU分割成一或多个TO。分割模式可以在CU被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式编码之间有区别。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树被分割为一或多个TU。TU可以是正方形或非正方形(例如，矩形)形状。
[0043]HEVC标准允许根据TU的变换，TU可针对不同⑶而有所不同。TU的大小通常是基于针对经分割LCU界定的给定CU内的PU的大小而设置，但是情况可能并不总是如此。TU通常与PU大小相同或小于W。在一些实例中，对应于CU的残差样本可以使用被称为“残差四叉树”(RQT)的四叉树结构而细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可以变换与TU相关联的样本差值以产生变换系数，可以将所述变换系数量化。
[0044]叶⑶可包含一或多个预测单元(PU)。一般来说，PU表示对应于相对应的⑶的全部或一部分的空间区域，并且可包含用于检索PU的参考样本的数据。此外，包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可以包含在残差四叉树(RQT)中，残差四叉树可包含描述用于对应于的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，I3U可包含界定I3U的一或多个运动向量的数据。界定I3U的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一样本精度或八分之一样本精度)、运动向量指向的参考帧，和/或运动向量的参考图片列表(例如，列表O、列表I或列表C)。
[0045]具有一或多个PU的叶⑶还可包含一或多个变换单元(TU)。变换单元可以使用RQT (还称为TU四叉树结构)来指定，如上文所论述。举例来说，分裂旗标可以指示叶CU是否分裂成四个变换单元。接着，每一变换单元可以进一步分裂成其它的子TU。当TU未经进一步分裂时，其可被称作叶TU。总体上，对于帧内译码，所有属于一个叶CU的叶TU共用相同的帧内预测模式。也就是说，一般应用相同帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可以使用帧内预测模式针对每一叶TU计算残差值，作为⑶的对应于TU的部分与原始块之间的差。TU不必限于PU的大小。因此，TU可大于或小于PU。对于帧内译码，I3U可以与相同CU的相对应的叶TU并置。在一些实例中，叶TU的最大大小可以对应于对应叶CU的大小。
[0046]此外，叶⑶的TU还可与相应四叉树数据结构(被称作残差四叉树(RQT))相关联。也就是说，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点一般对应于叶CU，而CU四叉树的根节点一般对应于树块(或LCU)。未经分裂的RQT的TU被称作叶TU。一般来说，除非以其它方式提及，否则本发明分别使用术语CU及TU来指叶CU及叶
TUo
[0047]视频序列通常包含一系列视频帧或图片。图片群组(GOP) —般包括一系列一或多个视频图片。GOP可包含GOP的标头、图片中的一或多者的标头或其它处的语法数据，其描述GOP中所包含的图片的数目。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块操作以便编码视频数据。视频块可以对应于CU内的译码节点。视频块可以具有固定或变化的大小，并且根据指定译码标准可以有不同大小。
[0048]作为实例，HM支持各种I3U大小的预测。假设特定⑶的大小是2NX2N，那么HM支持2N X 2N或N X N的PU大小的帧内预测，及2N X 2N、2N X N、N X 2N或N X N的对称I3U大小的帧间预测。HM还支持用于2N X nU、2N X nD、nL X 2N及nR X 2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，而将另一方向分割成25%及75%。CU的对应于25%分区的部分由“η”继之以“上”、“下”、“左”或“右”的指示来指示。因此，例如，“2NXnU”是指经水平分割的2ΝΧ2Ν CU，其中顶部为2NX0.5N PU，而底部为2NX 1.5NPU。
[0049]在本发明中，“NXN”与“N乘N”可以可互换地使用，以在垂直和水平尺寸方面指代视频块的样本尺寸，例如16X 16样本或16乘16样本。一般来说，16X 16块将在垂直方向上具有16个样本(y = 16)，并且在水平方向上具有16个样本(x = 16)。同样地，NXN块一般在垂直方向上具有N个样本，且在水平方向上具有N个样本，其中N表示非负整数值。块中的样本可按行及列布置。此外，块不需要一定在水平方向与垂直方向上具有相同数目的样本。举例来说，块可包括NXM样本，其中M未必等于N。
[0050]在使用⑶的PU进行帧内预测或帧间预测译码之后，视频编码器20可以计算⑶的TU的残差数据。可包括描述产生空间域(还被称作样本域)中的预测性样本数据的方法或模式的语法数据且TU可包括在对残差视频数据应用变换(例如，离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)之后的变换域中的系数。残差数据可以对应于未经编码图片的样本与对应于PU的预测值之间的像素差。视频编码器20可以形成包含用于⑶的残差数据的TU，并且接着变换TU以产生用于⑶的变换系数。
[0051]在进行用于产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化一般是指变换系数经量化以可能减少用于