，能够预测先前编码的/解码的图片的参考索引。 通常从时间参考图片中的相邻块和/或共同定位的块来预测参考索引。此外，高效的视频 编解码器可以采用附加的运动信息编码/解码机制，被称为"合并/归并模式"，其中包括针 对每个可用的参考图片列表的运动向量和对应的参考图片索引的所有运动场信息被预测 并且在没有任何修改/校正的情况下被使用。类似地，使用运动场信息或时间参考图片中 的相邻块和/或共同定位的块来执行对运动场信息的预测，并且用户运动场信息在填充有 可用相邻块/共同定位的块的运动场信息的运动场候选列表的列表之中被信号传送。
[0055] 在视频编解码器中，在运动补偿之后的预测残差可以首先利用变换核（例如， DCT)被变换并且之后被编码。对此的原因在于该残差中可能仍然存在一些相关性并且在许 多情况下变换能够帮助减少该相关性并提供更有效的编码。
[0056] 视频编码器可以利用拉格朗日成本函数来找到最优编码模式，例如期望的宏块模 式和相关联的运动向量。这种类型的成本函数使用加权因子λ以将由于有损编码方法的 (精确或估计的）图像失真和表示图像区域中的像素值所要求的（精确或估计的）信息量 联系在一起：
[0057] C = D+ λ R
[0058] 其中，C是要被最小化的拉格朗日成本，D是考虑了模式和运动向量的图像失真 (例如，均方误差），并且R需要用于表示在解码器中重建图像块所要求的数据的比特的数 目（包括表示候选运动向量的数据量）。
[0059] 如以上解释的，包括Η. 264/AVC和HEVC的许多混合视频编解码器在两个阶段中对 视频信息进行编码，其中第一阶段可以被称为预测编码并且可以包括以下的一项或多项：
[0060] 在所谓的样本预测中，预测某个图片区域或"块"中的像素值或样本值。例如，可 以使用以下方式中的一个或多个方式来预测这些像素或样本值：1)运动补偿机制（其还可 以被称为时间预测或运动补偿的时间预测），其涉及找到并指示先前编码的视频帧中的紧 密对应于被编码的块的一帧中的区域。2)视图间预测，其涉及找到并指示先前编码的视频 帧中的紧密对应于被编码的块的一帧中的区域。3)视图合成预测，其涉及将预测块或图像 区域进行合成，其中预测炔基于重建的/解码的测距信息来被导出。4)使用重建的/解码 的样本的层间预测，诸如所谓的SVC的IntraBL模式。5)帧内预测，其中像素值或样本值能 够通过涉及找到并指示空间区域关系的空间机制来预测。
[0061] 在还可以被称为参数预测的所谓的语法预测中，语法元素和/或从语法元素导出 的语法元素值和/或变量从较早编码（解码）的语法元素和/或较早导出的变量来被预测。 语法预测的非限制性示例是：1)在运动向量预测中，例如用于视图间和/或视图内预测的 运动向量可以与块特定的预测的运动向量不同的方式来被编码。在许多视频编解码器中， 预测的运动向量以预定义方式来被创建，例如通过计算相邻块的经编码或解码的运动向量 或相邻块的中值。创建运动向量预测的另一方式，有时被称为高级运动向量预测（AMVP)是 从时间参考图片中的相邻块和/或共同定位的块来生成候选预测的列表并将选出的候选 者作为运动向量预测符来进行信号传送。除了预测运动向量值，可以预测先前编码的/解 码的图片的参考索引。通常从时间参考图片中的相邻块和/或共同定位的块来预测参考索 弓丨。对运动向量的差分编码通常在切片边界上被禁用。2)可以预测例如从CTU到CU并且 直到PU的块分割。3)在滤波器参数预测中，可以预测例如针对样本自适应偏移的滤波参 数。
[0062] 对不同类型的预测进行分类的另一补充的方式是考虑预测跨哪些域或可分级性 类型交叉。该分类可以导致预测的以下类型中的一个或多个类型，有时其还可以被称为预 测方向：1)例如具有来自通常具有相同可分级性层、视图和分量类型（纹理或深度）的较 早图片的相同值或运动向量的时间预测。2)视图间预测（其还可以被称为交叉视图预测）， 涉及在通常具有相同时刻或接入单元和相同分量类型的视图分量之间进行的预测。3)层间 预测，涉及在通常具有相同时刻、相同分量类型以及相同视图的层之间进行的预测。4)分量 间预测可以被定义为包括对语法元素值、样本值、在解码过程中使用的变量值或从一种类 型的分量图片到另一类型的分量图片的任何类似物的预测。例如，分量间预测可以包括对 来自深度视图分量的纹理视图分量的预测，或者反之亦然。
[0063] 使用来自先前编码的图像的图像信息的预测方法还能够被称为帧间预测方法。帧 间预测可以有时被认为仅仅包括运动补偿的时间预测，同时其可以有时被认为包括所有类 型的预测，其中重建的/解码的样本块被用作预测源，因此包括例如常规视图间预测。帧间 预测可以被认为包括仅仅样本预测但是其可以备选地被认为包括样本预测和语法预测两 者。
[0064] 由于语法预测和样本预测，可以获得经预测的样本的像素块。
[0065] 可分级的视频编码是指其中一个比特流能够包含内容的以不同比特率、分辨率或 帧率的多个表示的编码结构。在这些情况下，接收器可以取决于其特性（例如，与显示设备 最好地匹配的分辨率）来提取期望的表示。备选地，服务器或网络元件可以取决于例如接 收器的网络特性或处理能力来提取要被传输到接收器的比特流的部分。可分级的比特流可 以包括提供可获得的最低质量视频的"基本层"和在与更低层一起被接收并解码时增强视 频质量的一个或多个增强层。为了改进增强层的编码效率，该层的编码表示可以取决于更 低层。例如，能够从更低层预测增强层的运动和模式信息。类似地，更低层的像素数据能够 被用于创建针对增强层的预测。
[0066] 针对质量可分级性（还被称为信噪比或SNR)和/或空间可分级性的可分级的视 频编解码器可以被实施如下。对于基本层，使用常规非可分级的视频编码器和解码器。基 本层的重建的/解码的图片被包括在用于增强层的参考图片缓冲器中。在H. 264/AVC、HEVC 以及使用参考图片列表以用于帧间预测的类似的编解码器中，基本层经解码的图片可以被 插入到用于对类似于增强层的经解码的参考图片的增强层图片的编码/解码的参考图片 列表中。因此，编码器可以选择基本层参考图片作为帧间预测参考并指示其在编码的比特 流中与参考图片索引一起使用。解码器从比特流、例如从参考图片索引解码出基本层图片 被用作针对增强层的帧间预测参考。当经解码的基本层图片被用作针对增强层的预测参考 时，其被称为层间参考图片。
[0067] 另一类型的可分级性是标准可分级性。在这种类型中，基本层和增强层属于不同 的视频编码标准。示例情况是其中基本层利用H. 264/AVC来被编码，然而增强层利用HEVC 来被编码。在该类型的可分级性后面的动机在于以这种方式，相同的比特流能够由遗留的 基于H. 264/AVC的系统以及新的基于HEVC的系统来解码。
[0068] 在包括H. 264/AVC和HEVC的许多视频编解码器中，利用与每个运动补偿的图像块 相关联的运动向量来指示运动信息。这些运动向量中的每个运动向量表示要（在编码器 侦D被编码或（在解码器侧）被解码的图片中的图像块和先前编码的或解码的图片中的一 个图片中的预测源块的位移。作为许多其他视频压缩标准的H. 264/AVC和HEVC将图片划 分成矩阵的网格，针对其中的每个针对帧间预测指示参考图片中的一个参考图片中的相似 块。预测块的位置被编码为运动向量，所述运动向量指示预测块相较于被编码的块的位置。
[0069] 为了有效地表示运动向量，那些可以相对于块特定的预测的运动向量被不同地编 码。在许多视频编解码器中，预测的运动向量可以以预定义方式来创建，例如通过计算相邻 块的经编码或解码的运动向量的中值。创建运动向量预测的另一方式，有时被称为高级运 动向量预测（AMVP)是从时间参考图片中的相邻块和/或共同定位的块来生成候选预测的 列表并将选出的候选者作为运动向量预测进行信号传送。
[0070] 许多编码标准允许使用多个参考图片以用于帧间预测。诸如H. 264/AVC和HEVC 的许多编码标准包括比特流中的语法结构，所述比特流使得解码器能够在多于一个参考图 片可以被使用时创建要在帧间预测中使用的一个或多个参考图片列表。参考图片列表的 参考图片索引可以用于指示多个参考图片中的哪个参考图片被用于针对特定块的帧间预 测。参考图片索引或识别参考图片的任何其他类似的信息可以因此与运动向量相关联或被 认为是运动向量的一部分。参考图片索引可以在一些帧间编码模式中由编码器编码到比特 流中或者其可以例如在一些其他帧间编码模式中使用邻近块（通过编码器和解码器）来导 出。在H. 264/AVC和HEVC的许多编码模式中，利用参考图片列表的索引来指示用于帧间预 测的参考图片。可以使用可变长度编码来编码索引，所述可变长度编码通常使较小的索引 来具有针对对应的语法元素的较短的值。在H. 264/AVC和HEVC中，针对每个双向预测（B) 切片生成两个参考图片列表（参考图片列表0和参考图片列表1)，并且针对每个帧间编码 的（P)切片来形成一个参考图片列表（参考图片列表0)。另外，对于HEVC标准草案中的B 切片，组合的列表（列表C)可以在已经构建了最终的参考图片列表（列表0和列表1)之 后被构建。组合的列表可以被用于B切片内的单预测（还称为单向预测）。
[0071] 例如，AMVP可以如下来操作，同时还有可能利用不同的候选位置集合和具有候选 位置集合的候选位置来进行对AMVP的其他类似的实现。可以导出两个空间运动向量预测 器（MVP)并且可以导出时间运动向量预测符（TMVP)。例如，它们可以如下来被选择：位于当 前预测块以上的三个空间MVP候选位置（B0、B1、B2)以及左边的两个（A0、A1)。以每个候 选位置集合的预定义顺序可用的（例如，驻留在相同切片中、被帧间编码的，等等）第一运 动向量预测符（BO、BI、B2)或（AO、Al)可以被选择为表示运动向量竞争中的预测方向（向 上或向左）。针对TMVP的参考索引可以在切片头中由编码器指示（例如，如collocated_ ref_idX语法元素）。从共同定位的图片获得的运动向量可以根据TMVP的参考图片、共同 定位的图片以及当前图片的图片序号差的比例被缩放。此外，冗余校验可以在候选者之中 被执行以去除相同的候选者，其能够导致零MV被包括在候选列表中。运动向量指示符可以 例如通过指示空间MVP(向上或向左）的方向或TMVP候选者的选择而在比特流中被指示。
[0072] 除了预测运动向量值，能够预测先前编码/解码的图片的参考索引。参考索引可 以从相邻块和/或从时间参考图片中的共同定位的块来预测。
[0073] 此外，许多高效的视频编解码器采用附加的运动信息编码/解码机制，通常被称 为合并/归并模式，其中，包括针对每个可用的参考图片列表的运动向量和对应的参考图 片索引的所有运动场信息被预测并且在没有任何修改/校正的情况下被使用。类似地，使 用时间参考图片中的相邻块和/或共同定位的块的运动场信息来执行对运动场信息的预 测，并且使用的运动场信息在填充有可用向量块/共同定位的块的运动场信息的运动场候 选列表的列表之中被信号传送。
[0074] 在合并模式中，块/HJ的所有运动信息可以被预测并且在没有任何修改/校正的 情况下被使用。针对PU的前述运动信息可以包括：1) "HJ是仅使用参考图片列表0被单 预测的"、还是"PU是仅使用参考图片列表1被单预测的"或是"PU是使用参考图片列表0 和列表1两者被双预测的"的信息；2)对应于参考图片列表0的运动向量值；3)参考图片 列表0中的参考图片索引；4)对应于参考图片列表1的运动向量值；5)参考图片列表1中 的参考图片索引。
[0075] 类似地，使用时间参考图片中的相邻块和/或共同定位的块的运动场信息来实现 对运动场信息的预测。通常，常被称为合并列表的列表通过包括与可用向量块/共同定位 的块相关联的运动预测候选者来构建并且所选择的运动预测候选者在列表中的索引被信 号传送。之后，所选择的候选者的运动信息被复制到当前PU的运动信息。当合并机制被用 于整个CU并且针对CU的预测信号被用作重建信号时，即预测残差未被处理时，这种类型的 对CU的编码/解码通常被称为跳跃模式或基于合并的跳跃模式。除了跳跃模式，合并机制 还被用于单个PU (不一定是如跳跃模式中的整个CU)并且在这种情况下，可以利用预测残 差来改进预测质量。这种类型的预测模式可以被称为合并间（inter-merge)模式。
[0076] 在跟随有添加反变换的残差的运动补偿之后，获得重建图片。该图片可以具有各 种伪影，诸如块效应、振铃等。为了消除伪影，各种后处理操作被应用。如果经后处理的图 片被用作运动补偿环路中的参考，则后处理操作/滤波器通常被称为环路滤波器。通过采 用环路滤波器，参考图片的质量提高。因此，能够实现更好的编码效率。
[0077] 环路滤波器之一是去块效应滤波器。去块效应滤波器在H. 264/AVC和HEVC标准 两者中可用。去块效应滤波器的目的在于去除出现在块的边界中的块效应伪影。这通过沿 着块边界滤波来实现。
[0078] 在HEVC中，引入了两种新的环路滤波器，即，样本自适应偏移（SAO)和自适应环路 滤波器（ALF)。SAO在去块效应滤波之后被应用而ALF在SAO之后被应用。
[0079] 下文是对在最新的HEVC标准规范中出现的SAO算法的描述。在SAO中，图片被划 分成区域，其中针对每个区域做出单独的SAO决策。区域中的SAO信息被封装在SAO参数 适配单元（SA0单元）中，并且在HEVC中，用于适配SAO参数的基本单元是CTU(因此，SAO 区域是由对应的CTU覆盖的块）。
[0080] 在SAO算法中，CTU中的样本根据规则集被分类并且每个经分类的样本的集合通 过添加偏移值而被增强。偏移值在比特流中被信号传送。存在两种类型的偏移：1)带状偏 移2)边缘偏移。对于CTU，没有SAO或带状偏移或边缘偏移被采用。是否没有SAO或带状 偏移或边缘偏移被使用的选择通常由具有RDO的编码器来决定并且被信号传送到解码器。
[0081] 在带状偏移中，整个范围的采样值被划分成32个等宽度的带。例如，对于8比特 样本，带的宽度是8 ( = 256/32)。在32个带中的4个带被选择并且针对所选择的带中的每 个带来信号传送不同的偏移。选择决策由编码器做出并且如下被信号传送：第一个带的索 引被信号通知并且之后推测随后的4个带是选定的带。带状偏移可以在对平滑区域中的误 差进行校正时是有用的。
[0082] 在边缘偏移类型中，首先，边缘偏移（EO)类型从四个可能的类型（或边缘分类） 中被选出，其中每个类型与方向相关联：1)垂直；2)水平；3) 135度对角；以及4) 45度对角。 方向的选择由编码器给出并被信号传送到解码器。每种类型基于角度针对给定样本定义两 个邻近样本的位置。之后，CTU中的每个样本基于针对两个邻近样本的值的样本值的比较 而被分类到五个种类之一。五个种类被描述如下：1)当前样本值小于两个邻近样本；2)当 前样本值小于邻居中的一个邻居并且等于其他邻居；3)当前样本值大于邻居中的一个邻 居并且等于其他邻居；4)当前样本值大于两个邻近样本；5)以上都不是。
[0083] 这五个种类不要求被信号传送到解码器，因为分类仅仅基于重建样本，所述重建 样本在编码器和解码器两者中是可用并且相同的。在边缘偏移类型CTU中的每个样本被分 类为五个种类之一后，针对头四个种类中的每个的偏移值被确定并被信号传送到解码器。 针对每个种类的偏移被添加到与对应的种类相关联的样本值。边缘偏移可以在对振铃伪影 进行校正时是有效的。
[0084] SAO参数被信号传送为被交错在CTU数据中。在CTU上面，切片头含有指定是否要 在切片中使用SAO的语法元素。如果使用SA0,则两个附加的语法元素指定SAO是否被应用 到Cb和Cr分量。对于每个CTU，存在三个选项：1)复制来自左边CTU的SAO参数2)复制 来自上边CTU的SAO参数或者3)信号传送新的SAO参数。
[0085] 自适应环路滤波器（ALF)是增强重建样本的质量的另一方法。这通过在环路中对 样本值进行滤波来实现。通常，编码器确定图片中的哪个区域要被滤波和基于RDO的滤波 器系数并且该信息被信号传送到解码器。
[0086] 在HEVC标准草案中，经编码的切片NAL单元能够被指示为以下类型之一。
[0087]
[0089] 在HEVC标准草案中，图片类型的缩写可以被定义如下：追随（TRAIL)图片，时间子 层接入（TSA)、步进式时间子层接入（TSA)、随机接入可解码引导（RADL)图片、随机接入跳 跃的引导（RASL)图片、失效链接接入（BLA)图片、瞬时解码刷新（IDR)图片、空白随机接入 (CRA)图片。
[0090] 随机接入点（RAP)图片是其中每个切片或切片分段具有在16到23的范围中包括 16和23的nal_unit_type的图片。RAP图片含有仅仅帧内编码的切片，并且可以是BLA图 片、CRA图片或IDR图片。比特流中的第一个图片是RAP图片。假设在必要的参数集需要 被激活时其是可用的，则RAP图片和在解码顺序中的所有随后的非RASL图片能够在没有执 行对在解码顺序中在RAP图片前面的任何图片的解码过程的情况下被正确地校正。在比特 流中可以存在仅含有不是RAP图片的帧内编码的切片的图片。
[0091] 在HEVC中，CRA图片在解码顺序中是比特流中的第一个图片，或者可以稍后出现