有限脉冲响应（FIR)过滤器来获得分数像素方位中的样本值。
[0134] 针对帔间预测的块分割。许多编码标准，包含H. 264/AVC和HEVC，允许选择块的大 小和形状（针对该块的大小和形状，运动向量被应用于编码器中的运动补偿预测），以及在 比特流中指示所选择的大小和形状，以便解码器能够重现在该编码器中进行的运动补偿预 测。
[0135] 针对帔间预测的参考图像的数量。帧间预测的源是先前解码图像。许多编码标 准，包含H. 264/AVC和HEVC，使得能够存储针对帧间预测的多个参考图像以及以块为基础 选择所使用的参考图像。例如，在H. 264/AVC中可以以宏块或宏块分割为基础来选择参考 图像，以及在HEVC中以PU或⑶为基础来选择参考图像。许多编码标准，诸如H. 264/AVC 和HEVC，在比特流中包含语法结构，该语法结构使得解码器能够创建一个或多个参考图像 列表。针对参考图像列表的参考图像索引可以用于指不多个参考图像中的哪个参考图像用 于针对特定块的帧间预测。在一些帧间编码模式中，可以由编码器将参考图像索引编码到 比特流中，或在一些情况帧间编码模式中，可以例如使用邻居块（通过编码器和解码器）来 导出参考图像索引。
[0136] 运动向量预测。为了在比特流中高效地表示运动向量，可以关于块特定的预测运 动向量来区分地对运动向量进行编码。在许多视频编解码器中，以预定义的方式，例如通过 计算相邻的块的编码或解码运动向量的中间值，来创建预测的运动向量。创建运动向量预 测的另一种方式，有时被称为高级运动向量预测（AMVP)，是从时间参考图像中的相邻块和 /或共位块生成候选预测列表以及通过信号传送所选择的候选作为运动向量预测器。除了 预测运动向量值之外，能够预测先前编码/解码的图像的参考索引。可以例如从时间参考 图像中的相邻块和/或共位块来预测参考索引。可以跨越片的边界禁用运动向量的区分编 码。
[0137] 多假设运动补偿预测I。H. 264/AVC和HEVC使得在P片（本申请中被称为单向预 测片）中能够使用单个预测块，或针对双向预测片能够使用两个运动补偿预测块的线性组 合，双向预测片还被称为B片。在B片中的个体块可以是双向预测的、单向预测的或帧内预 测的，以及在P片中的个体块可以是单向预测的或帧内预测的。针对双向预测图像的参考 图像可以不局限于是在输出顺序中的随后图像和先前图像，而是相反可以使用任何参考图 像。在许多编码标准中，诸如H. 264/AVC和HEVC，针对P片构建一个参考图像列表，还被称 为参考图像列表〇,以及针对B片构建两个参考图像列表，列表0和列表1。对于B片，在前 向方向中的预测可以参考来自参考图像列表〇中的参考图像的预测，以及在后向方向中的 预测可以参考来自参考图像列表1中的参考图像，即使用于预测的参考图像可以具有与彼 此或与当前图像有关的任何解码或输出顺序。
[0138] 加权预测。许多编码标准针对帧间(P)图像的预测块使用1的预测权重，以及针 对B图像的每个预测块使用0. 5的预测权重（导致取平均）。H. 264/AVC允许针对P和B 片两者的加权预测。在隐式的加权预测中，权重与图像顺序计数（POC)成比例，尽管在显式 加权预测中，显式地指示预测权重。
[0139] 在许多视频编解码器中，在运动补偿后的预测残差首先使用变换内核（如DCT)被 变换以及接着被编码。针对这个的原因在于在残差之间常常仍然存在一些相关，以及在许 多情况下，变换能够有助于降低这种相关以及提供更高效的编码。
[0140] 在草案HEVC中，每个PU具有与它相关联的预测信息，该预测信息定义什么类型的 预测将被应用于该PU内的像素（例如，针对帧间预测的的运动向量信息，以及针对帧内 预测的PU的帧内预测方向性信息）。类似地，每个TU与描述针对该TU内的样本的预测误 差解码过程的信息（包含例如DCT系数信息）相关联。可以在CU级通过信号传送预测误 差编码是否应用于每个⑶。在没有与该⑶相关联的预测误差残差的情况下，能够认为没有 针对⑶的TU。
[0141] 在一些编码格式和编解码器中，在所谓的短期和长期参考图像之间进行区分。这 个区分可以影响一些解码过程，诸如在时间直接模式中的运动向量伸缩或隐式加权预测。 如果用于时间直接模式的参考图像中的两个参考图像是短期参考图像，则可以根据当前图 像和参考图像中的每个参考图像之间的图像顺序计数差异，来伸缩在预测中使用的运动向 量。然而，如果针对时间直接模式的至少一个参考图像是长期参考图像，则可以使用运动向 量的默认伸缩，例如可以使用将该运动伸缩到一半。类似地，如果短期参考图像用于隐式加 权预测，则可以根据当前图像的POC和参考图像的POC之间的POC差异来伸缩预测权重。然 而，如果长期参考图像用于隐式加权预测，则可以使用默认的预测权重，诸如在针对双向预 测块的隐式加权预测中的0. 5。
[0142] -些视频编码格式，诸如H. 264/AVC，包含frame_num语法元素，其用于与多个参 考图像有关的各种解码过程。在H. 264/AVC中，针对IDR图像的frame_num的值是0。针对 非IDR图像的frame_num的值等于在解码顺序中先前参考图像的frame_num加1 (在模运 算中，即在frame_num的最大值后，frame_num的值绕回到0)。
[0143] H. 264/AVC指定针对解码参考图像标记的过程，以便控制解码器中的存储器消耗。 在序列参数集中确定用于帧间预测的参考图像的最大号码，还被称为M。当对参考图像进行 解码时，它被标记为"用于参考"。如果参考图像的解码导致超过M个图像被标记为"用于参 考"，则至少一个图像被标记为"不用于参考"。存在用于解码参考图像标记的两种类型的操 作：自适应存储器控制和滑动窗口。以图像为基础来选择针对解码参考图像标记的操作模 式。自适应存储器控制使得能够明确地通过信号传送哪些图像被标记为"不用于参考"，以 及还可以将长期索引指配给短期参考图像。自适应存储器控制可以要求在比特流中存在存 储器管理控制操作（MMCO)参数。可以将MMCO参数包含在解码参考图像标记语法结构中。 如果滑动窗口操作模式处于使用中，以及有M个图像被标记为"用于参考"，则在被标记为 "用于参考"的那些短期参考图像之中是第一解码图像的短期参考图像被标记为"不用于参 考"。也就是说，滑动窗口操作模式导致在短期参考图像中的先进先出缓冲操作。
[0144] 在H. 264/AVC中的其中一种存储器管理控制操作使得所有参考图像（除了当前的 图像之外）被标记为"不用于参考"。瞬时解码刷新（IDR)图像含有仅帧内编码片以及导致 参考图像的类似"重置"。
[0145] 在草案HEVC中，出于类似的目的，已经使用参考图像集（RPS)语法结构和解码 过程来替换参考图像标记语法结构和有关的解码过程。针对图像有效或活动的参考图 像集包含用作针对该图像的参考的所有参考图像，以及保持被标记为针对解码顺序中 的任何随后图像的"用于参考"的所有参考图像。存在参考图像集的六个子集，它们被 称为 RefPicSetStCurrO、RefPicSetStCurrl、RefPicSetStFol 10、RefPicSetStFolll、 RefPicSetLtCurr和RefPicSetLtFoll。这六个子集的注释如下。"Curr"指的是被包含 在当前图像的参考图像列表中的参考图像，以及因此可以用作针对当前图像的帧间预测参 考。"Foil"指的是没有被包含在当前图像的参考图像列表中的参考图像，但是可以在解码 顺序中在随后的图像中用作参考图像。"St"指的是短期参考图像，一般可以通过它们的POC 值的最低有效位的某一数字来标识短期参考图像。"Lt"指的是长期参考图像，长期参考图 像被特定的标识以及一般具有比能够由提及的最低有效位的某一数字所表示的POC值的 差异更大的相对于当前图像的POC值的差异。"0"指的是具有比当前图像的POC值更小的 POC值的哪些参考图像。" 1"指的是具有比当前图像的POC值更大的POC值的哪些参考图 像。RefPicSetStCurrO、RefPicSetStCurrl、RefPicSetStFollO 和 RefPicSetStFom 统称 为参考图像集的短期子集。RefPicSetLtCurr和RefPicSetLtFoll统称为参考图像集的长 期子集。
[0146] 在HEVC中，参考图像集可以在图像参数集中被指定以及通过至参考图像集的索 引在片头部中投入使用。参考图像集还可以在片头部中被指定。参考图像集的长期子集 一般仅在片头部中被指定，而相同参考图像集的短期子集可以在图像参数集或片头部中被 指定。参考图像集可以被独立地编码或可以从另一个参考图像集（被称为RPS间预测） 来预测。当参考图像集被独立地编码时，语法结构包含：在三种类型的参考图像上迭代 的至多三个环路；具有比当前图像低的POC值的短期参考图像，具有比当前图像高的POC 值的短期参考图像，以及长期参考图像。每个环路条目指定将被标记为"用于参考"的图 像。一般地，该图像被指定为具有不同的POC值。RPS间预测利用的事实是，当前图像的 参考图像集能够从先前解码的图像的参考图像集来预测。这是因为当前图像的所有参考 图像是先前图像的参考图像或是先前解码的图像本身。仅需要指示这些图像中的哪些图 像应当是参考图像以及用于当前图像的预测。在两种类型的参考图像集编码中，针对每个 参考图像另外地发送标志（used_by_curr_pic_X_flag)，该标志指示该参考图像是由当前 图像用于参考（被包含在*Curr列表中）还是不由当前图像用于参考（被包含在*Foll 列表中）。被包含在由当前片使用的参考图像集的图像被标记为"用于参考"，以及没有 在由当前片使用的参考图像集中的图像被标记为"不用于参考"。如果当前图像是IDR图 像，则 RefPicSetStCurrO、RefPicSetStCurrl、RefPicSetStFollO、RefPicSetStFolll、 RefPicSetLtCurr 和 RefPicSetLtFoll 全被设置为空。
[0147] 解码图像缓冲器（DPB)可以在编码器中和/或在解码器中使用。有两个原因来缓 冲解码的图像，用于在帧间预测中的参考以及用于将解码图像重新排序到输出顺序中。因 为H. 264/AVC和HEVC提供针对参考图像标记和输出重新排序两者的更大的灵活性，因此针 对参考图像缓冲和输出图像缓冲的各自的缓冲器可能浪费存储器资源。因此，DPB可以包 含：针对参考图像和输出重新排序的统一的解码图像缓冲过程。当解码图像不再用作参考 以及对于输出而言不需要时，可以从DPB移除解码图像。
[0148] 在H. 264/AVC和HEVC的许多编码模式中，使用至参考图像列表的索引来指示针对 帧间预测的参考图像。可以使用CABAC和可变长度编码来编码该索引。一般地，索引越小， 则对应的语法元素可以变得更短。在H.264/AVC和HEVC中，针对每个双向预测（B)片生成 两个参考图像列表（参考图像列表〇和参考图像列表1)，以及针对每个帧间编码（P)片形 成一个参考图像列表（参考图像列表0)。另外，针对在草案HEVC标准中的B片，在已经构 建了最终的参考图像列表（列表0和列表1)之后可以构建组合列表（列表C)。该组合列 表能够用于B片内的单向预测（还被称为单一方向预测）。
[0149] 可以在两个步骤中构建参考图像列表，诸如参考图像列表0和参考图像列表：首 先，生成初始参考图像列表。可以例如以frame_num、POC、temporal_id或关于预测层级（诸 如GOP结构）的信息或它们的任何组合为基础，来生成该初始参考图像列表。第二，可以通 过图像列表重新排序（RPLR)命令（还被称为参考图像列表修改语法结构，其可以被含有在 片头部中）来重新排序初始参考图像列表。RPLR命令指示被排序到各自参考图像列表的开 始的图像。这个第二步骤还可以被称为参考图像列表修改过程，以及RPLR命令可以被包含 在参考图像列表修改语法结构中。如果使用参考图像集，则参考图像列表〇可以被初始化 以首先含有 RefPicSetStCurrO,由 RefPicSetStCurrl 跟随，由 RefPicSetLtCurr 跟随。参 考图像列表1可以被初始化以首先含有RefPicSetStCurrl，由RefPicSetStCurrO跟随。可 以通过参考图像列表修改语法结构来修改初始参考图像列表，其中可以通过至该列表的条 目索引来标识在初始参考图像列表中的图像。
[0150] 因为多视角视频提供编码器和解码器使用视角间冗余的可能性，因此，解码的视 角间的帧也可以被包含在参考图像列表（多个）中。
[0151] 可以如下来构建在HEVC中的组合列表。如果针对该组合列表的修改标志是零，则 通过隐式机制来构建该组合列表；否则通过被包含在比特流中的参考图像组合命令来构建 它。在隐式机制中，以从列表0的第一条目开始，由列表1的第一条目跟随以及诸如此类的 交织的方式，将在列表C中的参考图像映射到来自列表0和列表1的参考图像。不再次映 射在列表C中已经被映射的任何参考图像。在显式机制中，通过信号传送在列表C的条目 的数量，由从列表0中的条目至列表C的每个条目的映射跟随。另外，当列表0和列表1是 相同的时，编码器具有以下选项：将ref_pic_list_combination_flag设置为0以指示没有 来自列表1的参考图像被映射，以及列表C等同于列表0。
[0152] 许多高效视频编解码器（诸如草案HEVC编解码器）使用另外的运动信息编码/解 码机制，常常被称为合并/合并模式/过程/机制，其中不使用任何修改/校正来预测和使 用块/PU的所有运动信息。针对的上述运动信息可以包括：1) 'PU是使用仅参考图像列 表0单向预测'还是'PU是使用仅参考图像列表1单向预测'还是Φυ是使用参考图像列表 0和列表1两者的双向预测'的信息；2)对应于参考图像列表0的运动向量值；3)在参考图 像列表0中的参考图像索引；4)对应于参考图像列表1的运动向量值；以及5)在参考图像 列表1中的参考图像索引。类似地，使用在时间参考图像中的相邻块和/或共位块的运动信 息来执行预测运动信息。可以通过包含与可以使用的相邻/共位块相关联的的运动预测候 选来构建通常被称为合并列表的列表，以及通过信号传送在该列表中的选择的预定预测候 选的索引，以及将所选择的候选的运动信息复制到当前PU的运动信息。当针对整个CU使 用合并机制时，针对该CU的预测信号用作重建信号，即不处理预测残差，对CU进行这种类 型的编码/解码典型地被称为跳过模式或基于合并的跳过模式。除了跳过模式之外，也可 以针对个体PU(不必是如在跳过模式中的整个⑶）使用合并机制，以及在这种情况下，预测 残差能够用于改进预测质量。这种类型的预测模式典型地被称为合并间模式（inter-merge mode)〇
[0153] 可以例如使用被包含在片头部语法中的参考图像列表组合语法结构，基于参考图 像列表0和/或参考图像列表1来生成合并列表。可以存在参考图像列表组合语法结构， 由编码器将该图像列表组合语法结构创建到比特流中以及由解码器从该比特流将该图像 列表组合语法结构进行解码，图像列表组合语法结构指示合并列表的内容。该语法结构可 以指示的是，参考图像列表〇和参考图像列表1被组合成用于正在被单一方向预测的预测 单元的另外的参考图像列表组合。该语法结构可以包含标志，当该标志等于某一值时，该标 志指示的是，参考图像列表0和参考图像列表1是相同的，因此参考图像列表0用作参考图 像列表组合。该语法结构可以包含：条目的列表，每个条目指定参考图像列表（列表0和列 表1)以及至指定的列表的参考索引，其中条目指定将被包含在合并列表中的参考图像。
[0154] 针对（解码的）参考图像标记的语法结构可以存在于视频编码系统中。例如，当已 经完成图像的解码时，解码的参考图像标记语法结构（如果存在）可以用于自适应地将图 像标记为"不用于参考"或"用于长期参考"。如果解码的参考图像标记语法结构不存在，以 及被标记为"用于参考"的图像的数量不能再增加，则可以使用滑动窗口参考图像标记，滑 动窗口参考图像标记基本上将最早的（在解码顺序中）解码参考图像标记为不用于参考。
[0155] 在可伸缩视频编码中，能够将视频信号编码到基础层和一个或多个增强层中。增 强层可以增强由另一个层或其部分表示的视频内容的时间分辨率（例如，帧速率）、空间分 辨率或仅质量。每个层连同所有它的依赖层是以某一空间分辨率、时间分辨率和质量等级 的视频信号的一种表示。在这个文档中，本发明人将可伸缩层连同所述它的依赖层称为"可 伸缩层表示"。对应于可伸缩层表示的可伸缩比特流的一部分能够被提取和解码以产生以 某一保真度的原始信号的表示。
[0156] SVC使用层间预测机制，其中能够从不同于当前重建层或下一个较低层的层来预 测某些信息。能够被层间预测的信息包含：内部纹理、运动和残差数据。层间运动预测包 含：块编码模式的预测、头部信息等，其中来自较低层的运动可以用于较高层的预测。在帧 内编码的情况下，来自周围宏块或来自较低层的共位宏块的预测是可能的。这些预测技术 不使用来自较早编码访问单元的信息，以及因此被称为帧内预测技术。此外，来自较低层的 残差数据也能够用于当前层的预测。
[0157] 如较早指出的，MVC是H. 264/AVC的扩展。H. 264/AVC的许多定义、构思、语法结构、 语义和解码过程也同样地或具有某些一般化或约束应用于MVC。在以下描述MVC的一些定 义、构思、语法结构、语义和解码过程。
[0158] 在MVC中的访问单元被定义为NAL单元的集合，该NAL单元在解码的顺序中是连 续的以及含有恰好一个基本编码图像，该基本编码图像由一个或多个视图成分组成。除了 基本编码图像之外，访问单元还可以含有一个