用于视频编码的方法和装置的制造方法
【技术领域】
[0001] 本发明一般涉及用于视频编码和解码的装置、方法和计算机程序。
【背景技术】
[0002] 这部分旨在提供在权利要求书中陈述的本发明的背景或上下文。此处的描述可以 包含可以被追求的构思，但其不是必须是先前已设想或追求的构思。因此，除非此处另外指 出，否则这部分所述的内容不是本申请中的说明书和权利要求书的现有技术，并且不通过 包含在这部分中而承认其为现有技术。
[0003] 视频编码系统可以包括：编码器，其将输入视频变换为适合于存储/传输的压缩 表示，以及解码器，其能够将被压缩的视频表示解压缩回到能够观看的形式。编码器可以丢 弃原始视频序列中的一些信息，以便以更加紧凑的形式来表示该视频，例如，以使得能够以 比以其他方式可能需要的比特率更低的比特率来存储/传输该视频信息。
[0004] 当前正在探讨和开发用于提供三维（3D)视频内容的各种技术。特别地，密集的研 究已经集中在各种多视角（multiview)应用上，其中观看者从特定的视点能够看到仅一对 立体视频，以及从不同的视点看到另一对立体视频。针对此类多视角应用的其中一个最可 行的方法已经被证明是这样的，其中仅有限数量的输入视图，例如单一（mono)或立体视频 加上一些补充数据，被提供给解码器侧，以及所有要求的视图于是由该解码器本地地渲染 (即合成）以在显示器上显示。
[0005] -些视频编码标准引入了片层以及以下层处的头部，以及在片层之上的层处的参 数的构思。参数集的实例可以包含：所有图像、图像组（GOP)以及序列级数据，诸如图像大 小、显示窗口、使用的可选的编码模式、宏块分配图以及其它。每个参数集实例可以包含：唯 一的标识符。每个片层头部可以包含：至参数集标识符的引用，以及当解码该片时，可以使 用所引用的参数集的参数值。参数集使得不频繁变化的图像，GOP以及来自序列，GOP和图 像边界的序列级的数据的传输和解码顺序解耦合。能够使用可靠的传输协议在带外来传送 参数集，只要在它们被引用之前将它们解码。如果在带内来传送参数集，则与传统视频编码 方案相比，它们能够被重复多次以改进容错。可以在会话建立时间来传送这些参数集。然 而，在一些系统中，主要是广播系统，参数集的可靠的带外传输可能是不可行的，而是在参 数集NAL单元中在带内来运送参数集。
【发明内容】
[0006] 根据本发明的一些示例实施例，提供了用于以合并模式提供时间运动向量预测器 (predictor)的参考索引的方法、装置和计算机程序产品。可以例如在片头部中明确地通过 信号传送该参考索引。以这种方式，能够使用时间运动向量预测，即使在等于〇的参考索引 处的图像将避免时间运动向量预测的导出。
[0007] 在权利要求书中阐述了本发明的示例的各种方面。
[0008] 根据本发明的第一方面，提供了一种方法，所述方法包括：
[0009] 在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
[0010] 将在所述列表中的每个预测参考候选与参考索引相关联；
[0011] 选择针对运动向量预测的预测参考候选；
[0012] 在片级别或更高级别处在语法元素中提供与所选择的预测参考候选相关联的参 考索引。
[0013] 根据本发明的第二方面，提供了一种方法，所述方法包括：
[0014] 在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
[0015] 将在所述列表中的每个预测参考候选与参考索引相关联；
[0016] 通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选作为 在对所述图像进行编码中的预测参考。
[0017] 根据本发明的第三方面，提供了一种装置，所述装置包括至少一个处理器和包含 计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为 使用所述至少一个处理器使得所述装置：
[0018] 在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
[0019] 将在所述列表中的每个预测参考候选与参考索引相关联；
[0020] 选择针对运动向量预测的预测参考候选；
[0021] 在片级别或更高级别处在语法元素中提供与所选择的预测参考候选相关联的参 考索引。
[0022] 根据本发明的第四方面，提供了一种装置，所述装置包含至少一个处理器和包含 计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为 使用所述至少一个处理器使得所述装置：
[0023] 在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
[0024] 将在所述列表中的每个预测参考候选与参考索引相关联；
[0025] 通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选作为 在对所述图像进行编码中的预测参考。
[0026] 根据本发明的第五方面，提供了一种计算机程序产品，所述计算机程序产品包含 一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一 个或多个序列时，所述一个或多个指令的一个或多个序列使得装置至少执行以下：
[0027] 在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
[0028] 将在所述列表中的每个预测参考候选与参考索引相关联；
[0029] 选择针对运动向量预测的预测参考候选；
[0030] 在片级别或更高级别处在语法元素中提供与所选择的预测参考候选相关联的参 考索引。
[0031] 根据本发明的第六方面，提供了一种计算机程序产品，所述计算机程序产品包含 一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一 个或多个序列时，所述一个或多个指令的一个或多个序列使得装置至少执行以下：
[0032] 在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
[0033] 将在所述列表中的每个预测参考候选与参考索引相关联；
[0034] 通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选作为 在对所述图像进行编码中的预测参考。
[0035] 根据本发明的第七方面，提供了一种装置，所述装置包括：
[0036] 用于在一个或多个参考图像中确定针对图像的片的预测参考候选的列表的构 件；
[0037] 用于将在所述列表中的每个预测参考候选与参考索引相关联的构件；
[0038] 用于选择针对运动向量预测的预测参考候选的构件；
[0039] 用于在片级别或更高级别处在语法元素中提供与所选择的预测参考候选相关联 的参考索引的构件。
[0040] 根据本发明的第八方面，提供了一种装置，所述装置包括：
[0041] 用于在一个或多个参考图像中确定针对图像的片的预测参考候选的列表的构 件；
[0042] 用于将在所述列表中的每个预测参考候选与参考索引相关联的构件；
[0043] 用于通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选 作为在对所述图像进行编码中的预测参考的构件。
[0044] 根据本发明的第九方面，提供了一种方法，所述方法包括：
[0045] 在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
[0046] 将在所述列表中的每个预测参考候选与参考索引相关联；
[0047] 接收语法元素，所述语法元素包含指示在编码中用于运动向量预测的预测参考候 选的参考索引；
[0048] 使用所述参考索引以选择用于解码所述片的预测参考。
[0049] 根据本发明的第十方面，提供了一种方法，所述方法包括：
[0050] 在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
[0051] 将在所述列表中的每个预测参考候选与参考索引相关联；
[0052] 通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选作为 在对所述图像进行解码中的预测参考。
[0053] 根据本发明的第十一方面，提供了一种装置，所述装置包含至少一个处理器和包 含计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置 为使用所述至少一个处理器使得所述装置：
[0054] 在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
[0055] 将在所述列表中的每个预测参考候选与参考索引相关联；
[0056] 接收语法元素，所述语法元素包含指示在编码中用于运动向量预测的预测参考候 选的参考索引；
[0057] 使用所述参考索引以选择用于解码所述片的预测参考。
[0058] 根据本发明的第十二方面，提供了一种装置，所述装置包含至少一个处理器和包 含计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置 为使用所述至少一个处理器使得所述装置：
[0059] 在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
[0060] 将在所述列表中的每个预测参考候选与参考索引相关联；
[0061] 通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选作为 在对所述图像进行解码中的预测参考。
[0062] 根据本发明的第十三方面，提供了一种计算机程序产品，所述计算机程序产品包 含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的 一个或多个序列时，所述一个或多个指令的一个或多个序列使得装置至少执行以下：
[0063] 在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
[0064] 将在所述列表中的每个预测参考候选与参考索引相关联；
[0065] 接收语法元素，所述语法元素包含指示在编码中用于运动向量预测的预测参考候 选的参考索引；
[0066] 使用所述参考索引以选择用于解码所述片的预测参考。
[0067] 根据本发明的第十四方面，提供了一种计算机程序产品，所述计算机程序产品包 含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的 一个或多个序列时，所述一个或多个指令的一个或多个序列使得装置至少执行以下：
[0068] 在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
[0069] 将在所述列表中的每个预测参考候选与参考索引相关联；
[0070] 通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选作为 在对所述图像进行解码中的预测参考。
[0071] 根据本发明的第十五方面，提供了一种装置，所述装置包括：
[0072] 用于在一个或多个参考图像中确定针对图像的片的预测参考候选的列表的构 件；
[0073] 用于将在所述列表中的每个预测参考候选与参考索引相关联的构件；
[0074] 用于接收语法元素的构件，所述语法元素包含指示在解码中用于运动向量预测的 预测参考候选的参考索引；
[0075] 用于使用所述参考索引以选择用于解码所述片的预测参考的构件。
[0076] 根据本发明的第十六方面，提供了一种装置，所述装置包括：
[0077] 用于在一个或多个参考图像中确定针对图像的片的预测参考候选的列表的构 件；
[0078] 用于将在所述列表中的每个预测参考候选与参考索引相关联的构件；
[0079] 用于通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选 作为在对所述图像进行解码中的预测参考的构件。
【附图说明】
[0080] 为了完全理解本发明的示例实施例，现在参照结合附图的以下描述，在附图中：
[0081] 图1示出了根据示例实施例的视频编码系统的框图；
[0082] 图2示出了根据示例实施例的用于视频编码的装置；
[0083] 图3示出了根据示例实施例的用于视频编码的布置，该布置包括多个装置、网络 和网络元素；以及
[0084] 图4a示意性地示出了如被并入在编码器内的本发明的实施例；
[0085] 图4b示意性地示出了根据本发明的一些实施例的预测参考列表生成和修改的实 施例；
[0086] 图5a示出了在合并模式中选择参考索引的方法的实施例的高级流程图；
[0087] 图5b示出了在合并模式中编码选择的参考索引的方法的实施例的高级流程图；
[0088] 图6a说明了预测单元的空间和时间预测的示例；
[0089] 图6b说明了预测单元的空间和时间预测的另一个示例；
[0090] 图7示意性地示出了如被并入在解码器内的本发明的实施例；以及
[0091] 图8说明了编码单元的示例和编码单元的一些邻居块；以及
[0092] 图9示出了在合并模式中由解码器接收参考索引的方法的实施例的高级流程图。
【具体实施方式】
[0093] 在以下，将在一种视频编码设施的上下文中描述本发明的若干实施例。然而，注意 的是，本发明不局限于这种特定布置。实际上，在要求改进参考图像处理的任何环境中，不 同实施例具有广阔的应用。例如，本发明可以应用于视频编码系统，如流式传输系统、DVD播 放器、数字电视接收器、个人视频记录器、在个人计算机上的系统和计算机程序、手持型计 算机和通信设备以及网络元素，诸如处理视频数据的转码器和云计算设施。
[0094] H. 264/AVC标准由国际电信联盟（ITU-T)的电信标准化部门的视频编码专家组 (VCEG)的联合视频组（JVT)和国际标准化组织（ISO) /国际电工委员会（IEC)的运动图像 专家组来开发。H. 264/AVC标准由这两个母标准化组织来发布，以及它被称为ITU-T建议 H. 264和IS0/IEC国际标准14496-10,还被称为MPEG-4部分10高级视频编码（AVC)。已经 有多种版本的H. 264/AVC标准，每个版本的H. 264/AVC标准将新的扩展或特征集成到规范 中。这些扩展包含：可伸缩视频编码（SVC)和多视角视频编码（MVC)。
[0095] 针对质量可伸缩性（还被称为信噪比或SNR)和/或空间可伸缩性的可伸缩视频 编解码器可以被实现如下。对于基础层，使用传统的非可伸缩视频编码器和解码器。基础 层的重建/解码的图像被包含在针对增强层的参考图像缓冲器中。在H. 264/AVC，HEVC和 使用针对帧间预测的参考图像列表（多个）的类似的编解码器中，类似于增强层的解码参 考图像，可以将基础层解码图像插入到用于编码/解码增强层图像的参考图像列表（多个） 中。因此，编码器可以选择基础层参考图像作为帧间预测参考以及可以指示它的使用，例如 使用在编码比特流中的参考图像索引。解码器从该比特流（例如从参考图像索引）解码： 基础层图像用作针对增强层的帧间预测参考。当解码的基础层图像用作针对增强层的预测 参考时，它被称为帧间预测参考图像。
[0096] 当前正在探讨和开发MVC和用于提供三维（3D)视频内容的各种其它技术。特别 地，密集的研究已经集中在各种多视角应用上，其中观看者从特定的视点能够看到仅一对 立体视频，以及从不同的视点看到另一对立体视频。针对此类多视角应用的其中一个最可 行的方法已经被证明是这样的，其中仅有限数量的输入视图，例如单一或立体视频加上一 些补充数据，被提供给解码器侧，以及所有要求的视图于是由该解码器本地地渲染（即合 成）以在显示器上显示。
[0097] 在这个部分中，描述H. 264/AVC和HEVC的一些关键定义、比特流和编码结构以及 构思作为视频编码器、解码器、编码方法、解码方法以及比特流结构的示例，其中可以实现 实施例。H. 264/AVC的其中的一些关键定义、比特流和编码结构和构思与在HEVC的当前工 作草案中的是相同的-因此，在以下，联合地描述它们。本发明的多个方面不局限于H. 264/ AVC或HEVC，而是针对一种可能的基础而给出该描述，在该基础上可以部分地或完全地实 施本发明。
[0098] 类似于许多较早的视频编码标准，在H. 264/AVC和HEVC中指定了比特率语法和语 义以及针对无差错比特率的解码过程。没有指定编码过程，但是编码器必须生成一致性的 比特流。能够使用假想的参考解码器（HRD)来验证比特流和解码器的一致性。这些标准含 有有助于处理传输错误和丢失的编码工具，但是在编码中这些工具的使用是可选的以及还 没有针对错误的比特流指定解码过程。
[0099] 分别针对至H. 264/AVC或HEVC编码器的输入以及H. 264/AVC或HEVC解码器的输 出的基本单元是图像。在H.264/AVC中，图像可以是帧或场。在HEVC的当前工作草案中， 图像是帧。帧包括：亮度样本和对应的色度样本的矩阵。当源信号是交错的时，场是帧的交 替样本行的集合以及可以用作编码器输入。当与亮度图像比较时，色度图像可以被子样本。 例如，在4 :2 :0采样模式中，沿着两个坐标轴，色度图像的空间分辨率是亮度图像的空间分 辨率的一半。
[0100] 在H. 264/AVC中，宏块是16x16的亮度样本块和对应的色度样本块。例如，在4 : 2 :0采样模式中，宏块含有每个色度成分的一个8x8的色度样本块。在H. 264/AVC中，图像 被分割到一个或多个片组，以及片组含有一个或多个片。在H. 264/AVC中，片由在一个特定 片组内在光栅扫描中连续地排序的整数数目的宏块组成。
[0101] 在草案HEVC标准中，视频图像被分成