对于时间预测的并列图片的隐式确定的制作方法
【专利摘要】在一个实施例中，一种方法确定当前图片的块以及与所述块相关联的预测类型。而且，所述方法确定对于所述块的参考图片的第一列表以及参考图片的第二列表中的一个。在没有编码器以及解码器之间指示参考图片的所述第一列表或参考图片的所述第二列表中的哪个被选择的信息通信的情况下，编码器或解码器隐式地选择参考图片的所述第一列表或参考图片的所述第二列表中的所述一个。然后，所述方法将在参考图片的所述第一列表以及参考图片的所述第二列表中的所选的一个中的参考图片设置为对于所述块的并列图片。所选的参考图片被用在对于所述块的时间预测过程中。
【专利说明】对于时间预测的并列图片的隐式确定
[0001] 相关申请的夺叉引用
[0002] 本公开要求以下的优先权：
[0003] 于 2011 年 12 月 26 日提交的美国临时申请 No. 61/580, 302 "The Syntax Change for Signaling Collocated Picture for HEVC，'；以及
[0004] 于 2012 年 1 月 21 日提交的美国临时申请 No. 61/589, 300"A More Flexible Way for Signaling Collocated Picture f[o]r HEVC"，其所有内容通过引用整体合并于此。
[0005] 本公开涉及于2012年11月20日提交的美国专利申请No. 13/682, 590"Implicit Determination and Combined Implicit and Explicit Determination of Collocated Picture for Temporal Prediction"，其要求以下的优先权：
[0006] 于 2011 年 11 月 21 日提交的美国临时申请No. 61/561，931"An Implicit Way for Signaling Collocated Picture for HEVC" 以及
[0007] 于 2011 年 11 月 21 日提交的美国临时申请 No. 61/562, 426"A Combined Way for Signaling Collocated Picture for HEVC"，其所有内容通过引用整体合并于此。
【背景技术】
[0008] 视频压缩系统对于大部分压缩操作采用块处理。块是一组相邻像素并且可以被 看作根据压缩操作的一个编译单元。理论上讲，优选较大的编译单元以利用直接相邻像素 之间的相关性的优势。各种视频压缩标准，例如运动图像专家组（MPEG)-l、MPEG-2以及 MPEG-4,使用4x4、8x8、以及16xl6(称为宏模块（MB))的块大小。
[0009] 高效率视频编译（HEVC)也是基于块的混合空间以及时间的预测编译方案。如图 1所示，HEVC将输入图片划分为被称为编译树单元（CTU)的方形块。不像之前的编译标准， CTU可以大到128x128像素。每个CTU都可以被划分为较小的被称作编译单元（CU)的方 形块。图2示出⑶的CTU划分的示例。CTU 100首先被划分为4个⑶102。每个⑶102 还可以进一步被分割为4个更小的⑶102,4个更小的⑶102是⑶102大小的四分之一。 基于某个准则可以重复该划分过程，诸如可以施加对于CU能够被划分的次数的限制。如所 示的，CU102-1U02-3、以及102-4是CTU 100大小的四分之一。进一步地，CU102-2已经被 分割为 4 个 CU 102-5、102-6、102-7 以及 102-8。
[0010] 每个⑶102可以包含一个或多个块，所述一个或多个块可以被称为预测单元 (PU)。图3示出了 PU的CU划分的示例。PU可以被用于执行空间预测或时间预测。CU可 以在空间或时间上被预测编译。如果CU在帧内模式被编译，则CU的每个PU能够具有其自 己的空间预测方向。如果CU在帧间模式被编译，则CU的每个PU能够具有其自己的运动矢 量以及关联的参考图片。
[0011] 在HEVC中，运动矢量（MV)在时间预测过程中被预测地编译。对于具有一个当前 运动矢量以及关联的参考索引的当前PU，运动矢量预测器（MVP)从一组候选的运动矢量导 出，所述候选包含当前PU的在空间上相邻或在时间上排列的PU。然后确定并且编译当前运 动矢量和MVP之间的区别。由于只发送该区别而不是当前运动矢量的信息，所以这减少了 开销。而且，当在合并模式时，单一运动矢量可以被应用于一组在空间上相邻或在时间上排 列的PU。对于一组PU使用相同运动矢量也节约开销。然而，编码器仍然需要编码信息以向 解码器指示哪个在时间上排列的PU被选择。
【发明内容】
[0012] 在一个实施例中，一种方法确定当前图片的块以及与所述块相关联的预测类型。 而且，所述方法确定对于所述块的参考图片的第一列表以及参考图片的第二列表中的一 个。在没有编码器以及解码器之间指示参考图片的所述第一列表或参考图片的所述第二列 表中的哪个被选择的信息通信的情况下，编码器或解码器隐式地选择参考图片的所述第一 列表或参考图片的所述第二列表中的所述一个。然后，所述方法将在参考图片的所述第一 列表以及参考图片的所述第二列表中的所选的一个中的参考图片设置为对于所述块的并 列图片。所选的参考图片被用在对于所述块的时间预测过程中。
[0013] 在一个实施例中，提供了一种方法，包括：由计算设备确定当前图片的块；不论与 所述块相关联的预测类型为何种类型，由所述计算设备确定对于所述块的参考图片的第一 列表以及参考图片的第二列表中的一个，其中，在没有编码器以及解码器之间指示参考图 片的所述第一列表或参考图片的所述第二列表中的哪个被选择的信息通信的情况下，编码 器或解码器对于当前图片的至少一部分总是隐式地选择对于所有正在被编码或解码的块 的参考图片的所述第一列表或参考图片的所述第二列表中的所述一个；以及由所述计算设 备将在参考图片的所述第一列表以及参考图片的所述第二列表中的所选的一个中的参考 图片设置为对于所述块的并列图片，其中，所选的参考图片被用在对于所述块的时间预测 过程中。
[0014] 在一个实施例中，提供了一种解码器，包括：一个或多个计算机处理器；以及非暂 时性的计算机可读存储介质，包括指令，所述指令在被执行时控制所述一个或多个计算机 处理器以被配置用于：一个或多个计算机处理器；以及非暂时性的计算机可读存储介质， 包括指令，所述指令在被执行时控制所述一个或多个处理器以被配置用于：确定当前图片 的块；确定与所述块相关联的预测类型；确定对于所述块的参考图片的第一列表以及参考 图片的第二列表中的一个，其中，在没有从编码器接收到指示参考图片的所述第一列表或 参考图片的所述第二列表中的哪个被选择的信息通信的情况下，解码器隐式地选择参考图 片的所述第一列表或参考图片的所述第二列表中的所述一个；以及将在参考图片的所述第 一列表以及参考图片的所述第二列表中的所选的一个中的参考图片设置为对于所述块的 并列图片，其中，所选的参考图片被用在对于所述块的在解码过程中的时间预测过程中。
[0015] 在一个实施例中，提供了一种编码器，包括：一个或多个计算机处理器；以及非暂 时性的计算机可读存储介质，包括指令，所述指令在被执行时控制所述一个或多个计算机 处理器以被配置用于：一个或多个计算机处理器；以及非暂时性的计算机可读存储介质， 包括指令，所述指令在被执行时控制所述一个或多个处理器以被配置用于：确定当前图片 的块；确定与所述块相关联的预测类型；确定对于所述块的参考图片的第一列表以及参考 图片的第二列表中的一个，其中，在没有向解码器发送指示参考图片的所述第一列表或参 考图片的所述第二列表中的哪个被选择的信息的情况下，编码器隐式地选择参考图片的所 述第一列表或参考图片的所述第二列表中的所述一个；以及将在参考图片的所述第一列表 以及参考图片的所述第二列表中的所选的一个中的参考图片设置为对于所述块的并列图 片，其中，所选的参考图片被用在对于所述块的在编码过程中的时间预测过程中。
[0016] 下面详细描述以及附图提供了对于特定实施例的性质以及优势的更好理解。
【专利附图】
【附图说明】
[0017] 图1示出被划分为称为编译树单元（CTU)的方形块的输入图片。
[0018] 图2示出⑶的CTU划分的示例。
[0019] 图3示出PU的⑶划分的示例。
[0020] 图4描述了根据一个实施例的用于编码和解码视频内容的系统的示例。
[0021] 图5描述了根据一个实施例的用于编码视频的方法的简化的流程图。
[0022] 图6描述了根据一个实施例的用于解码被编码的比特流的简化的流程图。
[0023] 图7描述了根据一个实施例的用于确定并列图片的第一隐式方法的简化的流程 图。
[0024] 图8描述了根据一个实施例的第二隐式方法的简化的流程图。
[0025] 图9描述了根据一个实施例的第三隐式方法的简化的流程图。
[0026] 图10描述了根据一个实施例的并列图片管理器的更加详细的示例。
[0027] 图11A描述了根据一个实施例的编码器的示例。
[0028] 图11B描述了根据一个实施例的解码器的示例。
【具体实施方式】
[0029] 本文所描述的是用于视频压缩系统的技术。在下面的描述中，出于解释的目的，阐 述了很多示例以及具体细节以便提供对于特定实施例的透彻的理解。由权利要求限定的特 定的实施例可以独自包含在这些示例中的一些或全部特征，或者与下面描述的其他特征相 组合，并且可以进一步包含本文所述的特征以及概念的修改以及等同物。
[0030] 并列图片的隐式确定
[0031] 综沭
[0032] 图4描述了根据一个实施例的用于编码和解码视频内容的系统400的示例。编码 器402以及解码器403可以使用HEVC编码并且解码比特流；然而，其他视频压缩标准也可 以被理解。
[0033] 编码器402包含并列图片管理器404-1并且解码器403包含并列图片管理器 404-2。在特定实施例中，并列图片管理器404-1以及404-2两者都"隐式地（implicitly)" 确定诸如列表〇或列表1的哪个列表以选择参考图片以用作对于当前图片的并列图片。
[0034] 所选的并列图片包含可以被用在时间预测过程中的运动矢量（MV)信息。例如，用 于在并列图片中划分的运动矢量可以被用作在高级运动矢量预测器（AMVP)中的时间运动 矢量预测器（MVP)的候选，或者被用作在合并过程中的时间合并/跳跃候选运动矢量。如上 面所述，用于时间合并/跳跃模式的MVP或MV可以从在空间上并且并列一组块中被选择。 当并列块的运动矢量被用作时间MVP时，并列块的运动矢量与当前块的当前运动矢量的区 别被编译并且从编码器402被发送到解码器403。当并列块的运动矢量被用在合并过程中 时，当前块以及并列块被合并并且使用并列块的相同运动矢量。
[0035] 时间MVP或时间合并/跳跃候选MV被定义为并列块的MV，该并列块驻留在参考 图片中并且具有与在当前图片的当前块相同的几何位置。在一个示例中，考虑到在当前图 片中的关联的并列PU可以驻留在时间上之前或之后的PU中。并列PU可以被用作候 选以对于当前PU启用MVP以及合并/跳跃模式。像PU-样，并列块可以被提供给变换单 元（TU)、CU或图片本身。随后的论述将会引用图片，尽管同样地可以被应用于图片或切片 的任何列出的子分量中。另外，块可以被引用，其可以是PU，但是也可以是TU、CU、图片或切 片。
[0036] 并列图片是在列表0或列表1中指定的参考图片。列表0以及列表1包含多个参 考图片。取决于视频的各种特性，可以从列表0或列表1的个中选择参考图片。在特定 的实施例中，通过隐式地确定列表0或列表1中的哪个，编码器402以及解码器403可以在 没有列表〇或列表1中的哪个被选择的任何信令的情况下独立地做出这个确定。例如，编 码器402不向解码器403发信号通知列表0或列表1中的哪个被选择。进一步地，编码器 402可以不发信号通知编码器在所选的列表0或列表1中选择了哪个参考图片作为并列图 片。而是，并列图片管理器404-1以及并列图片管理器404-2独立地确定相同参考图片以 用作当前图片的并列图片。然而，在其他示例中，编码器402可以向解码器403发信号通知 哪个参考图片被选择，但是不发信号通知列表〇或列表1中的哪个被选择。
[0037] 按照惯例，标志collocated_from_10标志被用于指出两个列表列表0或列表1中 的哪个包含并列图片。该标志可以被设置为1以指示并列图片可以从列表0导出，或者被 设置为0以指示并列图片应当从列表1导出。该标志必须被编码在诸如切片报头的被编码 的比特流中。这增加了比特流中的开销。
[0038] 特定的实施例从诸如切片报头的被编码的比特流中移除标志CO 11 〇cated_from_ 10标志。在这种情况下，基于将会在下面更为详细描述的不同的隐式方法，编码器402以及 解码器403从列表0或列表1的一个中隐式地确定并列图片。在一个实施例中，隐式意味 着编码器402不与解码器403通信信息，诸如通过发送对于标志collocated_from_10_flag 的信息，以指示编码器402从哪个列表中选择并列图片。而是，使用相同的隐式方法，编码 器402以及解码器403独立地确定从列表0或列表1的哪一个选择并列图片。进一步地， 编码器402以及解码器403在所选的列表0或列表1中选择相同参考图片作为并列图片。
[0039] 如上面所述，可以使用不同的隐式方法以确定从列表0或列表1的哪个列表中选 择并列图片。这些隐式方法将会在下面更详细的描述。
[0040] 编码过程
[0041] 图5描述了根据一个实施例的用于编码视频的方法的简化的流程图500。在502， 编码器402的并列图片管理器404-1确定在正在被编码的当前图片的当前切片中的块。该 切片可以是在当前图片中的一组块。而且，该块可以是预测单元（PU)，但是也可以是当前图 片或切片的其他部分。
[0042] 在504,并列图片管理器404-1确定使用的隐式方法以确定从列表0或列表1的哪 个列表中用于选择参考图片作为并列图片。在一个示例中，并列图片管理器404-1可以通 过使用具体的隐式方法被编程，其中的一些将会在下文描述。因此，编码器402可以不用在 各种使用的隐式方法中动态地决定。然而，在其他实施例中，基于视频的特性，并列图片管 理器404-1可以从可能的隐式方法的列表中动态地选择一个隐式方法。
[0043] 在506,基于该隐式方法，并列图片管理器404-1从列表0或列表1中隐式地确定 列表以从中选择并列图片。例如，如下文将描述的，并列图片管理器404-1可以考虑当前切 片（或块或图片）的预测类型，诸如无论当前切片是P切片还是B切片。当前切片包含正 在被编译的当前块。在另一个示例中，并列图片管理器404-1可以考虑当前块是B预测块 还是P预测块或者该块是B图片或P图片的一部分。然后，基于预测类型，并列图片管理器 404-1可以选择列表0或列表1中的一个。在其他示例中，并列图片管理器404-1可以在没 有参考预测类型的情况下选择列表〇或列表1中的哪一个。
[0044] 在508,并列图片管理器404-1在确定的列表0或列表1中隐式地选择参考图片作 为并列图片。例如，并列图片管理器404-1可以在确定的列表0或列表1中选择第一参考 图片。在其他示例中，可以使用视频的特性以确定不是列表〇或列表1中的第一参考图片 的另一个参考图片。例如，并列图片管理器404-1选择带有到当前图片最短时间距离的参 考图片。
[0045] 在510,并列图片管理器404-1使用并列图片编码该块。例如，如果按上述被选择， 并列图片被用在候选列表中，在该候选列表中，对于在并列图片中的并列块的运动矢量信 息可以被用在时间预测过程中。
[0046] 在512,编码器402将包含对于块的被编码的比特的被编码的比特流发送到解码 器403,不带有诸如标志collocated_from_10_flag的、指示从哪个列表中选择并列图片的 信息。因此，用于发送从哪个列表中选择并列图片的比特不是从编码器402发送到解码器 403的，这就减少了在被编码的比特流中的开销。进一步地，在一个实施例中，切片报头语法 可以被改变以移除关于标志collocated_from_10_flag的信息。例如，下面的语法可以被 用于切片报头：
[0047]
【权利要求】
1. 一种方法，包括： 由计算设备确定当前图片的块； 由所述计算设备确定与所述块相关联的预测类型； 由所述计算设备确定对于所述块的参考图片的第一列表以及参考图片的第二列表中 的一个，其中，在没有编码器以及解码器之间指示参考图片的所述第一列表以及参考图片 的所述第二列表中的哪个被选择的信息通信的情况下，所述编码器或所述解码器隐式地选 择参考图片的所述第一列表或参考图片的所述第二列表中的所述一个；以及 由所述计算设备将在参考图片的所述第一列表以及参考图片的所述第二列表中的所 选的一个中的参考图片设置为对于所述块的并列图片，其中，所选的参考图片被用在对于 所述块的时间预测过程中。
2. 根据权利要求1所述的方法，其中，预测类型包括对于与所述块相关联的切片的切 片类型。
3. 根据权利要求1所述的方法，其中，当预测类型等于P时，所述方法包括确定参考图 片的所述第一列表。
4. 根据权利要求1所述的方法，其中，当预测类型等于B时，所述方法包括确定参考图 片的所述第二列表。
5. 根据权利要求1所述的方法，其中，确定对于所述块的参考图片的所述第一列表以 及参考图片的所述第二列表中的一个包括：不论是哪种预测类型总是确定参考图片的所述 第一歹丨J表。
6. 根据权利要求1所述的方法，其中，确定对于所述块的参考图片的所述第一列表以 及参考图片的所述第二列表中的一个包括：不论是哪种预测类型总是确定参考图片的所述 第二列表。
7. 根据权利要求1所述的方法，其中，确定对于所述块的参考图片的所述第一列表以 及参考图片的所述第二列表中的一个包括： 将参考图片的所述第一列表以及参考图片的所述第二列表组合成组合列表；以及 从所述组合列表中确定所述参考图片。
8. 根据权利要求1所述的方法，其中，在参考图片的所述第一列表以及参考图片的所 述第二列表中的一个中的第一参考图片被选择为所述并列图片。
9. 根据权利要求1所述的方法，其中，在没有所述编码器以及所述解码器之间指示选 择哪个参考图片作为所述并列图片的信息通信的情况下，所述编码器或所述解码器隐式地 选择所述参考图片。
10. 根据权利要求1所述的方法，基于所述视频的特性，从多个隐式方法中动态地确定 隐式方法以用于选择参考图片的所述第一列表以及参考图片的所述第二列表中的一个。
11. 一种方法，包括： 由计算设备确定当前图片的块； 不论与所述块相关联的预测类型为何种类型，由所述计算设备确定对于所述块的参考 图片的第一列表以及参考图片的第二列表中的一个，其中，在没有编码器以及解码器之间 指示参考图片的所述第一列表或参考图片的所述第二列表中的哪个被选择的信息通信的 情况下，所述编码器或所述解码器对于当前图片的至少一部分总是隐式地选择对于所有正 在被编码或解码的块的参考图片的所述第一列表或参考图片的所述第二列表中的所述一 个；以及 由所述计算设备将在参考图片的所述第一列表以及参考图片的所述第二列表中的所 选的一个中的参考图片设置为对于所述块的并列图片，其中，所选的参考图片被用在对于 所述块的时间预测过程中。
12. 根据权利要求11所述的方法，其中，确定对于所述块的参考图片的所述第一列表 以及参考图片的所述第二列表中的一个包括：不论是哪种预测类型总是确定参考图片的所 述第一列表。
13. 根据权利要求11所述的方法，其中，确定对于所述块的参考图片的所述第一列表 以及参考图片的所述第二列表中的一个包括：不论是哪种预测类型总是确定参考图片的所 述第二列表。
14. 根据权利要求11所述的方法，其中，确定对于所述块的参考图片的所述第一列表 以及参考图片的所述第二列表中的一个包括： 将参考图片的所述第一列表以及参考图片的所述第二列表组合成组合列表；以及 从所述组合列表中确定所述参考图片。
15. -种解码器，包括： 一个或多个计算机处理器；以及 非暂时性的计算机可读存储介质，包括指令，所述指令在被执行时控制所述一个或多 个计算机处理器以被配置用于： 确定当前图片的块； 确定与所述块相关联的预测类型； 确定对于所述块的参考图片的第一列表以及参考图片的第二列表中的一个，其中，在 没有从编码器接收到指示参考图片的所述第一列表或参考图片的所述第二列表中的哪个 被选择的信息通信的情况下，所述解码器隐式地选择参考图片的所述第一列表以及参考图 片的所述第二列表中的所述一个；以及 将在参考图片的所述第一列表以及参考图片的所述第二列表中的所选的一个中的参 考图片设置为对于所述块的并列图片，其中，所选的参考图片被用在对于所述块的解码过 程中的时间预测过程中。
16. 根据权利要求15所述的解码器，其中，预测类型包括对于与所述块相关联的切片 的切片类型。
17. 根据权利要求16所述的解码器，其中，当预测类型等于B时，进一步被配置用于确 定参考图片的所述第二列表。
18. -种编码器，包括： 一个或多个计算机处理器；以及 非暂时性的计算机可读存储介质包括指令，所述指令在被执行时控制所述一个或多个 计算机处理器以被配置用于： 确定当前图片的块； 确定与所述块相关联的预测类型； 确定对于所述块的参考图片的第一列表以及参考图片的第二列表中的一个，其中，在 没有向解码器发送指示参考图片的所述第一列表或参考图片的所述第二列表中的哪个被 选择的信息的情况下，所述编码器隐式地选择参考图片的所述第一列表或参考图片的所述 第二列表中的所述一个；以及 将在参考图片的所述第一列表以及参考图片的所述第二列表中的所选的一个中的参 考图片设置为对于所述块的并列图片，其中，所选的参考图片被用在对于所述块的编码过 程中的时间预测过程中。
19. 根据权利要求18所述的编码器，其中，预测类型包括对于与所述块相关联的切片 的切片类型。
20. 根据权利要求18所述的编码器，其中，当预测类型等于B时，进一步被配置用于确 定参考图片的所述第二列表。
【文档编号】H04N19/14GK104303500SQ201280064791
【公开日】2015年1月21日 申请日期:2012年12月20日 优先权日:2011年12月26日
【发明者】余越, 克里特·帕努索波内, 王利民 申请人:摩托罗拉移动有限责任公司