运动信息编码的方法
【专利摘要】本发明揭露了一种用于使用改进合并模式(refined Merge mode)的运动信息编码的方法以及装置。本发明的实施例不仅使用合并索引来指示已选择的合并候选，还改进(refines)已选择的合并候选的部分运动信息(partial motion information)。根据本发明的编码器基于与相邻块相关联的运动信息导出合并候选组。编码器从合并候选组中选择目标合并候选，并传送对应于目标合并候选的合并索引。接着，编码器基于与目标合并候选相关联的部分运动信息来预测当前运动信息的一部分以产生已编码运动信息。本发明还揭露了用于结合了改进合并模式的解码器的过程。
【专利说明】运动信息编码的方法
[0001]【相关申请的交叉引用】
[0002] 本发明主张申请于2014年4月1日，序列号为61/973,403的美国临时专利申请的优 先权。将此美国临时专利申请以参考的方式并入本文中。 【技术领域】
[0003] 本发明涉及视频编码。特别地，本发明涉及基于与相邻块相关联的运动信息的运 动?目息编码。 【【背景技术】】
[0004] 于视频编码系统中，空间以及时间冗余被用于空间以及时间预测以减少需要被传 送的信息。空间以及时间预测使用分别来自相同图片以及参考图片的已编码像素，以形成 用于待编码的当前像素的预测。在现有的编码系统中，与空间以及时间预测相关联的辅助 信息（side information)可能必须被传送，这将占用已压缩视频数据的部分带宽。用于时 间预测的运动向量的传送可能需要已压缩视频数据的显著的部分(noticeable portion)， 特别是在低比特率的应用中。近年来，为了进一步降低与运动向量相关联的比特率，一种被 称为运动向量预测(Motion Vector Prediction，MVP)的技术已经被用于视频编码领域。 MVP技术利用空间以及时间的相邻运动向量之间的统计冗余。于本文档的剩余部分，根据上 下文，MVP有时是指"运动向量预测"，有时是指"运动向量预测子"。
[0005] 于高效视频编码(High-Efficiency Video Coding，HEVC)标准中，有两种方法来 编码与每个帧间预测单元(prediction unit，PU)相关联的运动信息。一个是合并模式 (Merge mode)，且另一个是增强运动向量预测（Advanced Motion Vector Prediction， AMVP)模式。如果合并模式被使用，合并索引被编码以指示由合并候选组中选择的用于PU的 合并候选，合并候选包括与相邻块相关联的运动信息。当前PU的运动信息将与所选择的相 邻块的运动信息相同。换句话说，当合并模式被使用时，当前PU继承（inherit) 了已选择的 合并候选的运动信息。如果AMVP模式被用于当前PU，包括帧间预测方向、参考帧索引、运动 向量预测子索引、以及运动向量差值(motion vector difference)的运动信息被直接编 码。与合并模式相比较，于AMVP模式中，需要传送更多的句法元素来表示运动信息。换句话 说，AMVP模式比合并模式需要更多的比特来编码运动信息。希望提高与运动信息编码相关 的编码效率。
[0006] 用于AMVP模式以及合并模式的候选基于相邻块的运动信息被导出。相邻块包括一 个或多个空间相邻块以及时间相邻块。图1所示为用于HEVC标准的相邻块的示例，其中，B〇、 Bi、B2、Aq、以及Αι表示当前块110的空间相邻块。Bctr表示中心同位时间相邻块(center colocated temporal neighboring block)。如果与 Bctr 相关联的运动信息是不可用的 ，时间 相邻块Bbr被使用。 【
【发明内容】
】
[0007]本发明揭露了一种用于使用改进合并模式(refined Merge mode)的运动信息编 码的方法以及装置。本发明的实施例不仅使用合并索引来指示已选择的合并候选，还改进 (refines)已选择的合并候选的部分运动信息(partial motion information)。
[0008] 根据本发明的编码器将決定与当前块的一个或多个相邻块相关联的第二运动信 息，且基于与所述一个或多个相邻块相关联的第二运动信息导出包括一个或多个合并候选 的合并候选组。编码器从合并候选组选择目标合并候选并传送对应于目标合并候选的合并 索引。接着，编码器基于与目标合并候选相关联的部分第二运动信息（partial second motion information)预测当前运动信息的第一部分以产生已编码运动信息。编码器传送 用于当前运动信息的已编码运动信息，而不传送对应于当前运动信息的剩余部分 (remaining part)的其他已编码信息。
[0009] 根据本发明的解码器将基于与所述一个或多个相邻块相关联的第二运动信息导 出包括一个或多个合并候选的合并候选组。解码器将基于传送于比特流中的合并索引从合 并候选组中決定目标合并候选。解码器基于传送于比特流中的已编码运动信息決定当前运 动信息的第一部分。当前运动信息的剩余部分将从与目标合并候选相关联的第二运动信息 继承。
[0010]已编码运动信息可对应于与目标合并候选相关联的帧间预测方向、与目标合并候 选相关联的参考帧索引、与目标合并候选相关联的一个或多个第二运动向量、当前块的一 个或多个当前运动向量与所述一个或多个第二运动向量之间的一个或多个运动向量差值， 或以上任何组合。在一个实施例中，已编码运动信息对应于当前块的一个或多个当前运动 向量与所述一个或多个第二运动向量之间的一个或多个运动向量差值。从与目标合并候选 相关联的第二运动信息继承的当前运动信息的剩余部分可对应于帧间预测方向、参考帧索 弓丨、以及第二运动向量。 【【附图说明】】
[0011 ] 图1所示为根据高效视频编码(High-Efficiency Video Coding，HEVC)的用于增 强运动向量预测（Advanced Motion Vector Prediction，AMVP)模式以及合并模式的相邻 块配置。
[0012] 图2所示为根据本发明的一个实施例的结合了用于运动信息编码的改进合并模式 的编码器的示范性流程图。
[0013] 图3所示为根据本发明的一个实施例的结合了用于运动信息编码的改进合并模式 的解码器的示范性流程图。 【【具体实施方式】】
[0014] 如上所述，于高效视频编码(High-Efficiency Video Coding，HEVC)标准中使用 的两个运动信息编码模式中，AMVP可以更多的比特为代价提供运动信息的高质量表示。另 一方面，合并模式使用紧凑的表示（compact representation)，其仅需要传送候选索引来 恢复运动信息。然而，包括帧间预测方向、参考图片列表、以及运动向量的运动信息被限制 为与已选择的合并候选的运动信息相同。本发明揭露了一种方法，其使用现有的合并模式 的紧凑的表示，也改进了现有的合并模式的运动信息质量。此改进是通过传送与已选择的 合并候选的部分运动信息相关的已编码运动信息（例如：当前运动向量与已选择的合并候 选的运动向量之间的运动向量差值(motion vector difference，MVD))来获得。
[0015] 可以观察到，于帧间预测中，大多数预测单元(prediction unit，PU)被编码于合 并模式，只有少数预测单元被编码于AMVP模式。换句话说，由于合并模式的高编码效率，在 帧间预测中，合并模式更优于AMVP模式。为了减少用于编码运动信息的比特，本发明使用合 并模式中的合并候选作为运动信息的预测子。于本公开中，此模式被称为合并改进模式或 改进合并模式。于合并改进模式中，一个合并索引被编码以指示哪个合并候选被选择以作 为运动信息的预测子。已编码运动信息(例如：当前运动向量与已选择的合并候选的运动向 量之间的运动向量差值)被传送。对于合并改进模式，当前PU的帧间预测方向以及参考帧索 引可被设置为与那些合并的运动信息相同。另一方面，对于AMVP模式，当前PU的帧间预测方 向以及参考帧索引也被传送。合并改进模式所需的比特少于AMVP模式所需的比特。
[0016] 在合并改进模式的一个实施例中，由合并索引所指示的已选择的合并候选的运动 向量被用作为用于当前PU的运动向量预测子。预测残差，即，运动向量差值被传送。用于PU 的运动向量可从运动向量预测子以及运动向量差值的和（sum)重建。除了合并索引，只有运 动向量差值被编码以改进合并的运动向量。重建的运动向量可由被传送的运动向量差值以 及已选择的合并候选的运动向量的和导出。帧间预测方向、参考帧索引、以及运动向量预测 子索引直接从由合并索引指示的已选择的合并候选中继承。因此，合并改进模式需要传送 的比特比AMVP模式更少。另一方面，合并改进模式具有比现有的合并模式更准确的运动信 息表不。
[0017] 虽然已编码运动信息对应于当前运动向量与已选择的合并候选的运动向量之间 的运动向量差值，其他运动信息也可被编码。例如，已编码运动信息可对应于与已选择的合 并候选相关联的帧间预测方向、与已选择的合并候选相关联的参考帧索引、与已选择的合 并候选相关联的一个或多个第二运动向量、当前块的一个或多个当前运动向量与已选择的 合并候选的一个或多个运动向量之间的一个或多个运动向量差值、或任何以上的组合。
[0018] 在合并改进模式的解析阶段，只有合并索引被解码。关于已合并运动向量的帧间 预测方向是双向预测还是单向预测的信息是不存在的。为了避免解析问题，本发明揭露了 两个实施例。于第一实施例中，即使已合并运动向量为双向预测，也只有一个运动向量差值 被编码于合并改进模式。运动向量差值被用于改进单向预测中存在的运动向量，或用于改 进双向预测中预定义的运动向量。于合并改进模式中，运动向量差值不应为零。否则，PU的 运动信息将使用合并模式被编码。一个实施例利用此特性，通过排除编码表中的零值运动 向量差值(zero-valued motion vector difference)来进一步节约编码的二进制。例如， 如果运动向量差值的X分量的幅度MVDX为0，接着，运动向量差值的y分量的幅度MVD y不可能 为〇。为了利用此特性，(MVDy-l)可代替MVDy被编码，且y分量幅度的范围减少1。
[0019] 表1所示为根据本发明实施例的句法结构的示例。如表1所示，当合并模式旗标 mergeFlag不等於1时，合并改进模式旗标mergeRefinedFlag被编码进来。如果合并改进模 式旗标等於1，用于已选择的合并候选的合并索引mergeldx以及运动向量差值Mvd被包括进 来。
[0020] 表 1
[0022] 在另一实施例中，第二旗标被用于指示比特流中是否存在另一已编码运动向量差 值。根据本实施例，双向预测中的两个运动向量可以同时被改进。
[0023] 图2所示为根据本发明的一个实施例的结合用于运动信息编码的改进合并模式的 编码器的示范性流程图。如步骤210所示，编码器接收当前块的当前运动信息。当前运动信 息可以从存储器(例如，计算机存储器，缓冲器(RAM或DRAM)或其他媒体)或处理器中得到。 接着，于步骤220中，编码器決定与当前块的一个或多个相邻块相关联的第二运动信息。于 步骤230中，基于与所述一个或多个相邻块相关联的第二运动信息导出包括一个或多个合 并候选的合并候选组。于步骤240中，编码器从合并候选组中选择目标合并候选，且于步骤 250中，传送对应于目标合并候选的合并索引。于步骤260中，基于部分第二运动信息预测当 前运动信息的第一部分以产生已编码运动信息。于步骤270中，传送用于当前运动信息的已 编码运动信息，不传送对应于当前运动信息的剩余部分的其他已编码信息。
[0024] 图3所示为根据本发明的一个实施例的结合用于运动信息编码的改进合并模式的 解码器的示范性流程图。于步骤310中，解码器接收包括用于当前块以及当前块的相邻块的 已编码数据的比特流。比特流可以从存储器(例如，计算机存储器，缓冲器(RAM或DRAM)或其 他媒体)或处理器中得到。于步骤320中，解码器也接收与当前块的所述一个或多个相邻块 相关联的第二运动信息。于步骤330中，基于与所述一个或多个相邻块相关联的第二运动信 息导出包括一个或多个合并候选的合并候选组。于步骤340中，解码器基于传送于比特流中 的合并索引从合并候选组中決定目标合并候选。如步骤350所示，基于传送于比特流中的已 编码运动信息決定当前运动信息的第一部分。已编码运动信息是通过基于与目标合并候选 相关联的部分第二运动信息来预测当前运动信息的第一部分来产生。于步骤360中，传送用 于当前运动信息的已编码运动信息，而不传送对应于当前运动信息的剩余部分的其他已编 码?目息。
[0025] 根据本发明的实施例，以上所示的流程图旨在说明运动信息编码的示例。本领域 技术人员可以在不脱离本发明的精神实质的情况下修改每个步骤，重新排列所述步骤，分 割步骤，或合并步骤来实施本发明。
[0026] 如上所示，合并模式运动改进用于说明从相邻块显式地编码部分运动信息以及继 承剩余运动信息的示例。然而，本发明并不局限于合并改进模式，于合并改进模式中，运动 向量差值被显式地编码，且剩余运动信息从已选择的合并候选继承。例如，作为编码与AMVP 模式(即，帧间模式)相关联的所有运动信息的替代，部分运动信息可从相邻块被继承。 [0027]以上描述可使本领域的普通技术人员如特定应用及其要求的上下文提供的来实 践本发明。对本领域技术人员来说，对所描述的实施例的各种修改是显而易见的，且本文定 义的一般原理可被应用于其他实施例。因此，本发明并非意在限定于以上所示及所描述的 特定实施例，而是要符合与此公开揭露的原理和新颖特征相一致的最宽范围。在以上详细 描述中，各种具体细节被示出以便提供本发明的彻底理解。然而，本领域技术人员应知晓本 发明是可被实践的。
[0028] 如上所述，本发明的实施例可以由各种硬件，软件代码，或两者的组合来实现。例 如，本发明的实施例可以对应于被集成到视频压缩芯片的一个或多个电子电路，或被集成 于视频压缩软件的程序代码以执行本文所描述的处理过程。本发明的实施例还可以是执行 于数字信号处理器上的程序代码，以执行本文所描述的处理过程。本发明还可包含由计算 机处理器，数字信号处理器，微处理器，或现场可编程门阵列执行的多个功能。根据本发明， 通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码，这些处理器可被 配置为执行特定任务。软件代码或固件代码可被开发为不同的编程语言以及不同的格式或 风格。软件代码还可被编译以用于不同的目标平台。然而，根据本发明的不同的软件代码的 代码格式、风格及语言，以及用于配置代码以执行任务的其他方式，均不会背离本发明的精 神以及范围。
[0029] 在不脱离其精神或本质特征的情况下，本发明可以其他特定形式来体现。所描述 的示例在所考虑的所有的方面都只是说明性的而不是限制性的。因此，本发明的范围是由 其所附的权利要求来指示的，而不是由上文的描述来指示的。在权利要求的等效范围及含 义内的所有改变均包含于本发明范围之内。
【主权项】
1. 一种用于使用包括合并模式的编码模式的运动信息解码的方法，其特征在于，所述 方法包括： 接收包括用于当前块以及当前块的一个或多个相邻块的已编码数据的比特流； 決定与所述当前块的所述一个或多个相邻块相关联的第二运动信息； 基于与所述一个或多个相邻块相关联的所述第二运动信息导出包括一个或多个合并 候选的合并候选组； 基于传送于所述比特流中的合并索引，从所述合并候选组中决定目标合并候选； 基于传送于所述比特流中的已编码运动信息決定当前运动信息的第一部分，其中，所 述已编码运动信息是通过基于与所述目标合并候选相关联的部分第二运动信息来预测所 述当前运动信息的所述第一部分来产生；以及 提供包括所述第一部分的已解码的当前运动信息。2. 如权利要求1所述的方法，其特征在于，已编码运动信息对应于与所述目标合并候选 相关联的帧间预测方向、与所述目标合并候选相关联的参考帧索引、与所述目标合并候选 相关联的一个或多个第二运动向量、所述当前块的一个或多个当前运动向量与所述一个或 多个第二运动向量之间的一个或多个运动向量差值、或以上任何组合。3. 如权利要求2所述的方法，其特征在于，所述一个或多个运动向量差值通过从所述一 个或多个运动向量差值中排除零值运动向量差值被编码。4. 如权利要求2所述的方法，其特征在于，所述已编码运动信息对应于所述一个或多个 当前运动向量与所述一个或多个第二运动向量之间的所述一个或多个运动向量差值。5. 如权利要求4所述的方法，其特征在于，当所述当前块被编码于单向预测模式时，所 述一个或多个运动向量差值对应于单个运动向量差值，以及所述单个运动向量差值被用于 改进对应参考图片列表中的一个第二运动向量。6. 如权利要求4所述的方法，其特征在于，当所述当前块被编码于双向预测模式且所述 一个或多个运动向量差值对应于单个运动向量差值时，所述单个运动向量差值被用于改进 预定义列表中的一个第二运动向量。7. 如权利要求1所述的方法，其特征在于，还包括:从与所述目标合并候选相关联的所 述第二运动信息继承所述当前运动信息的剩余部分，且所述已解码当前运动信息包括所述 当前运动信息的所述第一部分以及所述当前运动信息的所述剩余部分。8. 如权利要求7所述的方法，其特征在于，从与所述目标合并候选相关联的所述第二运 动信息继承的所述当前运动信息的所述剩余部分对应于帧间预测方向、参考帧索引、第二 运动向量、或以上任何组合。9. 如权利要求8所述的方法，其特征在于，从与所述目标合并候选相关联的所述第二运 动信息继承的所述当前运动信息的所述剩余部分对应于帧间预测方向、参考帧索引、以及 第二运动向量。10. -种用于使用包括合并模式的编码模式的运动信息编码的方法，其特征在于，所述 方法包括： 接收当前块的当前运动信息； 決定与所述当前块的一个或多个相邻块相关联的第二运动信息； 基于与所述一个或多个相邻块相关联的所述第二运动信息导出包括一个或多个合并 候选的合并候选组； 从所述合并候选组中选择目标合并候选； 传送对应于所述目标合并候选的合并索引； 基于与所述目标合并候选相关联的部分第二运动信息来预测所述当前运动信息的第 一部分以产生已编码运动信息；以及 传送用于所述当前运动信息的所述已编码运动信息，不传送对应于所述当前运动信息 的剩余部分的其他已编码信息。11. 如权利要求10所述的方法，其特征在于，所述已编码运动信息对应于与所述目标合 并候选相关联的帧间预测方向、与所述目标合并候选相关联的参考帧索引、与所述目标合 并候选相关联的一个或多个第二运动向量、所述当前块的一个或多个当前运动向量与所述 一个或多个第二运动向量之间的一个或多个运动向量差值、或以上任何组合。12. 如权利要求11所述的方法，其特征在于，所述一个或多个运动向量差值通过从所述 一个或多个运动向量差值中排除零值运动向量差值被编码。13. 如权利要求11所述的方法，其特征在于，所述已编码运动信息对应于所述一个或多 个当前运动向量与所述一个或多个第二运动向量之间的所述一个或多个运动向量差值。14. 如权利要求13所述的方法，其特征在于，当所述当前块被编码于单向预测模式时， 所述一个或多个运动向量差值对应于单个运动向量差值，以及所述单个运动向量差值被用 于改进对应参考图片列表中的一个第二运动向量。15. 如权利要求13所述的方法，其特征在于，当所述当前块被编码于双向预测模式且所 述一个或多个运动向量差值对应于单个运动向量差值时，所述单个运动向量差值被用于改 进预定义列表中的一个第二运动向量。16. 如权利要求10所述的方法，其特征在于，从与所述目标合并候选相关联的所述第二 运动信息继承的所述当前运动信息的所述剩余部分对应于帧间预测方向、参考帧索引、第 二运动向量、或以上任何组合17. 如权利要求16所述的方法，其特征在于，从与所述目标合并候选相关联的所述第二 运动信息继承的所述当前运动信息的所述剩余部分对应于帧间预测方向、参考帧索引、以 及第二运动向量。18. -种用于运动信息解码的方法，其特征在于，所述方法包括： 接收包括用于当前块以及当前块的一个或多个相邻块的已编码数据的比特流； 決定与所述当前块的所述一个或多个相邻块相关联的第二运动信息；以及 通过基于传送于所述比特流的已编码运动信息以及从所述第二运动信息继承的所述 当前运动信息的剩余部分来決定当前运动信息的第一部分以提供所述当前块的已解码的 当前运动信息，其中，所述已编码运动信息是基于与所述一个或多个相邻块中的一个相关 联的部分第二运动信息来产生。19. 一种用于运动信息编码的方法，其特征在于，所述方法包括： 接收当前块的当前运动信息； 決定与所述当前块的一个或多个相邻块相关联的第二运动信息； 基于与所述一个或多个相邻块中的一个相关联的部分第二运动信息来決定所述当前 运动信息的第一部分以产生已编码运动信息；以及
【文档编号】H04N13/00GK106031170SQ201580008787
【公开日】2016年10月12日
【申请日】2015年4月1日
【发明人】陈庆晔, 庄子德, 黄毓文
【申请人】联发科技股份有限公司