专利名称：使用组合参考双向预测进行运动估计的方法和设备的制作方法
技术领域：
本发明的基本原理一般涉及视频编码，更具体地，涉及一种使用 组合参考双向预测进行运动估计的方法和设备。
背景技术：
众所周知，现有技术中的多假定运动补偿(multi-hypothesis motion compensation)能够为使用运动补偿的视频编码器和视频解 码器提供很多好处，如在第一种现有技术方法中所描述的。更具体 地，考虑两个假定的双向预测(B)条带(bi-predictive slice, B slice) 或者以前标准和建议中的双向预测图像， 一般被认为是用于国际标准 化组织/国际电工委员会(International Organization for Standardization/International Electrotechnical Commission ， ISO/IEC)的运动图像专家组(Moving Picture Experts Grou。-4 ， MPEG-4)部分10高级视频编码(Advanced Video Coding ， AVC)标准或国际电信联盟，电信标准化部门 (International Telecommunication Union, Telecommunication Sector,縮写为ITU-T) H.264的建议(此后使用"MPEG-4 AVC标准"来表示)的编解码 器的最高效的编码条带。这是因为，这些条带通过线性结合两个或者 多个假定能够有效地利用序列中存在的时间相关性，从而减少它们的 关联误差。更具体地，在B条带中，使用一种方式编码宏块或者块，
使得通过一个预测(List0或List1)或者线性结合两个预测(List0和 List1)能够预测该宏块或者块，同时，每一个list的关联加权能够在 淡化(fade)或者交叉淡化(cross —fade)的存在的情况下提供额 外的好处。为执行该预测，解码器仅需要与预测类型相对应的1个或 者2个运动矢量(motion vector, MV)，以及在比特流中传递它们的 关联参考(每一个关联列表有一个关联参考)，或者在直接模式的情 况下，推测出这些关联参考。
显然地，在大部分编码器中，例如，目前的JM参考软件，联合 视频工作组(Joint Video Team, JVT)参考软件版本JM7.4，用于已 条带(一般用于多假定编码)的运动估计在运动估计过程中分别考虑 有效预测列表中的每一个候选参考，并且不分别为双向预测或者多假 定预测设定任何具体假定。对于每一个预测列表，编码器计算最佳的 单向预测的运动矢量，然后编码器使用这些候选的运动矢量生成额外 的双向预测候选集合，该双向预测候选集合在用于确定何种模式(单 向预测，多预测或者帧内预测)被使用的最终模式确定中被使用。
如图1所示，通常使用参考符号100表示使用双向预测的视频编 码器。视频编码器的输入包括组合器105的同相输入，模式确定和运 动补偿(mode decision & motion compensation, MD&MC) 175的第 --输入，运动估计器(motion estimator, ME) 165的第一输入，和运 动估计器170的第一输入。组合器105的输出以信号通信方式连接到 变换器110的输入。变换器110的输出以信号通信方式连接到量化器 115的输入。量化器115的输出以信号通信方式连接到变长编码器
(variable length coder, VLC) 120的输入。VLC120的输出为视频编 码器100的输出。
量化器115的输出也以信号通信方式连接到反量化器125的输 入。反量化器125的输出以信号通信方式连接到反变换器130的输 入。反变换器130的输出以信号通信方式连接到组合器180的第一同 相输入。组合器180的输出以信号通信方式连接到环路滤波器135的 输入。环路滤波器135的输出以信号通信方式连接到图像参考存储器 140的输入。图像参考存储器140的输出以信号通信方式连接到UstO 参考缓冲器145的输入和List1参考缓冲器150的输入。ListO参考缓冲 器145的第一输出以信号通信方式连接到乘法器155的第一输入。 List1参考缓冲器150的第一输出以信号通信方式连接到乘法器160的 第一输入。ListO参考缓冲器145的第二输出和List1参考缓冲器150的 第二输出以信号通信方式连接到MD&MC175的第二输入。乘法器155 的输出以信号通信方式连接到运动估计器165的第二输入。乘法器 160的输出以信号通信方式连接到运动估计器170的第二输入。 MD&MC175的第一输出以信号通信方式连接到组合器105的反相输 入。MD&MC175的第二输出以信号通信方式连接到组合器180的第二 同相输入。
如上的方法是基于在双向预测中有好的运动矢量可供使用的假 定。不幸的是，这个假定不是总是成立的，因此有可能导致效率上严 重的损失。对于存在交叉淡化(融入)的情况尤其是这样，并且，在 这种情况中分别考虑每一个列表可能会导致性能相对较差。其中，在 交叉淡化中，这些图像中的层叠的物体可能有差异较大的亮度特征和 可能存在的运动特性。因此，需要在运动估计阶段能够综合考虑有效 候选参考，从而能够使编码效率高。另一方面，这不意味着不应该分 别考虑每一个参考。原因为，在低比特速率的情况下，当仅需要传输
一组运动矢量(分别使用m^禾P mv^对应参考x和y)的时候， 单向预测仍然能够为我们提供良好的效果。
众所周知，单个候选的运动估计的计算量相当大。如果使用搜索 窗口为(土N，土M)的完全搜索方法，那么需要测试(2N+1)x(2M+1)个检 査点。显然地，穷尽方法(brute force)以及某种意义上的用于双向 预测的最佳方法需要(2N+1)、(2M+lf个检查点，这对于任何一个体 系结构都是难以接受的。在更普通的多假定(k-预测，k-prediction) 情况下，需要测试(2N+1)Kx(2M+1)K个检查点。上述第一个现有技术 方法提到了一个相对简单的可供选择的体系结构，在该体系结构中， 使用迭代方法替代穷尽方法。该迭代方法通过考虑前面估计的假定依 次检查和细化每一个假定。
对双向预测情况，该方法概括如下假定当前图像为z，正在考 虑的两个参考是图像x和图像y。对于这两个图像，分别选择加权a和 b用于加权预测(即对于一般双向预测，a=b=1/2) 。 mv0和mv，是 分别对应x和y参考(或者它们的加权对应物)的用于运动补偿的运动 矢量。虽然能够应用类似的考虑，但是为简单起见，在处理方法中不 考虑加权偏移。在下面的过程中，使用绝对误差的和(sum of absolute difference, SAD)做为畸变度量。
Step 1. <formula>formula see original document page 16</formula> 2. 形成参考图像ax.
Step 3. 使用畸变 1 、 <formula>formula see original document page 16</formula>
中执行运动估计来细化运动矢量<formula>formula see original document page 16</formula>4. 设置<formula>formula see original document page 16</formula>5. 形成参考图像by
16
Step 6.
Step 7. Step 8.
Step 9.
Step 10. Step " Step 12.
使用畸变WD <formula>formula see original document page 17</formula>在by中执
行运动估计来细化运动矢量A7 ^ 如果 (mv,二二柳v')，则退出
设置廳(—wvi
使用畸变<formula>formula see original document page 17</formula>
中细化运动矢量
如果 (mVo=mv;)， 则退出 设置=,0
转向Step 6.
在 ax
这个方法可以广泛用于多假定的情况。但该方法存在仍然需要大 量的迭代的问题。此外，虽然性能很可能被提高，但是最终的预测也 可能不是最佳的选择。尤其是在该方法在局部最小被限制的时候，不 是最佳选择的可能性很大。当考虑为该算法的每一次迭代使用运动补 偿重构一个新的假定的时候，该体系结构的实现会非常的复杂。上述 第一种现有技术方法提出了一种类似的可选择的方法。在该方法中， step 1中被初始化为0的所有运动矢量被替换为通过独立地考虑每一 个列表而生成的运动矢量。
视频压缩编码器和解码器通过形成需要迸行编码的当前图像(或
条带)P current的预测和通过额外地编码该预测和当前图像间的差异来 获得高效的压縮效率。预测和当前图像越密切相关，用于压縮该图像 的比特就越少。因此，需要形成最佳可能的图像预测。这个预测能够 通过空间预测方法(帧内编码)或者时间预测方法(帧间编码)生成。
时间预测方法一般使用运动补偿技术生成预测参考。通常先把源
图像分割为大小为NXM的不重叠的块，然后使用运动估计技术在参 考图像/^eference中查找最佳匹配。最佳匹配与同样被编码到比特流中
的一个运动参数的集合相关联。例如MPEG-4 AVC这样最新的标准
通过用信号通知与运动参数一起使用的参考的索引也允许为最佳预测 的估计和选择考虑多参考图像。多参考编码器和解码器使用参考缓冲 器，其中，在编码和解码过程中，在该参考缓冲器中存取每一个可能 的候选参考。
一个可供选择的能提高性能的方法是一次不仅考虑一个参考，而
且考虑使用双向预测(bi-predictive, B)图像/条带编码中应用的多假 定的组合的可能性。这里，可以使用从一个多参考集合中选择一个参 考，或者通过线性组合(即执行加权平均)两个有效的参考来生成该 预测。如果必要，还需要估计和传递对应着参考的两个不同的运动参 数集合。这个概念能够应用于上述第一种现有技术方法所描述的考虑 2个以上假定的编码器中。也能够提高性能的其它的参数包括考虑如 第二种现有技术方法中建议的加权预测，其中，对每一个假定应用不 同的加权因子，以及使用如全局运动补偿技术这样比较复杂的运动模 型。
虽然考虑多假定运动补偿能够相当程度上提高视频编解码器的 性能，但是很难适当地估计用于这种情况的运动参数。尤其地，最佳 的解决方案能够通过使用有效的参考检查所有可能的预测组合来找 到，也就是，对于一个参考中的每一个可能的运动矢量，检査剩余参 考中所有的其它运动矢量及其组合。但是，这种办法的计算代价显然 是难以接受的。
发明内容
本发明提出一种使用组合参考双向预测进行运动估计的方法和设 备，解决现有技术中的这些和其它的不足和缺点。
本发明原理的一个方面提供了一种设备。该设备包括用于从至少 两个参考图像的组合中编码多预测图像的编码器，该编码器在运动估 计过程中为该至少两个参考图像中的一个参考图像预测运动矢量，其 中，该编码器在为一个参考图像预测运动矢量的时候，把该至少两个 参考图像的其它参考图像的运动矢量预置为预设值以便被运动估计过 程使用。
本发明原理的另外一个方面提供了一种方法。该方法包括通过在 运动估计过程中为至少两个参考图像中的一个参考图像预测运动矢 量，从所述至少两个参考图像的组合中编码多预测图像，其中，在为 一个参考图像预测运动矢量的时候，把所述至少两个参考图像的其它 参考图像的运动矢量预置为预设值以便被运动估计过程使用。
结合着附图阅读下面示例性实施例的具体描述，能够了解本发明 原理的这些和其它的方面、特征和优点。
结合如下示例性附图可以更好地理解本发明的原理，其中 图1示出现有技术中使用双向预测的视频编码器的示意图； 图2示出根据本发明原理的一个实施例的采用带有减影考虑的双 向预测的示例性视频编码器示意图3示出根据本发明原理的一个实施例的使用双向预测用于编码
宏块的示例性方法；
图4示出根据本发明原理的一个实施例的使用组合参考双向预测
用于运动估计的示例性方法，其中，执行并行迭代来优化剩余假定；
图5示出根据本发明原理的一个实施例的使用组合参考双向预测 用于运动估计的示例性方法，其中，基于最佳参考，迭代细化运动矢
图6示出根据本发明原理的一个实施例的考虑所有假定都具有相 同运动矢量的用于运动估计的示例性方法；
图7示出根据本发明原理的一个实施例的使用组合参考双向预测
用于执行运动估计的示例性方法，其中，每一个参考(x或者y)相比
源图像X都是固定的；
图8示出根据本发明原理的一个实施例的使用组合参考双向预测用于执行运动估计的示例性方法，其中，只有一个参考相对于源图像
是固定的；以及
图9示出根据本发明原理的一个实施例的使用组合参考双向预测
用于执行运动估计的示例性方法，其中，在参考之间为零运动的假定 前提下组合两个参考。
具体实施例方式
本发明的原理提出一种使用组合参考双向预测进行运动估计的方 法和设备。
本发明的说明书阐述了本发明的原理。并且，本领域的技术人员 能够设计出包含本发明原理的各式各样的装置，虽然这些装置在这里 没有显式地说明或者示出，但是这些装置属于本发明的发明精神和保 护范围之中。
这里叙述的所有的例子和条件语言用于教学目的，以便辅助读者 了解发明者对现有技术发展作出贡献的本发明的原理和概念，应当理
解，本发明不局限于这些具体叙述的例子和条件。
此外，这里叙述本发明原理的原理，各个方面和具体实施例和具 体的例子的所有陈述包含对应其结构和功能的等同物。另外，这些等 同物既包括目前已知的等同物，也包括以后研发出的等同物，即，开 发出来的，无论什么样的结构，只要执行相同的功能的任何元件。
因此，例如，本领域技术人员应该意识到，本发明的方块图示出 了包含本发明原理的示意性电路的概念图。同样地，应该意识到，所 有的流程图，作业图，状态转移图和伪码等描述了各种处理过程，在 这里，不管计算机或者处理器是否被显式地示出，这些处理过程可能 实质上记录在计算机可读介质上，并且被计算机或处理器执行。
在图中示出的不同元件的功能可以通过使用专用硬件提供，也可 以使用能够执行相关软件的硬件来提供。当通过处理器来提供的时 候，这些功能可以通过一个专用处理器，或一个共享处理器，或有着 部分共享的一组处理器来提供。此外，术语"处理器"或者"控制 器"的显式使用不应该仅仅解释为能够执行软件的硬件，还能隐式地
包括且不限于，数字信号处理器(digital signal processor, DSP)硬 件，用于存储软件的只读存储器(read only memory, ROM)，随机 存取存储器(random access memory, RAM)和非易失性存储器。
其它的传统的和/或自定义的硬件也可能被包括。同样地，图中 示出的任何开关仅仅是概念性的。可以通过程序电路、通过专用电 路、通过程序控制和专用电路的交互、或者手动控制来实现这些开关 的功能，技术人员在具体实现的时候可根据对实际情况上下文的具体 理解来选择具体的技术。
在权利要求中，任何表述为用于执行某特定功能的手段应涵盖能 执行该功能的所有方式，包括，例如，a)执行该功能的电路元件的 组合；或b)结合适当的电路用于执行该功能的包括固件和微码等等的任何形式的软件，该软件在电路上执行。权利要求中定义的本发明 的基本原理包含着如下事实，本发明叙述的不同的手段提供的功能被 组合形成了权利要求主张的事物。因此认为，任何能够提供相应功能 的手段是这里示出的手段的等同物。
说明书中本发明原理的一个实施例或实施例是指，结合实施例描 述的特定的特征，结构和特性等被包括在至少一个本发明原理的实施 例中。因此，在具体实施方式
的不同地方出现的"在一个实施例中" 或"在实施例中"不一定是指的同一个实施例。
这里提供的伪码仅仅用于描述的目的。因此，基于这里给出的本 发明的原理的教导，本领域或者相关领域的普通技术人员能在本发明 原理的范围内构思出如下的伪码序列及其变种。
如图2所示，通常使用参考符号200表示使用带有减影
(subtraction)考虑的双向预测的视频编码器。
视频编码器的输入包括组合器205的同相输入，模式确定和运动 补偿(mode decision & motion compensation, MD&MC) 275的第一 输入，运动估计器(motion estimator, ME) 265的第一输入，运动估 计器270的第一输入，组合器286的同相输入和组合器288的同相输 入。组合器205的输出以信号通信方式连接到转换器210的输入。转 换器210的输出以信号通信方式连接到量化器215的输入。量化器215 的输出以信号通信方式连接到变长编码器(variable length coder, VLC) 220的输入。VLC220的输出是视频编码器200的输出。
量化器215的输出也以信号通信方式连接到反量化器225的输 入。反量化器225的输出以信号通信方式连接到反转换器230的输 入。反转换器230的输出以信号通信方式连接到组合器280的第一同 相输入。组合器280的输出以信号通信方式连接到环路滤波器235的 输入。环路滤波器235的输出以信号通信方式连接到图像参考存储器
240的输入。图像参考存储器240的输出以信号通信方式连接到ListO 参考缓冲器245的输入和List1参考缓冲器250的输入。ListO参考缓冲 器245的第一输出以信号通信方式连接到乘法器255的第一输入。 List1参考缓冲器250的第一输出以信号通信方式连接到乘法器260的 第一输入。ListO参考缓冲器245的第二输出和List1参考缓冲器250的 第二输出以信号通信方式连接到MD&MC275的第二输入。乘法器255 的输出以信号通信方式连接到运动估计器265的第二输入。乘法器 260的输出以信号通信方式连接到运动估计器270的第二输入。 MD&MC275的第一输出以信号通信方式连接到组合器205的反相输 入。MD&MC275的第二输出以信号通信方式连接到组合器280的第二 同相输入。
乘法器255的输出也以信号通信方式连接到运动估计器284的第 一输入和组合器286的反相输入。乘法器260的输出也以信号通信方 式连接到组合器288的反相输入和运动估计器282的第一输入。组合 器288的输出以信号通信方式连接到运动估计器284的第二输入。组 合器286的输出以信号通信方式连接到运动估计器282的第二输入。 运动估计器284的输出以信号通信方式连接到MD&MC275的第三输 入。运动估计器282的输出以信号通信方式连接到MD&MC275的第四 输入。
本发明的原理描述了一种在视频编码体系结构中能显著提升双向 预测图像或条带的编码性能的方法和设备。虽然被本发明的原理主要 围绕MPEG — 4 AVC标准描述，但是本发明原理的不仅仅局限在该标 准。本发明的原理还可以应用在其它视频编码标准和建议中，而仍在 本发明原理的范围内。
在本发明原理的一个实施例中，我们考虑运动估计过程中的辅助 参考图像。该辅助参考图像主要是两个其它参考的线性组合。由于更 精确地考虑了双向预测，我们能使用这个新的参考进一步细化双向预 测(B)图像中的预测参考。这样做能够提供更高效的编码效率。在 本发明原理的一个实施例中，该方法可以扩展应用到多假设预测中。 有益地，该实施例能在不严重影响质量的前提下降低多假设运动估计 的复杂度。
在上述第一种现有技术方法中，使用迭代方法执行用于多假定运 动补偿的运动估计。其中，在每一次迭代中，在考虑所有其它参考列 表或者假定的先前估计的运动矢量的基础上，细化一个特定的参考或 者假定的运动矢量。并且，建议在最初的估计中使用单向预测运动矢
量(motion vector'MV)。
根据本发明原理的一个实施例，我们提出使用一种不同的方法来 估计特定参考的运动矢量。该方法虽然仍然基于迭代方法，但是其能 够更好地估计用于每一个参考的运动矢量。并且，在一些条件下或者 体系结构中，实现该方法也比较容易。
一个实施例基于如下的假设即使在淡入(fade)和交叉淡入 (cross-fade)过程中，相邻的图像也常常包含大百分比的固定区域 (stationary region)。第一种现有技术方法基于所有其它已估计参 考的先前计算的运动矢量执行一系列迭代来估计某一个参考的运动矢 量。与第一种现有技术方法不同，我们在实施例中首先通过假设所有 其它参考都是固定的来预测每一个参考的运动矢量(见图2)。这样 做允许我们更好地把固定区域从不固定区域中分开，从而能够提高运 动估计的准确性或者加快第一种现有技术方法中的迭代方法的收敛。 更具体地，该解决方案有多种可供选择的方法。
在本发明的实施例中，根据本发明原理的使用组合参考双向预测 来执行运动估计的第一种方法执行并行迭代(parallel iteration)来优 化剩余的假定。在假定用于其它参考索引的运动矢量为O的前提下，
通过使用不同的参考索引执行运动估计来实现并行计算。通过阅读如 下伪码就能够了解这个概念，其中，该概念应用于每一个块，并且假 设我们有N个假定。在下面的伪码中，我们使用如下的命名X,表示 索引为i的参考图像；W,表示它的用于加权预测的相关加权
(associated weight) ; m力火表示从参考索弓li开始执行ME，用于索 引为j的参考的运动矢量；以及，使用1<={0，1}验证在迭代过程中运动 矢量是否发生变化和是否需要终止运算。特别地，当N二2时候，伪 码如下
<formula>formula see original document page 25</formula>
for (j = 0; j < 2; j++)
if (,,0,,!=mv",)
iterate=1;
歸^尸膨乂o',; break,'
else /Yerafe=0;
};
while (/Ye厂afe二-"/J
上述伪码为每一个不同的假定生成2个运动矢量组合。然后我们 选择对应最小畸变的那个最佳组合。艮P.-
if (minSAD0< minSAD^
best—mv={mv00,0, itivlo.o} min^~AD= minS入D。；
else
best—mv={mv00,i, mv线J min^AD= minS入D"
如下为用于N个假定的通用的算法
for (i = 0; i < N; i++)
reference,
sourc6=z ; for (j = 0; j < N;
mVj,o尸mVj丄i-(O,O);
if (j!=j) source=source- Wj * Xj(mVj 0》;
};
//！使用参考来执行ME，从而细化运动矢量mvi,o,i //！使用畸变<formula>formula see original document page 27</formula>//！使用参考来执行ME，从而细化m\v0
//！ 使用畸变 <formula>formula see original document page 27</formula>在这种情况中，对于每一个不同的假定，我们最多可能有N个运 动矢量组合。然后，我们使用如下的方法能够选择最佳的组合
minSAD=minSAD0;best—mv={mv0,0,0， itivlo,o' ... ， mvm,0,0, ... , mvN.Lo.o} for (i = 1; i < N-1;
if (minSADj < minSAD)
minSAD=minSADi;
best—mv={mv0,0i， mv、o,i,…，mvm,0,i,…，mvN—LOi}
这个决定也能够在模式确定过程中做出(使用平方误差和(sum of square error, SSE)做为畸变度量(distortion metric)，结合着 使用给出的拉格朗日参数编码运动矢量的实际比特)。我们也允许来 自每一个集合，其它预测子(predictor)，例如空间/时间直接运动矢量 (spatial/temporal direct motion vector)这样先前估计的运云力矢量，单 向运云力矢量(single direction motion vector)，零运动矢量禾口暂日寸同 位(temporarily collocated)运动矢量等运动矢量的组合。这样做能 够导致模式确定中的额外的假定。基于这样的实现，最大迭代次数或 者执行并行细化的次数能够被预定义，因此能够降低该系统的复杂 度。
一个实施例描述了根据本发明原理的使用组合参考双向预测的用 于执行运动估计的第二方法。根据本发明原理的第一方法中的执行所
有可能的迭代仍然相当复杂。根据本发明原理的第二方法包括仅为 每一个假定执行第一步，然后仅基于最好的一个(基于最小畸变条 件)执行迭代细化。这个方法能够在保证性能的前提下相当程度地减 少复杂度。用于第二方法的伪码如下<formula>formula see original document page 28</formula>
<formula>formula see original document page 29</formula>
〃！使用参考来执行ME，从而细化运动矢量mvi,o
〃！使用畸变SAD = I source - reference(mvm,0,i)|. Motion—Estimation(source, reference, mvi0i, minSADj)
<formula>formula see original document page 29</formula>〃！使用参考来执行ME，从而细化运动矢量mvi,o 〃！使用田奇变SAD = I source - reference(mvm,0,i)L
<formula>formula see original document page 29</formula>break; else iterate=0;
};
while (iterate==1) minSAD=mJnSADbestref;
best—mv={mv00best—ref, mv10,best—ref， ... ， mvm,0,best—ref, ... , mvN-
1,0,best—re/}
最初的参考选择也能够基于参考相对于源图像的相似度(或者不 相似度)。例如，我们可以细化相对于源图像有着最大畸变的参考， 并认为所有其它参考最初都是固定的，以及按照根据本发明原理的第 一方法中描述的那样执行迭代步骤。
--个实施例描述了根据本发明原理的使用组合参考双向预测的用 于执行运动估计的第三种方法。在根据本发明原理的上述两个方法 中，我们在示例性算法的开始的步骤中考虑了零运动矢量。先前生成
的运动矢量(例如，单向假定或者M个假定)也可能做为替代的解决 方案，并且选择最好的一个运动矢量用于细化过程。通过对例如时间 /空间直接运动矢量，单向运动矢量，零运动矢量和暂时同位运动矢 量等预测器检查哪一个预测器能够在不需要执行额外的运动估计/补 偿步骤的情况下生成相比最初参考有着最小畸变的源图像，这个预测 器能够被选择出来。然后，在前面所有的步骤中，这个选择出来的预 测器替代零预测器用于所有其它运动矢量的细化。
一个实施例描述了根据本发明原理的使用组合参考双向预测用于 执行运动估计的第四种方法。第四种方法是一种比较简单的方法，但 是相比前面的方法会导致一些效率的损失。该方法包括认为所有的假 定都有相同的运动(即，所有的参考与相同的运动矢量关联)，以及
相对于源图像一起细化它们的预测。能够通过如下步骤完成
reference二[];
source=z ;
for (j = 0; j < N; j++)
mVj,o,i:mVj丄i-(0,0); reference-reference + w* Xj(mvj 0 i);
〃！使用参考来执行ME，从而细化运动矢量mvi,o 〃！使用田奇变SAD = I source — reference(mv)l. Motion—Estimation(source， reference, mv, minSAD)
best—mv={mv, mv,…，mv};
应该指出的是，当使用N参考时，上述示例性算法可以估计出潜 在的最佳运动矢量组合。编码器也能够选择用于一个宏块 (macroblock)的参考的数量。由于带来了更好的预测或者减少了 开销，从而能够提高性能。显然地，对于所有可能的参考组合能够重 复这一个过程，并且最终使用一个给定的条件选择能够带来最佳性能 的参考组合。特别地，基于上述描述，当可能的参考/假定数量是2个 的时候，我们可以考虑如下3种情况。
关于与根据本发明原理的第四种方法相关的第一种情况，我们考 虑每一个参考(x或者y)相对于源图像z是固定的(情况1没有任何迭 代)。在考虑加权估计中的适当的加权(分别为a和b)的同时，使 用如下的畸变度量计算其它参考的运动。
SAD =| (z-by)_ax(mv2)l, SAD =| (z-ax)-by(mv3)|.
在模式确定过程中，我们能够考虑如下模式/运动矢量单向预
测；使用单向预测ME计算出来的mw和m^的双向预测模式；直接
模式；使用mi/2禾口(0,0)的双向预测模式；使用(O,O)禾n A77V3的双向预
测模式；使用mv2和mv3的双向预测模式；以及其它可选的模式，如 使用mv2和 mv3的双向预测模式，使用mv2和mv3的双向预测模式
或者使用与直接运动矢量的组合的双向预测模式。
关于与根据本发明原理的第四种方法相关的第二种情况，我们考虑只有一个参考相对于源图像是固定的。在考虑加权估计过程中的适 当的加权的同时，使用如下的畸变度量计算其它参考的运动(没有任
何迭代的限定的情况1):
SAD =| (z-by)-ax(mv2)|
在模式确定过程中，我们能够考虑如下的情况单向预测；使用
单向预测ME计算出来的m^和m^的双向预测模式；直接模式；使 用m^和(O,O)的双向预测模式；以及其它可选的(建议的)模式， 如使用mv2和m^的双向预测模式或者使用与直接运动矢量的组合 的双向预测模式。
这种方法需要选择出两个参考中的哪个参考是固定的。这里存在 着一些选择项，例如(a)选择ListO参考或者List1参考；(b)选 择时间上最靠近的；以及(c)选择与源图像最相似的。当该方法在 图像级别/条带级别上完成(使用相同的方法估计条带内的所有块) 或者在宏块级别/块级别上完成(对每一个块做参考确定)的时候， 也能够考虑使用组合的度量。
关于与根据本发明原理的第四方法相关的第三种情况，我们在两 个图像间有零运动的前提下组合两个图像。然后，我们使用这个图像
做为新的参考来执行运动估计，如下所示
<formula>formula see original document page 32</formula>
在模式确定的过程中，我们能够考虑如下的情况单向预测；使 用单向预测ME计算出来的mVo和Am^的双向预测模式；直接模式； 使用A77V用于两个参考的双向预测模式；以及其它可选的(建议的)
模式，如使用mv禾tJ m^的双向预测模式，使用A7 Vo禾口 mv的双向预
测模式或者使用与直接运动矢量的组合的双向预测模式。
如图3所示，通常使用参考符号300表示使用双向预测用于编码 宏块的示例性方法。该方法300包括初始化块305。初始化块305把控 制权传递给功能块350和循环限制块310。
功能块350执行帧内模式确定(intra mode decision)，记录畸 变测量，并把控制权传递给功能块330。
循环限制块310开始所有帧间模式的循环，并把控制权传递给功 能块315。功能块315通过综合考虑所有假定来执行运动估计，并把 控制权传递给功能块320。功能块320执行模式确定，记录畸变测 量，并把控制权传递给循环限定块325。循环限定块325结束循环， 并把控制权传递给功能块330。
功能块330把编码模式设定为具有最小畸变测量的那个模式，并 把控制权传递给功能块335。功能块335编码当前的宏块，并把控制 权传递给结束块399。
图4示出使用组合参考双向预测的用于运动估计的示例性方法， 其中，执行并行迭代来优化剩余的假定。该方法一般使用参考符号 4Q0表示。
该方法400包括开始块405。开始块405把控制权传递给功能块 410，功能块415和功能块420。
假设用于其它参考索引的运动矢量是O或者其它预设值，功能块 410开始执行参考索引为0的运动估计，并把控制权传递给功能块 425。功能块425迭代地细化用于所有参考的运动矢量，保存运动矢
量为(mvo,o,o， mv匸o,o,…，mvm,0,0，…，rnvN.^o"}, 保存畸变为 minSADQ，并把控制权传递给功能块445。
假设用于其它参考索引的运动矢量是O或者其它预设值，功能块 415开始执行参考索引为m的运动估计，并把控制权传递给功能块 430。功能块430迭代地细化用于所有参考的运动矢量，保存运动矢 量为{mv0
'0,m， mVi 'o,m， ■,, ， mVm，O'm， … ，mV|\|-l ，o，m }，保存畸变为
minSADm，并把控制权传递给功能块445。
假设用于其它参考索引的运动矢量是O或者其它预设值，功能块 420开始执行参考索引为N—1的运动估计，并把控制权传递给功能块 440。功能块440迭代地细化用于所有参考的运动矢量，保存运动矢 量为(mv。,o,nm， itivlo,nm，…，mvm,o,ivi,…，mvN-i,o,N-i}，保存畸变为 minSADN—15并把控制权传递给功能块445。
功能块445选择带有最小minSAD值的最佳运动矢量组合，并把 控制权传递给结束块499。
图5示出使用组合参考双向预测用于运动估计的示例性方法。其 中，该方法基于最佳参考迭代地细化运动矢量。该方法通常使用参考 符号500表示。
该方法500包括开始块505。开始块505把控制权传递给功能块 510，功能块515和功能块520。
假设用于其它参考索引的运动矢量是O或者其它预设值，功能块 510开始执行参考索引为0的运动估计，并把控制权传递给功能块 525。
假设用于其它参考索引的运动矢量是O或者其它预设值，功能块 515开始执行参考索引为m的运动估计，并把控制权传递给功能块 525。
假设用于其它参考索引的运动矢量是O或者其它预设值，功能块 520开始执行参考索引为N-1的运动估计，并把控制权传递给功能块
525。
功能块525选择带有最小minSAD值的最佳参考(best—ref)，并
把控制权传递给功能块530。功能块530迭代地细化用于所有参考的
运动矢量，保存运动矢量为{mV0,0,best_ref,mV^o,besLref，…，
mvm,G,best_ref， ... ， mvN-w.best—ref}，并把控制权传递给结束块599。
图6示出用于所有假定都有相同的运动矢量的运动估计的示例性 方法。该方法通常使用参考符号600表示。
该方法600包括开始块605。开始块605把控制权传递给功能块 610。功能块610把所有参考图像加到一起形成一个参考图像，并把 控制权传递给功能块615。功能块615在新形成的参考图像上执行运 动估计，并把控制权传递给功能块620。功能块620把新形成的参考
图像对应的生成的运动矢量设置为所有参考图像的运动矢量，并把控 制权传递给结束块699。
图7示出使用组合参考双向预测用于执行运动估计的示例性方 法，其中，每一个参考(x或者y)相对于源图像x被认为是固定的。 该方法一般使用参考符号700表示。
该方法700包括开始块705。开始块705把控制权传递给功能块 710。功能块710为参考x执行运动估计(生成运动矢量mvQ)，并把 控制权传递给功能块715。功能块715为参考y执行运动估计(生成运 动矢量m^)，并把控制权传递给功能块720。功能块720使用SAD =|(z-by)-ax(mv2)|执行运动估计(生成运动矢量mv2)，并把控制权 传递给功能块725。功能块725使用SAD =|(z-ax)-by(mv3)|执行运动 估计(生成运动矢量mv3)，并把控制权传递给功能块730。功能块 730执行模式确定，并把控制权传递给功能块735。关于功能块730执 行的模式确定，可以通过考虑如下情况来执行该模式确定，例如单
向预测；使用mvo和m^的双向预测模式；直接模式；使用mv2和 (O，O)的双向预测模式；使用(O，O)禾Q mv3的双向预测模式；使用mv2 和mv3的双向预测模式；以及其它可选的模式，如使用mv2和m^的 双向预测模式，使用mvo和mv3的双向预测模式或者使用与直接运
动矢量的组合的双向预测模式。先前的考虑是示例性的。因此，给出 这里提供的本发明原理的教导，在保持本发明原理的范围内，功能块
730执行的模式确定可以采用这些和其他的考虑。
功能块735选择带有最小畸变测量的模式，并把控制权传递给结 束块799。
图8示出使用组合参考双向预测用于执行运动估计的示例性方 法。其中，仅有一个参考相对于源图像是固定的。该方法通常使用参 考符号800表示。该方法800包括开始块805。开始块805把控制权传 递给功能块810。功能块810为参考x执行运动估计(生成运动矢量 mv0)，并把控制权传递给功能块815。功能块815为参考y执行运动 估计(生成运动矢量mvO ，并把控制权传递给功能块820。功能块 820使用SAD =|(z-by)-ax(mv2)|执行运动估计(生成运动矢量 mv2)，并把控制权传递给功能块825。功能块825执行模式确定，并 把控制权传递给功能块830。关于功能块825执行的模式确定，可以 通过考虑如下情况来执行该模式确定，例如单向预测；使用mvo
和A77l^的双向预测模式；直接模式；使用mV2禾口 (O，O)的双向预测模
式以及其它可选的模式，如使用mv2和mv!的双向预测模式或者使用 与直接运动矢量的组合的双向预测模式。先前的考虑是示例性的。因 此，给出这里提供的本发明原理的教导，在保持本发明原理的范围 内，功能块825执行的模式确定可以采用这些和其他的考虑。
功能块830选择带有最小畸变测量的模式，并把控制权传递给结 束块899。
图9示出使用组合参考双向预测用于执行运动估计的示例性方 法。其中，假设两个参考之间是零运动，组合这两个参考。该方法通
常使用参考符号900表示。该方法900包括开始块905。开始块905把 控制权传递给功能块910。功能块910为参考x执行运动估计(生成运 动矢量mvQ)，并把控制权传递给功能块915。功能块915为参考y执 行运动估计(生成运动矢量mvO ，并把控制权传递给功能块920。 功能块920使用SAD叫(z-by(mv)-ax(mv)1执行运动估计(生成运动矢 量mv)，并把控制权传递给功能块925。功能块925执行模式确定， 并把控制权传递给功能块930。关于功能块925执行的模式确定，可 以通过考虑如下情况来执行该模式确定，例如单向预测；使用m^ 和m^的双向预测模式；直接模式；对两个参考使用mv的双向预测模 式以及其它可选的模式，如使用mv和m^的双向预测模式，使用 mvo和mv的双向预测模式或者使用与直接运动矢量的组合的双向预 测模式。先前的考虑是示例性的。因此，给出这里提供的本发明原理 的教导，在保持本发明原理的范围内，功能块925执行的模式确定可 以采用这些和其他的考虑。
功能块930选择带有最小畸变测量的模式，并把控制权传递给结 束块999。
下面的描述给出了本发明原理的一些优点/特征，其中有的优点/ 特征在前面已经被提及过。例如一个优点/特征是一种设备，该设备 包括用于从至少两个参考图像的组合中编码多预测图像的编码器，该 编码器在运动估计过程中为该至少两个参考图像中的一个参考图像预 测运动矢量，其中，该编码器在为一个参考图像预测运动矢量的时 候，把该至少两个参考图像的其它参考图像的运动矢量预置为预设值 以便被运动估计过程使用。
另一个优点/特征是包括上述编码器的设备，其中该编码器通过把该至少两个参考图像的其它的参考图像视为固定的来预测该至少两 个参考图像中的一个参考图像的运动矢量。
另一个优点/特征是包括上述编码器的设备，其中该编码器在多 迭代过程的第一步中分别并行地估计该至少两个参考图像中每一个参 考图像的运动矢量，并在该多迭代过程的后续步骤中细化运动矢量。 另一个优点/特征是包括上述在多迭代过程的第一步中分别并行地估 计该至少两个参考图像中每一个参考图像的运动矢量，并在该多迭代 过程的后续步骤中细化运动矢量的编码器的设备，其中，该编码器基 于畸变测量从由该多迭代过程产生的结果中选择最佳的运动矢量。
此外，另一个优点/特征是包括上述编码器的设备，其中，基于 该至少两个参考图像的至少一个其它参考图像的先前计算的运动矢 量，把该至少两个参考图像的该至少一个其它参考图像的运动矢量预 置为预设值。进一步地，另一个优点/特征是包括上述的编码器的设 备，该编码器基于该至少两个参考图像的至少一个其它参考图像的先 前计算的运动矢量，把该至少两个参考图像的该至少一个其它参考图 像的运动矢量预置为预设值，其中，该先前计算的运动矢量包括至少 一个直接运动矢量和一个从比该至少两个参考图像数量少的参考图像 的组合中先前计算得到的运动矢量，并且该至少一个直接运动矢量为 至少一个时间直接运动矢量和至少一个空间直接运动矢量中的至少一 个直接运动矢量。并且，另一个优点/特征是包括上述的编码器的设 备，该编码器基于该至少两个参考图像的至少一个其它参考图像的先 前计算的运动矢量，把该至少两个参考图像的该至少一个其它参考图 像的运动矢量预置为预设值，其中，该编码器使用迭代过程预测该至 少两个参考图像的运动矢量，并且，基于相关性度量从至少一个预置 为预设值的运动矢量和该先前计算的运动矢量之中确定该迭代过程最 初使用的运动矢量。
此外，另一个优点/特征是包括上述的编码器的设备，其中，该 编码器使用迭代过程预测该至少两个参考图像的运动矢量。此外，另 一个优点/特征是包括上述的编码器的设备，该编码器使用迭代过程 预测该至少两个参考图像的运动矢量，其中，该编码器限制该迭代过 程执行的最大迭代次数。进一步地，另一个优点/特征是包括上述的 编码器的设备，该编码器使用迭代过程预测该至少两个参考图像的运 动矢量，其中，该编码器限制该迭代过程并行测试的该至少两个参考 图像的最大个数。
此外，另一个优点/特征是包括上述的编码器的设备，其中，该 编码器基于先前的加权估计过程估计的用于该至少两个参考图像的加 权来估计该至少两个参考图像的运动矢量。
此外，另一个优点/特征是包括上述的编码器的设备，其中，该 编码器使用多迭代过程并行估计至少两个参考图像的运动矢量，该多 迭代过程分别对应着该至少两个参考图像的不同参考图像有不同的预 置值。此外，另一个优点/特征是包括上述的执行多迭代过程的编码 器的设备，其中，该编码器执行该多迭代过程的第一步为该至少两个 参考图像的每一个参考图像的运动矢量提供一个预置值，基于最低畸 变测量选择该至少两个参考图像中的最佳预置值，以及基于该最佳预 置值执行该多迭代过程的后续步骤来细化该每一个参考图像的预置 值。
进一步地，另一个优点/特征是包括上述的编码器的设备，其 中，该编码器基于该至少两个参考图像的运动矢量都相同的前提预测 多预测图像的运动信息，以及细化该多预测图像的运动矢量。
此外，另一个优点/特征是包括上述的编码器的设备，其中，该 编码器通过把该至少两个参考图像组合为一个组合参考图像和在该至 少两个参考图像间使用零运动来估计该多预测图像的运动矢量信息。
此外，另一个优点/特征是包括上述的编码器的设备，其中，在预测该至少两个参考图像的一个参考图像的运动矢量的时候，通过把 该至少两个参考图像的剩余的运动矢量相对于多预测图像视为固定的，该编码器分别预测该至少两个参考图像的每一个参考图像的运动矢量。此外，另一个优点/特征是包括上述的编码器的设备，在预测 该至少两个参考图像的一个参考图像的运动矢量的时候，通过把该至少两个参考图像的剩余的运动矢量相对于多预测图像视为固定的，该 编码器分别预测该至少两个参考图像的每一个参考图像的运动矢量，其中，该编码器通过分别为每一个参考图像选择一个加权来预测该至少两个参考图像的每一个参考图像的运动矢量。
此外，另一个优点/特征是包括上述的编码器的设备，其中，该 编码器为该多预测图像执行模式确定从而从单向预测模式，直接预测模式，使用分别由单向预测计算出来的该至少两个参考图像的运动矢量的双向预测模式，使用该至少两个参考图像的细化的运动矢量和固定的运动矢量的至少一个的双向预测模式和为该至少两个参考图像的 每一个参考图像使用一个细化的运动矢量的双向预测模式之中选择出带有最小畸变测量的模式，其中，在预测该至少两个参考图像的一个参考图像的运动矢量的时候，通过把该至少两个参考图像的剩余的运动矢量视为固定的，该编码步骤分别计算该至少两个参考图像的每一个参考图像的运动矢量。进一步地，另一个优点/特征是包括上述的执行模式确定的编码器的设备，其中，该编码器进一步从使用该至少两个参考图像的一个参考图像的运动矢量的双向预测模式，使用该至 少两个参考图像的一个参考图像的细化的运动矢量的双向预测模式和使用包含至少一个直接运动矢量的至少一个组合的双向预测模式之中 选择带有最小畸变测量的模式。
此外，另一个优点/特征是包括上述的编码器的设备，其中，该
编码器通过把该至少两个参考图像的一个参考图像的运动矢量相对于 多预测图像视为固定的来分别预测该至少两个参考图像的每一个参考 图像的运动矢量。此外，另一个优点/特征是包括上述的编码器的设 备，该编码器通过把该至少两个参考图像的一个参考图像的运动矢量 相对于多预测图像视为固定的来分别预测该至少两个参考图像的每一 个参考图像的运动矢量，其中，该编码器通过为每一个参考图像的运 动矢量选择一个加权来分别预测该至少两个参考图像的每一个参考图 像的运动矢量。此外，另一个优点/特征是包括上述的编码器的设 备，该编码器通过把该至少两个参考图像的一个参考图像的运动矢量 相对于多预测图像视为固定的来分别预测该至少两个参考图像的每一 个参考图像的运动矢量，其中，该编码器基于如下至少一个条件选择 该至少两个参考图像中的作为固定的该一个参考图像该至少两个参 考图像的一个参考图像对应的参考列表，时间接近度和相对于该多预 测图像的相似度。
进一步地，另一个优点/特征是包括上述的编码器的设备，其 中，该编码器为该多预测图像执行模式确定从而从单向预测模式，直 接预测模式，使用分别由单向预测计算出来的该至少两个参考图像的 运动矢量的双向预测模式和使用固定的运动矢量和细化的运动矢量的 双向预测模式之中选择出带有最小畸变测量的模式，其中，基于把所 述至少两个参考图像的剩余的运动矢量视为固定的，计算该至少两个 参考图像的一个参考图像的运动矢量。此外，另一个优点/特征是包 括上述的执行模式确定的编码器的设备，其中，该编码器进一步从如 下模式中选择带有最小畸变测量的模式使用该至少两个参考图像的 一个运动矢量和细化的运动矢量的双向预测模式，和使用直接运动矢 量和根据该畸变测量计算出的运动矢量这两个矢量的至少一个组合的 双向预测模式。
此外，另一个优点/特征是包括上述的编码器的设备，其中，该 编码器基于该至少两个参考图像相对于被编码的该多预测图像有着相 同的运动的前提计算该至少两个参考图像的运动矢量。此外，另一个 优点/特征是包括上述的编码器的设备，该编码器基于该至少两个参 考图像相对于被编码的该多预测图像有着相同的运动的前提计算该至 少两个参考图像的运动矢量，其中，该编码器通过为每一个参考选择 加权计算该至少两个参考图像的运动矢量。
进一步地，另一个优点/特征是包括上述的编码器的设备，其 中，该编码器为多预测图像执行模式确定，从而从如下模式中选择带 有最小畸变测量的模式单向预测模式，直接预测模式，使用分别由 单向预测计算出来的该至少两个参考图像的运动矢量的双向预测模 式，为该至少两个参考图像的每一个参考图像使用一个细化的运动矢 量的双向预测模式，和使用通过把该至少两个参考图像的运动矢量视 为相同的而计算出来的该至少两个参考图像的组合的运动矢量的预测 模式。此外，另一个优点/特征是包括上述的执行模式确定的编码器 的设备，其中，该编码器进一步从如下模式中选择带有最小畸变测量 的模式使用该至少两个参考图像的一个运动矢量和通过把该至少两 个参考图像的运动矢量视为相同而计算出的运动矢量的双向预测模 式，和使用直接运动矢量和通过把该至少两个参考图像的运动矢量视 为相同而计算出的运动矢量这两个矢量的至少一个组合的双向预测模 式。
相关技术领域的一个技术人员基于本发明的教导就能确定本发明 原理的这些和其它特征以及有益效果。能够了解，本发明原理的教导 可以以硬件、软件、固件、特殊用途处理器或者它们的结合的不同形 式来实现。
最好地，使用硬件和软件的组合来实现本发明原理的教导。此 外，软件可以实现为存储于程序存储单元的应用程序。应用程序可以 被上载到具有合适的体系机构的机器上，以及被该机器执行。更好 地，在计算机平台上实现该机器，该计算机平台包括硬件，例如一个
或一个以上中央处理单元(central processing unit, CPU)， 一个随
机存取存储器(random access memory, RAM)，和输入/输出
(input/output, I/O)接口。计算机平台也可以包括操作系统和微指
令码。这里描述的不同的处理过程和功能可以是CPU能够执行的微
指令码的一部分，或应用程序的一部分，或它们的任何组合。另外，
计算机平台可以连接其他不同的外设单元，例如，附加的数据存储单 元和打印单元。
进一步认识到，由于附图中示出的一些系统组件和方法较好地使 用软件来实现，系统组件或者处理功能块的实际连接可能随着本发明 原理的编程方式的不同而不同。这里给出了教导，相关技术领域的一 个普通技术人员能够获得本发明原理的这些和类似的实现或配置。
虽然这里结合附图描述了说明性的实施例，但是能够认识到，本 发明的原理不限于那些确定的实施例，并且相关技术领域的一个普通 技术人员可能在不背离本发明原理的范围或思想的前提下做出不同的 改变和修改。本发明的权利要求阐述的本发明的原理的范围包括了所 有这些改变和修改。
权利要求
1. 一种设备，包括用于从至少两个参考图像的组合中编码多预测图像的编码器(200)，所述编码器在运动估计过程中为所述至少两个参考图像中的一个参考图像预测运动矢量，其中，所述编码器在为一个参考图像预测运动矢量的时候，把所述至少两个参考图像的其它参考图像的运动矢量预置为预设值以便被运动估计过程使用。
2. 如权利要求1所述的设备，其中，所述编码器(200)通过把 所述至少两个参考图像的其它的参考图像视为固定的来预测所述至少 两个参考图像中的一个参考图像的运动矢量。
3. 如权利要求1所述的设备，其中，所述编码器(200)在多迭 代过程的第一步中分别并行地估计所述至少两个参考图像中每一个参 考图像的运动矢量，并在所述多迭代过程的后续步骤中细化运动矢
4. 如权利要求3所属的设备，其中，所述编码器(200)基于畸 变测量从由所述多迭代过程产生的结果中选择最佳的运动矢量。
5. 如权利要求1所述的设备，其中，基于所述至少两个参考图像 的至少一个其它参考图像的先前计算的运动矢量，把所述至少两个参 考图像的所述至少一个其它参考图像的运动矢量预置为预设值。
6. 如权利要求5所述的设备，其中，所述先前计算的运动矢量包 括至少一个直接运动矢量和一个从比所述至少两个参考图像数量少的参考图像的组合中先前计算得到的运动矢量，其中，所述至少一个直 接运动矢量为至少一个时间直接运动矢量和至少一个空间直接运动矢 量中的至少一个直接运动矢量。
7. 如权利要求5所述的设备，其中，所述编码器(200)使用迭代过程预测所述至少两个参考图像的运动矢量，并且，基于相关性度 量从至少一个预置为预设值的运动矢量和所述先前计算的运动矢量之 中确定所述迭代过程最初使用的运动矢量。
8. 如权利要求1所述的设备，其中，所述编码器(200)使用迭 代过程预测所述至少两个参考图像的运动矢量。
9. 如权利要求8所述的设备，其中，所述编码器(200)限制所 述迭代过程执行的最大迭代次数。
10. 如权利要求8所述的设备，其中，所述编码器(200)限制 所述迭代过程并行测试的所述至少两个参考图像的最大个数。
11. 如权利要求1所述的设备，其中，所述编码器(200)基于 先前的加权估计过程估计的用于所述至少两个参考图像的加权来估计 所述至少两个参考图像的运动矢量。
12. 如权利要求1所述的设备，其中，所述编码器(200)使用 多迭代过程并行估计至少两个参考图像的运动矢量，所述多迭代过程 分别对应着所述至少两个参考图像的不同参考图像有不同的预置值。
13. 如权利要求12所述的设备，其中，所述编码器(200)执行 所述多迭代过程的第一步为所述至少两个参考图像的每一个参考图像 的运动矢量提供一个预置值，基于最低畸变测量选择所述至少两个参 考图像中的最佳预置值，以及基于所述最佳预置值执行所述多迭代过 程的后续步骤来细化所述每一个参考图像的预置值。
14. 如权利要求1所述的设备，其中，所述编码器(200)基于 所述至少两个参考图像的运动矢量都相同的前提预测多预测图像的运 动信息，以及细化所述多预测图像的运动矢量。
15. 如权利要求1所述的设备，其中，所述编码器(200)通过把所述至少两个参考图像组合为一个组合参考图像和在所述至少两个 参考图像间使用零运动来估计所述多预测图像的运动矢量信息。
16. 如权利要求1所述的设备，其中，在预测所述至少两个参考图像的一个参考图像的运动矢量的时候，通过把所述至少两个参考图 像的剩余的运动矢量相对于多预测图像视为固定的，所述编码器(200)分别预测所述至少两个参考图像的每一个参考图像的运动矢
17.如权利要求16所述的设备，其中，所述编码器(200)通过 分别为每一个参考图像选择一个加权来预测所述至少两个参考图像的
18.如权利要求18所述的设备，其中，所述编码器(200)为所 述多预测图像执行模式确定从而从单向预测模式，直接预测模式，使 用分别由单向预测计算出来的所述至少两个参考图像的运动矢量的双 向预测模式，使用所述至少两个参考图像的细化的运动矢量和固定的运动矢量的至少一个的双向预测模式和为所述至少两个参考图像的每 --个参考图像使用一个细化的运动矢量的双向预测模式之中选择出带 有最小畸变测量的模式，其中，在预测所述至少两个参考图像的一个 参考图像的运动矢量的时候，通过把所述至少两个参考图像的剩余的 运动矢量视为固定的，所述编码步骤分别计算所述至少两个参考图像 的每一个参考图像的运动矢量。
19. 如权利要求18所述的设备，其中，所述编码器(200)进一歩从使用所述至少两个参考图像的一个参考图像的运动矢量的双向预 测模式，使用所述至少两个参考图像的一个参考图像的细化的运动矢 量的双向预测模式和使用包含至少一个直接运动矢量的至少一个组合 的双向预测模式之中选择带有最小畸变测量的模式。
20. 如权利要求1所述的设备，其中，所述编码器(200)通过 把所述至少两个参考图像的一个参考图像的运动矢量相对于多预测图 像视为固定的来分别预测所述至少两个参考图像的每一个参考图像的运动矢量。
21. 如权利要求20所述的设备，其中，所述编码器(200)通过 为每一个参考图像的运动矢量选择一个加权来分别预测所述至少两个 参考图像的每一个参考图像的运动矢量。
22. 如权利要求20所述的设备，其中，基于如下至少一个条件选 择所述至少两个参考图像中的作为固定的所述一个参考图像所述至 少两个参考图像的一个参考图像对应的参考列表，时间接近度和相对 于所述多预测图像的相似度。
23. 如权利要求1所述的设备，其中，所述编码器(200)为所 述多预测图像执行模式确定从而从单向预测模式，直接预测模式，使 用分别由单向预测计算出来的所述至少两个参考图像的运动矢量的双 向预测模式和使用固定的运动矢量和细化的运动矢量的双向预测模式 之中选择出带有最小畸变测量的模式，其中，基于把所述至少两个参 考图像的剩余的运动矢量视为固定的，计算所述至少两个参考图像的 一个参考图像的运动矢量。
24. 如权利要求23所述的设备，其中，所述编码器(200)进一 步从如下模式中选择带有最小畸变测量的模式使用所述至少两个参 考图像的一个运动矢量和细化的运动矢量的双向预测模式，和使用直 接运动矢量和根据所述畸变测量计算出的运动矢量这两个矢量的至少 一个组合的双向预测模式。
25. 如权利要求1所述的设备，其中，所述编码器(200)基于 所述至少两个参考图像相对于被编码的所述多预测图像有着相同的运 动的前提计算所述至少两个参考图像的运动矢量。
26. 如权利要求25所述的设备，其中，所述编码器(200)通过 为每一个参考选择加权来计算所述至少两个参考图像的运动矢量。
27. 如权利要求1所述的设备，其中，所述编码器(200)为多 预测图像执行模式确定，从而从如下模式中选择带有最小畸变测量的 模式单向预测模式，直接预测模式，使用分别由单向预测计算出来 的所述至少两个参考图像的运动矢量的双向预测模式，为所述至少两 个参考图像的每一个参考图像使用一个细化的运动矢量的双向预测模 式，和使用通过把所述至少两个参考图像的运动矢量视为相同的而计 算出来的所述至少两个参考图像的组合的运动矢量的预测模式。
28. 如权利要求27所述的设备，其中，所述编码器(200)进--步从如下模式中选择带有最小畸变测量的模式使用所述至少两个 参考图像的一个运动矢量和通过把所述至少两个参考图像的运动矢量 视为相同而计算出的运动矢量的双向预测模式，和使用直接运动矢量 和通过把所述至少两个参考图像的运动矢量视为相同而计算出的运动 矢量这两个矢量的至少一个组合的双向预测模式。
29. —种方法，包括通过在运动估计过程中为至少两个参考图 像中的一个参考图像预测运动矢量，从所述至少两个参考图像的组合 中编码多预测图像，其中，在为一个参考图像预测运动矢量的时候， 把所述至少两个参考图像的其它参考图像的运动矢量预置为预设值以便被运动估计过程使用(400)。
30. 如权利要求29所述的方法，其中，所述编码步骤通过把所述 至少两个参考图像的其它的参考图像视为固定的来预测所述至少两个 参考图像中的一个参考图像的运动矢量(410， 415， 420)。
31. 如权利要求29所述的方法，其中，所述编码步骤在多迭代过 程的第一步中分别并行地估计所述至少两个参考图像中每一个参考图 像的运动矢量，并在所述多迭代过程的后续步骤中细化运动矢量 (410， 425， 415， 430， 420， 440)。
32. 如权利要求31所述的方法，其中，所述编码步骤基于畸变测 量从由所述多迭代过程产生的结果中选择最佳的运动矢量(445)。
33. 如权利要求29所述的方法，其中，基于所述至少两个参考图像的至少一个其它参考图像的先前计算的运动矢量，把所述至少两个 参考图像的所述至少一个其它参考图像的运动矢量预置为预设值。
34. 如权利要求33所述的方法，其中，所述先前计算的运动矢量 包括至少-一个直接运动矢量和一个从比所述至少两个参考图像数量少 的参考图像的组合中先前计算得到的运动矢量，其中，所述至少一个 直接运动矢量为至少一个时间直接运动矢量和至少一个空间直接运动 矢量中的至少一个直接运动矢量。
35. 如权利要求33所述的方法，其中，所述编码步骤使用迭代过 程预测所述至少两个参考图像的运动矢量，并且，基于相关性度量从 至少一个预置为预设值的运动矢量和所述先前计算的运动矢量之中确 定所述迭代过程最初使用的运动矢量。
36. 如权利要求29所述的方法，其中，所述编码步骤使用迭代过 程预测所述至少两个参考图像的运动矢量(425， 430， 440)。
37. 如权利要求36所述的方法，其中，所述编码步骤限制所述迭 代过程执行的最大迭代次数。
38. 如权利要求36所述的方法，其中，所述编码步骤限制所述迭 代过程并行测试的所述至少两个参考图像的最大个数。
39. 如权利要求29所述的方法，其中，所述编码步骤基于先前的 加权估计过程估计的用于所述至少两个参考图像的加权来估计所述至 少两个参考图像的运动矢量。
40. 如权利要求29所述的方法，其中，所述编码步骤使用多迭代 过程并行估计至少两个参考图像的运动矢量，所述多迭代过程分别对应着所述至少两个参考图像的不同参考图像有不同的预置值(510， 515， 520)。
41. 如权利要求40所述的方法，其中，所述编码步骤执行所述多 迭代过程的第一步为所述至少两个参考图像的每一个参考图像的运动 矢量提供一个预置值，基于最低畸变测量选择所述至少两个参考图像 中的最佳预置值，以及基于所述最佳预置值执行所述多迭代过程的后 续步骤来细化所述每一个参考图像的预置值(500)。
42. 如权利要求29所述的方法，其中，所述编码步骤基于所述至少两个参考图像的运动矢量都相同的前提预测多预测图像的运动信 息，以及细化所述多预测图像的运动矢量(600)。
43. 如权利要求29所述的方法，其中，所述编码步骤通过把所述 至少两个参考图像组合为一个组合参考图像和在所述至少两个参考图 像间使用零运动来估计所述多预测图像的运动矢量信息(610)。
44. 如权利要求29所述的方法，其中，在预测所述至少两个参考 图像的一个参考图像的运动矢量的时候，通过把所述至少两个参考图 像的剩余的运动矢量相对于多预测图像视为固定的，所述编码步骤分 别预测所述至少两个参考图像的每一个参考图像的运动矢量(720， 725)。
45. 如权利要求44所述的方法，其中，所述编码步骤通过分别为 每一个参考图像选择一个加权来预测所述至少两个参考图像的每一个参考图像的运动矢量。
46. 如权利要求29所述的方法，其中，所述编码步骤为所述多预测图像执行模式确定从而从单向预测模式，直接预测模式，使用分别 由单向预测计算出来的所述至少两个参考图像的运动矢量的双向预测 模式，使用所述至少两个参考图像的细化的运动矢量和固定的运动矢 量的至少一个的双向预测模式和为所述至少两个参考图像的每一个参 考图像使用一个细化的运动矢量的双向预测模式之中选择出带有最小 畸变测量的模式，其中，在预测所述至少两个参考图像的一个参考图 像的运动矢量的时候，通过把所述至少两个参考图像的剩余的运动矢 量视为固定的，所述编码步骤分别计算所述至少两个参考图像的每一 个参考图像的运动矢量。
47. 如权利要求46所述的方法，其中，所述编码步骤进一步从使 用所述至少两个参考图像的一个参考图像的运动矢量的双向预测模 式，使用所述至少两个参考图像的一个参考图像的细化的运动矢量的 双向预测模式和使用包含至少一个直接运动矢量的至少一个组合的双 向预测模式之中选择带有最小畸变测量的模式。
48. 如权利要求29所述的方法，其中，所述编码步骤通过把所述 至少两个参考图像的一个参考图像的运动矢量相对于多预测图像视为 固定的来分别预测所述至少两个参考图像的每一个参考图像的运动矢 量(820)。
49. 如权利要求48所述的方法，其中，所述编码步骤通过为每一 个参考图像的运动矢量选择一个加权来分别预测所述至少两个参考图 像的每一个参考图像的运动矢量。
50. 如权利要求48所述的方法，其中，基于如下至少一个条件选择所述至少两个参考图像中的作为固定的所述一个参考图像所述至 少两个参考图像的一个参考图像对应的参考列表，时间接近度和柑对 于所述多预测图像的相似度。
51. 如权利要求29所述的方法，其中，所述编码步骤为所述多预 测图像执行模式确定从而从单向预测模式，直接预测模式，使用分别 由单向预测计算出来的所述至少两个参考图像的运动矢量的双向预测 模式和使用固定的运动矢量和细化的运动矢量的双向预测模式之中选 择出带有最小畸变测量的模式，其中，基于把所述至少两个参考图像 的剩余的运动矢量视为固定的，计算所述至少两个参考图像的一个参 考图像的运动矢量(825)。
52. 如权利要求51所述的方法，其中，所述编码步骤进一步从如 下模式中选择带有最小畸变测量的模式使用所述至少两个参考图像 的一个运动矢量和细化的运动矢量的双向预测模式，和使用直接运动 矢量和根据所述畸变测量计算出的运动矢量这两个矢量的至少一个组 合的双向预测模式。
53. 如权利要求29所述的方法，其中，所述编码步骤基于所述至 少两个参考图像相对于被编码的所述多预测图像有着相同的运动的前 提计算所述至少两个参考图像的运动矢量(920)。
54. 如权利要求53所述的方法，其中，所述编码步骤通过为每一 个参考选择加权来计算所述至少两个参考图像的运动矢量。
55. 如权利要求29所述的方法，其中，所述编码步骤为多预测图 像执行模式确定，从而从如下模式中选择带有最小畸变测量的模式 单向预测模式，直接预测模式，使用分别由单向预测计算出来的所述 至少两个参考图像的运动矢量的双向预测模式，为所述至少两个参考 图像的每一个参考图像使用一个细化的运动矢量的双向预测模式，和 使用通过把所述至少两个参考图像的运动矢量视为相同的而计算出来 的所述至少两个参考图像的组合的运动矢量的预测模式(925)。
56.如权利要求55所述的方法，其中，所述编码步骤进一步从如下模式中选择带有最小畸变测量的模式使用所述至少两个参考图像的一个运动矢量和通过把所述至少两个参考图像的运动矢量视为相 同而计算出的运动矢量的双向预测模式，和使用直接运动矢量和通过 把所述至少两个参考图像的运动矢量视为相同而计算出的运动矢量这 两个矢量的至少一个组合的双向预测模式。
全文摘要
本发明提供了一种使用组合参考双向预测进行运动估计的方法和设备。该设备包括用于从至少两个参考图像的组合中编码多预测图像的编码器(200)，该编码器在运动估计过程中分别为该至少两个参考图像中的一个参考图像预测运动矢量，其中，该编码器在为一个参考图像预测运动矢量的时候，把该至少两个参考图像的其它参考图像的运动矢量预置为预设值以便被运动估计过程使用。
文档编号H04N7/26GK101379835SQ200780004357
公开日2009年3月4日 申请日期2007年1月30日 优先权日2006年2月2日
发明者亚历山德罗斯·吐拉彼斯, 吉尔·麦克唐纳·布瓦斯, 鹏 尹 申请人:汤姆逊许可公司