专利名称：采用加权预测的运动估计的制作方法
技术领域：
本发明针对视频编码器与解码器，更具体地讲，针对在视频编码器与解码器中采用加权预测的集成运动估计。
背景技术：
视频数据一般以比特流的形式处理与传送。典型的视频压缩编码器与解码器(“CODEC”、编解码器)通过对待编码画面进行基准画面预测并且编码当前画面与预测之间的差异，获得了它们的压缩效率的很大一部分。预测与当前画面愈紧密相关，压缩该画面就需要愈少的比特，从而增加了该处理的效率。由此，希望形成尽可能最佳的基准画面预测。
在许多视频压缩标准中，包括运动图像专家组(“MPEG”)-1、MPEG-2、以及MPEG-4，将先前基准画面经过运动补偿的版本用作当前画面的预测，并且只编码当前画面与预测之间的差异。当使用单一画面预测(“P”画面)时，在形成经过运动补偿的预测时不缩放(scale)基准画面。当使用双向画面预测(“B”画面)时，从两个不同的画面形成中间预测，然后使用对每个都相等的加权因子(1/2、1/2)将两个中间预测一起平均，以形成单一的平均预测。在这些MPEG标准中，两个基准画面总是一个来自B画面的前向方向，一个来自后向方向。
发明内容
现有技术的这些以及其他缺点与不足由视频编码器与解码器中加权预测的集成运动估计的系统与方法来解决。
提供了一种视频编码器与解码器，用来编码与解码图像块的视频信号数据以及预测该图像块的特定基准画面索引，其中编码器包含基准画面加权因子选择器，该选择器具有用来指示相应于该特定基准画面索引的加权因子的输出；与基准画面加权因子选择器信号通信的乘法器，用来提供基准画面的加权后版本；以及与乘法器信号通信的运动估计器，用来提供相应于基准画面的加权后版本的运动向量。相应的解码器包含具有用来确定相应于特定基准画面索引的加权因子的输出的基准画面加权因子单元。
用来编码图像块视频信号数据的相应方法包含下列步骤接收基本未压缩的图像块，对于相应于特定基准画面的图像块分配加权因子，用该加权因子加权基准画面，相应于图像块与加权后基准画面之间的差异计算运动向量，相应于运动向量运动补偿加权后的基准画面，响应于经过运动补偿与加权的基准画面改进加权因子选择，相应于运动向量运动补偿原始的未加权基准画面，将经过运动补偿的原始基准画面乘以所分配的加权因子以形成经过加权与运动补偿的基准画面，从基本未压缩的图像块中减去经过加权与运动补偿的基准画面，以及编码指示基本未压缩的图像块与经过加权与运动补偿的基准画面之间差异的信号。
本发明的这些以及其他方面、特征与优点将从以下参照附图对示范性实施方式的描述中看出。
根据以下示范性附图，本发明包含在解码器与编码器中具有加权预测的集成运动估计，其中图1显示标准视频编码器的方框图；图2显示具有基准画面加权的视频编码器的方框图；图3显示根据本发明原理的、具有集成运动估计与加权预测的视频编码器的方框图；图4显示标准视频解码器的方框图；图5显示具有自适应双向预测的视频编码器的方框图；图6显示根据本发明原理的编码过程的流程图；
图7显示根据本发明原理的解码过程的流程图。
具体实施例方式
本发明提供了一种高效处理过程，用于集成运动向量估计与自适应基准画面加权因子选择。迭代处理被用来估计初始加权因子并用在运动估计处理中。根据运动估计处理的结果，改进加权因子估计。当在编码中使用加权因子时，视频编码器确定加权因子与运动向量两者，但是对于两者中一个的最佳选择取决于另一个。运动估计一般为数字视频压缩编码器中计算量最大的部分。
在某些视频序列中，尤其在那些具有淡变(fading)的视频序列中，待编码的当前画面或者图像块与通过加权因子缩放的基准画面比与基准画面自身更强地相关。没有向基准画面施加加权因子的视频编解码器对淡变序列的编码非常低效。
在人们提出的联合视频组(“JVT(Joint Video Team)”)视频压缩标准中，每个P画面可以使用多个基准画面来形成画面的预测，但是每个个别的运动块或者宏块的8x8区域只使用单一的基准画面进行预测。除编码并传送运动向量之外，对于每个运动块或者8×8区域还传送基准画面索引，以指示使用哪个基准画面。在编码器与解码器两者处存储可能基准画面的有限集合，并且传送许可基准画面的数目。
在JVT标准中，对于双向预测画面(也称为“B”画面)，对于每个运动块或者8x8区域形成两个预测算子(predictor)，其中每个都可以从分离的基准画面形成，并且这两个预测算子一起平均以形成单一平均预测算子。对于双向预测的已编码运动块，基准画面可以都来自前向方向、都来自后向方向、或者一个来自前向一个来自后向方向。对于可以用于预测的可用基准画面，维护两个列表。这两个基准画面称为列表0与列表1预测算子。分别编码并传送每个基准画面的对于列表0与列表1基准画面的索引，red_idx_I0与red_idx_ I1。联合视频组(“JVT”)双向预测或者“B”画面允许两个预测之间的自适应加权，即，Pred＝[(P0)*(Pred0)]+[(P1)*(Pred1)]+D，其中P0与P1为加权因子，Pred0与Pred1分别为列表0与列表1的基准画面预测，D为偏移。
为指示加权因子，已经提出了两种方法。在第一种方法中，通过用于基准画面的方向，确定加权因子。在这种方法中，如果red_idx_I0索引小于或等于red_idx_I1，则使用加权因子(1/2，1/2)，否则使用因子(2，-1)。
在人们提出的第二种方法中，对于每个片段(slice)，传送任意数目的加权因子。然后，对于使用双向预测的宏块的每个8×8区域或者运动块传送加权因子索引。解码器使用收到的加权因子索引来从所传送的集合中选择适当的加权因子，以在解码运动块或者8x8区域时使用。例如，如果在该片段层发送三个加权因子，则它们分别相应于加权因子索引0、1、2。
以下描述只说明了本发明的原理。因此应该理解本领域技术人员能够设想虽然此处没有明确描述或者显示、但是包含了本发明原理、并且包含在本发明精神与范围内的各种结构。另外，此处列举的所有的例子与条件性语言主要是用来只用于教学目的，以帮助读者理解本发明人对现有技术作出贡献的本发明的原理与构思，并且应该被理解为不限于具体地列举的这些例子与条件。另外，此处指出本发明原理、方面、以及实施方式的所有陈述及其特定例子都是用来覆盖其结构与功能等价物两者。另外，这些等价物意在包含当前已知的等价物以及将来开发的等价物，即，不管结构如何，执行同样功能的所开发的任何元件。
由此，例如，本领域技术人员应该理解此处的方框图表示实现本发明原理的说明性电路的概念图。类似地，应该理解任何流程表、流程图、状态转换图、伪代码等等表示可能实际上在计算机可读介质中表示的、并且由计算机或者处理器执行的各种处理或进程，而不管是否明确显示了这样的计算机或者处理器。
图中所示各种元件的功能可以通过使用专用硬件以及能够与适当软件相结合地执行软件的硬件提供。当由处理器提供时，这些功能可以由单一的专用处理器提供，或者由多个单独的处理器提供，其中某些处理器可以是共享的。另外，对于直接使用术语“处理器”或者“控制器”，不应该被理解为只指能够执行软件的硬件，而可能暗含地包含、但不限于数字信号处理器(“DSP”)硬件、存储软件的只读存储器(“ROM”)、随机访问存储器(“RAM”)、以及非易失存储器。类似地，图中显示的任何开关都只是概念性的。其功能可以通过来程序逻辑的运行、通过专用逻辑电路、通过程序控制与专用逻辑电路的交互、甚或手动地执行，其中实现者可以根据具体情况选择具体的技术。
在权利要求中，任何被表示为用于执行指定功能的部件的元件用来包含执行该功能的所有方式，包含(例如)a)执行该功能电路元件的组合，或者b)任何形式的软件，因此包含固件、微代码等等，其与执行该软件的适当电路结合以执行该功能。这样的权利要求所限定的发明包含在以下事实之中以权利要求所要求的方式，组合和汇合由所指出的各种部件提供的功能。因此，申请人将可以提供那些功能的任何部件都认为是此处所示部件的等价物。
如图1所示，标号100总体表示标准视频编码器。编码器100的输入与求和点110的正相输入端信号通信连接。求和点110的输出与块变换器120进行信号通信连接。变换器120与量化器130信号通信连接。量化器1 30的输出与变长编码器(“VLC”)140信号通信连接，其中VLC 140的输出为编码器100的外部可获得输出。
量化器130的输出还与逆量化器150信号通信连接。逆量化器150与逆块变换器160信号通信连接，逆块变换器160进而与基准画面存储器170信号通信连接。基准画面存储170的第一输出端与运动估计器180的第一输入端信号通信连接。编码器100的输入端还与运动估计器180的第二输入端信号通信连接。运动估计器180的输出与运动补偿器190的第一输入端信号通信连接。基准画面存储器170的第二输出与运动补偿器190的第二输入端信号通信连接。运动补偿器190的输出与求和点110的反相输入端信号通信连接。
转到图2，标号200总体表示具有基准画面加权的视频编码器。编码器200的输入与求和点210的正相输入端信号通信连接。求和点210的输出与块变换器220信号通信连接。变换器220与量化器230信号通信连接。量化器230的输出与VLC 240信号通信连接，其中VLC 240的输出为编码器200的外部可获得输出。
量化器230的输出还与逆量化器250信号通信连接。逆量化器250与逆块变换器260信号通信连接，逆块变换器260进而与基准画面存储器270信号通信连接。基准画面存储器270的第一输出与基准画面加权因子分配器272的第一输入端信号通信连接。编码器200的输入端还与基准画面加权因子分配器272的第二输入端信号通信连接。指示加权因子的基准画面加权因子分配器272的输出与运动补偿器280的第一输入端信号通信连接。基准画面存储器270的第二输出与运动补偿器280的第二输入端信号通信连接。
编码器200的输入还与运动估计器280的第三输入端信号通信连接。指示运动向量的运动估计器280的输出与运动补偿器290的第一输入端信号通信连接。基准画面存储270器的第三输出与运动补偿器290的第二输入端信号通信连接。指示经过运动补偿的基准画面的运动补偿器290的输出与乘法器292的第一输入端信号通信连接。指示加权因子的基准画面加权因子分配器272的输出与乘法器292的第二输入端信号通信连接。乘法器292的输出与求和点210的反相输入端信号通信连接。
现在转到图3，标号300总体表示具有集成运动估计与加权预测的视频编码器。编码器300的输入与求和点310的正相输入端信号通信连接。求和点310的输出与块变换器320通信连接。变换器320与量化器330信号通信连接。量化器330的输出与VLC 340信号通信连接，其中VLC 340的输出为编码器300的外部可获得输出。
量化器330的输出还与逆量化器350信号通信连接。逆量化器350与逆块变换器360信号通信连接，逆块变换器360进而与基准画面存储器370信号通信连接。基准画面存储器370的第一输出与基准画面加权因子选择器372的第一输入端信号通信连接。编码器300的输入端还与基准画面加权因子选择器372的第二输入端信号通信连接，以将当前画面提供给选择器。指示加权因子的基准画面加权因子选择器372的输出与乘法器374的第一输入端信号通信连接。乘法器374的第二输入与基准画面存储器370的基准画面输出端信号通信连接。应该注意虽然简单地显示为乘法器374，但是本领域技术人员显然可以设想非乘法器的其他类型的加权因子施加器，而所有这些都被认为处于本发明的精神与范围之内。
乘法器374的输出与加权基准画面存储器376信号通信连接。加权基准画面存储器376的输出与运动估计器380的第一输入端信号通信连接，用来提供加权后的基准画面。运动估计器380的输出与第一运动补偿器382通信连接，用来提供运动向量。运动估计器380的输出还与第二运动补偿器390的第一输入端信号通信连接。加权基准画面存储376的第二输出与第一运动补偿器382的第二输入端信号通信连接。
指示经过加权与运动补偿的基准画面的第一运动补偿器382的输出与绝对差生成器384的第一输入端通信连接。作为当前画面的编码器300的输入还与绝对差生成器384的第二输入端信号通信连接。绝对差生成器384的输出与基准画面加权因子选择器372的第三输入端信号通信连接。
基准画面存储器370的第三输出与第二运动补偿器390的第二输入端信号通信连接。指示经过运动补偿的基准画面的第二运动补偿器390的输出与乘法器392的第一输入端信号通信连接。基准画面加权因子选择器372的输出与求和点310的反相输入端信号通信连接。
如图4所示，标号400部分表示标准视频解码器。视频解码器400包含与逆量化器420信号通信连接的变长解码器(“VLD”)440。逆量化器420与逆变换器430信号通信连接。逆变换器430与加法器或者求和点440的第一输入端信号通信连接，其中求和点440的输出提供视频解码器400的输出。求和点440的输出与基准画面存储450信号通信连接。基准画面存储450与运动补偿器460信号通信连接，运动补偿器460与求和点440的第二输入端信号通信连接。
转到图5，标号500总体表示具有自适应双向预测的视频解码器。视频解码器500包含与逆量化器520信号通信连接的VLD 510。逆量化器520与逆变换器530信号通信连接。逆变换器530与求和点540的第一输入端信号通信连接，其中求和点540的输出提供视频解码器500的输出。求和点540的输出与基准画面存储550信号通信连接。基准画面存储550与运动补偿器560信号通信连接，运动补偿器560与乘法器570的第一输入信号通信连接。
另外，VLD 510还与基准画面加权因子查找表580信号通信连接，以向查找表580提供自适应双向(“ABP”)系数因子。查找表580的第一输出用来提供加权因子，并且与乘法器570的第二输入端信号通信连接。乘法器570的输出与求和点590的第一输入端信号通信连接。查找表580的第二输出用来提供偏移，并且与求和点590的第二输入端信号通信连接。求和点590的输出与求和点540的第二输入端信号通信连接。
现在转到图6，标号600总体表示运动向量与加权因子确定过程。此处，功能块610通过计算加权因子“w”＝avg(cur)/avg(ref)，得到当前画面或图像块(“cur”)与基准画面(“ref”)的初始加权因子估计。块610将控制传递给判定块612，判定块612确定加权因子w是否大于门限值T1且小于门限值T2。如果w在T1与T2之间，则控制被传递给返回块614，并且将w＝1用作初始加权因子。如果w不在T1与T2之间，则控制被传递给功能块616，功能块616将加权因子w施加到基准画面以形成经过加权的基准画面wref。块616将控制传递给功能块618，以通过使用经过加权的基准画面wref来得到运动向量(“MVs”)从而进行运动估计。块618将控制传递给功能块620，功能块620通过向wref施加MVs形成经过运动补偿与加权的基准画面mcwref。块620将控制传递给功能块622，功能块622计算差异度量diff，其中diff等于cur与wmref之间像素差异合的绝对值。
块622将控制传递给判定块624，判定块624确定diff是否大于先前的最佳diff。如果diff大于先前的最佳diff，则将控制传递给返回块626，返回块626使用先前的最佳diff。如果diff小于先前的最佳diff，则将控制传递给判定块628，判定块628确定diff是否小于门限值T。如果diff小于门限值T，则将控制传递给返回块634，返回块634使用当前的估计。如果diff不小于门限T值，则将控制传递给功能块630，功能块630通过向ref施加MVs，形成经过运动补偿的基准画面mcref。块630将控制传递给功能块632，功能块632通过将w设置等于avg(cur)/avg(mcref)，改进加权因子。块632将控制传递给功能块616，以进行进一步处理。由此，对于进一步改进加权因子的判定基于比较差异度量与门限值或者公差。
现在转到图7，标号700总体表示解码图像块的视频信号数据的示范性过程。该过程包括开始块710，其将控制传递给输入块712。输入块712接收图像块压缩数据，并且将控制传递给输入块714。输入块714接收图像块数据的至少一个基准画面索引，其中每个基准画面索引相应于特定基准画面。输入块714将控制传递给功能块716，功能块716确定相应于每个所接收的基准画面索引的加权因子，并且将控制传递给可选功能块717。可选功能块717确定相应于每个所接收的基准画面索引的偏移，并且将控制传递给功能块718。功能块718检索相应于每个所接收的基准画面索引的基准画面，并且将控制传递给功能块720。功能块720进而对所检索的基准画面进行运动补偿，并且将控制传递给功能块722。功能块722将经过运动补偿的基准画面乘以相应的加权因子，并且将控制传递给可选功能块723。可选功能块723将经过运动补偿的基准画面加上相应的偏移，并且将控制传递给功能块724。功能块724进而形成经过加权与运动补偿的基准画面，并且将控制传递给结束块727。
在本示范性实施方式中，对于每个编码的画面或者片段，加权因子与可以相对其编码当前画面块的、每个允许的基准画面相关联。当编码或解码当前画面中每个块时，将相应于其基准画面索引的(多个)加权因子与(多个)偏移应用到基准预测以形成加权预测算子。相对同一基准画面编码的片段中的所有块都向基准画面预测施加相同的加权因子。
当编码画面时是否使用自适应加权可以在画面参数集合或者序列参数集合、或者所述片段或者画面头部中指示。对于使用自适应加权的每个片段或者画面，可以为可能用来编码该片段或者画面的每个可允许的基准画面传送加权因子。可允许基准画面的数目在所述片段的头部传送。例如，如果可以使用三个基准画面来编码当前片段，则传送多达三个加权因子，并且这些加权因子与具有相同索引的基准画面相关联。
如果不传送加权因子，则使用缺省加权。在本发明的一种实施方式中，当不传送加权因子时使用缺省加权(1/2，1/2)。可以使用固定或者变长代码来传送加权因子。
与典型系统不同，与每个片段、块或者画面传送的每个加权因子相应于特定基准画面索引。先前，与每个片段或者画面一起传送的任何集合的加权因子都不与任何特定基准画面相关联。相反，为每个运动块或者8×8区域传送自适应双向预测加权索引，以选择要对该特定运动块或者8×8区域施加来自所传送的集合中的哪些加权因子。
在本发明的较直接的实施方式中，不显式地传送每个运动块或者8×8区域的加权因子索引。相反，使用与所传送的基准画面索引相关联的加权因子。这极大地减少了所传送的比特流中为允许基准画面的自适应加权而具有的开销量。
该系统与技术可以施加于使用单一预测算子编码的预测“P”画面，或者使用两个预测算子编码的双向预测“B”画面。以下针对P与B画面的情况描述在编码器与解码器中都存在的解码处理。可替换地，该技术也可以应用到使用类似于I、B、与P画面的概念的编码系统。
对于B画面单一方向预测以及对于B画面中的双向预测，可以使用相同的加权因子。当对于P画面或者对于B画面单一方向预测中宏块使用单一预测算子时，为该块传送单一的基准画面索引。在运动补偿的解码处理步骤产生预测算子之后，向预测算子施加加权因子。然后将加权后的预测算子加到编码余量(coded residual)上，对和进行剪切以形成解码的画面。对于用于P画面中的块或者用于只使用列表0预测的B画面中的块，加权预测算子形成为Pred＝W0*Pred0+D0(1)其中W0为与列表0基准画面相关联的加权因子，D0为与列表0基准画面相关联的偏移，Pred0为来自列表0基准画面的经过运动补偿的预测块。
对于用于只使用列表0预测的B画面中的块，加权预测算子形成为Pred＝W1*Pred1+D1(2)其中W1为与列表1基准画面相关联的加权因子，D1为与列表1基准画面相关联的偏移，Pred1为来自列表1基准画面的经过运动补偿的预测块。
可以剪切加权后的预测算子以保证结果值在像素值许可范围之内，一般为0至255。加权公式中乘法的精度可以限于任何预定数目比特的分辨率。
在双向预测情况下，对于两个预测算子的每一个传送基准画面索引。进行运动补偿以形成两个预测算子。每个预测算子使用与其基准画面索引相关联的加权因子，以形成两个加权后的预测算子。然后，一起平均这两个加权后的预测算子以形成平均预测算子，然后将该平均预测算子加到编码余量。
对于用于使用列表0与列表1预测的B画面中的块，加权预测算子形成为Pred＝(P0*Pred0+D0+P1*Pred1+D1)/2(3)在计算加权预测算子时，可以对加权后的预测算子或者任何中间值进行剪切，以保证结果值在像素值许可范围之内，一般为0至255。
由此，向使用多个基准画面的视频压缩编码器与解码器的基准画面预测施加加权因子。根据用于运动块的基准画面索引，该加权因子对于该画面内的各个运动块改变。因为已经在压缩后的视频比特流中传送了基准画面索引，所以大大减少了根据运动块改变加权因子的附加开销。相对于相同基准画面编码的所有运动块都向基准画面预测施加相同的加权因子。
人们已经广泛的研究了运动估计技术。对于要编码的画面的每个运动块，选择表示运动块从基准画面偏离的运动向量。在搜索区域内穷尽搜索方法中，测试相对运动块位置的预定偏移范围内的每个偏离。该测试包含计算当前画面运动块中每个像素与基准画面偏离运动块的绝对差之和(“SAD”)或者均方误差(“MSE”)。将具有最小SAD或MSE的偏移选择为运动向量。人们已经提出了这种技术的许多变体，例如三步搜索与速率失真最佳化运动估计，所有这些技术都包含计算当前运动块与基准画面中偏离运动块的SAD或MSE的步骤。
通过使用迭代过程，可以减少确定运动向量与自适应基准画面加权因子的计算成本，同时仍然选择能够到达高压缩效率的运动向量与加权因子。在假定向整个基准画面施加单一的加权因子的情况下描述示范性实施方式的运动向量与加权因子确定过程，但是本发明原理的应用不限于这种情况。该过程也可以应用到画面的较小区域，例如片段。另外，虽然本发明的一种实施方式被描述为只使用单一的基准画面，但是本发明也可以应用到多个基准画面预测与双向预测画面。
当待使用的加权因子为已知时，一般可以最好地计算运动块的运动向量。在示范性实施方式中，使用基准画面与当前画面像素值形成加权因子的估计。加权因子可以限于多个比特的分辨率。如果加权因子非常接近1，则在运动估计处理中不需要考虑加权因子，并且在假定加权因子等于1的情况下可以进行正常的运动补偿。否则，向基准画面施加加权因子估计。然后，使用计算SAD或MSE的任何方法进行运动估计，但是其中SAD或MSE计算在当前画面运动块与基准画面经过加权的版本而非未经加权的基准画面中的偏离运动块之间进行。在选择了运动向量之后，如果需要可以改进对加权因子的估计。
将当前运动向量施加到经过加权的基准画面上，以形成经过加权与运动补偿的基准画面。计算经过加权与运动补偿的基准画面与当前画面之间的差异度量。如果该差异度量低于门限值，或者低于先前最佳差异度量，则该过程完成，并且接受当前候选运动向量与加权因子。
如果该差异度量高于某门限值，则可以改进加权因子。在这种情况下，根据当前候选运动向量，形成经过运动补偿、但未经过加权的基准画面。使用经过运动补偿的基准画面与当前画面来改进加权因子估计，而不是像先前在形成加权因子的初始估计时所做的那样使用未经过补偿的基准画面。
选择过程行进到迭代，向基准画面施加新近改进的加权因子以形成经过加权的基准画面。继续该迭代过程，直至差异度量等于或高于先前最佳差异度量，或者低于门限值，或者可替换地直至完成了规定数目的循环。如果当前迭代的差异度量高于对于最佳先前迭代的差异度量，则使用最佳先前迭代的加权因子与运动向量。如果当前迭代的差异度量低于门限值，则使用当前加权因子与运动向量。如果完成了最大数目的迭代循环，则使用来自具有最佳差异度量的先前迭代的加权因子与运动向量。
在一种实施方式中，加权因子的初始估计w为当前画面cur中像素平均值除以基准画面ref中像素平均值的比值，其中w＝avg(cur)/avg(ref)(4)改进估计为当前画面中像素平均值与经过运动补偿的基准画面mcref中像素平均值之间的比值，其中w＝avg(cur)/avg(mcref) (5)差异度量diff为当前画面cur与经过加权与运动补偿的基准画面wmcref之间的像素差异绝对平均值，其中diff＝|∑cur-wmcref|(6)在另一实施方式中，差异度量为当前画面与经过加权与运动补偿的基准画面中像素的绝对差之和，其中diff＝∑|cur-wmcref|(7)当进行基于块的运动估计时，对多次SAD计算使用基准画面中的相同像素。在运动补偿过程中的示范性实施方式中，一旦向基准画面中的像素施加了加权因子，就在正常像素之外还存储经过加权的像素。可以对画面区域或者对整个画面进行该存储。
可以剪切经过加权的基准画面值，从而以与未经过加权的基准相同数目的比特存储，例如8比特，或者可以使用更多比特存储。如果为运动补偿过程进行剪切(这样存储器效率更高)，则对于实际的选定运动向量向基准画面再次施加加权因子，使用附加比特计算差异，并且在差异之后进行剪切以避免与解码器的失配，而如果在施加了加权因子之后解码器不进行剪切，则可能发生与解码器的失配。
当使用多个基准画面来编码画面时，可以为每个基准画面计算分离的加权因子。在运动估计的过程中，为每个运动块选择运动向量与基准画面索引。对于该过程的每次迭代，都为每个基准画面找到运动向量与加权因子。
在优选实施方式中，在运动估计的过程中，确定对于给定运动块的最佳基准画面。对于每个基准画面分离地计算差异度量，其中在计算中只使用那些使用该基准画面的运动块。对于给定基准画面的加权因子估计的改进也只使用那些使用该基准画面编码的运动块。对于双向预测编码，为两个预测中的每一个分别确定加权因子与运动向量，这两个预测被一起平均以形成平均预测。
本发明的原理可以应用到许多不同类型的运动估计算法。当用于分级方式时，可将对加权因子选择与运动向量选择的迭代用于任何级别的运动向量层次。例如，可以将迭代方法用于整数画面元素(“pel”)运动估计。在使用所提供的迭代算法找到加权因子与整数运动向量之后，可以在不需要加权因子选择的再一次迭代的情况下找到子画面元素(sub-pel)运动向量。
根据此处的说明，本领域技术人员可以容易地理解本发明的这些以及其他特征与优点。应该理解本发明的说明可以应用于各种形式的硬件、软件、固件、专用处理器、或者其组合。
更优选地，本发明的原理可以实现为硬件与软件的组合。另外，所述软件最好实现为以有形形式包含在程序存储单元上的应用程序。该应用程序可以上载到包含任何适当体系结构的机器、并且由其执行。优选地，该机器在具有诸如一个或多个中央处理单元(“CPU”)、随机访问存储器(“RAM”)、以及输入/输出(“I/O”)接口等硬件的计算机平台上实现。该计算机平台还可以包含操作系统以及微指令代码。此处描述的各种处理与功能可以是微指令代码的一部分，或者是应用程序的一部分，或者其组合，其可以由来CPU执行。另外，可将各种其他外围单元连接到该计算机平台，例如附加数据存储单元以及打印单元。
还应该理解因为在附图中所示的某些构成系统组件与方法最好以软件实现，所以系统组件或者处理功能块之间的实际连接可能根据本发明的编程方式而不同。有了此处的说明，本领域技术人员能够设想本发明的这些以及类似的实现或者配置。
虽然针对附图描述了示范性实施方式，但是应该理解本发明不限于那些精确的实施方式，并且在不脱离本发明的范围与精神的前提下，本领域技术人员可以进行各种改变与修改。所有这些改变与修改都包含在权利要求所列出的本发明的范围之内。
权利要求
1.一种视频编码器(300)，用来相对至少一个特定基准画面编码图像块的视频信号数据，该编码器包含基准画面加权因子选择器(372)，具有指示相应于所述至少一个特定基准画面的加权因子的输出；与基准画面加权因子选择器信号通信的加权因子施加器(374)，用来提供所述至少一个特定基准画面的经过加权的版本；以及与乘法器信号通信的运动估计器(380)，用来提供相应于所述至少一个特定基准画面的经过加权的版本的运动向量。
2.如权利要求1所述的视频编码器(300)，还包含与基准画面加权因子选择器(372)信号通信的基准画面存储器(370)，用来提供所述至少一个特定基准画面与相应的特定基准画面索引。
3.如权利要求2所述的视频编码器(300)，还包含与基准画面存储器(370)信号通信的变长编码器(340)，用来编码相应于所述至少一个特定基准画面的特定基准画面索引。
4.如权利要求1所述的视频编码器(300)，还包含与基准画面加权因子选择器信号通信的经过加权的基准画面存储器(376)，用来存储基准画面的经过加权的版本。
5.如权利要求1所述的视频编码器(300)，还包含与基准画面加权因子选择器(372)信号通信的运动补偿器(390)，用来响应于基准画面加权因子选择器提供经过运动补偿的基准画面。
6.如权利要求5所述的视频编码器(300)，还包含与运动补偿器(390)以及基准画面加权因子选择器(372)信号通信的乘法器(392)，用来向经过运动补偿的基准画面施加加权因子。
7.如权利要求1所述的视频编码器(300)，还包含与运动估计器(380)信号通信的运动补偿器(382)，用来响应于基准画面加权因子选择器与运动补偿器提供经过加权与运动补偿基准画面。
8.如权利要求7所述的、可用于双向预测画面预测算子的视频编码器(300)，该编码器还包含用来从两个不同的基准画面形成第一与第二预测算子的预测部件。
9.如权利要求8所述的视频编码器(300)，其中所述两个不同的基准画面都来自相对于图像块的同一方向。
10.一种用来编码图像块的视频信号数据的方法(600)，该方法包含下列步骤接收基本未压缩的图像块；为相应于特定基准画面的图像块分配(610)加权因子；用所述加权因子对基准画面进行加权(616)；计算(618)相应于图像块与经过加权的基准画面之间差异的运动向量；相应于运动向量运动补偿(620)经过加权的基准画面；以及响应于经过运动补偿与加权的基准画面，改进(632)加权因子选择。
11.如权利要求10所述的方法，还包含步骤相应于运动向量运动补偿(630)原始的未经过加权的基准画面；将经过运动补偿的原始的基准画面乘以所分配的加权因子，以形成经过加权与运动补偿的基准画面；从基本未压缩的图像块中减去经过加权与运动补偿的基准画面；以及编码指示基本未压缩的图像块与经过加权与运动补偿的基准画面之间差异的信号。
12.如权利要求10所述的方法，其中计算运动向量的步骤包含在搜索区域内对相对于图像块的预定偏移范围内的每个偏离进行测试；计算该图像块内每个像素与经过运动补偿的基准画面的绝对差之和与均方误码差中的至少一个；以及选择具有最小绝对差之和与均方误差的偏移作为运动向量。
13.如权利要求10所述的方法，其中使用双向预测画面预测算子，该方法还包含步骤对于相应于第二特定基准画面的图像块，分配第二加权因子；用第二加权因子对第二基准画面进行加权；计算相应于图像块与经过加权的第二基准画面之间差异的第二运动向量；相应于第二运动向量运动补偿经过加权的第二基准画面；以及响应于经过运动补偿与加权的第二基准画面，改进第二加权因子选择。
14.如权利要求11所述的方法，其中使用双向预测画面预测算子，该方法还包含步骤为相应于第二特定基准画面的图像块分配第二加权因子；用第二加权因子对第二基准画面进行加权；计算相应于图像块与经过加权的第二基准画面之间差异的第二运动向量；相应于第二运动向量运动补偿经过加权的第二基准画面；响应于经过运动补偿与加权的第二基准画面，改进加权因子选择；相应于第二运动向量运动补偿原始的未经过加权的第二基准画面；将经过运动补偿的原始的第二基准画面乘以所分配的第二加权因子，以形成经过加权与运动补偿的第二基准画面；从基本未压缩的图像块中减去经过加权与运动补偿的第二基准画面；以及编码指示基本未压缩的图像块与经过加权与运动补偿的第二基准画面之间差异的信号。
15.如权利要求13所述的方法，其中第一与第二特定基准画面都来自相对于图像块的同一方向。
16.如权利要求13所述的方法，其中计算运动向量的步骤包含在搜索区域内对相对于图像块的预定偏移范围内的每个偏离进行测试；相应于第一预测算子，计算该图像块内每个像素与经过运动补偿的第一基准画面的绝对差和与均方误差中的至少一个；选择具有最小绝对差和与均方误差的偏移作为第一预测算子的运动向量；相应于第二预测算子，计算该图像块内每个像素与经过运动补偿的第二基准画面的绝对差和与均方误差中的至少一个；以及选择具有最小绝对差和与均方误差的偏移作为第二预测算子的运动向量。
17.如权利要求10所述的方法，其中用加权因子对基准画面进行加权的步骤包含确定加权因子是否接近1；以及如果加权因子接近1，则使用原始的基准画面作为经过加权的基准画面。
18.如权利要求10所述的方法，其中响应于经过运动补偿与加权的基准画面改进加权因子选择的步骤包含计算图像块与经过运动补偿与加权的基准画面之间的差异；比较所计算的差异与预定公差；以及如果所计算的差异在预定公差之外，则进一步改进加权因子。
全文摘要
提供了一种视频编码器与解码器，用来编码与解码图像块的视频信号数据以及预测该图像块的特定基准画面索引，其中编码器(300)包含基准画面加权因子选择器(372)，该选择器具有用来指示相应于该特定基准画面索引的加权因子的输出；与基准画面加权因子选择器信号通信的乘法器(374)，用来提供基准画面的加权版本；以及与乘法器信号通信的运动估计器(380)，用来提供相应于基准画面的加权版本的运动向量。相应的解码器(500)包含具有用来确定相应于特定基准画面索引的加权因子的输出的基准画面加权因子单元(580)。
文档编号H04N7/12GK1669330SQ03817032
公开日2005年9月14日 申请日期2003年7月11日 优先权日2002年7月15日
发明者杰尔·M·博伊斯, 艾伦·J·斯坦 申请人:汤姆森特许公司