专利名称：视频编码器中参考图像的隐含加权的制作方法
技术领域：
本发明涉及视频多媒体数字信号编解码器领域。
背景技术：
通常视频数据以比特流的形式处理和传输。典型的视频压縮编码器和 解码器(CODEC)由形成要编码的图像的参考图像的预测，并编码当前图 像和预测之间的差获得更多的压縮效率。越接近与当前图像相关的预测， 需要越少的比特压縮此图像，因此增加了处理的效率。因此，要求形成最 可能的参考图像的预测。
在一些视频序列中，特别是具有衰减的图像，被编码或解码的当前图 像比参考图像本身具有更强的由加权因子定标的参考图像的相关。没有施 加到参考图像的加权因子的视频多媒体数字信号编解码器非常无效的编 码此衰减的序列。遗憾地，加权因子的传输要求在比特流中发送附加的比 特。
在许多视频压縮标准中，包括运动图象专家组("MPEG")-1， MPEG-2和 MPEG-4，前面参考图像的运动补偿版本用作为当前图像的预测，只是编码 当前图像与预测之间的差。当使用单个图像预测("P"图像)时，在形成 运动补偿的预测时，不定标参考图像。当使用双向图像预测("B"图像)时，从两个不同的图像形成中间预 测，然后，两个中间预测一起平均，各使用相等的(1/2,1/2)加权因子
形成单个平均预测。在这些MPEG标准中，对B图像，两个参考图像总是 来自正方向和反方向。
发明内容
由视频编码器编码图像块和许多参考图像索引的视频信号数据，解决 了当前技术的这些和其它的困难和缺点。编码器包括参考图像加权因子分 配器函数，响应在图像块和由许多参考图像索引指示的第一和第二参考图 像之间的相对位置。使用参考图像加权因子分配器计算相应于特定参考图 像索引的参考图像的隐含加权因子。
根据下面的例图，本发明在视频编码器和解码器中使用参考图像的隐 含加权因子。
图1显示根据本发明原理的视频解码器的框图2显示根据本发明原理的有隐含参考图像加权的视频解码器的框图； 图3显示根据本发明原理的解码处理的流程图； 图4显示根据本发明原理的视频编码器的的框图5显示根据本发明原理的有隐含参考图像加权的视频编码器的框图； 图6显示根据本发明原理的编码处理的流程图。
具体实施例方式
本发明包括在视频压缩编码器和解码器中参考图像的隐含加权的方法 和设备。例如，在有图像衰减的视频序列中，被编码的当前图像或图像块 比参考图像本身具有更强的由加权因子定标的参考图像的相关。没有施加 到参考图像的加权因子的视频多媒体数字信号编码器和解码器非常无效 的编码此衰减的序列。当加权因子用于编码时，视频编码器需要确定加权 因子和运动矢量。
在联合视频小组("JVT")视频压縮标准中，每个P图像能使用多个参考图像形成图像的预测，但每个单独的运动块或宏块的8X8区域只使 用单个的用于预测的参考图像。除编码和传输运动矢量外，对各运动块或
8X8区域传输参考图像索引，索引指出使用哪个参考图像。有限的可能
参考图像组存储在编码器和解码器中，传输能允许数量的参考图像。
对双向预测图像(也称"B"图像)，对各运动块或8X8区域形成两个 预测器，其中每个来自分离的参考图像，两个预测器一起平均，形成单个 平均的预测器。对双向预测编码的运动块，参考图像可以都来自正方向， 都来自反方向，或来自正方向和反方向。保存可用于预测的可用的参考图 像的两个列表。两个参考图像可称为list 0和list 1预测器，或ref 0 和refl参考图像。编码和传输各参考图像的索引，对list 0和list 1 参考图像分别为ref—idx—10和ref_idx—11 。已经向联合视频小组("JVT") 建议的双向预测或B图像，允许在两个预测之间自适应的加权，艮P:
Pred=Pl*Predl+PO*PredO+D (公式1)
其中PI和PO是加权因子。Pred 0和Predl分别是list 0和list 1的 参考图像预测，D是偏移值。
已提出至少两种确定和使用加权因子的方法，隐含方法和明示方法。 使用隐含方法，由用于参考图像的方向确定加权因子。在此方法中，如 果ref—fwd索引小于或等于ref一bwd索引，使用(1/2,1/2)加权因子， 否则，使用(2， -1)加权因子。在隐含方法中，(2， -1)加权因子常 常用于在直接模式中编码的宏块。
使用明示方法时，为每个片断传输任意数量的加权因子。那么对使用 双向预测的各运动块或宏块的8X8区域传输加权因子索引。解码器使用 接收的加权因子索引，从传输的集合中选择合适的加权因子，以便解码运 动块或8X8区域时使用。
已提出明确的传输与每一片段或每个图像的各参考图像索引相关的加 权因子。在此情况中，要求对每个片断或每个图像传输小量的但不可忽略 数量的比特。
下面的描述只说明本发明的原理。那么本领域的技术人员意识到能设 计实现本发明的原理，并包括在它的精神和范围中的各种装置，虽然这里 不明显的描述和显示这些装置。此外，这里列举的所有的例子和有条件的，帮助读者理解本发明的原理和本发明 对进一步的技术提出的概念，并解释为这些特殊列举的例子和条件是没有 限制的。
此外，这里列举的所有陈述，范围和本发明的实施例，和它的特殊的 例子旨在包含它的结构和功能的设备。此外，这些设备包括当前已知的设 备和在将来研发的设备，即，不管其结构，任何实现同样功能的研发的部 件。
那么，例如，本领域的技术人员意识到这里的框图表示说明具体化本 发明原理的电路的概念化观念。同样的，任何流程图，流程图表，状态转 变图表，伪代码，和可以完全在计算机可读介质中表现的并由计算机或处 理器执行的表现的各种处理，无论此计算机或处理器是否是明确地显示。
通过使用专用硬件和能执行合适软件相关的软件的硬件，能提供显示 在图中的各种元件的功能。当功能由处理器提供时，功能可由单个专用处 理器，由单个共享处理器，或由许多单独的用处理器提供，其中一些可共
i》:
此外，不解释明确使用的术语"处理器"和"控制器"专有地涉及能
执行软件的硬件，可以隐含地，无限制的，包括数字信号处理器"DSP" 硬件，存储软件的只读存储器(ROMs),随机存储器(RAMs)和非易失性 存储器。也包括其它硬件，常规的和/或定制。同样的，显示在图中的任 何转换器只是概念性的。可通过运行程序逻辑，通过专用逻辑，通过程序 控制和专用逻辑的交互作用，或甚至手动，执行它们的功能，由实施者可 选择的特殊的技术作为从上下文更明确的理解。
在这里的权利要求中表示为实现特定功能的装置的任何元件打算包含 实现功能的任何方式，包括，例如，a)实现此功能的电路元件的组合或b) 任何形式的软件，因此包括，固件，微码或其它，与执行此软件的适当的 电路组合实现功能。由此权利要求定义的本发明存在于以下的事实，组合 由各种列举的装置提供的功能，并以权利要求需要的方式集合。那么申请 者把能提供这些功能的任何装置看作这里显示的设备。
在本发明的实施例中，隐含加权因子作用于使用多参考图像的视频压 縮编码器和解码器的参考图像预测。当块是双预测编码的并使用如这里描述的新的隐含模式时，使用当前图像与参考图像的距离，基于内插法/外 推法公式确定相对加权因子。
如在图1中所显示的，通常由参考数字100表示视频解码器。视频解
码器100包括与逆量化器120连接作信号通信的可变长解码器 ("VLD" )110。逆量化器120与逆变换器130连接作信号通信，逆变换器 130与加法器的第一输入端或和结点140连接作信号通信，其中和结点140 的输出提供视频解码器100的输出。和结点140的输出与参考图像存储器 150连接作信号通信。参考图像存储器150与运动补偿器160连接作信号 通信，运动补偿器160与和结点140的第二输入端连接作信号通信。
见图2，通常由参考数字200表示有隐含参考图像加权的视频解码器。 视频解码器200包括与逆量化器220连接作信号通信的VLD210。逆量化 器220与逆变换器230连接作信号通信。逆变换器230与和结点240的第 一输入端连接作信号通信，其中和结点240的输出提供视频解码器200的 输出。和结点240的输出与参考图像存储器250连接作信号通信。参考图 像存储器250与运动补偿器260连接作信号通信，运动补偿器260与乘法 器270的第一输入连接作信号通信。
VLD210还与参考图像加权因子査找表280连接作信号通信，提供对査 找表280的隐含双方向系数索引。查找表280的输出用于提供加权因子， 并连接到乘法器270的第二输入端作信号通信。乘法器270的输出与和结 点240的第二输入端连接作信号通信。
现在见图3，通常由参考数字300表示有隐含参考图像加权的图像块的 解码视频信号数据的示范处理。处理包括对输入块312通过控制的启动块 310。输入块312接收压縮数据的图像块，通过对输入块313的控制。输 入块313接收相当于第一特定参考图像的第一参考图像索引，通过对输入 块314的控制。输入块314接收相当于第二特定参考图像的第二参考图像 索引。输入块314通过对功能块315的控制，功能块315确定图像块和第 一和第二参考图像之间的相对位置。功能块315通过对功能块316的控制， 功能块316基于当前图像块与第一和第二参考图像的相对位置计算相当 于各接收的参考图像索引的隐含加权因子，并通过对功能块317的控制。
功能块317对当前图像块的两个参考图像索引中的每一个，启动要执行的程序循环，并通过对功能块318的控制。功能块318检索相当于当前 循环参考图像索引的参考图像，并通过对功能块320的控制。同时，功能 块320运动补偿检索的参考图像，并通过对功能块322的控制。功能块 322用相应的隐含加权因子乘运动补偿的参考图像，并通过对功能块323 的控制。功能块323重复功能块317的循环，在完成两次循环后，通过对 功能块324的控制。依次，功能块324形成组合的加权的运动补偿的参考 图像，并通过对功能块326的控制。那么，使用在功能块315中确定的相 对位置确定加权因子。
如在图4中所示的，通常由参考数字400表示标准的视频编码器。编 码器400的输入与和结点410的非反向输入连接作信号通信。和结点410 的输出与块变换器420连接作信号通信。块变换器420与量化器430连接 作信号通信。量化器430的输出与可变长编码器("VLC" )440连接作信 号通信，其中VLC440的输出是编码器400的外部可用的输出。
量化器430的输出还与逆量化器450连接作信号通信。逆量化器450 与逆变换器460连接作信号通信，同时，逆变换器460与参考图像存储器 470连接作信号通信。参考图像存储器470的第一输出与运动估计480的 第一输入连接作信号通信。编码器400的输入还与运动估计480的第二输 入连接作信号通信。运动估计480的输出与运动补偿490的第一输入连接 作信号通信。参考图像存储器470的第二输出与运动补偿490的第二输入 连接作信号通信。运动补偿490的输出与和结点410的反向输入连接作信 号通信。
见图5，通常由参考数字500表示有隐含参考图像加权的视频编码器。 编码器500的输入与和结点510的非反向输入连接作信号通信。和结点 510的输出与块变换器520连接作信号通信。块变换器520与量化器530 连接作信号通信。量化器530的输出与VLC540连接作信号通信，其中 VLC540的输出是编码器500的外部的可利用的输出。
量化器530的输出还与逆量化器550连接作信号通信。逆量化器550 与逆块变换器560连接作信号通信，同时，逆块变换器560与参考图像存 储器570连接作信号通信。参考图像存储器570的第一输出与参考图像加 权因子分配器572的第一输入连接作信号通信。编码器500的输入还与参考图像加权因子分配器572的第二输入连接作信号通信。参考图像加权因
子分配器572的输出与运动估计580的第一输入连接作信号通信，参考图 像加权因子分配器572指示加权因子。参考图像存储器570的第二输出与 运动估计580的第二输入连接作信号通信。
编码器500的输入还与运动估计580的第三输入连接作信号通信。运 动估计580的输出与运动补偿590的第一输入连接作信号通信，运动估计 580表示运动矢量。参考图像存储器570的第三输出与运动补偿590的第 二输入连接作信号通信。表示运动补偿的参考图像的运动补偿590的输出 与乘法器592的第一输入连接作信号通信。表示加权因子的参考图像加权 因子分配器572的输出与乘法器592的第二输入连接作信号通信。乘法器 592的输出与和结点510的反向输入连接作信号通信。
现在看图6，通常由参考数字600表示有隐含参考图像加权的图像块的 编码视频信号数据的示范处理。处理包括对输入块612通过控制的启动块 610。输入块612接收完全不压縮的图像块数据，通过对功能块614的控 制。功能块614从相对于图像块位置的任一或两个方向选择接收的图像块 的第一和第二参考图像，并通过对功能块616的控制。功能块616确定图 像块和第一和第二参考图像之间的相对位置，并通过对功能块618的控 制。功能块618基于相对位置计算图像块的各特定参考图像的隐含加权因 子。功能块618通过对功能块620的控制。功能块620对当前图像块的两 个参考图像索引中的每一个，启动程序循环，并通过对功能块622的控制。 功能块622计算图像块和特定参考图像的运动矢量，并通过对功能块624 的控制。功能块624运动补偿与运动矢量一致的特定参考图像，并通过对 功能块626的控制。依次，功能块626用隐含加权因子乘以运动补偿的参 考图像，形成加权的运动补偿的参考图像，并通过对功能块628的控制。 功能块628重复功能块620的循环，在完成两次循环后，通过对功能块 630的控制。
功能块630形成组合的加权的运动补偿的参考图像，并通过对功能块 632的控制。功能块632从完全不压缩的图像块减去组合的加权的运动补 偿的参考图像，并通过对功能块634控制。依次，功能块634随同特定参 考图像相应的索引一起编码完全不压縮的图像块和组合的加权的运动补偿的参考图像之间之差的信号，并通过对功能块636的控制。那么，在两 个预测情况中可以形成当前图像前，后或周围的两个预测器。
在运算中，隐含加权因子施加于使用多参考图像的视频压縮编码器和 解码器的参考图像预测。当块是双预测编码的并使用新的隐含模式时，基 于内插法/外推法公式，使用从参考图像到当前图像的距离确定相对加权 因子。
对本发明的优选实施例，确定隐含双预测的新定义。使用基于编码的 图像和它的参考图像之间距离的内插法或外推法公式。对内插法或外推法 使用同样的公式。如果在显示次序上两个参考图像是一个在当前编码的图 像前一个在后，公式成为内插法公式，如果在显示次序上两个参考图像是 都在当前编码的图像前或都在后，公式成为外推法公式。
当前图像是在时间T要显示的，参考图像P。是在时间T。要显示的，参 考图像是P,在时间T，要显示的。在隐含模式中，对双预测编码的宏块， 预测定义为
Pred=P * (T,-T) / (T,-T。) +P,* (T-T。) / (T,-T。) (公式2)
相对的显示时间值，T,、 T,和T。存在于相关的图像的头文件。在隐含模 式中，WP加权因子的确定是基于图像次序计数("POC")而不是显示时 间。POC存在于或从片段头中导出。那么，本领域技术人员可以理解可使 用POC代替显示时间。本实施例说明，当解码参考图像时，也可实现存储 来自参考图像的此相对位置信息。存储T,和To的显示时间，同时解码图 像P,和P。。
当图像解码时，存储它们的POCs或显示时间或位置信息。当加权因子 要计算时，访问存储的位置数据，使用参考图像索引指出使用哪个存储的 位置数据。存储此信息，用于直接模式运动矢量定标。对直接模式也使用 (T「T)/ (T,-T。)和(T-T。) / OVT())的计算，可保存和重新使用计算的结 果排除重新计算的要求。可以对各编码的图像实现这些除法计算，每次对 T， T。和T,各值，由常数因子X定标此结果，允许更有效的移位运算计算 各象元的Pred值而不是除法运算。例如，如果X是256，每次对各图像 计算Z。和Z,如下
Z。= (256* (T「T)) / (T,-T。) (公式3)Z,= (256* (T-T。) ) / (T,-T。) (公式4)
那么，每次对各象元计算的Pred为
Pred^P^Zo+P^Z'+^S)))^ (公式5)
可以在此计算后将Pred值减小到所要求的范围，典型的为0到255。 也可以减小Z。和Z,值。对色度系数能居中在约128的情况下，可使用下 面有代表性的公式
Pred: (P(,-128) * (T「T) / (T,-T()) + (P,-128)) * (T-T(,)) / (T,-T。) +128 (公式
6)
在直接模式中，参考图像0和参考图像1的参考索引不是明显性传输 而是导出的。在此情况中，基于T。和T,的导出值计算加权因子。当在比 特流中的参考图像索弓I可得到时，可以使用它找到T()和T,。
对线性衰减的双预测编码的宏块，提出的加权是理想的。在此情况中， 因为不需要传送与各参考图像关联的加权因子的比特，可以获得比特率的 降低。
对以下情况，当P,是两个参考图像在当前图像前和P。是一个参考图像 在当前图像前时，公式默认为
Pred=2*P。-P, (公式7)
基于这里公开的原理，本领域的技术人员可以发现本发明的这些和其 它的特征和优点。可以理解本发明的原理可以用各种形式的硬件，软件， 固件，特殊用途的处理器或它们的组合实现。
更适宜的，硬件和软件的组合实现本发明。此外，软件最好是内嵌在 程序存储器单元中的应用程序。应用程序可以装入到包括任何合适结构的 机器上，并由此机器执行。更适宜的，机器在有硬件，如一个或多个中央 处理器("CPU")，随机存储器("RAM")，输入/输出接口 ("I/O") 的计算机平台上实现。计算机平台也可包括操作系统和微指令代码。这里 描述的各种处理和功能可以是CPU执行的部分的微指令代码或部分的应 用程序，或它们的任何组合。此外，各种其他的外围设备可连接到计算机 平台，如附加的数据存储器和打印设备。
应进一步理解，因为在附图中描述的一些构成系统部件和方法优选的 在软件中实现，根据本发明编程的方式，在系统部件或处理功能块之间的实际连接可以是不同的。给出了在这里公开的本发明的原理，本领域的技 术人员能考虑本发明的这些和同样的实施设备或配置。
虽然这里参考附图描述例证性的实施例，应理解本发明不限于那些精 确的实施例，本领域的技术人员不离开本发明的范围或精神，可以实现各 种改变和修改。所有这些改变和修改都包括在所附权利要求中阐明的本发 明的范围或精神中。
权利要求
1.一种编码图像块的视频信号数据的方法(600)，方法包括接收(612)完全不压缩的图像块数据；响应图像块和由第一和第二参考图像索引指示的第一和第二参考图像之间内相对位置，计算(614，616，618)图像块的隐含加权因子；计算(622)图像块和各第一和第二参考图像的运动矢量；运动补偿(624)与各自运动矢量一致的各第一和第二参考图像；用计算的隐含加权因子乘以(626)各运动补偿的参考图像，形成加权的运动补偿的参考图像；组合(630)各加权的运动补偿的参考图像为组合的加权的运动补偿的参考图像；从完全不压缩的图像块减去(632)组合的加权的运动补偿的参考图像；随同第一和第二参考图像相应的索引一起，编码(634)表示在完全不压缩的图像块和组合的加权的运动补偿的参考图像之间之差的信号。
2. 根据权利要求1所述的方法，其特征在于计算隐含加权因子包括至 少以下方法之一对在显示次序上安排一个在图像块前一个在后的两个参考图像的部分 之间内插；从在显示次序上安排都在图像块前或都在后的两个参考图像的部分外 推。
3. 根据权利要求1所述的方法，其特征在于运动补偿各检索的参考图 像包括确定检索的参考图像相对于图像块的运动矢量。
4. 根据权利要求1所述的方法，其特征在于还包括 编码在图像块的片段头字段中的图像次序计数，用于计算图像块和多个参考图像的隐含加权因子。
5. 根据权利要求l所述的方法，其特征在于图像块和多个参考图像的 相对位置相当于各个图像的相对显示时间。
6. 根据权利要求1所述的方法，其特征在于计算运动矢量包括在预先确定的相对于图像块的偏移范围中在每个位移的搜索区域中测试；计算在具有运动补偿的参考图像的图像块中各象元的绝对差和均方误差之和之中的至少一个；选择与最小的绝对差和均方误差之和的偏移量为运动矢量。
全文摘要
公开了一种视频解码器(200)、编码器(500)和处理有两个预测图像块的参考图像索引的图像块的视频信号数据相应的方法，其利用参考图像的隐含加权增强视频压缩，其中解码器(200)包括隐含参考图像加权因子单元(280)，确定相应于各参考图像索引的加权因子；编码器(500)包括隐含参考图像分配器(572)，分配相应于各参考图像索引的加权因子；解码方法包括随相应于图像块的数据接收参考图像索引，响应图像块和由参考图像索引指示的参考图像的相对位置，确定隐含加权因子，检索各索引的参考图像，运动补偿检索的参考图像，用相应的加权因子乘以运动补偿的参考图像，形成加权的运动补偿的参考图像。
文档编号H04B7/12GK101527853SQ20091011857
公开日2009年9月9日 申请日期2003年9月10日 优先权日2002年10月1日
发明者吉尔·麦克唐纳·博伊斯 申请人:汤姆森许可贸易公司