专利名称：处理视频数据亮度变化的局部加权预测的制作方法
技术领域：
本发明涉及视频编码，更具体地，涉及一种使用局部加权预测
(LWP)来处理视频中局部亮度变化的方法。
背景技术：
通过形成待编码画面的参考画面预测，并使用运动补偿(即帧间 预测)仅对当前画面和该预测之间的不同进行编码，使视频编解码从 其压縮效率中获益良多。预测与当前画面的相关度越大，压縮该画面 时需要的比特就越少。
在早期的视频编解码中，使用先前解码的画面来形成参考画面， 不幸地，当涉及到严重的时间亮度变化时，例如由于照明改变、淡入/ 出效应、摄相机闪光等，传统的运动补偿会失败。
JVT/H.264/MPEG4 AVC视频压縮标准是包括加权预测(WP)工 具的第一个国际标准。这个WP工具对于全局亮度变化有很好的效果， 但是由于可以使用的不同加权参数数量的限制，在出现重大局部亮度 变化时，仅获得很小的效果。
在H.264中己经使用加权预测(WP)来提高编码效率，超越了现 有视频编码标准。WP通过乘法加权因子a和加法加权偏移b来估计亮度
变化，如示例性等式(1):
/(x,少，0 二 o. /(义+ wvx,y + mvy,f — 1) + 6 ( 1 )
其中，/(u,)是在时间,的像素0c,力的亮度强度，。和6是在测试
区域中的常数， 是运动矢量。
在H.264标准的主要和延伸的简档中，支持加权预测。使用 wdghted_pred—flag字段在针对P和SP片段(slice)的画面参数集中指 出加权预测的使用，并使用weighted—bipred—idc字段在针对B片段设置 的画面参数集中指出加权预测的使用。有两种WP模式，在P、 SP和B
片段中支持的显式模式(explicit mode),及仅在B片段中支持的隐式 模式(implicit mode)。
在WP中，所使用的加权因子基于当前宏块或宏块分割的参考画 面索引(或在双预测情况下的多个索引)。参考画面索引可以在比特流 中编码，也可以被推导(例如针对跳跃或直接模式宏块)。单独的加权 因子和单独的偏移与针对当前画面的所有片段的每一个参考画面索引 相关联。对于显式模式，在片段头中对这些参数进行编码。对于隐式 模式，推导这些参数。限制加权因子和偏移参数值以允许帧间预测过 程中的16比特算术运算。
图1示出了汪264标准中的一些宏块分割和子宏块分割的示例。 H.264使用树状结构分级宏块分割，其中，还可以将16X16像素宏块分 成大小为16X8、 8X16或8X8的宏块分割。还可以将8X8的宏块分割 分成大小为8X4、 4X8和4X4的子宏块分割。对于每一个宏块分割， 可以独立地选择和编码参考画面索引、预测类型和运动矢量。对于每 一个子宏块分割，可以独立地编码运动矢量，但是针对所有子宏块分 割，使用子宏块的参考画面索引和预测类型。
通过P或SP片段中等于1的wdghtecLpred—flag,或B片段中等于1的 weighted一bipred—idc，来指明显式模式。如在之前己经提到的，这种模 式中，在片段头中对WP参数进行编码。可以对每一个颜色分量的乘法 加权因子和加法偏移进行编码，用来通过 num一ref一idx一 10—active—minus l指示列表O中的每一个允许的参考画 面，同时通过num—ref—idx—11—active—mhmsl指示列表l (针对B片段) 中的每一个允许的参考画面。同一画面中的所有片段必须使用相同的 WP参数，但针对误差弹性(resiliency)在每一个片段中重新传输WP 参数。
对于在整个画面上均匀施加的全局亮度变化，单独的加权因子和 偏移足以对从同一参考画面预测的画面中的所有宏块进行有效地编 码。
然而，对于非均匀施加的亮度变化，例如照明改变或摄相机闪光， 通过使用参考画面重排序，多于一个的参考画面索引可以与特定参考
画面存储器相关联。这允许同一画面中不同宏块使用不同加权因子，
甚至当从同一参考画面存储器中预测时也一样。然而，可在R264中使 用的参考画面的数量受到当前的技术水平和框架的限制，或受到运动 估计的复杂性的约束。在局部亮度变化期间，这在相当程度上限制了 WP的效率。
一因此，很明显，需要一种处理局部亮度变化的压縮方法，该方法 没有上述提到的与H.264中WP工具相关联的缺点。
发明内容
因此，本发明的一个方面是提供一种克服现有技术缺陷并可以更 加有效的处理局部亮度变化的编码方法。
本发明的另一方面是提供可以在H.264标准中实现的局部加权预
、、根据本发明的一个实施例，处理视频中的局部亮度变化的方法包 括，产生和使用逐块的加法加权偏移来对具有局部亮度变化的视频进 行帧间编码，并对逐块的加法加权偏移进行编码。所述产生步骤可以 包括使用当前画面和参考画面之间的下采样差分图像，而且所述编码 步骤可以显式地执行。所述编码步骤也可使用可用的帧内编码方法来 执行。
另一实施例中，该方法还包括在编码器中构造差分图像，并在所 述编码器中的构造期间考虑运动估计和运动补偿。差分图像可以是DC 差分图像，仅对差分图像的己使用部分执行传输。可以使用容易编码 的值对差分图像的未使用部分进行编码。
本发明的另一实施例中，通过把解码的参考画面与上采样DC差分 图像相加而产生新的参考画面，并对新的参考画面进行滤波。该滤波 从新的参考画面中去除块效应，例如可以是凡264中的去块滤波。新的 参考画面的产生能够进行编码，可以将该编码集成到H.264中，同时在 编码期间，在信号头中使用附加比特。
根据本发明的一个实施例，所述产生和编码步骤应用到视频中的 Y(或亮度)分量。另一实施例中，将所述产生和编码步骤应用到所有颜
色分量(例如U和V(色度)分量)。在这个步骤中，所述应用可以是隐 式定义/发信号通知的。
根据本发明的另一实施例，处理局部亮度变化的视频编码方法包 括通过从参考画面中减去当前画面而产生DC差分图像；通过增加所 产生的DC差分图像而重构参考画面；关于视频对重构的参考画面进行 运动补偿；以及对来自运动补偿的残差进行编码。
在H.264编码器中处理局部亮度变化的方法可以包括确定所述 视频上是否存在H.264帧间编码，以及何时H.264编码不存在；计算针 对视频中的当前画面的差分图像；对所述差分图像进行编码；对所述 差分图像进行解码和上采样；形成新的参考画面；对所述新的参考画 面进行运动补偿；计算运动补偿的残差图像信息的DC系数；以及对运 动补偿的残差图像信息的DC系数进行编码。然后，可以对解码的和上 采样的差分图像进行滤波，以去除块效应。
根据另一实施例，处理局部亮度变化的方法包括在H.264解码 器中对非H.264帧间编码的视频进行解码。所述解码还包括如下步骤-对编码的差分图像进行解码；对解码的差分图像进行上采样；根据上 采样的图像和参考画面存储而形成新的参考画面；对所述残差图像信 息进行解码；以及利用解码的残差图像信息对所述新的参考画面进行 运动补偿，以产生当前图像。
根据下面参考附图的详细描述，本发明的其它方面和特征将变得 很清晰。然而，应该理解，附图仅用于例证的目的，不是对本发明的 限定，本发明的限定应参考所附权利要求。还应该理解，所画的附图 不需要按比例，除非特殊指示，它们仅仅是试图在概念上例证这里描 述的结构和过程。
在附图中，相同的附图标记表示相似的组件
图1是示出根据H.264标准的宏块分割的框图； 图2是根据本发明实施例的局部加权预测方法中的运动补偿的图 形表不；
图3a是根据本发明实施例在编码器中实现的处理局部亮度的编 码方法的流程图3b是在编码器中将本发明的编码方法和H.264标准相结合的流 程图4a是根据本发明实施例在解码器中实现的处理局部亮度的编 码方法的流程图；以及'
图4b是在解码器中将本发明的编码方法和H.264标准相结合的流程图。
具体实施例方式
根据本发明的一个实施例，提出了一种新的处理局部亮度变化的 压縮方法。这个实施例中，通过把当前画面和参考画面相减生成DC 差分图像，并通过添加所生成的DC图像而重构参考画面。
从上述的等式l中，还注意到，为了能够有效的处理局部亮度变 化，可能有必要对一大组加权参数a和b进行编码。不幸地，这样会产 生两个问题1)需要许多比特来对这些参数进行编码；以及2)考虑 到需要使用所有可能的a和b集合来产生所需的参考并执行运动估计/ 补偿(ME)，主要在编码器中的计算复杂性会相当高。
根据本发明的一个实施例，假设在一个区域中强度的空间变化是 小的，通过仅使用加权偏移项b，即设置a二l，可以大致表示小区域内 的亮度变化。根据一个已知的方法，在运动补偿的残差的DC系数中吸 收这个偏移，因为假定其空间不相关。这种情况下，这个要求不总是 真实的，因而限制了编码效率。为了处理运动估计/补偿中的偏移，使 用mrSAD度量而不是通常的SAD度量。绝对差的和(SAD)定义如下
<formula>formula see original document page 9</formula>(3)
其中，mrSAD是
<formula>formula see original document page 9</formula> (4)
其中c指当前画面，r用于参考画面以及A用于块k。
根据本发明的实施例(如图2的示例性图中所示)，提供一种用来
对加权偏移项进行编码的方法。如果假设当前画面c和参考画面r之间
的运动是小的，则可以定义6f3c,<formula>formula see original document page 10</formula>如果假设小块内的
亮度变化同样是小的，则得到<formula>formula see original document page 10</formula>，其中D表示用于 从当前和参考画面中提取特定块A的偏移的运算符。D可以是任何已
知的子采样方法，例如，诸如全部或十分之一的块的均值。使用这个 方法，新的子采样画面sD (如果均值用于D，贝ljsD等同于c和r之间的 DC差分图像)。通常的，可按照^^GYc-7^"来生成sD图像，其中 是例如运动补偿过程，而6TJ是可以为SD提供更好表示(即在编码效 率方面)的另一个运算符(即NxM均值)。
通过,t/^JD"，形成新的参考画面,，其中U表示将sD图 像上采样为全尺寸(full size)的运算符，F是用来移除由sD引起的块 状假像(artifact)的滤波器，例如，其与类似于H.264中使用的去块滤 波器或任何其它适合的去块滤波器。之后，运动补偿在,上执行。要 注意，可能不需要sD中所有的像素，因为这些像素可能不会被使用。 例如，对于帧内编码块，非参考像素可被强制为零或任何容易压縮的 值，诸如相邻像素的值，而不管其实际值。可替代地，可提交指示sD 的使用区域的图。任何情况中，该过程仅在运动估计/判断之后进行， 而且sD可能需要以不改变参考区域的值的方式而重新编码。
尽管相当地复杂，但是考虑到当前图像及其参考之间的一些运动 信息之后，同样可能生成sD图像。这允许对于每一个位置的所需偏移 进行更好的估计，并提高sD图像的编码效率，也提高最终重构图像的 编码效率。
本技术领域的技术人员公认，本发明的方法可与任何基于块的运 动补偿编解码相结合。作为示例，在本公幵中使用H.264。 本发明方法的实现中，必须要做一些考虑
1) 块大小-如果块大小S,太小，需要更多的比特来对sD进行编码。
如果该大小太大，不可能精确捕获局部亮度变化。建议使用8X8的块 大小，如已经示出的测试，这提供了良好的折衷；
2) 运算符的选择-为了简单化，本公幵对于D使用均值(所以本
质上，sD是DC差分图像)，并对U使用一阶上采样(简单地重复)。备 选的方法是对I进行上采样，同时特殊考虑块边界，其中改为使用来自 临近块的平均值。最后对于F，可以使用H.264中使用的用于对宏块进 行去块的去块滤波器；
3) sD的编码方法-在对帧内画面进行编码中，H.264非常有效，sD 图像可以被编码为H.264帧内画面；
4) 语法改变-本发明的方法可与当前H.264编解码和语法结合。例 如， 一个参数(即画面参数集中)将表明该方法是否用于当前画面/ 片段中。此外，对于每一个参考，传输单独的参数(即片段参数集中)， 该参数指示是否使用差分DC图像来形成新的参考画面。最后，在编码 期间，测试所有可能的变化，并使用现有的穷举式拉格朗日
(Langmgian)率失真优化(RDO)方法，选择与原始方法(非差分 DC)相比较来说对于每一个参考画面最适合的方法；
5)颜色分量一般化-同一方法可仅用于Y(或亮度)分量，或有选 择地用于所有分量(即，U和V (色度)分量)。通过使用画面或片段 参数，隐式或显式地进行选择。
本技术领域的技术人员将意识到，在不背离本发明精神的前提 下，可以使用不同的变量名称和块大小。
图3a示出了在编码器端的本发明方法的实施例的框图。输入图像 或当前画面c是输入，并针对所有块(A)计算304差分DC图像sDfB^
=me^fbf^j - r(BJj 。使用片段内方法，如H.264中的方法，对差分 DC图像^D0^进行编码306。随后，将DC图像^Of^;解码308成(^D〕， 之后经过上采样3 IO变成"D'。通过把来自参考画面存储器303的参考画 面r与上采样的图像"D'相加，并对其进行滤波312以消除块假像(即， 以形成314新的参考画面r'。在新的参考画面,上执行运 动补偿316，并对运动补偿的残差的DC系数进行编码318。
如果基于运动估计/补偿的结果期望进一步压縮sD，在这个步骤 中，sD需要被重新压縮成画面^D〃 ，同时1)考虑该运动估计/补偿 的结果；以及2)确保运动补偿给出同样的结果(例如，如果对于特定 参考，不涉及下或右区域中的任何像素，则这些区域的值可以设置成
零而不会影响解码过程)。
如后面参照图3b和4b所述，在H.264中可以实现本发明的局部加 权预测(LWP)方法。
参考图4a，在解码器处，如果接收到针对先前解码的参考r的差分 DC图像，则对DC图像^Z)'进行解码402并进行上采样404成为"D'。通 过把上采样的图像M"'与参考r相加，并进行滤波408以消除块假像(即， ,=WjD' + r)，形成新的参考画面410。对残差进行解码412，并在r'中 执行运动补偿414，以生成当前画面c'(416)。
图3b和4b分别示出了，本发明的LWP方法与H.264标准的结合在 编码器和解码器中的实现。根据一个实施例，为了与H.264结合，本发 明需要简单的语法修改。更具体地，在H.264的画面参数集中增加单个 比特，以指示这个方法是否用于当前画面/片段。备选的方式是，在片 段头中增加允许更多灵活性的额外信号(即，对于不同的区域启用或 禁用LWP)。
如图3b示出，过程350包括初始化352，首先确定画面是否为帧间 编码(354)。如果不是帧间编码，则执行(356)帧内编码，并输出数 据(364)。如果是帧间编码，接下来确定是否应该使用H.264帧间编码 (358)。首先，使用H.264帧间编码方法对当前画面进行编码并计算失 真。然后，使用本发明(300)的LWP方法(360)对当前画面进行编 码并计算失真。使用具有较少失真的方法来选择最佳方法，并发信号 通知(362)。输出数据(364)。
图4b示出根据本发明实施例结合有LWP和H.264的解码器过程 450。初始化之后(452)，读取解析头454，并确定当前画面是否为帧 间编码的(456)。如果不是，如同编码器中那样，则执行帧内编码(458)， 并输出数据(464)。如果当前画面是帧间编码的，则接下来确定其是 否为H.264帧间编码的(460)。如果是，则使用H.264对当前画面进行 解码(462)，并输出(464)。如果不是H.264帧间编码的，则使用本发 明的LWP方法400对当前画面进行解码。
尽管已经示出、描述和指出应用到优选实施例的发明的基本新颖 特征，本技术领域的技术人员将理解，在不背离发明精神的前提下，
可以在所述方法、所示设备及其操作的形式和细节上进行删减、代替 和改变。例如，可以明确设想，在本发明的范围内，那些组件和以完 全相同方式执行完全相同的功能来获得相同结果的方法步骤的组合。 此外，应该认识到，以大致相同的方式执行大致相同功能以实现相同 结果的元件和/或方法步骤的所有组合均落入本发明的范围。此外，应 当理解，与任何公开形式或本发明实施例相关联地示出和/或描述的结
构和/或元件和/或方法步骤可以按照任意其他公开的、描述的或建议 的形式或实施例而合并，作为设计选择的主题。因此，本发明仅由所 附权利要求的范围来限定。
权利要求
1、一种解决局部亮度变化的视频编码方法，包括如下步骤产生逐块的加法加权偏移，以对具有局部亮度变化的视频进行帧间编码；对所述逐块的加法加权偏移进行编码。
2、 根据权利要求l所述的方法，其中，所述产生步骤还包括如下 步骤使用当前画面和参考画面之间的下采样差分图像来产生该偏移。
3、 根据权利要求l所述的方法，其中，显式地执行所述编码步骤。
4、 根据权利要求2所述的方法，其中，所述差分图像包括DC差分图像。
5、 根据权利要求2所述的方法，还包括在编码器中构造所述差分图像；以及在所述编码器中进行构造期间，考虑运动估计和运动补偿。
6、 根据权利要求2所述的方法，还包括仅传输所述差分图像中的已使用部分。
7、 根据权利要求2所述的方法，还包括使用容易编码的值，对 所述差分图像的未使用部分进行编码。
8、 根据权利要求l所述的方法，还包括通过把解码的参考画面与上采样的DC差分图像相加，产生新的参考画面；以及对所述新的参考画面进行滤波。
9、 根据权利要求8所述的方法，其中，所述滤波包括H.264中的去块滤波。
10、 根据权利要求8所述的方法，其中，所述滤波包括从所述新 的参考画面中去除块效应。
11、 根据权利要求l所述的方法，还包括将所述产生和编码步骤集成到视频编解码中； 在所述编码步骤期间，在信号头中使用附加比特。
12、 根据权利要求l所述的方法，还包括将所述产生和编码步 骤应用到视频中的Y分量。
13、 根据权利要求l所述的方法，还包括将所述产生和编码步 骤应用到视频中的所有颜色分量。
14、 根据权利要求13所述的方法，其中，所述应用被隐式地定义。
15、 根据权利要求l所述的方法，其中，所述编码步骤还包括 使用帧内编码方法对所述逐块的加法加权偏移显式地进行编码。
16、 一种解决局部亮度变化的视频编码方法，所述方法包括如下 步骤通过从参考画面中减去当前画面，产生DC差分图像； 通过把所产生的DC差分图像相加，重构参考画面；关于所述视频对重构的参考画面进行运动补偿；以及对来自所述运动补偿的残差进行编码。
17、 一种解决H.264编码器中的局部亮度变化的方法，包括如下步骤确定所述视频上是否存在H.264帧间编码，以及何时H.264编码不 存在；计算针对视频中的当前画面的差分图像； 对所述差分图像进行编码； 对所述差分图像进行解码和上采样； 形成新的参考画面；对所述新的参考画面进行运动补偿；以及 计算运动补偿的残差图像信息的DC系数；以及 对运动补偿的残差图像信息的DC系数进行编码。
18、 根据权利要求17所述的方法，还包括步骤对解码的并上采 样的差分图像进行滤波，以去除块效应。
19、 根据权利要求17所述的方法，还包括在H.264解码器中对非H.264帧间编码的视频进行解码，所述解码 还包括如下步骤对编码的差分图像进行解码； 对解码的差分图像进行上釆样； 根据上采样的图像和参考画面存储而形成新的参考画面； 对所述残差图像信息进行解码；以及利用解码的残差图像信息对所述新的参考画面进行运动补偿，以 产生当前图像。
20. —种解决局部亮度变化的视频编码的编码设备，所述方法包 括如下步骤通过从参考画面中减去当前画面而产生DC差分图像的装置； 通过把所产生的DC差分图像相加而重构参考画面的装置； 关于所述视频对重构的参考画面进行运动补偿的装置；以及 对来自所述运动补偿装置的残差进行编码的装置。
21. —种解决局部亮度变化的视频编码的设备，所述方法包括如下步骤通过从参考画面中减去当前画面而产生DC差分图像的装置； 通过把所产生的DC差分图像相加而重构参考画面的装置； 关于所述视频对重构的参考画面进行运动补偿的装置；以及 对来自所述运动补偿装置的残差进行编码的装置。
全文摘要
提出一种处理视频中的局部亮度变化的压缩方法。该压缩算法从源画面中先前编码的和重构的相邻像素以及其在参考画面中相应的运动预测(或配置的)像素中估计权重。由于该信息可用于编码器和解码器两者中以推导这些权重，因此不需要传输额外的比特。
文档编号H04N7/50GK101385346SQ200680052939
公开日2009年3月11日 申请日期2006年2月17日 优先权日2006年2月17日
发明者亚力山德罗斯·图拉皮斯, 吉尔·麦克唐纳·布瓦斯, 鹏 尹 申请人:汤姆森许可贸易公司