专利名称：根据先前的图像增强来增强视频图像的制作方法
技术领域：
本发明涉及视频图像处理领域，更具体地涉及增强视频流的后续图像，在所述视频流中使用预测和运动估计来根据前帧编码帧。
背景技术：
本领域技术人员可以参阅描述增强视频图像的US6259472和US5862254。在此全文引入以供参考。
发明内容
本发明中，一种包含基于已编码帧的视频信息的视频流被接收。该视频流包括已编码第一帧和已编码第二帧。第二帧的编码依赖第一帧的编码。更具体地，第二帧的编码包括指示第二帧区域与第一帧对应区域之间的位置差异的运动向量，该运动向量定义第二帧区域与第一帧区域之间的对应关系。
第一帧被解码，并且使用基于区域的分析确定已解码第一帧的视频增强的再映射策略。已解码第一帧的区域根据为第一帧所确定的视频增强再映射策略被再映射，以便增强第一帧。
第二帧的运动向量从视频流中被恢复，并且第二帧被解码。随后使用第一帧区域的基于区域的视频增强再映射策略来再映射对应于第一帧区域的第二帧区域，以便增强第二帧。
对后续帧再用前帧的视频增强再映射策略极大地降低了提供视频增强所要求的处理。
本发明的另一方面中，依赖第二帧区域与第一帧对应区域之间的相似性是否满足相似性准则来选择第二帧的一个或多个区域。根据第一帧的基于区域的视频增强再映射策略的第二帧区域的再映射仅对第二帧的所选择区域执行。
将前帧的视频增强再映射策略的再用仅限定在与前帧充分相似的后续帧的区域，这增加了后续帧被增强的可能性。
一种使用本发明解码器的机顶盒在最小附加硬件成本情况下提供增强的视频图像。在视频盘播放机上使用本发明的解码器可在相同视觉质量情况下允许视频盘上图像组的更高压缩比。使用本发明解码器的电视机能够播放更高质量的视频图像，或者能够使用更高压缩比的视频信号同时提供与低压缩比信号相同的质量。
从以下参考附图的详细说明，本发明的附加方面和优点对本领域技术人员来说将变得显而易见。
图1说明本发明的基于区域增强后续视频图像的示例方法。
图2示出本发明的用于提供基于区域增强的后续视频图像的示例解码器的部分。
图3示出使用图2解码器的示例机顶盒的部分。
图4说明使用图2解码器的示例DVD播放器的部分。
图5示出使用图2解码器的示例电视机的部分。
在下面的
中，不同图中的相同的标号指示相似的设备。方便起见，此类设备将只关于它们最先出现的图进行详述。
具体实施例方式
图1示出本发明方法的特定实施例100。在102，视频流被接收。该流包括图像组(GOP)的编码信息，GOP中的第一图像为帧内编码帧(I帧)，并且GOP中的后续帧为非I帧。后续非I帧的解码依赖I帧的编码。视频流可为例如数据包的MPEG II流，此情况下非I帧可为例如预测帧(P帧)和/或双向帧(B帧)。但是，其它任何类型的基于GOP的视频流，只要其包括根据前帧编码的后续帧，都可被使用。在104，I帧被解码。I帧的解码是本领域内众所周知的。
在106，用于再映射亮度值以便调整对比度的再映射策略被确定，用以增强已解码I帧。再映射策略可使用基于区域的亮度分析。使用此分析为已解码帧的区域确定再映射策略的方法是众所周知的，本领域的技术人员可参考公开此亮度值再映射的US6259472和US5862254。在108，已解码I帧的亮度值根据所确定的再映射策略而被再映射。
在108，如本领域内众所周知的，后续非I帧的运动向量从视频流中被恢复。通常，运动向量为I帧区域与依赖该I帧编码的非I帧的对应区域之间的位置差异。区域可以是相似亮度的区域或相似纹理的区域，或者帧之间的任何其它预定义的相似性可被用来定义区域。
在110，如本领域内众所周知的，后续非I帧的DC系数从视频流中被恢复。通常，DC系数为运动估计之后I帧的图像块的值与非I帧的对应图像块的预定值之间的差异。运动估计通常为依赖解码期间运动向量的区域的再映射。
在112，非I帧区域中的亮度值依赖I帧对应区域的再映射策略而被再映射，以便调整对比度来增强该非I帧。区域之间的对应关系根据运动向量而被确定。
如果后续非I帧的区域更相似于I帧(其为解码该非I帧所依赖的I帧)的对应区域，则使用为再映射对应的I帧区域的亮度值而开发的再映射策略来再映射该非I帧区域的亮度值更可能增强该非I帧。另一方面，如果非I帧区域显著不同于I帧的对应区域，则使用I帧对应区域的亮度值的再映射策略来再映射非I帧区域的亮度值就不大可能增强该非I帧，并且实际上甚至可能降低该非I帧的质量。
使用用于再映射I帧的策略为已增强对比度来再映射后续帧极大地降低了对比度增强所要求的开销。通常用于改进I帧质量的任何基于区域的视频处理都能够以类似方式被应用到后续非I帧的对应区域。
非I帧的亮度值的再映射还依赖于该非I帧的区域块的DC系数，该非I帧的解码依赖此DC系数。通常，区域的DC系数的较小值指示在运动补偿后该区域很可能相似于I帧中的对应区域。因此，当其确定的DC系数相对较高时，则I帧的亮度值的再映射策略不被用来再映射非I帧的亮度值。这可以通过使用可以是预定常值或为每个区域计算的可变值的DC系数阀值，并且接着仅当DC系数值低于阀值时才使用I帧的再映射策略来再映射区域的亮度值来确定。本领域的技术人员能够轻松地确定帧中区域的标准预定DC系数阀值、或一种计算帧中每个区域DC系数阀值的方法，其可以被用来增强所述帧。有用的DC系数阀值可以例如通过比较在其中应用了不同阀值或阀值算法的帧的简单试算和误差处理而被确定。
此外，非I帧的亮度值的再映射还可能依赖于运动向量的特性。如前面讨论的，运动向量被用来在一个被称为运动补偿的过程中识别对应于I帧区域的后续非I帧的区域。但是，除了它们在运动补偿中的应用，运动向量的特性还被用来确定非I帧区域相似于I帧对应区域的可能性。
每个运动向量具有一个数值和一个方向。相邻区域的运动向量之间的关系包括数值差异和被称为正交性的方向差异。通常，对于非I帧，一个区域的运动向量的较小数值、区域及其相邻区域运动向量数值之间小的差异、以及区域及其相邻区域运动向量方向之间的小的差异中的每一种都指示该区域更可能相似于对应的I帧区域。
通常，一个非I帧区域的运动向量的较小值指示这一区域可能更相似于其解码所依赖的I帧中的对应区域。当确定运动向量值相对较高时，则I帧的亮度值的再映射策略不被用来再映射非I帧的亮度值。这可以通过使用运动向量值的阀值来确定，该阀值可以是预定常值或为每个区域计算的可变值。因此，I帧的再映射策略仅被用来再映射那些其相应运动向量值低于该阀值的区域的亮度值。再次，本领域的技术人员能够轻松地确定可被用来增强所述非I帧的、非I帧中区域的标准预定运动向量值阀值或一种计算非I帧中区域的运动向量值阀值的方法。有用的运动向量值阀值可以例如通过比较在其中应用了不同阀值或阀值计算方法的非I帧的简单试算和误差处理而被确定。
同样，非I帧的区域与其在该非I帧中的相邻区域之间的运动向量值的一致性指示该区域更可能相似于解码该非I帧所依赖的I帧中的对应区域。当确定相邻区域的运动向量与本区域的运动向量值显著不一致或者不相似时，则I帧的亮度值的再映射策略不被用来再映射非I帧的亮度值。这一确定能够例如通过确定这些区域运动向量值与相邻区域运动向量值之间的平均差异，并且随后比较该数值平均差异与数值一致性阀值来完成。数值一致性阀值可以是预定常值或为每个区域计算的可变值。因此，只有当运动向量值的平均差异低于数值一致性阀值时，I帧的再映射策略被用来再映射区域的亮度值。类似地，数值差异的平方、或数值差异的其它组合、或其它众所周知的统计方法都能被用来确定数值一致性。再次，本领域的技术人员能够轻松地确定可被用来增强所述非I帧的、帧中区域的标准预定数值一致性阀值或一种计算非I帧中区域的数值一致性阀值的方法。有用的数值一致性阀值可以例如通过比较在其中应用了不同相应数值一致性阀值或阀值计算方法的不同非I帧的简单试算和误差处理而被确定。
同样，非I帧中的一个区域与其相邻区域之间的运动向量方向的一致性指示该非I帧区域更可能相似于其解码所依赖的I帧中的对应区域。当确定相邻区域的运动向量方向与本区域的运动向量方向显著不一致或不相似时，则用于该区域的I帧区域的亮度值的再映射策略不被用来再映射非I帧区域的亮度值。这可以例如通过确定这些区域的运动向量方向与相邻区域运动向量方向之间的平均差异，并且随后比较这些方向平均差异与方向一致性阀值而被确定。方向一致性阀值可以是预定常值或为每个区域计算的可变值。因此，只有当运动向量的值中的平均差异低于方向一致性阀值时，I帧的再映射策略被用来再映射该区域的亮度值。类似地，方向差异的平方、或方向差异的其它组合、或其它众所周知的统计方法都能被使用。再次，本领域的技术人员能够轻松地确定可被用来增强所述非I帧的、方向一致性阀值的预定值或一种为帧中每个区域计算此阀值的方法。有用的方向一致性阀值或计算此阀值的方法能够例如通过比较在其中应用了不同阀值或阀值计算方法的帧的简单试算和误差处理而被轻松地确定。
多种相似性指示可被用来确定是否将I帧的再映射策略应用到依赖该I帧而被解码的后续非I帧。本领域的技术人员将了解如何开发结合多种相似性指示的功能来确定是否将I帧的再映射策略应用到非I帧。例如，只有当所有的相似性指示都满足相应的阀值要求时，他们才可以使用I帧的对比度再映射策略。换句话说或此外，他们可以确定相似性指示与它们的相应阀值之间的差异或相对差异，并且仅在该差异或相对差异(或差异或相对差异的平方)的总和低于另一个阀值时将I帧的对比度再映射策略应用到非I帧。
本领域的技术人员将了解如何将这一过程应用到像依赖于前非I帧解码的后续非I帧这样的帧之间更复杂的相关性，前非I帧的解码依赖于I帧。例如，他们仅可以将I帧的对比度增强再映射策略应用到此类后续非I帧。换句话说，例如，他们能够为前非I帧开发可被应用到后续非I帧的第二种对比度增强再映射策略。
非I帧的解码可能依赖于多个其它帧。本领域技术人员将了解如何开发一种将多个帧的对比度增强再映射策略应用到非I帧的功能。
图2说明本发明的视频解码器120的基本部件。
包括图像组(GOP)的数据包的视频流在输入端122被接收，该GOP中的第一图像为I帧并且GOP中后续图像为非I帧。如上所述视频流可为MPEG流。
解码单元124解码GOP的帧。该解码单元将已解码I帧提供给缓冲器126、处理单元128。
处理器128使用基于区域的亮度分析来确定一种策略而再映射亮度值，以便改变对比度从而增强I帧图像，并且处理器使用该再映射策略来再映射缓冲器126中I帧的亮度值。随后，缓冲器将对比度增强的I帧经求和单元130传给输出端132。
解码单元为GOP的后续非I帧恢复DC系数和运动向量，并且将它们应用到缓冲器126和处理器128。处理器128根据运动向量再映射初始I帧和对比度已增强的I帧。
解码单元将I帧与后续非I帧之间的解码差异提供给求和单元130。依赖一种选择准则，对每个区域，缓冲器126将运动向量再映射的I帧或运动向量再映射的对比度已增强I帧提供给求和单元130。求和单元将解码差异与再映射增强I帧结合在一起来产生已解码的后续非I帧。
这个特殊例子中对区域的选择准则如下DC＜T1；并且MVV＜T2；并且MVS＜T3；并且MVO＜T4；并且a1(DC-T1)2+a2(MVV-T2)2+a3(MVS-T3)2+a4(MVO-T4)2＜T5其中，DC为区域的DC系数值；MVV为区域运动向量值；MVS为运动向量值与该区域之上、之下区域以及每一侧的区域的运动向量值之间的平均差异；以及MVO为该区域的运动向量同与其毗连的区域的运动向量之间的正交性；T1-T5为预定阀值；以及a1-a4为常数。常数和阀值根据观察者的比较结果而以统计方式选择，用以持续地增强结果图像。
图3示出本发明的机顶盒140。调谐器142从输入端144处提供的多个不同视频节目的多个流中选择一个视频节目的视频流。图2中的视频解码器120解码该视频节目，并且将解码的节目提供给输出端146，后者能够指向例如电视机的视频显示器。
图4说明本发明的DVD播放器150。该视频播放器具有用于旋转视频盘154的电机152。激光器156产生射线束158。伺服系统160控制光学系统162的位置，以便以射线束的聚焦光点扫描视频盘的信息层。信息层影响该射线束，并且将该射线束反射或传输到射线探测器164，以便在该射线被信息层影响后对其进行探测。处理器166控制伺服系统和电机，并且根据所述探测来产生包括图像组(GOP)的已编码信息的视频流。随后，图中的视频解码器解码该视频流并且将该已解码视频流提供到输出端168，以连接显示器。
处理器166可以与图2解码器中的处理器128相同，或者可以为如图示所提供的一种附加处理器。
图5示出本发明的电视机200。调谐器142从提供到输入端144的相应视频节目的多个视频流中选择一个待播放的视频节目的视频流。图2的解码器120解码所选择的视频节目，并且将其提供给显示器206。电视机可以具有图4的DVD播放器部件，以便使用该DVD部件播放所存储的视频节目(或录制的节目)。
以上仅关于特殊示例性实施例对本发明进行描述。本领域的技术人员将了解如何在本发明的范围内修改这些示例性实施例。本发明的范围仅由附加的权利要求限制。
权利要求
1.一种方法，其包括接收包含基于已编码帧的视频信息的的视频流，其包括已编码第一帧和已编码第二帧，第二帧的编码依赖第一帧的编码，第二帧的编码包括指示第二帧的区域与第一帧对应区域之间的位置差异的运动向量，该运动向量定义第二帧的区域与第一帧对应区域之间的对应关系；解码第一帧；使用基于区域的分析为已解码第一帧的视频增强确定一种再映射策略；根据已确定的第一帧的视频增强再映射策略来再映射已解码第一帧的区域，以便增强该第一帧；从视频流中恢复第二帧的运动向量；解码第二帧；使用第一帧的视频增强再映射策略来再映射对应于第一帧区域的第二帧区域，以便增强第二帧。
2.根据权利要求1的方法，其中第一帧为I帧，并且第二帧为后续的非I帧。
3.根据权利要求2的方法，其中视频流为数据包的MPEG流；以及非I帧为P帧或B帧。
4.根据权利要求1的方法，其中第一帧的视频增强再映射策略包括再映射亮度值，以便调整对比度来增强第一帧。
5.根据权利要求1的方法，其中使用重建环来执行第二帧的解码；以及第二帧的视频增强再映射完全在重建环中完成，由此运动向量不必被存储。
6.根据权利要求1的方法，其中该方法还包括根据第二帧的区域与第一帧的对应区域之间的相似性是否满足相似性准则来选择第二帧的一个或多个区域，该相似性准则包括第一帧与第二帧的区域之间的对应关系之外的相似性测量；以及仅对第二帧的被选择区域执行根据第一帧的视频增强再映射策略而对第二帧的区域进行的再映射。
7.根据权利要求1的方法，其中该方法还包括从视频流中恢复第二帧的DC系数值，DC系数值是运动补偿之后在图像块的预定值中的第一帧和第二帧之间的差异，运动补偿是依赖解码期间的运动向量而进行的区域再映射；以及该方法还包括根据区域的DC系数值是否满足相似准则来选择第二帧的区域；以及仅对第二帧的所选择区域执行根据第一帧的视频增强再映射策略而对第二帧的区域进行的再映射。
8.根据权利要求7的方法，其中根据第一帧的视频增强再映射策略来再映射的第二帧的区域的选择依赖于第二帧的区域的块的DC系数值与预定或计算的DC系数阀值之间的关系；
9.根据权利要求1的方法，其中该方法还包括根据区域的运动向量的相应值来选择第二帧的区域；以及仅对第二帧的所选择区域执行根据第一帧的视频增强再映射策略而对第二帧的区域进行的再映射。
10.根据权利要求1的方法，其中该方法还包括根据区域是否满足基于区域的运动向量特性与相应区域的相邻区域的运动向量特性之间的相似性的相似准则来选择第二帧的区域；以及仅对第二帧的所选择区域执行根据第一帧的视频增强再映射策略而对第二帧的区域所进行的再映射。
11.根据权利要求10的方法，其中满足相似性准则所依赖的运动向量特性包括区域的运动向量值与其相邻区域运动向量之间的相似性。
12.根据权利要求10的方法，其中满足相似性准则所依赖的运动向量特性包括区域运动向量值与其相邻区域运动向量之间的正交性。
13.根据权利要求1的方法，其中第一帧为I帧，并且第二帧为后续的非I帧；视频流为数据包的MPEG流，并且非I帧为P帧或B帧；第一帧的视频增强再映射策略包括再映射亮度值，以便调整对比度来增强第一帧；该方法还包括根据第二帧的区域与第一帧的对应区域之间的相似性是否满足相似性准则来选择第二帧的一个或多个区域，仅对第二帧的所选择区域执行根据第一帧的视频增强再映射策略而对第二帧的区域所进行的再映射；该方法还包括从视频流中恢复第二帧的DC系数值，DC系数值是运动补偿之后在图像块的预定值中的第一帧和第二帧之间的差异，运动补偿是根据解码期间的运动向量而进行的区域再映射；并且相似性准则的满足依赖于DC系数值；相似性准则的满足依赖于区域同相应区域的相邻区域的运动向量的特性的比较；满足相似性准则所依赖的运动向量特性包括区域的运动向量值与其相邻区域运动向量之间的相似性；满足相似性准则所依赖的运动向量特性包括区域的运动向量值与相邻区域运动向量之间的正交性。
14.一种视频解码器，其包括输入端，用于接收包含基于已编码帧的视频信息的、包括已编码第一帧和已编码第二帧的视频流，第二帧的编码依赖于第一帧的编码，第二帧的编码包括指示第二帧的区域与第一帧对应区域之间位置差异的运动向量，该运动向量限定了第二帧的区域与第一帧对应区域之间的对应关系；解码单元，用于解码所述帧，该解码单元为第二帧恢复运动向量；处理装置，用于使用一种基于区域的分析来确定已解码第一帧的视频增强再映射策略，并且用于使用该再映射策略来再映射第一帧，并且用于根据第一帧对应区域的再映射策略来再映射第二帧的一个或多个区域。
15.根据权利要求14的解码器，其中解码器还包括缓冲器；解码单元解码第一帧并且将第一帧存储到缓冲器中；处理装置根据视频增强再映射策略来再映射所存储的第一帧，并且传送已增强的第一帧；解码器还包括组合器；解码单元解码第二帧以确定第一帧与第二帧之间的差异，并且将该差异传送给组合器；处理器再次根据第二帧的运动向量来再映射第一帧的亮度值，并且将再次再映射的第一帧传送到组合器；组合器将再次再映射的第一帧同第一帧与第二帧之间的差异进行组合以产生增强后的已解码第二帧。
16.根据权利要求14的解码器，其中处理装置根据第二帧的区域与第一帧的对应区域之间的相似性是否满足相似性准则来选择第二帧的一个或多个区域；以及处理装置根据第一帧的视频增强再映射策略仅对第二帧的所选择区域进行第二帧的区域的再映射。
17.根据权利要求14的解码器，其中处理装置操纵解码单元。
18.一种机顶盒，其包括调谐器，用于从多个视频节目的多个视频流中选择一个待播放的视频节目的视频流；根据权利要求14的视频解码器，用于解码所选择的视频流；以及输出端，用于将解码的节目提供到视频显示器。
19.一种视频盘播放器，其包括电机，用于旋转该盘；激光器，用于产生射线束；光学系统，用于使用射线束扫描视频盘的信息层，该信息层影响射线束；伺服系统，用于定位光学系统；射线探测器，用于在射线束被信息层影响后对其进行探测；处理器装置，控制伺服系统和电机，并且根据所述探测来产生包括图像组(GOP)的编码信息的视频流；以及根据权利要求13的视频解码器。
20.一种电视机，其包括调谐器，用于从多个视频节目的多个视频流中选择一个待播放的视频节目的视频流；根据权利要求14的解码器，用于解码所选择的视频流；以及视频显示器，用于显示所选择的视频节目的已解码帧。
21.一种方法，包括接收包含图像组(GOP)的已编码信息的视频流，GOP中的第一图像为I帧，并且GOP中的后续图像为非I帧；解码I帧；使用基于区域的亮度分析来确定亮度值的再映射策略，以便改变对比度来增强已解码I帧；根据所确定的再映射策略来再映射已解码I帧的亮度值；从视频流中恢复后续的非I帧的运动向量，该运动向量为I帧区域与非I帧对应区域的位置差异；解码后续的非I帧；确定对应区域之间的相似性是否满足相似性准则；根据非I帧的区域与I帧的对应区域之间的相似性是否满足相似性准则来选择非I帧的一个或多个区域；根据I帧的对应区域的再映射策略来再映射非I帧的所选择区域的亮度值，以便改变对比度来增强非I帧。
全文摘要
包含基于已编码帧的视频信息的视频流包括第一帧和第二帧。第二帧的编码依赖于第一帧的编码。编码包括指示第二帧的区域与第一帧对应区域之间的位置差异的运动向量，该运动向量限定了第二帧区域与第一帧区域之间的对应关系。第一帧被解码，并且使用基于区域的分析来确定已解码第一帧的视频增强再映射策略。根据所确定的第一帧的视频增强再映射策略来再映射已解码第一帧的区域，以便增强第一帧。第二帧的运动向量被从视频流中恢复，并且第二帧被解码。
文档编号G06T5/00GK1729482SQ200380107115
公开日2006年2月1日 申请日期2003年12月12日 优先权日2002年12月20日
发明者R·C·-T·沈 申请人:皇家飞利浦电子股份有限公司