专利名称：具有抗补偿伪影保护的运动补偿帧速率转换的制作方法
具有抗补偿伪影保护的运动补偿帧速率转换
背景技术：
要求保护的本发明的实施例大致涉及用于在视频信息的帧之间 插值的方案，而且更详细地涉及有关运动补偿的此类方案。
帧速率转换(frame rate conversion),也可称其为时间速率转换 (temporal rate conversion),扫描速率转换或者场速率转换，可认为是 在不同帧速率之间转换的技术。帧速率可定义为单位时间内所显示的 帧的数量。例如，当在国际间交换视频资料时，帧速率转换将是必需 的。在一个特定情况下，PAL制式的视频资料，具有每秒50场的帧 速率，可能需要转换为NTSC制式，该制式具有每秒60场的帧速率。 因此，为了在使用NTSC制式的美国广播以PAL制式录制的视频资料， 将需要帧速率的转换。
作为制式转换的附加或备选，帧速率转换也能用于增加视频显示 系统中的感知质量。显示刷新率中的不同对于人眼是可感知的，并且 消费者通常喜欢例如100Hz或120Hz的较高刷新率胜过由广播系统支 持的常规帧速率50/60Hz。在视频显示系统中的帧速率转换能力可使 该系统的用户能够以高的帧速率和更好的感知质量观看视频资料。
为了进一步介绍帧速率转换的概念，将对照图l讨论插值示例。 视频序列100可包括图像或帧的时间序列，该序列的第N-l帧110和 随后的第N帧130^皮显示。通过例如在序列100中丟弃或不丟弃现有 帧的情况下在帧IIO和130之间插入插值帧(或"目标帧")120,可改 变序列100的帧速率。例如，如果需要当前帧速率的整数倍(例如两倍、 三倍等)，则一个或多个插值帧120可在现有帧IIO和130之间以大扭无 相等的时间间隔插入。然而，如果需要另一个帧速率转换因子，可将 插值/目标帧120插入到在时间上更接近帧110和130之一处，可能伴随着在序列100中丟弃前面已存在的(pre-existing)帧。
有三种主要类型的帧速率转换方案可使用1)帧复制/丢弃 (dropping), 2)时间插值，以及3)运动补偿方案。帧复制/丟弃可能是 最广泛使用的技术因为它易于实现，但是它也可能提供最差的图像质 量。运动补偿方案通常被认为具有最高的图像质量，但是这类方案也 典型地在实施中引入高度复杂性。作为这种复杂性的结果，运动补偿 帧速率转换方案可能仅在专业设备或非常高端的电视或视频处理器 中可使用。
然而，甚至如此复杂的设备仍然可能呈现来自运动补偿中的不精 确的视觉伪影(visualartifacts),例如"光晕(halo)"伪影。
与本说明书结合且作为本说明书的一部分的附图示出了与本发 明的原理相符合的一个或多个实施例，并和说明书描述一起，解释这 些实施例。附图不一定按比例绘制，而重点在于示出本发明的原理。 在附图中，
图1在概念上示出视频帧之间的插值；
图2示出视频显示系统的一部分；
图3示出图2的系统中示范的帧速率转换器；
图4示出在帧速率转换期间中确定插值的像素值的示范过程。
具体实施例方式
以下的详细描述涉及附图。相同的附图标记将用在不同的附图中 以标识相同或相似的部件。在以下的描述中，出于解释和非限制的目 的，提出例如特定结构、体系、接口、技术等的具体细节，以便提供 对所要求保护的本发明的不同方面的透彻理解。然而，对于受益于本 公开的本领域技术人员而言将是显而易见的，即所要求保护的本发明的不同方面可在脱离这些具体细节的其他示例中实践。在某些情况 下，公知的装置、电路和方法的描述被省略以免不必要的细节对本发 明描述的干扰。
图2示出视频显示系统200的一部分。系统200可从任何合适的 媒介接收视频信息，包括但不限于不同的发射和/或存储媒介。视频信 息中的图像可包括，例如其像素中的亮度和色度值(例如，Y、 U和 V)，或来自任何其他合适的颜色空间的值。虽然为了易于解释而示出 为单独的功能部件，系统200的任何的或所有的部件可由晶体管和/ 或门电路(gate)的共同组合协同定位(co-located)和/或实现。此外，系统 200可由软件、固件、硬件或其任何合适的组合实现。
在不同的实施例中，系统200可包括，或被包括于， 一个或多个 处理系统、处理子系统、处理器、计算机、装置、编码器、解码器、 编/解码器(CODEC)、发射装置、娱乐系统、显示器或任何其它图像处 理或显示体系。实施例在本上下文中是非限制的。
图2中示出的显示系统200的部分可包括緩存区210、处理器220 和帧速率转换器230。输入到系统200的视频数据可能已经预先从多 个编码方案中的任何编码方案解码，这些编码方案包括但不限于 MPEG-1、 MPEG-2、 MPEG-4、先进视频编码(AVC)(例如，MPEG-4， part 10和ITU-T建议H.264), Windows媒体视频9(WMV-9)和/或 SMPTE，s VC-1。视频数据可格式化为电视制式，例如NTSC或PAL 制式。
可设置緩存区210以存储视频数据的帧或帧的一部分。例如，緩 存区210可存储序列中两个相邻帧(例如，第N-1帧IIO和笫N帧130) 或图像的至少一部分。也可设置緩存区210以当插值(或目标)帧(例如， 帧120)由帧速率转换器230生成时，存储插值帧的至少一部分。根据 緩存区210的大小，可为现有的和插值的帧存储完整的帧、帧内的多 个行或多个相邻像素。也可设置緩存区210以在处理器220的控制下 输出经速率转换后的视频数据(例如，帧或例如行或像素的帧的部分)。可设置处理器220以控制来/往于緩存区210的纟见频数据的输入和 输出，包括来自帧速率转换器230的插值数据。也可设置处理器220 以将与緩存区210中的帧相关的运动矢量提供给帧速率转换器230。 在一些实施例中，緩存区210中的视频数据的帧可能带有相关运动矢 量而到达。在这种情况下，处理器220可将这些运动矢量传递给转换 器230。
在一些实施例中，处理器220可能需要为第N帧130中的像素计 算运动矢量&(x,y)。在这种情况下，处理器220可使用多个已知的或 将来开发的运动估计算法中的任何一种来计算运动矢量，例如在专利 号为11/091,853的于2005年3月28日提交的美国专利中公开的运动 估计算法，该美国专利的内容通过引用结合到本文中。应该注意到不 同的运动矢量可在一些实施例中针对像素的块(或宏块或一些其它的 像素的组合)计算。在这些实施例中，运动矢量对于块或组内的所有像 素将是相同的。然而，在一些实施例中，每个像素可具有唯一的与其 相关的运动矢量。
可设置帧速率转换器230以基于来自处理器220的运动矢量和来 自緩存区210中的第N-l帧和/或第N帧的像素值来计算目标(或插值) 帧中的插值像素值。当完成这些计算时，可设置转换器230以在緩存 区210中存储这些目标像素值，或将它们输出到另一个存储装置，例 如帧緩存区。
图3示出帧速率转换器230的示范实施例。参考图3，到转换器 230的运动矢量输入可源于(originate)处理器220。相似地，笫N帧和 第N - 1帧输入源于緩存区210。来自转换器230的插值数据输出也 可送到緩存区210。在一些实施例中，转换器230可生成与插值的像 素相关的所有颜色值(例如，YUV或RGB)。
帧速率转换器230可包括运动矢量插值器310、后向运动补偿器 320、前向运动补偿器330、合成器340和保护器350。这些部件310 -350可在例如逻辑电路、门电路、晶体管或一些其他合适的电路构建才莫块(circuit building block)中实现。
可设置插值器310以插值运动矢量X (x,y)，从而生成帧N-1与 目标帧之间的"前向"运动矢量和帧N与目标帧之间的"后向"运动 矢量。对于将在时间上处于两个原始帧之间的中间的目标帧，插值器 310可计算帧N和目标帧之间的后向运动矢量作为&(x, y)的一半而且 可计算帧N- 1和目标帧之间的前向运动矢量也作为&(\ y)的一半。
然而，对于在时间上距一帧比另一帧更近的目标帧，插值器310 可不同地插值运动矢量&(x,y)。例如，对于与帧N-1相距总的帧间隔 时间的1/3并且与帧N相距总间隔时间的2/3的目标帧，前向运动矢 量可以是&(x, y)的三分之一而后向运动矢量可以是&(x, y)的三分之 二。这两个运动矢量然后用于补偿来自帧N-1和帧N的像素。在所 有的情况下，插值器310可针对前向和后向运动矢量的方向使用恰当 的和/或相一致的转换。
可设置后向运动补偿器320以通过使用后向运动矢量来运动补偿 来自第N帧的对应的像素值，从而为目标/插值帧中的像素计算值。 该后向运动补偿像素值可输出至合成器340和保护器350。
相似地，可设置前向运动补偿器320以通过使用前向运动矢量来 运动补偿来自第N-l帧的对应的像素值，从而为目标/插值帧中的像素 计算另一值。该前向运动补偿像素值可输出至合成器340和保护器 350。
可设置合成器340以合成后向运动补偿像素值和前向运动补偿像 素值以产生合成的运动补偿像素值。在目标帧与第N帧的距离等于目 标帧与第N-1帧的距离的实施例中，合成器340可计算这两个输入值 的中值作为合成的运动补偿像素值。然而，在目标帧与第N帧的距离 不等于目标帧与第N-l帧的距离的实施例中，合成器340可基于目标 帧与其他帧的各自的时间距离来计算这两个输入值的加权均值作为 合成的运动补偿像素值。该合成的运动补偿像素值也可输出至保护器 350。图3中从第N帧数据和第N-l帧数据到保护器350的虚线指示来 自距目标帧较近的帧(例如，N或N-1)的另外的像素值。例如，在目标 帧和第N帧等距或在时间上更接近的一些实施例中，保护器350可接 收来自帧N的多个像素值，这些像素在帧N中邻近插值/目标像素的 (x,y)位置。在这些实施例中，保护器350可不接收来自帧N-1的像素 值。在目标帧于时间上更4妻近帧N-l的一些实施例中，保护器350 可接收来自帧N - 1的多个像素值，这些像素在帧N中邻近插值/目标 像素的(x,y)位置。在这些实施例中，保护器350可不接收来自帧N的 像素值。
可设置保护器350以基于运动补偿值(和其可能的合成)和另一帧 (例如，帧N)的空间上接近目标像素位置的像素的值而选择讨论的插 值/目标像素"中心"值。例如，在一个实施例中，保护器350可包括 五抽头(tap)中值滤波器。在该实施例中，对该中值滤波器350的输入 是(l)经补偿器320来自帧N的后向运动补偿像素值；(2)经补偿器 330来自帧N-1的前向运动补偿^f象素值；(3)来自合成器340的后向 运动补偿像素值和前向运动补偿像素值的均值；(4)帧N中比插值像素 的(x, y)位置高一行(line)的像素的值；以及(5)帧N中比插值像素的(x, y) 位置低一行的像素的值。保护器350可输出ili个值的中值作为插值 像素的值。
在该实施例中，如果运动矢量(运动补偿值由其确定)相当精确， 中值滤波器350将倾向于选择均值。然而，如果运动矢量没有精确计 算，中值滤波器350将倾向于选择来自帧N的空间上"接近的"像素 值之一。尽管保护器350的该空间选择可能相对于好的运动补偿会带 来更多模糊(blurring)，但是它可"保护"免受由不精确的运动补偿引 起的伪影(例如，以不同速度移动和/或光晕化(halo-ing)的分裂像素)的 影响。
应注意到保护器350不需要是中值滤波器；它也不是必需具有五 个输入。更确切地，保护器350可包括在运动补偿值和非运动补偿(即，在另一帧中空间上接近的)值中选定中心值的任何装置。例如，保护器
350可忽视一个或多个溢出值(outlier value)并能够以剩余值的中值或 一些其它统计量度来计算插值像素的值。虽然在一些实施例中，当运 动矢量是精确的或很好呈现的时，合成器340的输出可能使保护器350 偏向选择运动补偿值，但在一些实施例中，对保护器350的运动补偿 输入值的数量不需要超过空间上接近的输入值的数量。滤波的类型、 输入的数量和/或输入的类型的变动都是可能的和预期的。
图4示出在帧速率转换过程中确定插值像素值的示范过程400。 虽然为了解释的清晰和简单可对照图2和3中描述的帧速率转换器 230描述图4，应理解过程400可由其它硬件和/或软件实施例来执行。
通过运动矢量插值器310生成对于目标帧中的像素的部分运动矢 量可开始处理(动作410)。该生成可来自围绕目标/插值帧的两个或更 多帧之间的运动矢量。虽然在前面的示例中部分运动矢量由两个帧N 和N-1确定，但在一些实施例中这些部分运动矢量可由三个或更多现 存的帧或其部分生成。
通过补偿器320和/或330从动作410中生成的部分运动矢量确定 运动补偿像素值可继续处理(动作420)。动作420可有选择地包括合成 两个或更多运动补偿像素值以形成另一个合成的运动补偿的值。
保护器350也可接收来自围绕目标/插值帧的帧之一(例如，第N 帧)的一个或多个像素值，这些像素在空间上接近插值像素的相同坐 标，但在一帧内(动作430)。例如，这些值可包括第N帧中的一个或 多个像素，例如这些像素在第N帧中位于(x,y)位置的像素的上、下、 左或右，其中(x,y)位置是目标帧中的目标像素所在的位置。
以保护器350从动作420中生成的运动补偿值和动作430中获取 的空间上^^妄近的像素值中选定插值像素值可继续处理(动作440)。在一 些实施例中，保护器350可从几个可能值中选定中值。在一些实施例 中，动作440可涉及另一 "中心"选择操作而不是中值。动作440可 具有当动作410中生成的运动矢量(不管什么原因)不精确时保护免受运动有关的伪影的影响。然而，当这些矢量精确时，运动补偿值可能
相对彼此接近(而且当呈现时接近它们的均值)，而且动作440可为目 标/插值帧选定运动补偿像素值。
可重复动作410-440直到为目标帧或图像中的所有像素选定插 值。虽然图4中未清楚示出，过程400也可包括当需要时在动作410 之前生成运动矢量。它也可包括将目标像素值发送到緩存区以及当有 足够多的目标值可送出时送出经速率转换的视频数据。
一个或多个实施例的以上描述提供了图示和描述，但不是旨在穷 举或将发明的范围限制到所公开的明确形式。修改和变动根据以上的 教导是可能的，或者从本发明的不同实施例的实践是可获得的。
例如，虽然可在逐像素的基础上执行本文描述的方案，但也可对 图像中像素的集合或组合执行本方案。同样，本文描述的方案不应该 限于所公开的特定实施例(例如，两帧、插值运动补偿)，但更确切地 可应用于当运动补偿值极大幅度偏离空间上接近的值时通过原始帧 的一个帧中选定空间上接近的像素保护免受运动引入的伪影的影响 的任何技术。所要求保护的发明旨在涵盖在运动补偿帧速率转换中保 护免受此类运动有关的伪影的影响的任何此类技术。
此外，图4中的动作的至少一些可实现为指令、或指令的集合， 在机器可读的介质中实现。
在本申请的描述中使用的部件、动作或指令不应该解释为对于本
发明是关键的或必要的除非清楚地如此描述。同样，如本文中使用的 冠词"一个"旨在包括一种或多种项目。在基本上不脱离本发明的实 质和原理的情况下可对所要求保护的本发明的以上描述的实施例做 出变动和修改。所有此类修改和变动旨在包括在本公开的范围内并由 所附权利要求所保护。
权利要求
1. 一种生成插值图像的方法，包括从第一图像和第二图像之间的单个运动矢量生成多个部分运动矢量；基于所述多个部分运动矢量和来自所述第一图像和所述第二图像的像素值确定多个运动补偿值；从接近公共像素的所述第一图像获取多个像素值；以及基于所述多个运动补偿值和来自所述第一图像的所述多个像素值而选择所述插值图像中像素的结果值。
2. 如权利要求l所述的方法，其中所述生成包括 将所述单个运动矢量的第一部分定义为一个部分运动矢量，以及 将所述单个运动矢量的剩余部分定义为另一部分运动矢量。
3. 如权利要求l所述的方法，其中所述确定包括将所述多个部分运动矢量中的一个应用到与所述单个运动矢量 相关的所述笫一图像中的第一像素，以获取第一运动补偿值，以及将所述多个部分运动矢量的另一个应用到与所述单个运动矢量 相关的所述第二图像中的第二像素，以获取第二运动补偿值。
4. 如权利要求3所述的方法，其中所述确定还包括 组合所述第一运动补偿值和所述第二运动补偿值，以获取第三运动补偿值。
5. 如权利要求l所述的方法，其中所述获取包括 从所述公共像素上的行中选取第一像素值，以及 从所述公共像素下的行中选取第二像素值。
6. 如权利要求l所述的方法，其中所述选择包括选取所述多个运动补偿值和来自所述第 一图像的所述多个像素 值的中值作为所述插值图像中的像素的所迷结果值。
7. —种在多个图像之间插值的系统，包括运动矢量插值器，用于基于目标图像和所述多个图像中的每个图像的时间距离而将运动矢量分割成部分；运动补偿模块，用于基于所述运动矢量的所述部分为所述目标图 像中的像素生成至少两个运动补偿值；以及保护器，当所述运动矢量精确时，所述保护器为所述目标图像中 的像素选择运动补偿值，以及当所述运动矢量不精确时，所述保护器 从所述多个图像之一选择像素值。
8. 如权利要求7所述的方法，还包括合成器，用于统计地组合所述至少两个运动补偿值，并且将组合 的运动补偿值输出到所述^:护器。
9. 如权利要求7所述的系统，其中所述运动补偿才莫块包括 前向运动补偿才莫块，用于基于所述运动矢量的第一部分和所述多个图像中的较早图像为所述目标图像中的像素生成前向运动补偿值， 以及后向运动补偿才莫块，用于基于所述运动矢量的第二部分和所述多 个图像中的较晚图像为所述目标图像中的像素生成后向运动补偿值。
10. 如权利要求7所述的系统，其中所述保护器包括 中值过滤器，设置为在所述至少两个运动补偿值和来自所述多个图像之一的至少两个像素值中选择中值，以输出作为所述目标图像中 的像素的插值。
11. 如权利要求7所述的系统，还包括緩存区，用于存储所述目标图像和所述多个图像的至少一部分。
12. 如权利要求7所述的系统，还包括处理器，用于基于所述多个图像而计算所述运动矢量，并且将所 述运动矢量输出到所述运动矢量插值器。
13. —种在两个图像之间插值以形成目标图像的方法，包括 基于所述两个图像的像素之间的运动矢量为所述目标图像中的给定像素计算两个或更多运动补偿像素值；从所述两个图像中的一个图像获取一个或多个像素值，在所述一 个图像中所述一个或多个像素的位置接近所述目标图像中的所述给定像素的空间位置；如果所述两个或更多运动补偿像素值在数值上相对接近，则选择 所述两个或更多运动补偿像素值中的一个作为所述目标图像中的所 述给定像素的插值；以及如果所述两个或更多运动补偿像素值在数值上不是相对接近，则 选取所述一个图像中的所述一个或多个像素值中的一个作为所述目 标图像中的所述给定像素的插值。
14. 如权利要求13所述的方法，还包括 通过将平均或加权平均应用到两个运动补偿像素值而计算第三补偿像素值。
15. 如权利要求13所述的方法，还包括重复所述计算、获取、选择和选取直到已为整个目标图像获取了 插值像素值。
全文摘要
一种出于帧速率转换的目的而在多个图像之间插值的系统，可包括运动矢量插值器、运动补偿模块和保护器。运动矢量插值器可基于目标图像距多个图像的每个的时间距离将运动矢量分割为部分。运动补偿模块可基于部分运动矢量为目标图像中的像素生成至少两个运动补偿值。当运动矢量精确时，保护器可为目标图像中的像素选定运动补偿值，以及当运动矢量不精确时，保护器可选定来自多个图像之一的像素值。
文档编号H04N7/32GK101416523SQ200780012197
公开日2009年4月22日 申请日期2007年3月30日 优先权日2006年4月3日
发明者T·卢 申请人:英特尔公司