专利名称：用于基于行的垂直运动估计和补偿的方法和装置的制作方法
技术领域：
本发明涉及一种用于基于行的垂直运动估计和垂直运动补偿的视频信号处理的方法和装置。
背景技术：
下文中，将关于对视频处理装置(如具有行存储设备的微处理器或微控制器)内的用于基于行的运动估计和运动补偿的视频信号进行的处理来描述本发明及其潜在问题， 而应当注意，本发明不限于该应用，而还可以用于其他视频处理装置。本发明涉及一种运动估计和补偿设备，更具体地，涉及一种对运动矢量进行估计并对色度子采样的视频帧的隔行扫描序列执行运动补偿预测的运动估计和运动补偿设备。现今，在例如DVD视频和数字电视广播等这些领域中，广泛使用运动图像专家组(MPEG)的数字压缩编码标准来记录或发送大量高质量的运动图像数据。该MPEG族的这种 视频压缩标准(如MPEG-1、MPEG-2、MPEG-4、H. 261、H. 263、H. 264标准)将输入图像划分 成若干宏块。以可用的帧间预测和帧内预测编码模式中的每一个对这些宏块中的每一个进 行编码，并且将各个编码模式的对宏块进行编码所需的比特率以及速率失真(RD)成本进 行比较。然后，根据比较结果来选择适当的编码模式，并且使用所选编码模式对宏块进行编 码。使用帧间预测，通过参照整个运动画面(包括若干连续帧)的当前帧的相邻帧的宏块来预测当前帧的宏块的运动，以利用视频帧之间的相似性来降低时间冗余分量。在帧 间预测中，以宏块为单位执行运动估计和运动补偿。运动估计涉及对从与当前宏块相对应的位置扩展的参考帧的预定区域或区(所谓的搜索区)进行搜索以选择与当前宏块具有最短距离的区作为最相似区，并输出最相似 区和当前宏块之间的特殊差值作为运动矢量。运动补偿涉及使用通过运动估计获得的运 动矢量从参考帧中读取最相似区，并产生帧间预测块。在运动估计中，必须从内部存储器设 备(如SRAM)中读取当前宏块数据和参考帧的搜索区数据。由于在当前宏块的运动估计中 重复使用当前宏块的数据和搜索区数据，运动估计设备包括内部存储器设备(如同步随机 存取存储器(SRAM))来从外部存储器设备中读取所需的数据，并将读取数据存储在内部存 储器设备中以在运动估计中使用。在运动估计中，事实上，在邻近宏块的搜索区数据之间存在较大重叠。因此，运动 估计设备仅读取运动估计所需的下个宏块的搜索区数据，而不是重叠的搜索区数据。将从 外部存储器设备读取的搜索区数据存储在内部存储器设备中。由于数据传输受到内部存储 器设备的限制并且由于重叠的搜索区数据，将内部存储器设备划分成若干内部存储器。例 如，当宏块的大小为16X16时，搜索区的大小为144X80，内部存储器设备的数据传输带宽 例如是128比特，每个像素的比特数为8比特，则将搜索区的144X80个像素存储在9个 16X80内部存储器中。当将搜索区数据存储在划分后的内部存储器中时，由于开销增加，内 部存储器设备的门的总数增加，内部存储器设备所占用的区域也增加。此外，随着划分后的内部行存储器数目的增加，数据端口的数目增加，并且针对从每个内部存储器读取的复用 数据的组合逻辑单元的数目也增加。因此，需要包括在运动估计设备中的高效内部存储器来存储来自参考帧的数据。在当前系统中，通常将该搜索区或窗的图像数据存储在本地缓冲器中或需要相当 大的带宽的芯片存储器(所谓的行存储器)上。运动估计和运动补偿(或简称MEMC)是公知的技术，用于实现要 在屏幕上以较高 显示频率显示的输入视频信号的时间转换。利用该技术，会出现所谓的影片抖动。特别地， 为了补偿这些影片抖动，MEMC通常用于执行从用于影片信号的标准化24Hz到例如50Hz或 60Hz的显示频率的上转换。图1示出了运动画面中影片序列或帧的示意性运动描绘，所述影片序列或帧具有 标准化的24Hz帧率。具体地，在图1中，对运动画面的原始帧η-1、η、η+1和η+2中的运动目标的运动 轨迹进行可视化，其中，原始帧具有标准化的24Hz帧率，并且，在图1中关于相应帧将运动 目标呈现为圆形目标111、112、113、114。假设帧η_1、η、η+1、η+2中的运动目标111、112、 113、114的运动轨迹是直线。为了执行上转换，必须存取两个时间不同的场和帧中的最小的一个，场或帧可以 根据它们在时间上的出现来被分为先前帧或当前帧。根据预期质量并关注输入数据格式， 还需要存取运动画面的其他时间帧，以实现关于视频质量的充分的插值执行。图2示出了针对24Hz影片信号或运动画面至60Hz显示信号的60Hz上转换的下 拉模式2:3。24Hz影片信号或运动画面对应于图1的影片信号或运动画面。当执行上转换时，会出现类似大面积闪烁和线条闪烁等伪像。在快速运动目标的 情况下，可以引入强模糊效应。因此，极大降低了所显示图像的质量。在图2中出现这样的情况。图1的运动目标111、112、113、114被示为参考。如上 所述，假设运动目标111、112、113、114的运动轨迹是直线。然而，由于伪像以及由于模糊 效应，运动目标211、212、213、214、215、216、217的运动并不如所预期的以及参考111、112、 113、114所预定义的一样平滑。为了避免伪像和模糊效应，提出了能够执行对运动画面的连续帧中的运动目标的 运动估计和运动补偿，使得分别克服或补偿伪像和模糊效应的上转换方法。具体地，运动估 计和补偿提供了 检测帧的运动部分并根据所估计的运动对缺失帧进行插值。图3示出了通过24Hz影片信号或图1的运动画面至60Hz显示信号或运动画面的 上转换补偿后的完整运动。在图3中，由于所执行的运动估计和运动补偿，运动目标211、212、213、214、215、 216、217通过图1的运动目标111和113提供了示例性呈现的图1的期望运动轨迹。常用算法补偿沿两个方向的运动，即，沿水平和垂直方向。对于该操作，存储器的 存取应当是随机可行的，对于硬件应用，这需要针对不同时间输入数据流的视频处理器内 的足够的嵌入式芯片存储器。如上已经概括的，该嵌入式芯片存储器的大小完全取决于针 对目标运动的搜索范围(即，搜索区域)，其中，运动估计可以匹配两个时间位置中的类似 视频模式，并以像素每帧或每场为单位导出运动的速度。然而，该匹配处理并非始终以理想方式工作，这是由于需要确定所测量的运动矢量的质量的方法。因此，对于其他时间输入视频信号的内部存储而言，需要附加存储器资 源。然而，这增加了嵌入式存储器的量，甚至还导致芯片面积的增加，这是由于对于集成电 路而言，芯片内部存储器主要确定芯片面积。因此，该芯片变得越来越贵。特别地，在主流 市场部分(如对于LCD电视)，这些附加成本典型地形成了针对运动估计和运动补偿的实现 方式的限制因素。因此，本发明基于提供了一种更高效的运动估计和运动补偿的目的，具体地，一种 垂直运动估计和垂直运动补偿，通过该垂直运动估计和垂直运动补偿，可以实现对芯片内 部资源的更高效地使用，特别是关于运动估计和运动补偿的对芯片内部存储器的更高效地 使用。
发明内容
根据本发明，提供了一种具有权利要求1的特征的方法、一种具有权利要求6的特 征的装置、一种具有权利要求9的特征的计算机程序产品、和/或一种具有权利要求11的 特征的数据载体。本发明的一个基本思想是基于一种提供运动画面的连续帧中基于行的垂直运动 估计和垂直运动补偿的方法，其中，将该画面划分成至少一个区域，所述方法包括-对先前帧的至少一个区域的每一行的亮度值进行的第一次求和，其中，所述亮度 值的第一次求和产生先前累积简档；-对当前帧的至少一个区域的每一行的亮度值进行的第二次求和，其中，所述亮度 值的第二次求和产生当前累积简档；以及-使用先前累积简档和当前累积简档来导出垂直运动矢量。亮度是沿给定方向的光强的密度的光度测量。它描述了通过特定面积或从该特定面积发出或落在给定立体角内的光量。因此，亮度是运动画面帧中亮度的光度测量。如果 亮度为高，则画面亮，如果亮度为低则该画面暗。因此，亮度是画面的黑白部分。根据提出的方法，假设运动画面中垂直运动的部分或目标的亮度将使运动画面的连续布置的帧的行上移或下移。针对运动画面的帧中的至少一个区域的每一行的亮度值的 求和允许有效并有意确定相应帧的相应区域的亮度值的累积简档。因此，由于同样导出垂直运动矢量的对连续帧(先前帧和当前帧)的相应数据的有效预处理，可以关于所需存储器容量和运行时间高效地执行垂直运动矢量的导出。根据 本发明基本思想的累积简档的构造和呈现继承了可以以简单方式执行的方法以及有效呈 现。此外，这样的方法允许垂直运动估计和补偿的实现，不需要大量的附加存储器容量来分析连续帧的数据，而需要大量的附加存储器容量是现有技术的大多数方法的情况。此外，根据本发明，由于可以将画面划分成至少一个区域，帧的逐区域处理同样变 为可能。在一区域的情况下，该区域将对应于整幅图像。因此，允许灵活的实现方式。一方 面，能够按照期望顺序和适合于运动画面的区域数目对画面进行划分。另一方面，能够关于 垂直运动仅对此类区域(在该区域中，确实预期或假设该运动)进行分析，根据本发明的基 本思想，这是可能提高效率的另一因素。根据本发明的实施例，可以从第一行存储器导出先前帧的数据，从第二行存储器导出当前帧的数据。此外，还可以在类似去隔行器应用或时间噪声降低应用的其他应用中 使用第一行存储器和/或当前行存储器。因此，附加地，根据本发明使用类似行存储器的高效存储装置。此外，由不需要仅 用于运动估计和补偿的额外存储器装置或布置这一事实，提供了本发明实现方式的更一般 的效率。相反，由于对数据存储进行组织，使得其他应用也可以利用该存储、行存储器，并且 可以通过使用在相应行存储器中存储的帧数据来执行其他应用，避免了对附加存储装置的 使用。根据本发明的实施例，导出垂直运动矢量包括-选择当前累积简档中当前帧的至少一个区域的中心行周围的、当前帧的至少一个区域的多个行的总亮度值，作为当前累积简档的子简档；_在先前累积简档中匹配当前累积简档的子简档。因此，本发明实现了累积简档匹配的可变执行，其中，除了整体简档的比较(例如 移动)之外，实现了对累积简档的子部分的匹配。后一种方式表示一种增加匹配处理精度 从而增加导出的垂直运动矢量的精度的精细匹配。此外，可以在匹配中使用从先前累积简档导出的矢量候选的集合。因此，由于仅仅 必须检查矢量候选的集合，增加了执行的效率。此外，本发明的一个基本思想是基于一种用于提供运动画面的连续帧中基于行的 垂直运动估计和垂直运动补偿的装置，其中，该装置被配置为执行上述并以下更详细描述 的方法。所述装置可以包括用于存储先前帧的数据的第一行存储器和用于存储当前帧的 数据的第二行存储器。关于行存储器，第一行存储器和/或当前行存储器可以被配置为用 于去隔行器应用和时间噪声降低应用中至少一个。此外，本发明的一个基本思想是基于包括代码的计算机程序产品，所述代码被配 置为实现上述并在以下详细描述的方法。计算机程序产品可以包括在数据载体中。此外，本发明的一个基本思想是基于包括上述计算机程序产品在内的数据载体。因此，本发明的一个基本思想是基于以下结论以下结论对于主流市场部分，性能 从而搜索范围可以受限于自然捕捉场景中最可能的水平运动的出现。这提供了将芯片嵌入 式存储器减小至针对先前运动轨迹或运动画面的一个单行存储器和针对当前运动轨迹或 运动画面的一个单行存储器作为搜索范围的可能。本发明还描述了一种用于运动估计和运动补偿的方法，该方法仅沿水平方向操 作，从而使用单行缓冲存储器(所谓的行存储器)来执行运动估计和运动补偿。在视频信号处理中，通常在已经存取了先前和当前运动轨迹或运动图像的其他应 用(例如，所谓去隔行器应用或时间噪声降低应用)中使用行存储器。根据本发明，在这些 应用中所用的行存储器现在附加地用于运动估计和运动补偿操作。通过使用这些现有的行 存储器，不必进一步向存储器总线添加其他存储器带宽。因此，该解决方案提供了通过向现 有视频处理系统添加最小的存储器或在最优情况下不添加存储器来完成运动估计和运动 补偿操作的可能性。如上所述，根据本发明的用于运动估计和运动补偿的方法在先前和当前场或帧的 行存储器上进行操作。这有利地实现了硅面积减小并成本节省的实现方式。
一般而言，补偿性能受限于沿一个方向的运动特别是仅沿水平方向的运动的应用是可能的，这是由于自然场景中的多数运动具有这种趋势。通过使用现有的视频信号处理 系统的行存储器，存储器带宽保持不变。然而，在该范围内，会出现当该方法仅处理沿水平方向的运动估计和补偿时不能补偿垂直运动的情况。在这些情况下，如上所述并在以下详细描述的垂直运动估计和补偿 提供有效的扩展，有效扩展不需要大的附加存储器配置，并且其执行是极大节省运行时间 的任务。因此，如上所述并在以下通过示例详细描述的垂直运动估计和补偿可以与水平运动估计和补偿无关地执行，并且还可以与水平运动估计和补偿组合地执行，其中，可以分别 根据特定情况或存在的运动来执行组合。因此，可以以高效、快速和节省存储量的方式来降低伪像的可见性。参照附图，可以在其他从属权利要求和以下描述中找到本发明的优点、实施例和其他改进。
为了更完全地理解本发明及其优点，现在结合附图参照以下描述。以下使用在附图中示意性示出的示例实施例更详细地说明本发明，在附图中图1示出了标准化24Hz帧率下影片序列的示意运动描绘；图2示出了针对60Hz上转换的下拉模式2:3 ；图3示出了 24Hz影片源至60Hz显示频率的完全运动补偿的上转换；图4示出了基于行的运动估计的运动估计原理；图5示出了基于行的运动补偿的运动补偿原理；图6示出了基于行的运动估计和运动补偿的框图；图7示出了运动估计的匹配处理；图8示出了运动矢量颜色覆层，而水平阴影区指示向右运动，垂直阴影区指示向左运动；图9示出了用于导出实际场景中最多和较少使用的矢量的矢量直方图和矢量多数排序的功能原理；图10示出了不可靠矢量检测的流程图；图11示出了具有强垂直运动的塔序列中检测并标记(使用白色标记)的不可靠
矢量；图12示出了不良矢量替换和错误隐藏的流程图；图13示出了错误尖峰和错误区域扩展的图；图14示出了基于行的运动估计的框图；图15示出了具有自适应伪像隐藏的基于行的运动补偿的框图；图16示出了具有自适应模糊的垂直运动塔的序列；图17示出了具有矢量阴影覆层的塔序列(水平阴影表示向右运动，垂直阴影表示 向左运动)；图18示出了使用现有去隔行器行存储器的示例；
图19示出了将画面划分成区域以导出每个区域的垂直运动；图20示出了行累积、简档匹配和矢量估计的示意原理；图21示出了运动补偿后的场景中HALO伪像的示例；图22示出了示意必须在第二帧N2中应用自适应运动估计和运动补偿的区域的亮度输入/输出图；图23示出了示意DFI原理的框图，其中根据像素增益，alpha值在输入和峰值化/ 模糊化输出之间渐变(帧N2将是自适应时间上转换帧)；图24示出了将基于行的MEMC与非基于矢量的上转换方法(如MCSFI和GFI)进 行组合的框图。在所有附图中，除非另外明确说明，相同或至少具有相同功能的元件、特征和信号 被提供了相同的参考符号、描述和缩写。
具体实施例方式在本发明的以下描述中，首先通过水平运动估计和补偿的示例来提供运动估计和 运动补偿的简短概述。然而，由于累积简档也表示一种行，通过水平处理情况的示例所描述 的运动估计和补偿相应地也适用于垂直运动估计和补偿。MEMC方法主要由两部分组成，运动估计(ME)和运动补偿(MC)方法。运动估计执 行对运动的测量，并导出以像素每画面(场或帧)为单位的显示区域的速度。同样运动方 向将由正号或负号来指示。这些所测量的运动信息可以以运动矢量的形式来描述。运动 矢量将被用于运动补偿，以在精确的时间位置对画面进行插值，并避免所谓的抖动效应和/ 或所谓的运动模糊效应。图4和5通过运动画面的当前和先前帧示出了用于基于行的运动估计的运动估计 原理。根据时间位置，将矢量按其长度分成两个部分，其中，一个部分指向先前帧(n-1)，另 一部分指向当前帧(η)。对于对在当前和先前帧之间的帧(η-1/2)的插值，考虑来自两个时间帧的像素用 于补偿。图6示出了基于行的运动估计和运动补偿的框图。图6还示出了用于运动估计和 运动补偿的系统。该系统包括存储器总线、两个行存储器、运动估计设备ME和运动补偿设 备MC。存储器总线典型地是与外部存储器设备(如SDRAM)连接的外部总线。将要在面板 (如LEC面板)中显示的图像数据存储在该外部存储器中。经由存储器总线，将该数据传送 至行存储器。在本实现方式中，仅需要两个行存储器，而第一行存储器用于先前帧的数据， 另一或第二行存储器用于当前帧的数据。这两个行存储器均耦合至运动估计设备ME和运 动补偿设备MC。运动估计设备ME由存储在这些行存储器中的数据产生附加地传送至运动 补偿设备MC的矢量数据。运动补偿设备MC使用行存储器内的数据和矢量数据来执行运动 补偿。在输出处，运动补偿设备MC提供驱动用于显示运动补偿后的视频信号的LEC面板的 视频信号。下文中，更详细地描述运动估计设备或运动估计方法的操作。对于运动估计，从当前帧32的行存储器中获取对于应当针对其确定运动的中心 像素周围的9像素的选择。原则上，将这9个像素的亮度简档与先前行存储器的亮度简档进行比较。为了导出真实运动，将在水平运动的搜索范围上移动亮度简档(搜索范围的典 型值可以是64 (+31...-32))。使用预诜运动矢量样本来讲行运动估计 图7示出了运动估计的匹配处理。假设场景中目标的运动将是逐帧/场恒定的，并且目标大于像素组(例如，上述9 个像素)，则如果针对匹配的亮度简档仅检查所选运动矢量的集合，则可以更高效地执行匹 配处理。例如，可以从相邻像素获取一个所选矢量。如果将已经估计的运动矢量存储在矢 量存储器中，则可以从先前行中获得第二所选运动矢量。零矢量也是良好样本矢量，以便更 高效地检测不具有运动的区域。原则上，将考虑的所选矢量的数目取决于期望实现的运动 矢量质量类型。所诜运动矢量的变化为了建立运动估计处理，并遵循与恒定运动的偏离，出于测试操作目的，可能需要 特定所选运动矢量的变化。这表明对于所选运动矢量样本，将加上或减去特定量的运动。这 可以通过具有不同运动速度量值的变化来实现。所测试的实现方式在先前确定的运动矢量 上，在交替更新+/-1像素和+/_4像素的奇像素和偶像素之间进行检查。根据需要或根据 提出的需求，对变化的选择是可调整和可变的，例如对变化的选择取决于输入视频信号的 分辨率。对于基于行的运动估计，运动矢量针对场景中的真实运动快速收敛将是非常有利 的。因此，针对第一行以不同方式处理对所测试的运动矢量的选择。在每个场的第一行中， 为正常测试上方行的运动矢量的所选运动矢量加载根据三角函数逐像素变化的矢量值。三 角函数在可调整的最小值和可调整的最大值之间振荡。出于该目的，还可以采用其他规则 振荡函数(例如锯齿函数、正弦函数等)来确定第一行。匹配处理图8示出了运动矢量颜色覆层。这里水平阴影区指示向右运动，垂直阴影区指示 向左运动。以下匹配处理向每个所测试的矢量建议失败值。该失败值还可以是质量值。例 如，可以使用绝对差的和(SAD)。选择与最低(SAD)失败值相对应的矢量作为表示局部场景 中的运动的最可能的矢量。矢量选择的衰减、矢量阻尼为了控制具有相等(SAD)失败值的矢量并为矢量选择处理给出特定方向，有利 地，使用取决于矢量衰减矢量场的阻尼值。矢量存储器有利地，将运动矢量本身存储在矢量存储器设备中，以用于其他处理和用于下个 像素的运动估计。运动估计处理是递归过程。因此，该矢量存储器的大小还取决于期望利用 插值算法实现的质量等级。所测试的实现方式仅具有一个行矢量存储器，其中，备选地，将 交替存储每隔一个的运动矢量，使得对来自上方的所测量行的运动矢量的存取是可能的。通过提供矢量肓方图的鲁棒性改进图9示出了矢量直方图和矢量多数等级的基本原则，以导出在实际场景中最多和 较少使用的矢量。为了使矢量场更可靠并更均勻，附加地，对矢量直方图进行计算。因此， 将对每个矢量出现地次数进行计数。简单排序选择最常用的矢量并将该矢量应用于估计确定。这可以针对整个帧或仅针对帧的一部分来进行。将画面分成水平条纹，并且为每个条 纹返回最常用的矢量是非常高效的。在最优选实施例中，可以以非常可靠的方式来检测画 面内的滚动新闻条信息。不可靠矢量检测图10示出了用于不可靠矢量检测的流程图。图11示出了在具有强垂直运动的塔 序列中检测和(以白色)标记的不可靠矢量。在特定情况下，水平运动估计将不传递可靠 的运动矢量。特别对于垂直运动以及对于遮盖和无遮盖区域，有时不能通过对当前和先前 行的可靠存取来进行匹配。然而，不可靠的运动矢量导致补偿处理的相对较大的、非期望的 差异。这表明矢量补偿后的先前帧/场的亮度像素值完全偏离于当前帧/场的矢量补偿后 的亮度像素值。如果该差值超过可调整值，则选择矢量作为不良矢量。否则，假设该矢量是 可靠矢量。将对不良矢量进行标记并且将矢量存储器的MSB比特设置为1。MSB比特然后 指示该矢量是否可以用于进一步估计处理。不良矢量替换图12示出了不良矢量替换和错误隐藏的流程图。以特殊的方式来处理不良运动 矢量以便覆盖和避免引入伪像。在出现不良矢量的情况下，将从上方行从所存储的矢量存 储器搜索可靠矢量。因此，仅使用那些没有被标记为不可靠的矢量。该搜索过程从搜索范 围的最外边界开始，以便于找到周围区域的可靠矢量。在用可靠矢量替换不良矢量之后，该 可靠矢量然后用于运动补偿处理。自i舌应错误.Rfeg扩展禾Π错误尖膽抑泡丨剩余的不可靠矢量导致插值后的画面中的伪像。这些伪像可以被对该区域进行的 有意模糊化所覆盖。为了提供高效的伪像隐藏，必须从单个尖峰中清除错误区域。图13示 出了示意错误尖峰抑制和错误区域扩展方法的图。对单尖峰进行抑制。将与单个可靠矢量相交的双尖峰组合成一个区域。在以该方 式清除之后，必须由不良错误区域前和后的附加的两个不良矢量的像素来扩展剩余错误区 域。该操作确保模糊滤波器的正当表现。模糊滤波器仅水平操作。图14示出了示意如上所述并如在图6所示的运动估计设备ME中实现的基于行的 运动估计的框图。这里，在图14的矢量直方图设备中实现矢量直方图的提供，以提供如图 9所示实际场景中最多和较少使用的矢量排序。下文中，关于图15更详细地描述在图6的运动补偿设备MC 65中执行的运动补偿 处理。图15示出了使用自适应伪像隐藏的基于行的运动补偿的框图。运动补偿根据运动估计设备MC所估计的运动矢量来执行时间插值。因此，使用中 值滤波器，该中值滤波器使用矢量补偿后的先前行、矢量补偿后的当前行、以及未补偿的先 前行的亮度值作为输入数据。也可以对色度进行补偿。根据矢量质量，将在来自上方行的矢量存储器的局部区域中搜索被指示为可靠矢 量的替换矢量。如果不能找到可靠矢量，则自适应模糊典型地尝试覆盖该伪像。图16示出了通过使用自适应模糊的垂直运动塔的序列。图17示出了具有矢量颜 色覆层的塔序列，而水平阴影区表示向右运动，垂直阴影区表示向左运动。使用现有行存储器进行集成MEMC =基于存储器、用于视频处理的片上解决方案具有现有的内部行缓冲器，该内部行缓冲器承载来自先前和当前场或帧的视频数据。这些行缓冲器可以位于例如自适应操作 运动的时间噪声降低或去隔行单元内。利用所提出的基于行的运动估计和运动补偿，这些 行缓冲器附加地可以进行重用。为此并且为了降低来自影片源的运动抖动伪像，使用下拉 (pull-down)模式的指示当前插值序列的影片检测器。行缓冲器选择器根据先前和当前输 入将视频信号数据传送至运动估计。该技术防止用于时间上转换处理的附加带宽。因此， 针对运动估计和运动补偿的芯片面积可以降低为最小。
图18示出了用于处理视频信号的系统的框图。该系统包括去隔行器设备 (DEINT)。该去隔行器设备DEINT使用在它们的输入侧上耦合至存储器总线并在它们的输 出侧提供行数据的三个行存储器。在去隔行器设备内对该由行存储器提供的行数据进行处 理，然后提供给运动补偿设备MC。根据本发明，这些行存储器附加地还用于运动估计设备。 为此，该系统附加地包括选择器设备，其中将影片序列提供给该选择器设备。然后可以经由 存储器总线将该影片序列存储在外部存储器中，并可以通过行存储器从该外部存储器中读 取该影片序列。对于IMC操作，该存储在去隔行器设备DEINT的行存储器中的数据还可以 被用于运动估计和运动补偿。为此，然后还可以将存储在行存储器中的数据提供给运动估 计设备ME和运动补偿设备。诵i寸行()运云·匮对于垂直运动，该算法不能补偿该运动。然而，垂直运动的出现可以被用于减少画 面的相同区域中的补偿。图19示出了将运动画面分成或划分成不同区域来导出针对每个 区域的垂直运动。因此，将对区域中行的亮度值进行求和并针对每一行分别进行存储。这 产生针对画面的特定区域的累积的垂直简档。可以将整个画面划分成较小的区域，以导出 针对这些区域中的每个区域的垂直运动。针对当前帧和先前帧均执行对区域的每一行的亮度值的求和。因此，可以导出当 前累积简档和先前累积简档，其中累积简档的第一条目包括第一行的亮度值的和，累积简 档的每个下一条目包括相应下一行的亮度值的和。累积简档的最后条目将包括相应帧的相 应区域的最后一行的亮度值的和。图20示出了行累积、简档匹配和矢量估计的示意原理。针对每个区域存储先前和当前画面的累积简档使得能够有机会通过在水平行上 执行，但是现在在当前和先前累积简档上应用所述类似估计和匹配处理来测量垂直运动。由于由行的亮度值的和导出的累积简档表示若干行的值(可以视作上述行)，水 平运动的示例所描述的运动估计和运动补偿的适当应用还适用于水平运动。因此，在垂直运动估计和补偿的情况下，可以在当前累积简档中围绕当前帧的至 少一个区域的中心行选择当前帧的区域的许多行(例如，9行)的总和亮度值作为当前累积 简档的子简档。在下个步骤中，将在先前累积简档中对所选子简档进行匹配。为了导出真 实运动，在先前累积简档中的垂直运动的搜索范围上移动所选子简档。同样这里，假设场景中的目标运动将是逐帧恒定的，并且目标大于一组行(例如， 9行)，如果针对匹配的累积简档仅检查一个矢量候选集合，则可以更高效地执行匹配处 理。因此，同样这里，从先前累积简档中导出的矢量候选集合可以用于如上所述的匹配。这里，必须注意的是，使用所选矢量的运动估计和匹配处理可以足以应用于垂直 运动估计和补偿。因此，已经放弃针对水平情况提供相同性能的重复说明，以免重复描述。
因此，通过执行垂直运动估计和补偿，可以为相应的画面区域导出全局垂直运动 矢量。垂直运动越大，水平补偿越不可靠，并且水平补偿通过将零矢量插入到矢量场中而被停止。HALO减少的上转换对于关于100/120HZ IXD面板的上转换，对上转换的视频流的第一帧进行锐化以及对第二帧进行模糊化的方法。被称为动态帧插入(DFI)或平滑帧插入(SFI)的该方法展 示出在不引入伪像的情况下执行上转换的优点。该技术也被称为“HALO”。通常发现这些 “HALO” -伪像与运动目标周围的运动估计和运动补偿有关。同样，其他上转换方法(如灰度帧插入(GFI))执行无HALO上转换。图21示出了 运动补偿后的场景中的HALO伪像的示例。DFI算法避免这种类型的伪像。不幸地，DFI甚至不非常适合于对整个范围亮度级 别的上转换。对于黑和白部分，DFI算法失效，并且亮度自适应衰减器从峰值化/模糊的画 面切换至原始输入画面。特别在滚动新闻条的区域中这是非常恼人和令人厌烦的，在出现 这些高对比度区域的位置，DFI算法不能移除LC显示器的运动模糊。图22示出了示出应用MEMC和DIF的区域的亮度输入/输出图。为了保持DFI的 无HALO上转换的优势并结合补偿高对比度区域中的运动模糊的可能性，运动估计和运动 补偿可以自适应地用于大多数画面的黑和/或白区域。图23示出了示意DFI原理的框图，其中根据像素增益，alpha在输入和峰值化/模 糊化的输出之间衰减。帧N2将是自适应时间上转换后的帧。对于DFI，将通过简单的帧加 倍、通过以双倍速度两次读取帧存储器来进行帧或场上转换。该第一帧将被锐化，第二帧将 被模糊化。对于高对比度区域中的补偿，有利地，仅在这些高对比度区域中的第二帧自适应 地应用运动补偿后的画面。图24示出了基于行的MEMC与非基于矢量的上转换方法(如MCSFI和GFI)的组 合的框图。因此，本发明涉及运动画面的连续帧中基于行的垂直运动估计和垂直运动补偿， 其中，将画面划分成至少一个区域，并且在第一次求和中，对先前帧的至少一个区域的每 一行的亮度值进行求和，其中亮度值的第一次求和产生先前累积简档；在第二次亮度值求 和中，对当前帧的至少一个区域的每一行的亮度值进行求和，其中，所述亮度值的第二次求 和产生当前累积简档；以及其中，使用先前累积简档和当前累积简档来导出垂直运动矢量。尽管以上已经示出并描述了本发明的实施例和应用，但对于本领域技术人员显而 易见的是，在不背离这里描述的本发明的构思的前提下，更多修改(除了上述)是可能的。 因此，本发明仅受限于所附权利要求的精神。因此，以上详细描述应当视为示意性的而非限 制性的，并且应当理解以下权利要求包括在意在限定本发明的精神和范围的这些权利要求 中描述的所有等同物。以上描述并不意在否定要求保护的本发明的范围也不意在否定其任 何等同物。还应当注意，应当将上述实施例、示例应理解为仅是示例性的。这表明在MEMC系 统中可以实现附加系统设备和功能单元以及操作方法和标准。此外，必须应当指出的是，作为水平运动估计和补偿的扩展而更详细描述的垂直 运动估计和补偿可以与水平运动估计和补偿无关地执行，以及在其他情形相关情况下，可以适当地与水平运动估计和补偿组合地来执行，例如，在水平运动估计和补偿之前执行，或 以任意方式与水平运动估计和补偿组合地来执行。所使用的缩写和定义ME:运动估计MC:运动补偿MEMC 运动估计和运动补偿SAD 绝对差的和DFI 动态帧插入(即，使视频序列的输入帧率加倍的上转换方法)GFI 灰度帧插入(即，使视频序列的输入帧率加倍的上转换方法)MCSFI 受运动控制的平滑帧插入(即，受运动检测器控制的上转换方法)SFI 平滑帧插入(即，使视频序列的输入帧率加倍的上转换方法)DEINT 去隔行(即，将场表示的视频数据流转换成帧表示的视频数据流)行存储器大小为一个视频行或至少小于输入的或实际处理的视频信号流的嵌入式存储器场包括奇行和偶行的视频图像帧由一个画面的完整视频信息组成的视频图像
权利要求
一种用于提供运动画面的连续帧中基于行的垂直运动估计和垂直运动补偿的方法，其中，将所述画面划分成至少一个区域，所述方法包括-对先前帧的至少一个区域的每一行的亮度值进行的第一次求和，其中，所述亮度值的第一次求和产生先前累积简档；-对当前帧的至少一个区域的每一行的亮度值进行的第二次求和，其中，所述亮度值的第二次求和产生当前累积简档；以及-使用先前累积简档和当前累积简档来导出垂直运动矢量。
2.根据权利要求1所述的方法，其中，先前帧的数据由第一行存储器中导出，当前帧的 数据由第二行存储器中导出。
3.根据权利要求2所述的方法，其中，第一行存储器和/或当前行存储器还用于去隔行 器应用和时间噪声降低应用中的至少一个。
4.根据前述权利要求中任一项所述的方法，其中，导出垂直运动矢量包括_选择当前累积简档中当前帧的至少一个区域的中心行周围的、当前帧的至少一个区 域的多个行的总亮度值，作为当前累积简档的子简档；_在先前累积简档中匹配当前累积简档的子简档。
5.根据权利要求4所述的方法，其中，在匹配中使用从先前累积简档导出的矢量候选 的集合。
6.一种用于提供运动画面的连续帧中基于行的垂直运动估计和垂直运动补偿的装置， 其中所述装置被配置为执行根据权利要求1所述的方法。
7.根据权利要求6所述的装置，其中，所述装置包括第一行存储器，用于存储先前帧 的数据；第二行存储器，用于存储当前帧的数据。
8.根据权利要求7所述的装置，其中，第一行存储器和/或当前行存储器被配置为用于 去隔行器应用和时间噪声降低应用中的至少一个。
9.一种包括代码的计算机程序产品，所述代码被配置为实现根据权利要求1至5中任 一项所述的方法。
10.根据权利要求9所述的计算机程序产品，所述计算机程序产品包括在数据载体中。
11.一种包括根据权利要求9所述的计算机程序产品的数据载体。
全文摘要
本发明涉及运动画面的连续帧中基于行的垂直运动估计和垂直运动补偿，其中，将画面划分成至少一个区域，并且在第一次求和中，对先前帧的至少一个区域的每一行的亮度值进行求和，其中亮度值的第一次求和产生先前累积简档；在第二次求和中，对当前帧的至少一个区域的每一行的亮度值进行求和，其中，所述亮度值的第二次求和产生当前累积简档；以及，使用先前累积简档和当前累积简档来导出垂直运动矢量。
文档编号H04N5/44GK101803361SQ200880106214
公开日2010年8月11日 申请日期2008年8月5日 优先权日2007年9月10日
发明者福尔克尔·布卢姆 申请人:Nxp股份有限公司