用于确定平坦区域的运动向量的方法和系统的制作方法

专利名称：用于确定平坦区域的运动向量的方法和系统的制作方法
技术领域：
本发明涉及用于确定平坦区域的运动向量的方法和系统。更具体地，本发明涉及 对图像内的不可靠部位或区域的鲁棒运动估计。
背景技术：
运动估计(ME)通常依赖于具有足够信息的视频流以使得能够测量对象的运动。 但是，可能发生如下情况视频流具有这样的部分，在这些部分中，没有能够支持适当的运 动测量的足够信息，如同几近平坦的部位那样。有时候这可能并不是问题，因为错误的运动 向量不会扰乱使用它的稍后处理。有时候，由于影像内容，错误的向量可能导致在使用它的 后续处理中出现问题，即使在几近平坦的部位中也是如此。Ralph Braspenning^Alif^WilK"Complexity Scalable MotionEstimation“ 描述了如何在多个运动向量当中选择一个或多个中值向量。欧洲专利申请EP 1840823A1描述了一种用于确定图像内的平坦区域的方法。

发明内容
因此，本发明的一个目的是改进现有技术。根据一个方面，本发明涉及一种用于确定平坦区域的运动向量的方法，该方法包 括在与作为当前图像帧中的处理中的块的相邻块的块相关联的向量中选择至少两个运动 向量，判断所述处理中的块是否是平坦区域，在平坦的处理中的块的情况下，选择先前选择 的运动向量中的一个运动向量作为所述处理中的块的候选，对所述处理中的块与后一图像 帧中所述候选向量所指向的进一步的块进行比较，以及在该进一步的块与所述处理中的块 相似的情况下，接受所述候选向量作为所述处理中的块的运动向量。根据又一方面，本发明涉及一种用于确定平坦区域的运动向量的系统，该系统包 括选择器，在与作为当前图像帧中的处理中的块的相邻块的块相关联的向量中选择至少 两个运动向量；判断器，判断所述处理中的块是否是平坦区域；候选选择器，在平坦的处理 中的块的情况下，选择先前选择的运动向量中的一个运动向量作为所述处理中的块的候 选；比较器，对所述处理中的块与后一图像帧中所述候选向量所指向的进一步的块进行比 较；以及存储器，在该进一步的块与所述处理中的块相似的情况下，存储所述候选向量作为 所述处理中的块的运动向量。根据又一方面，本发明涉及一种存储在计算机可读介质上的计算机程序产品，该 计算机程序产品使计算机执行以下步骤在与作为当前图像帧中的处理中的块的相邻块的 块相关联的向量中选择至少两个运动向量，判断所述处理中的块是否是平坦区域，在平坦 的处理中的块的情况下，选择先前选择的运动向量中的一个运动向量作为所述处理中的块 的候选，对所述处理中的块与后一图像帧中所述候选向量所指向的进一步的块进行比较， 以及在该进一步的块与所述处理中的块相似的情况下，接受所述候选向量作为所述处理中 的块的运动向量。


现在将联系附图在对优选实施例的如下描述中更详细地说明本发明，附图中图1结合运动向量示出了两个连续图像帧，图2结合根据本发明确定的运动向量示出了两个连续图像帧，图3示出了包括根据本发明的系统的装置的示意框图，以及图4图示了示出根据本发明的方法的处理步骤的流程图。
具体实施例方式本发明涉及包括若干连续图像帧或时间帧的视频流或视频信号内的可靠运动估 计。为了进行运动估计或者其它运动相关处理，指示出对象在两个连续图像帧之间的运动 的运动向量被确定。图1示出了两个示例性连续图像帧。在此，示出了在时间T的当前图像帧11以及 在时间T+1的后一图像帧12。当前图像帧11也称为源帧、起始帧或者实际帧。后一帧12 也称为目标帧、相继帧或者下一帧。通常，为了提供运动向量，将源帧11划分成若干个块13。在此，块包括至少一个像 素，优选地包括8X8像素。针对作为当前正在处理中的图像帧的当前图像帧11，为每一个 块13确定相应运动向量。运动向量指示出当前图像帧11和后一图像帧12内对象的运动。在如图1所示的本示例中，源帧被划分成如同棋盘一样的块13，其中每个块为 8X8像素。在此示例中，各个块的左上角在坐标(0，0)，(0,8), (0,16), ... (8,0), (8， 8), ... (16,0), (16，8)等处。目标帧未被规则地划分成块，但是例如出于比较的目的而从 块所处的位置取出了块，即，它们不必然处在与源帧的网格相同的网格内。在图1所示的实施例中，运动向量的确定开始于第一行的第一块13，继续到第一 行的第二块，从而逐行地经过当前图像帧11。如图1所示，在当前图像帧11中，用灰色示出 已经经过处理的块13a，并用白色示出尚未处理的块13b。作为一个示例，以X来标示处理 中的块16。针对当前图像帧11内的每一个块13，确定了运动向量14、15。在图1所示的示例 中，用等同的标号指代等同的运动向量。如在本示例中可见的，三个块具有共同的运动向量 14，并且另三个块具有共同的运动向量15。例如，向当前时间帧T中的块A指派了运动向量 14，并且用A+1来指示出后一时间帧T+1中的相应块。同样地，向当前时间帧T中的块B指 派了运动向量，并且用B+1指示出后一时间帧T+1中的相应块。这里，与已经经过处理的块13a相关联的运动向量被用实线示出。而与尚未经过 处理的块相关联的运动向量被用虚线示出，并且其指的是针对时间T-I处的前一图像帧中 的各个位置确定的运动向量。在被划分为8X8像素的块的源帧的以上示例中，由于向量可以具有任意长度，所 以这意味着可在目标帧上的任意地方考虑块。因此作为一示例，如果对于源块(16，16)，向 量取长度(5，7)，则在目标帧上，这将产生具有坐标(21，23)的块，该块不是在如同源帧中 那样的8X8像素的网格上。这意味着尽管在图1所示的示例中，后一时间帧中的块A+1和 B+1处在8X8像素的网格上，但是并不必然是这种情况，S卩，取决于块在当前时间帧中的位置以及相关联的运动向量，块A+1和B+1可以在后一时间帧中具有任意位置。将参考图1说明本发明，在图1中，示例性地，目前正处理的是用X指示出的处理 中的块16。但是，本发明适用于当前帧11内的任何其它块。针对处理中的块16，定义了一个或多个相邻块。可以在垂直方向和/或对角方向 上与处理中的块16直接毗邻的情况下，或者甚至在与处理中的块16不直接毗邻的情况下， 将块定义为相邻块。优选地，在本发明中，可将相邻块定义为在当前图像帧11内已经经过处理并且在 垂直方向和/或对角方向上与处理中的块16直接毗邻的那四个块。更具体地，在对当前图 像帧11内的块进行逐行处理的情况下，选择来自处理中的块16的上方一行的三个块，并取 决于扫描方向，即处理方向，还选择在与处理中的块16相同的行中的一个块。这意味着在 优选实施例中，选择的块是具有在相同时刻计算出的向量的块，即仅仅是空间预测器。在根据本发明的另一实施例中，相邻块被定义成在垂直和对角方向上与处理中的 块16毗邻的那八个块。但是，可以使用相邻块的任何其它定义，即，可以定义当前图像帧11 内的块的任何可能掩膜(mask)，其包括任意位置处的任意数目的块。这包括与处理中的块 16不直接毗邻的块。掩膜可包括任何位置处的任何数目的块，即，掩膜可以相对于处理中 的块16呈对称或不对称。掩膜可以包括已经经过处理的块13a和/或尚未经过处理的块 13b。对于相邻块的唯一条件是它们必须处在与处理中的块16相同的帧内。在任意情况中，选择与这些相邻块相关联的运动向量中的运动向量，以确定处理 中的块16的运动向量。—种已知方法是使用所谓的并行预测方法的基准运动估计。这指的是在当前测量 中使用已经通过在前的空间和/或时间迭代获得的、来自相邻块的一些运动向量，作为处 理中的块16的起始点。向向量添加一些随机或伪随机变动以考虑加速度或其它运动变化。 对所有这些候选进行测试并取具有较少残留能量的一个候选。但是，该已知方法在处理中的块16为平坦区域时失效。在本发明的上下文中的平 坦区域应当理解为具有低对比度的区域，即，先前描述的传统运动估计不再可行的区域。本发明现在提出一种减少与平坦区域相关联的问题的新解决方案。根据本发明，选择与相邻块相关联的运动向量中的至少两个运动向量。优选地，选 择并存储与相邻块相关联的运动向量中的最常见向量。所选向量可以包括具有或不具有投 影的空间和/或时间向量。另一种方法可以选择与相邻块相关联的运动向量中的两个或更 多个中值向量，如通过引用结合于此的Ralph Brasperming等人所著的文献“Complexity ScalableMotion Estimation”所描述的。两个或更多个中值指的是来自向量库的中值、来 自向量库的除先前选择的中值之外的中值等等。换而言之，选择与相邻块相关联的已经计算出的运动向量中的至少两个向量。选 择可以不依赖于空间和/或时间向量。在优选实施例中，选择两个空间运动向量和一个时 间运动向量。在又一替代例中，与图1所示的本实施例一样，选择两个或更多个最常见的向量， 即，向量选择是基于向量多数的。在图1所示的示例中，与相邻块相关联的运动向量中的两 个最常见向量是向量14和15。在选择了与相邻块相关联的运动向量中的运动向量之后，判断处理中的块16是
6否是平坦块，即，是否是平坦区域。对图像中的平坦区域的检测可根据通过引用结合于此的 欧洲专利申请EP 1840823A1所描述的方法来实现。可以使用该方法，或者在不要求稳定性 的情况下，使用该方法的简化版本。另一选择是使用如同Haar变换或傅立叶变换一样的其 它准则或者DCT测量或其它合适方法。一般而言，平坦或均勻区域包括低对比度，即，最大亮度与最小亮度之差为低。一 个可能的准则是计算块的最大方差，并且在块的方差为最大方差的10%或者更小时，将该 块定义为平坦的。平坦性可通过测量特定值(例如，像素)的方差或者绝对统计动差(statistical moment)、平均等来检测。在检测到处理中的块16的平坦性的情况下，选择先前选择的运动向量中的至少 一个运动向量作为该处理中的块16的候选向量。在优选实施例中，将所有先前选择的运动 向量选择为处理中的块的候选向量，并确定最佳运动向量。在替代实施例中，仅可选择一 个向量作为候选向量，并且仅在发现第一所选候选向量不适当的情况下才选择其它候选向量。接下来，将描述将所有先前选择的向量选择作为候选向量的候选实施例，但是应 当注意，本发明还意欲覆盖其它实施例，包括选择仅一个先前选择的向量或者少于所有先 前选择的向量的向量。这在图2中示出。在此示例中，将向量14和15选择作为候选向量。然后，判断 候选向量当从处理中的块16起始时指向后一帧12中的哪些进一步的块。这在图2中的后 一帧12中示出，其中示出了由候选向量14和15指示出的进一步的块17。为了清楚起见， 在后一时间帧12中还示出了处理中的块16'的位置。对候选向量指向的进一步的块17与处理中的块16进行比较，即，检验这些块是否 相比于预定义的阈值相似。更具体地，如果进一步的块17也是平坦的，则结果将是它们比 不平坦的块更相似于处理中的块。根据如下相似性检验来对各个进一步的块17与处理中的块16进行比较。首先，在 进一步的块17与处理中的块16之间计算逐像素的差异。优选地，计算块的像素之间的绝 对差。这具有如下优点用于计算绝对差“absdiff”的模块(在优选实施例中，该模块已经 存在用以检测平坦性)也可用于相似性检验。通过计算绝对差并再利用已经存在的组件， 简化的实施方式因而变得可行。包括至少一个像素(例如，8X8像素的大小)的结果块被 针对平坦性进行检验。如果检测到的平坦性例如低于预定义阈值，则将所比较的块宣称为 相似。所比较的块越相似，则计算绝对差的块将越平坦。因此，对差异块的平坦性的检测是 对所比较块的相似性的指示。可替代地，不对块进行比较，而是仅仅根据早先描述的方法来 判断进一步的块17是否也平坦。如果进一步的块17中仅仅一个块与处理中的块16相似，则当前的候选向量被采 用作为适当向量，并被接受作为处理中的块16的运动向量并被存储在存储装置或缓冲器 中。如果进一步的块17中有一个以上的块与处理中的块16相似，选择最相似的一个 进一步的块17，S卩，差异块最平坦的该进一步的块。随后，采用相应向量作为适当向量，并将 该相应向量接受作为处理中的块16的运动向量并将其存储在存储装置或缓冲器中。
7
在所有的进一步的块17都与处理中的块16不相似，即，不平坦的情况下，则可采 用传统运动估计或者可替代地可从任何进一步的块中选择进一步的候选向量，以确定处理 中的块16的最佳运动向量。可以继续随后选择新候选向量的处理，直到与处理中的块处在 同一帧内的块所关联的运动向量中的所有或者所定义数目的向量已得到测试为止。在找到 了适当运动向量的情况下，采用该向量作为处理中的块的运动向量。否则，使用传统运动估 计。对于传统运动估计，可以使用与相邻块相关联的运动向量中的所选运动向量作为 空间预测器，并且另外还可以使用某些其它运动向量。图3示出了根据本发明的采用用于确定平坦区域的运动向量的系统的电子设备 10。电子设备10例如可以是电视机、相机或者需要通过使用基于运动向量的算法来提供增 强的图像质量的任何其它电子设备。电子设备10可以包括接收视频信号的图像帧的接收器7。可替代地，接收器也可 以是外部设备。电子设备10还包括存储装置9和用于显示经处理的视频图像的显示器8。 但是，同样地，显示器是可选的并且可以是外部设备。存储装置9可以包括易失性和/或非 易失性存储器的一个或多个存储部分。显示器8可以是任何类型的已知或未来的显示器， 例如，液晶显示器(IXD)等。接收器7、显示器8和存储装置9连接到处理器6，并且与处理器6进行数据通信， 处理器6监督电子设备10内的所有处理。根据本发明的处理器6包括适于执行根据本发明的步骤的若干组件1到5。在此， 组件1到5可以是发明性算法中的处理步骤和/或用于执行相应算法步骤的硬件组件。具体而言，处理单元包括用于在与作为处理中的块16的相邻块的块相关联的运 动向量中选择两个或更多个运动向量的选择器1。此外，提供了判断器12，该判断器12适 于判断处理中的块16的平坦性。候选选择器3适于从由选择器1先前选择的向量群组中 选择一个或多个向量作为处理中的块16的候选。比较器4被提供来对处理中的块16与后一时间帧12内先前选择的候选向量所指 向的一个或多个进一步的块17进行比较。 在处理器6内，还提供了传统运动估计器5，其适于在处理中的块16并不平坦或者 未能找到适当运动向量的情况下提供传统运动估计。电子设备10并不限于图3所示的组件，而是包括电子设备10的机能所必需的所 有其他组件，例如电池、电源等，它们在图中出于清楚起见而被省略。另外，根据本发明，可以实现在平坦性检测之前的某些预处理步骤，如直方图均衡 (HE)、降噪、边缘增强。这些算法可用在处理中的块16上和/或进一步的块17上，以改进 尤其是在黑暗或者非常明亮部位中的平坦性检测自身。现在参考图4，将概要地说明根据本发明的方法。处理开始于步骤S0，其中，例如接收到当前图像帧11或者对当前图像帧11内的前 一块13完成了处理。在步骤Si，定义当前帧11中的处理中的块16。在后一步骤S2中，选择与相邻块相关联的运动向量中的至少两个向量。在步骤S3中，根据先前描述的方法来检验处理中的块16的平坦性，以检测对比度
8差异是否为低。如果处理中的块具有平坦区域，则在后一步骤S4中，选择先前选择的向量中的至 少一个向量作为处理中的块16的候选。在后一步骤中，确定后一帧12中该至少一个候选向量所指向的一个或多个进一 步的块17。在步骤S6中，检验处理中的块16与该一个或多个进一步的块17是否相似，即，进 一步的块17是否也平坦。出于此目的，对处理中的块16与进一步的块17的像素之间的绝 对差进行计算并将其与预定义阈值相比较，如先前已详细描述的。有利地，对于处理中的块16与进一步的块17的比较，可以使用已经存在的 "absdiff"模块，从而无需或者仅需要少量的附加组件。在下一步骤S7中，判断有多少进一步的块17与处理中的块16相似，然后方法以 不同步骤继续。如果没有进一步的块17与处理中的块16相似，则在下一步骤S9中，使用与相邻 块相关联的至少两个向量来在步骤SlO中实现传统运动估计。如先前所描述的，在替代实 施例(未在图4中示出)中，取代直接去往传统运动估计，可以选择任何其它向量作为处理 中的块的候选向量，并可再次确定该新候选向量所指向的进一步的块17与处理中的块的 相似性。如果在步骤S7中判定仅一个进一步的块17与处理中的块16相似，则在步骤Sll 中使用指向该一个进一步的块17的一个向量作为处理中的块16的向量。否则，如果在步骤S7中判定一个以上的进一步的块17与处理中的块相似，则在步 骤S8中检验这些进一步的块17中哪一个是与处理中的块最相似的块，即，这些进一步的块 17中哪一个的绝对差是最平坦的。然后，使用指向最相似的进一步的块17的向量作为处理 中的块16的运动向量。否则，如果在步骤S3中判定处理中的块16并不平坦，则处理继续到步骤S9，在步 骤S9中，使用先前选择的至少两个向量来在步骤SlO中实现传统运动估计。在任一种情况下，都在步骤S12中将所获得的运动向量输出到存储装置。处理在步骤S13结束。综上所述，现有技术没有使用平坦性来改进运动估计处理，而仅仅降低了计算负 荷。另一方面，这样的平坦性检测不是很可靠。而利用本发明，稳定性和鲁棒性通过第二检 验而得以提高，该第二检验不是简单的块匹配而是相似性测量。第二检验使用相同方法， 即，块差异和平坦性，因而可使用已经可获得的相同逻辑和例程，而无需进一步的运算块。此外，对与相邻块相关联的运动向量中的至少两个运动向量的选择确保了在没有 平坦区域的情况下总是将在稍后检验两个不同向量(如果可以获得的话)。在非频闪显示设备中，尤其是在液晶显示面板(IXD)、薄膜晶体管显示器(TFT)、 色序显示器、等离子显示面板(PDP)、数字微镜设备或者有机发光二极管(OLED)显示器中 显示图像时，可以特别地使用本系统、方法和计算机程序产品。出于例示和描述的目的已经提供了对本发明优选实施例的前述描述。其不应当是 穷举性的，或者将本发明限制于所公开的具体形式。许多修改和变化对于本领域技术人员 而言是显而易见的。实施例被选择并描述来最佳地描述本发明的原理及其实际应用，从而
9使得本领域技术人员能够理解本发明、各个实施例，并使得能够设想适合特殊用途的各种 修改例。 虽然已经用特定于结构特征和/或方法步骤的语言描述了本发明，但是将会了 解，在所附权利要求中限定的发明不必然局限于所描述的具体特征或步骤。而是，这些具体 特征和步骤是被公开作为实现所要求保护的发明的优选形式的。
权利要求
一种用于确定平坦区域的运动向量的方法，包括在与如下的块相关联的向量中选择至少两个运动向量所述块是当前图像帧中的处理中的块的相邻块，判断所述处理中的块是否是平坦区域，在平坦的处理中的块的情况下，选择先前选择的运动向量中的至少一个运动向量作为所述处理中的块的候选，对所述处理中的块与后一图像帧中至少一个候选向量所指向的至少一个进一步的块进行比较，以及在至少一个进一步的块与所述处理中的块相似的情况下，接受一个候选向量作为所述处理中的块的运动向量。
2.根据权利要求1所述的方法，包括将所述当前帧内与所述处理中的块直接毗邻并且已经过处理的四个块定义为相邻块。
3.根据权利要求1所述的方法，其中，来自先前的空间和/或时间迭代的运动向量被选择作为与相邻块相关联的运动向量。
4.根据权利要求1所述的方法，其中，作为与相邻块相关联的向量的中值向量的运动向量被选择作为候选向量。
5.根据权利要求1所述的方法，其中，作为与相邻块相关联的向量中的最常见的向量的运动向量被选择作为候选向量。
6.根据权利要求1所述的方法，其中，对平坦性的检测是通过计算测量方差或绝对统计动差并将该结果与预定义阈值 相比较来实现的。
7.根据权利要求1所述的方法，其中，对所述处理中的块和所述进一步的块的比较是通过计算所述处理中的块与所述 进一步的块中的像素之间的绝对差并将该绝对差与预定义阈值相比较来实现的。
8.根据权利要求1所述的方法，其中，在仅一个进一步的块与所述处理中的块相似的情况下，相应的一个候选向量被 接受作为所述处理中的块的运动向量。
9.根据权利要求1所述的方法，其中，在一个以上的进一步的块与所述处理中的块相似的情况下，指向与所述处理中 的块最相似的进一步的块的那一个候选向量被接受作为所述处理中的块的运动向量。
10.根据权利要求1所述的方法，包括优选地通过直方图均衡、降噪和/或边缘增强来在检测平坦性的步骤之前对所述处理 中的块进行预处理。
11.一种用于确定平坦区域的运动向量的系统，包括选择器，在与如下的块相关联的向量中选择至少两个运动向量所述块是当前图像帧 中的处理中的块的相邻块，判断器，判断所述处理中的块是否是平坦区域，候选选择器，在平坦的处理中的块的情况下，选择先前选择的运动向量中的至少一个 运动向量作为所述处理中的块的候选，比较器，对所述处理中的块与后一图像帧中至少一个候选向量所指向的至少一个进一 步的块进行比较，以及存储器，在至少一个进一步的块与所述处理中的块相似的情况下，存储一个候选向量 作为所述处理中的块的运动向量。
12.一种用于确定平坦区域的运动向量的系统，包括选择装置，用于在与如下的块相关联的向量中选择至少两个运动向量所述块是当前 图像帧中的处理中的块的相邻块，判断装置，用于判断所述处理中的块是否是平坦区域，候选选择装置，用于在平坦的处理中的块的情况下，选择先前选择的运动向量中的至 少一个运动向量作为所述处理中的块的候选，比较装置，用于对所述处理中的块与后一图像帧中所述至少一个候选向量所指向的至 少一个进一步的块进行比较，以及存储装置，用于在至少一个进一步的块与所述处理中的块相似的情况下，存储一个候 选向量作为所述处理中的块的运动向量。
13.一种存储在计算机可读介质上的计算机程序产品，该计算机程序产品使计算机执 行以下步骤在与作为当前图像帧中的处理中的块的相邻块的块相关联的向量中选择至少两个运动向量，判断所述处理中的块是否是平坦区域，在平坦的处理中的块的情况下，选择先前选择的运动向量中的至少一个运动向量作为 所述处理中的块的候选，对所述处理中的块与后一图像帧中所述至少一个候选向量所指向的至少一个进一步 的块进行比较，以及在至少一个进一步的块与所述处理中的块相似的情况下，接受一个候选向量作为所述 处理中的块的运动向量。
全文摘要
本发明涉及用于确定平坦区域的运动向量的方法和系统。提出了用于提供甚至是平坦区域的可靠运动估计的方法和系统。为此目的，针对平坦性来检验处理中的块。在平坦的情况下，选择与作为处理中的块的相邻块的块相关联的运动向量中的至少一个运动向量作为候选向量。对处理中的块与后一帧中该至少一个候选向量所指向的至少一个进一步的块进行比较，并在至少一个进一步的块与处理中的块相似的情况下，采用一个候选向量作为处理中的块的运动向量。
文档编号H04N5/14GK101945209SQ20101022470
公开日2011年1月12日 申请日期2010年7月6日 优先权日2009年7月6日
发明者皮尔乔治奥·萨托尔 申请人:索尼公司