使用两种匹配判据的运动估计和场景变换检测的制作方法

专利名称：使用两种匹配判据的运动估计和场景变换检测的制作方法
技术领域：
本发明涉及图像处理领域，尤其是涉及运动估计及其匹配判据
(matching criterion )。对于像例如编码、分割这样的许多应用而言， 需要运动估计和场景变换检测。
背景技术：
问题
对于运动块的运动矢量的运动估计取决于局部运动矢量，所述局 部运动矢量i兌明两帧或两个域( area) 内的4象素的运动,所述帧或i或 是在时间上连续的。取决于匹配判据(也称作代价函数(cost function )、 拟合Y尤度)，侈'B口 SAD (累i十纟色7于差(summed absolute difference )) 值，选择特定的局部运动矢量并将其用于所述运动估计以获得所述运 动矢量。
也可以考虑将其它判据用于所述运动估计。由于包括类似图元 (picture element)这样的干扰事实，所应用的匹配判据如所述SAD 可能失效，并且失效可能性甚至相对较高。
本主题中所涉及的另 一 问题是场景变换检测，场景变换检观'j也存 在运动估计及其匹配判据的可靠性的问题。利用本发明的方法，有可 能推断出在两帧内是否有场景变换检测及场景变换检测的程度。
本领域现状
运动估计技术在广义上分为四类差分方法(differential method )、 相位相关方法、块匹配方法和基于特征的方法。其中，块匹配方法4艮 可能是最广泛普及的运动估计技术。这不但因为当前的视频编码标准 (像MPEG2、 AVC)是基于块的，而且因为其它运动估计技术例如 相位相关方法也需要该块匹酉己方法。相位相关面(phase correlation surface)仅表示出可能的运动备选(motion candidate )，并且可能有 助于减少运动搜索范围。最后，是块匹配技术(在相位相关运动估计 技术的情况下也被称作图像相关或矢量分配)确定是否确实有运动、 以及如果有的话则该运动矢量定位于何处。公知的是运动估计技术对运动估计结果有极大影响。

发明内容
本发明的目的是提供一种结果更为可靠的更好的运动估计。为了 从运动估计得到更好的结果，必须考虑如何在开始所述运动估计之前
改善所述结果的潜力(potential)的手段。而且，运动估计所可靠使 用的数据的准备工作应当包括更少的计算时间。在块之间的图像场景 变换检测也必须加以改进并且应当更为可靠且富有意义 (meaningful)。
本发明涉及一种用于从局部运动矢量获取至少一个全局运动矢 量的方法，所述局部运动矢量说明区域中的像素在两个不同图像内的 运动，所述至少一个全局运动矢量说明所述区域在所述两个图像内的 运动，所述图像处理方法包括基于至少一个匹配判据评估所述局部 运动矢量的步骤，其中一个匹配判据基于关于所述局部运动矢量的统 计学(statistical)估计函数的结果，并且由此所述评估步骤推断出所 述局部运动矢量用于运动估计的可靠性；处理所述局部运动矢量的步 骤，由此所述处理步骤包括以下步骤根据所述局部运动矢量的可靠 性来选择和/或删除所述局部运动矢量；以及利用通过所述处理步骤获 得的最少数目的最可靠局部运动矢量来执行所述运动估计技术，由此 所述数目取决于所述运动估计技术。
有利地，统计学估计函数的所述结果基于Cramer-Rao不等式的结果。
有利地，所述一个匹配判据与Cramer-Rao不等式的结果成反比。
有利地，所述评估步骤处理第二匹配判据，该第二匹配判据基于 代价函数计算，像梯度、能量、标准偏差或累计绝对差。
有利地，所述评估步骤处理至少两个匹配判据，所述匹配判据被 同时应用以评估所述局部运动矢量。
有利地，所述图像处理方法包括计算所述至少一个匹配判据中的 至少一个的步骤。
有利地，当先前执行的比较步骤表明有可能对所述区域进行可靠 运动估计时，实施所述图像处理方法。
有利地，所述比较步骤评估出Cramer-Rao不等式的结果是否处于特定范围内，所述范围起始于预定值以上且位于该预定值以上。
有利地，所述比较步骤评估Cramer-Rao不等式的反比例结果是否 小于代价函数计算的结果。
有利地，当控制步骤确认当前图像的所述区域的Cramer-Rao不等 式结果与随后的图像的所述区域的Cramer-Rao不等式结果相似时， 实施所述比较步骤。
有利地，在执行控制步骤以前计算出所述Cramer-Rao不等式的结果。
有利地，所述图像处理方法包括用以减少估计误差的方差的多分 辨率处理步骤。
有利地，所述图像处理方法包括正交滤波步骤。
有利地，所述图像处理方法基于成功地分配有所述全局运动矢量 的区域的数目而说明了在两个图像之间的场景变换或场景变换的程 度。
本发明也涉及一种图像处理装置，其可操作以从局部运动矢量获 取至少一个全局运动矢量，所述局部运动矢量说明区域中的像素在两 个不同图像内的运动，所述至少一个全局运动矢量说明所述区域在所 述两个图像内的运动，所述图像处理装置包括评估装置、处理装置以 及运动估计装置，该评估装置可操作以基于至少一个匹配判据来评估 所述局部运动矢量并且推断出所述局部运动矢量用于运动估计的可 靠性，其中一个匹配判据基于关于所述局部运动矢量的统计学估计函 数的结果；该处理装置可操作以处理所述局部运动矢量，由此所述处 理装置包括选择装置和/或删除装置，该选择装置和/或删除装置可操 作以根据所述局部运动矢量的可靠性来分别选择或删除它们；该运动 估计装置可操作以利用由所述处理装置获得的最少数目的最可靠局 部运动矢量来执行运动估计，由此所述数目取决于所述运动估计。
有利地，统计学估计函数的所述结果基于Cramer-Rao不等式的结果。
有利地，所述一个匹配判据与Cramer-Rao不等式的所述结果成反比。
有利地，所述评估装置可操作以基于第二匹配判据来评估所述局 部运动矢量，所述第二匹配判据基于代价函数计算，像梯度、能量、标准偏差或累计绝对差。
有利地，所述评估装置可操作以基于至少两个匹配判据评估所述 局部运动矢量，所述匹配判据被同时应用于所述局部运动矢量。
有利地，所述运动估计装置可操作以选择仿射模型变换、投影变 换或多项式变换用于运动估计。
有利地，所述图像处理装置包括计算装置，所述计算装置可操作 以接收所述局部运动矢量，用以计算所述至少一个匹配判据并且将所 述至少 一个匹配判据输出到所述评估装置。
有利地，所述图像处理装置基于成功地分配到所述全局运动矢量 的区域的数目而说明了场景变换或场景变换的程度。


本发明的特征、目的和优点将从当结合附图考虑时而在下面阐明
的详细说明变得显而易见，附图中
图1示出用于使用两种匹配判据的运动估计的框图， 图2示出用于运动估计序列的框图，和 图3示出用于图像处理装置的框图。
具体实施例方式
在本发明的说明中各处，说明和提及运动估计或运动估计技术总 是旨在等同于场景变换检测，因为场景变换能够由于对全局运动矢量 的可靠估计而被直接推断得出。当没有场景变换时，运动估计能够成 功地估计出许多全局运动矢量。反之，由于场景变换，通过运动估计 技术将估计出较少的全局运动矢量，或者估计不出全局运动矢量。基 本上，推论是在运动估计之后的全局运动矢量计算以后形成的。将在 随后对运动估计的描述中说明用于所述场景变换检测的所有技术特 征。
为了减少在运动估计情况下的失效可能性(所指的运动估计比如 说块匹配以及基于所述块匹配的所有其它运动估计)，除了判据以外 (所指的判据例如SAD (累计绝对差))，能够应用第二判据，尤其 是当应用不属于与第 一判据相同类别的第二判据时，从而将使得匹配 变得更有意义。可选择例如从所讨论的画面域计算得到的梯度、能量、标准偏差作为第二判据。运动估计包括基于参数/模型的运动估计技
术，就像例如仿射模型(affme model)/变换。所述运动估计包括可操
作以获得全局运动矢量的全局运动估计。
除了所采用的估计技术，材料(material)在估计结果中起到重要 作用。在运动估计的情况下，材料是图像内容，即紋理(texture)、 边缘、线条、点。如果材料不适合于估计用途，则估计误差方差将会 高到使得估计结果无用，并且这不依赖于估计技术。Cramer-Rao不等 式(Cramer-Rao-Inequation )给出了估计误差方差的下卩艮(lower bound),即运动估计的最佳情况。对于达到最新技术发展水平的办 法，Cramer-Rao不等式的。；'-或梯度值仅被用来选择有可能或不可能 进行可靠运动估计的区域，即。"2-参数仅起到1/0或开启/关闭 (ON/OFF)的作用。对于水平(x)运动估计，估计误差方差的下限为<formula>formula see original document page 9</formula>
并且对于竖直(y)运动估计，估计误差方差的下限为<formula>formula see original document page 9</formula>其中一用于图像噪声方差，I用于所讨论的图像域，其通常是M 行乘N列尺寸的块。
因此，对于任何运动估计技术，被表示为CJ 的水平估计误差的方
差将不小于a^min，即<formula>formula see original document page 9</formula>并且对于任何运动估计技术，被表示为a/的竖直估计误差的方差 将不小于ciy2^，即
<formula>formula see original document page 9</formula>因为对象不是仅在水平和竖直方向上移动，所以必须将CJ mi。和Cl/min组合到一起。为简单起见，可以仅计算出(Jx、in和a/min的乘积，
即
^ ___L
对于实际应用则优选cixy2min的倒数值(reciprocal value ),其表示
为。xy max ，即，
2 = - ^y) (9、
等式(8)或(9)的结果解释了在哪个区域中能够估计出运动矢量，以 及在哪个区域中不可能进行可靠的运动估计。从等式(8)或(9)显而易见 的是，在平坦域中不可能进行运动矢量的可靠估计。
将会从其估计误差方差足够小的画面区域估计出运动矢量，该估 计误差方差至多达到由Cramer-Rao不等式给出的估计误差方差的下 限。换言之，仅从其拟合优度(Gof)大于由Cramer-Rao不等式确定 的估计误差方差的下限的倒数值的区域估计出运动矢量。
1 (10)
^"xy min
因为Cramer-Rao不等式能够指出在(画面内的)何处不可能进行 可靠的运动估计，所以可以去除这些虚4叚的(spurious)局部运动矢 量，并且它们被与它们相邻的局部运动矢量的内插结果所取代。
Cramer-Rao不等式不依赖于所采用的运动估计技术而指明运动 估计可靠性的潜力。然而，在理论上可能发生的是，运动估计可靠性 的潜力很高，即图像内容适合于运动估计，但是由于运动估计或其所 采用的预处理技术，不可能达到这种潜力。
能句多应用例如归 一化互相关系凄丈(normalized cross-correlation coefficient) ( NCC )， 均方误差差(squared error difference ), 累计 绝对差(SAD),作为用于运动估计的代价函数、拟合优度或匹配判 据。因为SAD的简单性而经常采用SAD。正如所述的，广泛普及的 运动估计方法是块匹配。
基于参数/模型的运动估计，例如基于仿射模型/变换的运动估计， 被广泛地应用来估计平移运动以及例如^走转、缩放、剪切运动。仿射模型/变换具有六个未知的变量/参数。如果运动超出了平移、缩放、 旋转和剪切的范围，则可以使用其它类型的变换，例如投影变换
(projective transformation )和多项式变换，其可能比仿射变换需要更 多的未知变量/参数。
对于许多应用，例如编码，分割，需要全局运动估计。为了得到 全局运动矢量，应用基于参数/模型的运动估计方法，例如仿射变换。
必须通过使用等式解出仿射变换的这六个未知参数，这些等式是 由例如结果、条件这样的已知项构建的。通常应用例如块匹配这样的 局部运动估计的结果来构建等式。
因为仿射变换具有六个未知参数，所以需要至少六个等式，即， 需要至少三个局部运动矢量(分别有x-和y-运动)。运动估计是一种 不适定(ill-posed)的问题， 一些局部运动矢量可能是完全错误的， 其在文献中经常被称作异常值(outlier)。 一些局部运动矢量是不完 全错误的，但是具有相对较大的公差。异常值和具有相对较大公差的 局部运动矢量会导致六个未知参数的错误解。为了减轻这种影响，多 于或者甚至远多于三个的运动矢量被应用于全局运动估计，从而能够 减少异常值和具有相对较大公差的局部运动矢量对于全局运动估计 的影响。
在本发明中，应用Cramer-Rao不等式结果，即来自于等式(8)或(9) 的结果，作为第二匹配判据。即，常用的匹配判据(例如，SAD)和 优选地由等式(8)或(9)得出的第二判据，被组合到一起作为匹配判据。 SAD属于对所讨论的模型下的期望值与观察值之间的差异 (discrepancy )进3亍汇总(summarize )的拟合Y尤度函凄史，而Cramer-Rao 不等式基于最大似然方法并且是一种点估计函数，其对点样本(spot sample )进行统计分析以定义具有最大化似然度(maximized likelihood)的估计量(estimator)。图1示出用于包括运动估计步骤 的此图像处理方法的框图。
当计算出等式(8)或(9)的梯度或结果用于选择适合于运动估计的 域时，上述办法没有显著增加硬件复杂度或计算负荷。相反，因为必 须从等式(8)或(9)的结果是相同的或类似的域估计运动矢量，所以甚至
能够减少计算负荷。如果在两个不同帧/图像的两区域处的CTx/min (或
cixy2max )值彼此显著不同，则没有必要再计算SAD以及下列比较操作。如果必须进一步减少计算负荷，则可单独使用梯度、能量、标准偏差， 优选地即CJx/min (或(Jx/max)值来作为匹配判据。因此，该C7x/min(或 axy2max)起到比1/0或开启/关闭(ON/OFF)更多的作用。根据现有技
术，Cramer-Rao不等式的参数值尚未得到充分利用。尽管Cramer-Rao
不等式指明对于所讨论的图像序列而言运动估计可靠性的潜力，该潜 力可以通过对所讨论的图像序列进行预处理而得到改善。
在上面，已经讨论了具有两种匹配判据的情况。可以将多于两个 判据组合起来作为匹配判据以减少错误运动估计的可能性。因而，越 多的匹配判据被应用于局部运动矢量，则有越多的这些局部运动矢量 被认为对于运动估计而言是可靠的。
Cramer-Rao不等式的应用对于基于参数/模型的运动估计(例如基 于仿射模型的运动估计)而言是尤为有用的，因为基于模型的运动估 计通常需要若干控制点。如果预先计算出哪些局部运动矢量是可靠 的、或者是异常值、或者具有相对较大的公差，则基于模型的运动估 计方法，尤其是对于全局运动估计而言，将使用不同因数(factor)对 局部运动矢量进行加权(weight)，尤其是通过使用小因数对异常值 和具有相对较大公差的局部运动矢量进行加权。Cramer-Rao不等式提
供一种有效方式来确定这些加权因数将该加权因数选择为与C7x/min、
o min或/和cj/min成反比。除此之外，正如Cramer-Rao不等式所限定， 其结果引起所讨论的运动估计的误差公差(error tolerance )值。因此， 这个值也在统计学上说明了运动估计结果的可靠性。结果，选择L个 最可靠的运动估计结果用于另外的基于参数/模型的运动估计。变量L 是由所讨论的模型确定的数目，例如，对于仿射变换/模型而言最少的 L值为六。
因为Cramer-Rao不等式需要图像梯度，该图像梯度受噪声影响， 所以CJ^min (或 /,)同样可能受噪声影响。尽管求和操作Z对减少
噪声干扰起作用，但CJx/mi。(或C7x/max)仍比例如SAD灵敏得多。常 见的预滤波技术，例如正交滤波，能够减少噪声影响，但是将会增加 硬件复杂度或计算负荷。
因为多分辨率(multiresolution )信号处理是一种用以延伸运动矢 量搜索范围并且减少对运动估计的噪声影响的有效方法，所以多分辨 率处理被应用于Cramer-Rao不等式。除了噪声减少效应以外，在抽取(decimation)之后边缘梯度将会变得更大，多分辨率处理因而能 够减少估计误差方差(参看Cramer-Rao不等式的计算)并且再次改 善运动估计结果。抽取操作包括后面是下采样(down sampling )的低 通滤波。
此外，能够改善基于局部运动矢量的全局运动估计的可靠性
对于许多应用，例如编码，分割，需要全局运动估计。全局运动一 平移、缩放、转动和剪切一能够被建模为仿射变换，该仿射变换具有 六个未知的变量/参数。如果运动超出了平移、缩放、转动和剪切的范 围，则可以使用其它类型的变换，例如投影变换和多项式变换，这些 其它类型的变换可能比仿射变换需要更多的未知变量/参数。为简化讨 论起见，下面仅讨论仿射变换的情况。
必须使用等式解出这六个未知参数，这些等式是由例如结果、条 件这样的已知项而构造成的。通常应用运动估计结果。能够用例如块 匹配技术从实际场(field) /帧画面及其先前的场/帧画面估计出尺度 为MxN，例如16x16的运动矢量。下面，它们将一皮称为局部运动矢 量。从场/帧画面获得运动矢量场/帧。
因为仿射变换具有六个未知参数，所以需要至少六个等式，即， 需要至少三个局部运动矢量(分别有x-和y-运动)。运动估计是一种 不适定(ill-posed)的问题， 一些局部运动矢量可能是完全错误的， 其在文献中经常被称作异常值。 一些局部运动矢量是不完全错误的， 但是具有相对较大的公差。异常值和具有相对较大公差的局部运动矢 量会导致六个未知参数的错误解。为了减轻这种影响，多于或者甚至 远多于三个的运动矢量被应用于全局运动估计，从而能够减少异常值 和具有相对较大公差的局部运动矢量对于全局运动估计的影响。如果 预先已知哪些局部运动矢量是可靠的、哪些是异常值、以及哪些具有 相对较大的公差，则通过使用不同因数对局部运动矢量进行加权，尤 其是通过使用小因数对异常值和具有相对较大公差的局部运动矢量 进行加权，能够获得更好一些的结果。
然而，如果没有检查所讨论的画面序列，则此类先验(a-priori) 可能是不可靠的以及甚至于是完全不可用的。最好应当定量地检查所 讨论的画面序列。即使这样的先验是可用的，异常值和具有相对较大 公差的局部运动矢量将会降低(degrade)该六个未知参数解的精度。因此应当选择具有最高概率"正确"的来自矢量场/帧的局部运动矢量。
关于此问题，Cramer-Rao不等式是迄今为止已知的最佳解，尤其是当 Cramer-Rao不等式结果不仅被认为是1/0或开启/关闭(ON/OFF ), 而且被用作是其本身的值(the value which it is itself)时。因此所计 算出的cJxyM直越才妄近于axy2min (the nearer the calculated value of (7xy2 is in reference to cyxy2min),局部运动矢量的力口权值越高。因而力口权專交高 的局部运动矢量有利于被用于运动估计计算以创建运动矢量。
对于一些应用，例如模式检测(隔行或逐行、影片模式)，利用 局部运动矢量。因为去除了具有最高概率"不正确"的局部运动矢量， 则模式检测的结果将变为更加可靠。
场景变换检测也将变得更可靠，因为被认为是"正确的"下一帧 或域的该下一帧或域分别与当前帧或域进行比專交。有可能利用在两个 邻近画面之间发现的匹配块的数目来检测场景变换。这样，能够逐渐 地检测到场景变换，例如，从小变换(匹配块的数目很大)到完全变 换(匹配块的数目为零)。
而且，能够减少类似的画面块的相互作用
在序列中可能有许多类似的画面块，这些画面块的SAD值相同 或类似。从而，可能发生的情况是，通过运动估计发现具有相同或类 似SAD值的块，尽管这些块的运动不对应于真实运动。对于许多种 应用而言，需要有密集的运动矢量，这继而需要减少运动估计的块尺 寸。然而，减少块尺寸将会增加利用运动估计发现类似块的概率，尽 管其运动不对应于真实运动。因此，需要除了 SAD以外的另一种匹 配判据。因为计算出Cramer-Rao不等式的结果以确定何处有可能或 不可能进行可靠运动估计，所以应用Cramer-Rao不等式的结果作为 除了 SAD以外的匹配判据。这样，在不显著增加硬件复杂度或计算 负荷的情况下，能够减少类似画面块的相互作用。
现在详细说明图1的特征，本发明的方法13的一个实施例包括 计算CJx/min的步骤(所述步骤现在被称为LBC步骤)1至8和计算像 例如SAD这样的代价函数的步骤9,以及提供像例如块匹配这样的运 动估计的步骤10。在输入处向整个方法提供数据11,所述数据11至 少包括若干图像像素的局部运动矢量；另外图像像素本身是另一实例 中的数据输入11的一部分。局部运动矢量说明了图像像素在本图像与后续图像或先前图像之间的运动。当然也能够从其它运动矢量的组 合得到局部运动矢量，所述运动矢量包括指示着先前图像或后续图像 中的像素的矢量。或者，能够通过对说明像素运动的不同图像的像素
进行比较而得到局部运动矢量。运动估计IO输出全局运动矢量12作
为运动估计结果，由此一个或更多个运动矢量说明像素域、像素区域 或像素块在两个图像之间的运动。
LBC步骤包括计算a-分量1的合计值(sum)的步骤、)y分量2 的合计值的步骤、^y-分量3的合计值的步骤；此外还包括分别将所述 合计值1至3除以基于图像噪声方差6的因数的步骤，由此所述除法 步骤被分别称作对于]v分量1的4a、对于)v分量2的4b，和对于yxy-分量3的4c。在此实例中，该因数是图像噪声方差6的值的两倍。最
后是计算C7x/min的步骤5,其输出所述值CJx/min 8。在步骤5中，根据
公式(8)用各个除法步骤4a、 4b和4c的输出信号7a、 7b和7c相互配 合进行求解。
CTx/min值8是水平和竖直估计的估计误差方差的下限值，并且 作为匹配判据被传递到运动估计步骤10。在步骤9中，^U亍像例如
SAD这样的代价函数计算。步骤9的输出也被传递到运动估计步骤 IO作为第二匹配判据。数据ll被输入到步骤l、 2、 3、 9和10。在 步骤10,局部运动矢量是输入数据11的一部分，这些局部运动矢量 被步骤9即代价函数计算的匹配判据、以及被数值8进行评估和加权。 取决于运动估计技术，需要最少数目的运动矢量来进行所述运动估 计，由此所述运动矢量应当被认为是最可靠的运动矢量。有利地，运 动估计也可能包括非仿射模型变换的其它技术，像例如投影变换或多 项式变换，这些其它技术根据全局运动被可替代地使用。而且，步骤 9中的代价函数计算也可能包括非SAD的替代计算方法。
在本发明的另一实施例中，仅使用值8作为用于运动估计的匹配 判据，由此所述方法仅包括LBC步骤和运动估计步骤10。此外，存 在着使用 一个或更多个匹配判据的本发明的实施例。
在又一个实施例中，不必计算出CJxy^in值8,因为如下所述在图2 的步骤17中已经对(Jx/min值进行了计算以用于预先测试，如果仍有可
能进行对特定区域的运动估计，则所述预先测试步骤18开始。
在图2中示出框图，其图解出如何计算用于运动估计的全局运动矢量的过程28。过程28包括步骤14至27。过程28开始于作为预处 理技术的步骤14或步骤15。步骤14包括正交滤波。步骤15包括多 分辨率处理，其可操作用以增加对于局部运动矢量的搜索范围并且用 以减少信号噪声。在步骤14或15之后，紧接着的是步骤16。在步骤 16，该过程根据运动估计技术，或者根据像将要进行测试的或者所期 望的平移或旋转这样的全局运动来选择区域；在旋转全局运动的情况 下，例如有利地选择圆形区域。在步骤16之后，紧接着的是步骤17。 在步骤17,计算出所述区域的水平和竖直估计的估计误差方差的下限 值。在步骤17之后，紧接着的是步骤18。在步骤18,该过程比较当 前图像和后续图像的下限值。如果该两个值相似，则该过程去往步骤 19或去往步骤20。如果该两个值不相似，则该过程直接去往步骤23, 在步骤23处指明不可能有运动估计。因为不可能有运动估计，则在 步骤24中从邻近的局部运动矢量进行内插以确定当前考虑的所述区 域的局部运动矢量。尽管没有检测到全局运动，这些内插得到的运动 矢量可用作最终运动矢量。在步骤19,所比较的是估计误差方差与预
定值相比是否足够小，所述值高于CJx/min。如果该值足够小，则该过
程去往步骤22,在步骤22处指明可以在区域中进行可靠的运动估计。 如果该值不是足够小，则该过程去往步骤23，在步骤23处指明不可 能有运动估计。在步骤20，计算出代价函数或拟合优度(Gof)。在 步骤20之后，紧接着的是步骤21。在步骤20,将代价函数与基于下 限值8的因数相比较。如果代价函数大于下限值8的倒数值，则该过 程去往步骤22,在步骤22处指明了在该区域中可以进行可靠的运动 估计。如果比较为非真，则该过程去往步骤23。在步骤22之后，紧 接着的是步骤25。在步骤25,用第一和第二匹配判据适配局部运动 矢量，这意味着局部运动矢量由所述判据进行评估。如图1中所说明
的，只能应用一个匹配判据，优选地为所述CTx/min值8。在步骤25之
后，紧接着的是步骤26。在步骤26,基于模型变换的运动估计适于 估计运动。因此，根据运动估计技术，需要并选择最少数目的运动矢 量。根据匹配判据由最可靠的运动矢量选择出最少数目的局部运动矢 量。在步骤26中进行运动估计之后，步骤27紧随其后并且披露出作 为运动估计结果或者作为步骤24结果的最终全局运动矢量，其中从 所述区域计算出局部运动矢量 平均矢量。也有可能的是，没有选择出全局运动矢量，因为根据步骤23和24不可能进行运动估计。
在图2中未示出的是步骤27之后的另外的计算，其中当前图像 的区域的数目与后续图像的区域的数目相比较，该后续图像的区域对 应于或者相似于当前图像的区域。如果在步骤27中没有发现全局运
动矢量或者在步骤18中的CJx/min值不相似，则由于场景变换，在后续
图像中不可利用当前图像的区域或相似区域。因而在两个图像之间所 匹配的区域的数目说明了场景变换。所匹配的区域的数目高表示小场 景变化，而所匹配的区域的数目低或者完全没有发现匹配的区域分别 表明在两个图像之间的场景变换高或完全的场景变换。
图3示出本发明的图像处理装置47的实施例，其包括评估装置 29、处理装置30和运动估计装置31。在另一实施例中，图像处理装 置47可能额外地包括计算装置32。图像处理装置可操作以接收包括 局部运动矢量43的数据，接连地用所述评估装置29、所述处理装置 30以及用所述运动估计装置31处理所述数据，并且将从所述局部运 动矢量43获得的全局运动矢量44输出。该数据可包括其它信息，这 些信息要么对于全局运动矢量的计算而言是冗余的，或者对于代表所 述局部运动矢量是必不可少的。如果存在着可从中提取出局部运动矢 量43的数据，则图像处理装置额外地包括提取装置，用于提取或求 解所述局部运动矢量43。为清楚起见，所述提取装置在图3中没有示 出。如果没有计算装置32是本发明的一部分，则所述数据也包括至 少一个用在评估装置29中的匹配判据。
评估装置29可#:作以接收并且评估所述局部运动矢量43并且最 终输出经评估的局部运动矢量45。评估装置29包括一个操作33，其 中将一个匹配判据应用于所述局部运动矢量43。在其它实施例中，评 估装置29包括至少一个其它操作34,其中将又一个匹配判据应用于 所述局部运动矢量43。在多个匹配判据的情况下，所述匹配判据被同 时地或接连地应用于所述局部运动矢量43。
处理装置30可操作以接收并且处理经评估的局部运动矢量45, 并且最终输出经处理的局部运动矢量46。处理装置30包括选择过程 36和/或删除过程37,在其中根据经评估的局部运动矢量46对于运动 估计的可靠性，分别选择或删除经评估的局部运动矢量46。
运动估计装置31可操作以接收经处理的局部运动矢量46，基于经处理的局部运动矢量46的输入而执行运动估计，并且最终输出全 局运动矢量44。运动估计装置31包括选择单元39,用于选择运动估 计技术，像例如仿射模型变换40、投影变换41或多项式变换42。随 后基于所选择的运动估计技术，确定出最少数目L的最可靠局部运动 矢量。此数目L被用在矢量选择单元38中，该单元38从所述经处理 的用于运动估计的局部运动矢量46选择L个最可靠的局部运动矢量。
计算装置32可操作以接收局部运动矢量32,基于所述局部运动 矢量32而计算并且输出至少一个匹配判据。
图像处理装置也可操作用以如图2所述在步骤27之后基于成功 地分配到所述全局运动矢量的区域的数目来说明场景变换的程度。
权利要求
1.一种图像处理方法，用于从局部运动矢量(43)获得至少一个全局运动矢量(44)，所述局部运动矢量(43)说明区域的像素在两个不同图像内的运动，所述至少一个全局运动矢量(44)说明所述区域在所述两个图像内的运动，所述图像处理方法包括以下步骤·基于至少一个匹配判据评估所述局部运动矢量(43)，其中一个匹配判据基于关于所述局部运动矢量(43)的统计学估计函数的结果，以及由此所述评估步骤推断出所述局部运动矢量(43)用于运动估计的可靠性；·处理所述局部运动矢量(43)，由此所述处理步骤包括根据所述局部运动矢量(43)的可靠性来选择和/或删除所述局部运动矢量(43)的步骤；以及·用通过所述处理步骤获得的最少数目的最可靠局部运动矢量(43)来执行所述运动估计技术，由此所述数目取决于所述运动估计技术。
2. 根据权利要求1的图像处理方法，其中统计学估计函数的所述结果基于Cramer-Rao不等式的结果。
3. 根据权利要求2的图像处理方法，其中所述一个匹配判据与Cmmer-Rao不等式的所述结果成反比。
4. 根据前述权利要求中任一项的图像处理方法， 其中所述评估步骤处理第二匹配判据，该第二匹配判据是基于代价函数计算的，像梯度、能量、标准偏差或累计绝对差。
5. 根据前述权利要求中任一项的图像处理方法， 其中所述评估步骤处理至少两个匹配判据，所述匹配判据被同时应用于评估所述局部运动矢量(43)。
6. 根据前述权利要求中任一项的图像处理方法，所述图像处理方法包括计算所述至少 一 个匹配判据中的至少一 个的步骤。
7. 根据前述权利要求中任一项的图像处理方法，当先前执行的比较步骤(19或21)表明有可能对所述区域进行可靠运动估计时，实施所述图像处理方法。
8. 根据权利要求7或2的图像处理方法，其中所述比较步骤(19)评估出Cramer-Rao不等式的结果是否处 于特定的范围内，所述范围起始于预定值以上且位于该预定值以上。
9. 根据权利要求7或2的图像处理方法，其中所述比较步骤(21 )评估Cramer-Rao不等式的反比例结果是 否小于代价函数计算的结果。
10. 根据权利要求8或9的图像处理方法，其中当控制步骤(18)确认当前图像的所述区域的Cramer-Rao 不等式结果与随后的图像的所述区域的Cramer-Rao不等式结果相似 时，实施所述比较步骤(19或21 )。
11. 根据权利要求10的图像处理方法，其中在执行控制步骤以前计算出所述Cramer-Rao不等式(17)的 所述结果。
12. 根据权利要求11的图像处理方法，其中所述图像处理方法包括用以减少估计误差的方差的多分辨 率处理步骤(15)。
13. 根据权利要求11的图像处理方法， 其中所述图像处理方法包括正交滤波步骤(14)。
14. 根据前述权利要求中任 一 项的图像处理方法，其中所述图像处理方法基于成功地分配有所述全局运动矢量 (44)的区域的数目而说明了在两个图像之间的场景变换的程度。
15. —种图像处理装置(47)，其可操作以从局部运动矢量(43) 获得至少一个全局运动矢量(44)，所述局部运动矢量(43)说明区域的像素在两个不同图像内的运 动，所述至少一个全局运动矢量(44)说明所述区域在所述两个图像 内的运动，所述图像处理装置包括 评估装置(29)，可操作用以基于至少一个匹配判据来评估 所述局部运动矢量(43),其中一个匹配判据基于关于所述局部运动矢量(43)的统计学估计函数的结果，以及用以推断出所述局部运动 矢量(43)用于运动估计的可靠性； 处理装置(30),可操作以处理所述局部运动矢量(43), 由此所述处理装置(30 )包括选择装置(36 )和/或删除装置(37 )，该选择装置(36)和/或删除装置(37)可操作以根据所述局部运动矢 量(43)的可靠性分别选择或删除所述局部运动矢量(43);和 运动估计装置(31)，可操作以利用通过所述处理装置(30) 获得的最少数目的最可靠局部运动矢量(43)来执行运动估计，由此 所述数目取决于所述运动估计。
16. 根据权利要求15的图像处理装置，其中统计学估计函数的所述结果基于Cramer-Rao不等式的结果。
17. 根据权利要求16的图像处理装置，其中所述一个匹配判据与Cramer-Rao不等式的所述结果成反比。
18. 根据权利要求15至17中任一项的图像处理装置， 其中所述评估装置(29)可操作以基于第二匹配判据来评估所述局部运动矢量(43)，所述第二匹配判据基于代价函数计算，像梯度、 能量、标准偏差或累计绝对差。
19. 根据权利要求15至18中任一项的图像处理装置， 其中所述评估装置(29)可操作以基于至少两个匹配判据评估所述局部运动矢量(43)，所述匹配判据被同时应用于所述局部运动矢 量(43 )。
20. 根据权利要求15至19中任一项的图像处理装置， 其中所述运动估计装置(47)可操作以选择仿射模型变换(40)、投影变换(41)或多项式变换(42)用于运动估计。
21. 根据权利要求15至20中任一项的图像处理装置， 所述图像处理装置包括计算装置(32)，所述计算装置(32可操作以接收所述局部运动矢量(43),用以 计算所述至少一个匹配判据并且将所述至少一个匹配判据输出到所 述评估装置(29)。
22. 根据权利要求15至21中任一项的图像处理装置，其中所述图像处理装置基于成功地分配到所述全局运动矢量 (44)的区域的数目而说明了场景变换的程度。
全文摘要
本发明涉及一种使用两种匹配判据的运动估计和场景变换检测方法，由此第一匹配判据应用拟合优度或另一已知的匹配判据用于运动估计，并且第二匹配判据是估计误差方差下限的倒数值，其能够通过Cramer-Rao不等式给出。此方法也完全地利用多分辨率信号处理。
文档编号H04N7/26GK101589622SQ200780042297
公开日2009年11月25日 申请日期2007年11月14日 优先权日2006年11月14日
发明者Z·雷 申请人:索尼德国有限责任公司