运动估计的制作方法

专利名称：运动估计的制作方法
运动估计技术领域本专利申请总体涉及改进的运动估计，以克服孔径问题。
技术背景随着视频处理领域新技术的出现，运动补偿视频算法对于高质量 的视频处理不仅十分必要，而且成本也日趋合理。为了提供高质量的 视频处理，开发了不同的运动补偿应用。各种应用，如用于降低噪声的运动补偿(MC)滤波、用于编码的MC预测、用于将隔行格式转换为 逐行格式的MC去隔行、或MC图像速率转换已为人们所熟知。上述应用 均受益于运动估计(ME)算法，对后者而言已有多种方法为人们所熟知。视频格式转换中运动估计算法的一示例， 一种基于块的运动估计 器，称作三维递归搜索(3D RS)块一匹配器。运动估计算法基于这样的假设，即可以通过位置的线性函数对像 素的亮度或色度值进行近似。该假设可能仅对于小位移而言是正确的。 然而，可以利用基于像素的运动估计方法(PEL —递归方法)消除此限 制。运动估计的实现还包括块估计。在块匹配运动估计算法中，通过 在搜索区W(力内搜索相似的块，以将位移向量5分配给当前场n中像 素块^力的中心:？，其中搜索区M(力也以I为中心，但处于时间上 相邻的场如n-l、 n+l中。相似块可以具有相对于歹移位了5( ,")的中 心。为了找到A^,n)，估计出一组候选向量^。为了估计这组候选向量C，计算用于量化块相似性的误差度量45,: , )。用于说明搜索区wg)内相对;？的所有可能位移的候选向量5组可以被描述为<formula>formula see original document page 5</formula>n、 m是用于限制搜索区m(: )的常数。由全搜索块匹配处理产生的位移向量5^n)，是使至少一个误差 函数f(5,: ,n)取最小值的候选向量5。这可以被表示为<formula>formula see original document page 5</formula>通常将具有最小匹配误差的向量5dw赋给块^: )中的所有位置；对于给定的候选向量^，误差值可以是当前块中像素亮度值和 前一场中移位块的像素亮度值在块s(力上求和的函数。误差值还可以是像素值的任意其他函数，并可以被表示为代价函数的和<formula>formula see original document page 5</formula>对于非隔行信号通常选择P^，对隔行信号通常选择P:2。代价函数例如可以是两像素块间绝对差值之和。还可以将给定候选向量的误差值看作代价函数或约束函数。与图 像内运动的性质有关的约束函数例如可以是强度守恒约束或空间相干 性约束。当约束分别导致解的正交子空间时，所选约束是最佳的。根 据图像内容，可以向这组可能的运动向量施加物理限制，例如，运动 平滑性、物体惯性等。数学上，上述限制可以采取将运动参数/运动向 量作为变量的方程的形式(对运动参数/运动向量的约束)，并且它可 以被添加到待最小化的代价函数或与之组合。图l示出了如上所述的块匹配运动估计算法。示出了图像序列2的 两个时刻n-l、 n。在图像序列2中，确定水平位置X和垂直位置Y处的各块4。为了确定块4的位移5^W，可以应用上述误差度量f^,: ，w，估计各各候选向量3 8。 一种可能的误差函数可以是绝对差值之和(SAD)准则，即其中F(二n)是块4中像素的亮度值。通过在同样以？为中心、但位于之前或之后图像中的搜索区w(: ) 6中搜索相似块io，为当前图像中像素位置块45(力的中心i指定位移向量5。其中之前或之后的图像可以是 时间上之前或之后的图像或场。因此，优化两个块4、 IO间的相关度量， 以确定位移向量5。还可以采用其他误差准则，如均方误差和规一化互相关函数。特 别地，当在傅氏域中进行计算时，可以采用后一种准则。误差准则的 另一示例可以是差异巨大的像素的数量。上述准则可以是代价函数。 物理限制，如边界条件可以提供新的候选独立代价函数。块匹配方法能够找出接近于实际运动向量的候选向量。为了进一 步提高一致性，采用惩罚体制(penalty system),其向误差函数添加 惩罚值，该惩罚值可取决于预测类型，即空间预测或时间预测。然而，上述误差/代价函数不能完全确定二维运动参数。上述代 价函数可能受所谓孔径问题的影响。为了克服此问题，有关图像内容 的额外信息，如某些物理约束，即运动平滑性、物体惯性等，可能是 必要的。例如，在单一方向(即边沿)的序列中，在单一边沿的方向 上具有相同向量分量的所有候选向量可能具有相同的代价函数。因此， SAD无法完全确定运动的二维分量，而只能确定垂直于边沿的分量。由于仅被确定为与序列中单一方向(如边沿)相切的常量，因此只采用 SAD的运动估计产生了退化。该问题也称运动补偿的孔径问题。同时施加额外的误差函数，如边界条件，或与视频场景中运动性 质有关的约束，可以解决孔径问题。消除确定运动向量时退化的必要 条件是各约束应导致相互正交的子空间解。施加于运动向量解空间 的物理约束(即，平滑运动、物体惯性、边界条件等)能将整个解空 间划分为子空间。子空间中的各运动向量服从至少一个约束。当两个物理约束独立时，它们的相应子空间就包含相互独立的向量，即相应
的子空间是正交的。可以使用正交子空间中的一组候选运动向量cs自。
一般而言，如果满足所有约束条件，则一组m个具有误差函数^的约
束可以得到运动估计向量&m的解。对于此运动估计向量，总代价函
数具有最小值。总代价函数可以如下计算
4是一些任意的乘数因子。然而，具有最小值的总代价函数未必导致
所有各个约束得以满足。
例如，对于一个候选运动向量5^具有多个极小值和绝对最小值， 可以令一个代价函数产生退化。总代价函数可以在一约束的局部极小 值处具有针对此约束的局部极小值。如果一约束的局部极小值比其他 约束的局部极小值小得多，就能够补偿其他代价函数所产生的非极小 值。因此，总误差函数导致错误的最小值，此最小值可能不是所有各
个约束的极小值。在这种情况下，如果<formula>formula see original document page 7</formula>足
够大以致满足以下不等式
<formula>formula see original document page 7</formula>
则不等式
<formula>formula see original document page 7</formula>成立。
因此，本申请的一个目的是提供一种克服代价函数退化的解决方 案。本发明的另一个目的是提供一种克服孔径问题的运动估计。本发 明的再一个目的是提供一种改进估计运动向量的运动估计。

发明内容
为了克服上述问题中的一个或多个问题，该申请依照一方面提出 了一种用于确定图像信号中估计运动向量的方法，包括为信号的图 像中至少一个像素建立至少两个候选运动向量；对每个所述候选运动 向量，计算至少两个误差准则；以及选择使误差准则的非线性函数最 小化的候选运动向量，作为所述至少一个像素的估计运动向量。
依照实施例的信号可以是任意图像序列，如视频序列。信号中的 图像可以由像素构成。像素可以是描述图像特定部分的亮度和色度的 图像元素。图像内的多个相邻像素可以被看作像素块。
图像中的元素可在数帧图像内发生运动。元素的运动可以用运动 向量加以描述。运动向量可以描述特定像素或像素块的运动方向和速 度。
可以将运动估计理解为计算运动概率。可以使用运动估计来计算 最有可能描述图像中实际运动的运动向量。利用这些向量，能够预测 接下来的帧的图像。估计运动向量还可用于对隔行图像进行去隔行。
候选运动向量可以是一组描述像素或像素块可能运动的可能向 量。这组候选运动向量可用于确定一个最符合图像内实际运动的估计 运动向量。例如，高质量视频格式转换算法(如去隔行和时间上变换) 以及计算机视觉应用和视频压縮可能需要运动估计。运动估计过程中 的孔径问题是由于缺少与场景中运动的性质有关的额外知识所造成 的。根据含有单一方向即边沿的信号，无法确定二维运动分量，或只 确定为边沿切向上的常量。
这种不确定性可能导致代价函数存在多个极小值，并导致运动估 计退化。退化可能导致对运动向量的错误估计，这可能导致视频格式转换中的赝象。依照一实施例，通过施加多个误差函数的方法来解决 这一问题，其中各误差函数具有与运动性质有关的不同约束。这种约 束可能是强度守恒或空间相干性。首选的约束是能够分别产生正交解 的约束。
对一组候选运动向量，应用使代价最高的约束最小化的多个误差 函数的非线性组合，就可以得到最优的运动估计。代价最高的代价函 数可以取最大值。通过最小化所有代价函数的最大值，可以最小化代 价最高的代价函数。
依照实施例，至少两个候选运动向量描述搜索区内像素的可能位
移。此位移可以沿x和y方向。向量可以通过其x和y分量来描述运动的
方向。可以通过向量的绝对值来描述运动的速度。
依照实施例，用空间和/或时间预测来建立至少两个候选运动向 量。例如，在提供扫描图像线的扫描图像中，因果性限制了空间预测 在尚未发送的图像块中的使用。相反，可以使用时间预测。
误差准则可以是绝对差值之和准则、均方误差准则、规一化互相 关准则或重要像素数准则中的至少一种。可以将上述误差准则理解为 约束。
非线性函数是误差准则的最大值
^f，？^)是位置:？处候选向量5的第m (m>l)个误差准则f 。由此，
就可以在候选运动向量集上最小化代价最高的约束。非线性函数还可 以是误差准则的中值。此外，至少一个误差准则是根据插值像素的绝 对差值计算的。至少一个误差准则可以根据插值像素和场内插值像素 的绝对差值计算。此外，至少一个误差准则还可以根据当前帧或场中 的一个像素与之前或之后的去隔行帧或场中的运动补偿插值像素之间 的绝对差值计算。
为了改进隔行信号的运动估计，利用广义采样定理根据隔行信号 计算像素值。本发明的另一方面是用于确定图像信号内估计运动向量的计算 机程序，该程序包括指令，可用于使处理器为信号的图像内至少一 个像素建立至少两个候选运动向量；对每个所述候选运动向量，计算 至少两个误差准则；以及选择使误差准则的非线性函数最小化的候选 运动向量，作为所述至少一个像素的估计运动向量。
另一方面是一种用于确定图像信号中估计运动向量的计算机程 序产品，其上有形地存储有程序，具有指令，可用于使处理器为信 号的图像内至少一个像素建立至少两个候选运动向量；对每个所述候 选运动向量，计算至少两个误差准则；以及选择使误差准则的非线性 函数最小化的候选运动向量，作为所述至少一个像素的估计运动向量。
参考以下实施例对本发明的上述和其他方面进行阐述，将使它们 变得显而易见。


附图中示出了
图1示出了块匹配；
图2a-b示出了递归搜索块匹配器的候选向量集；
图3示出了在具有单一方向的序列上进行的块匹配； 图4示出了能够产生唯一解的正交解子空间； 图5示出了多个准则代价函数。
具体实施例方式
此前已说明了图1所示的块匹配器。用候选向量5 8连接当前图像 n中的块4和前一图像n-l中搜索区6内的测试块10。可以对相关度量(两 个块4、 IO间的匹配误差)进行优化，以确定最佳候选向量^ 8。由此， 可以测试使用不同候选向量5 8得到的不同测试块10，并且对于最佳 匹配候选向量，可以使匹配误差最小。
在块匹配器中，搜索匹配准则的最小值，是一个可能存在多解的 二维最优化问题。 一种可能的实现是使用三步块匹配器、二维对数、 或交叉搜索法，或者一步一次搜索(one-at-a-time-search)块匹配。G.de Hann的"Progress in Motion Estimation for Consumer Video Format Conversion", IEEE transactions on consumer electronics, vol. 46， no.3， 2000年8月，pp. 449-459中公开了不同的块匹配策略。
最优化策略的一种可能实现可以是三维递归搜索块匹配器(3D RS)。 3DRS说明对于比块大的对象，最佳候选向量可能出现在像素 或块的空间近邻中。
如图2a所示，假设扫描方向从左到右，从上到下，因果性限制了 当前块Dc4a右下的空间预测向量4Ds的使用。相反，需要使用时间预 测向量D4c。在搜索区2内，相对于当前块Dc4a，空间预测向量Ds4b 和时间预测向量Dt 4c是可用的。由于只有已被扫描的块可用于当前块 Dc4a的空间预湖纟，因此只能用块Ds4b进行空间预测。由于从搜索区2 的前一时刻中可获得关于块Dt4c的信息，因此可以用块Dt4c进行时间
图2b示出了使用两个空间预测向量Ds 4b和一个时间向量Dt 4c预 测当前块4a。
己发现在搜索范围内估计所有可能的向量是无意义的。对取自空 间相邻块的向量进行估计可能就己经足够了，空间相邻块例如
i，j = -1,0,+ 1
。Z)
其中，cs,定义为一组用于描述在前一图像的搜索区sA《)中关于:？的 所有可能的位移(像素网格上的整数或非整数)的候选向量己如
CSmax = {5卜iV s C, S +tV，—M《Cy S M},
其中n、 m是用于限制搜索区"(: )的常数。为了减少计算开销，只对取 自空间相邻块CS的向量^进行估计可能就足够了。 X、 Y可以分别定义 块宽和块高。实现中，因果性和对流水线作业的需求使得不是所有相邻块都是可用的，在初始化时，向量可以全都是零。
为了解决向量的可用性，当前图像中尚未计算的那些向量可以取
自前一向量场中的相应位置。图2a示出了当前块Dc 4a和作为候选向量 Ds 4b、 Dt 4c的结果向量所取自的块的相对位置。当从左上向右下对
块进行扫描时，可将候选集定义为
<formula>formula see original document page 12</formula>
此候选集cs隐含采用了空间和/或时间 一致性。
通过加入更新向量，可以解决初始化时零向量的问题。w 删去某些空时预测的一 种可能的实现如图2b所示，其中候选集cs(: ,")
可定义为
<formula>formula see original document page 12</formula>其中，更新向量^(^，w)和^(i,")可以是交替可用，并且取自有限的固
定整数或非整数更新集，如 6
<formula>formula see original document page 12</formula>可以使用一种能够描述比单纯的平移更为复杂的对象运动，如旋 转或缩放的模型，将图像分割成单独的对象，并为这些对象中的每一 个估计运动参数。由于块的数量通常超出对象的数量多于一个数量级， 因此每个图像所需计算的运动参数数量得以减少。然而，计算复杂度 增加。
依照实施例，可以确定可被称为像素组的像素块对象。可以为每 个像素组确定运动参数，如运动向量。通过计算当前图像中像素组的 亮度值与另一时间相邻的图像中对应的运动补偿亮度值的绝对差值之
和SAD，对候选向量进行测试。可以使用两个时刻，以便估计局部像 素组的运动参数集。
通过使用绝对差值之和准则或如前所述的任意其他单一准则，从 候选运动向量中确定估计运动向量，不能完全确定二维运动参数。如 图3示意性所示，视频内容可能包含一个单一边沿12。图像中的运动可 能是该单一边沿12的运动。可以用候选运动向量8a-8c对单一块4进行 运动估计。对于候选运动向量8a-8c，测试块10a-10c使代价函数得到相 同的值。因此，使用单一代价函数不能完全确定运动的二维分量，而 只能确定出垂直于边沿的分量。由于在边沿切向上仅被确定为常量， 提供单一代价函数产生退化。此问题也被称作运动估计中的孔径问题。
为了克服该问题，可以联立求解不同的代价函数。这些代价函数 可以是边界条件或与视频场景中运动性质有关的约束。消除确定运动 向量时退化的一个重要条件是，各代价函数应产生相互正交的子空间 解。
图4示出了针对不同代价函数e ,和e 2最小化的候选运动向量集 05,的这种正交子空间。代价函数e ,可以用候选向量18a-18e来描述。 代价函数E2可以用候选向量19a-19d表示。各子空间的特点在于，其 全部元素在垂直于边沿的方向上都具有相等、明确的运动向量。如果 两个约束的解的子空间彼此正交，则同时施加这两个约束可以得到唯 一解。唯一解可以是候选向量18c、 19c。
一般而言，可以同时在候选向量集上施加一组m个约束。这些约 束可以是<formula>formula see original document page 14</formula>
如果满足所有约束，例如对于某些值己in具有绝对最小值，则总
代价函数
<formula>formula see original document page 14</formula>
也具有最小值，其中、>0。然而，总代价函数最小，未必满足各单独
约束。这可能导致运动估计中的赝象。
为克服此问题，本申请使整个代价函数变得更加健壮。这可以通 过代价函数的非线性组合来实现，如
此非线性可能更不易受到错误的影响。实际上，只有当其余约束 也在局部极小值或绝对最小值附近时，值^m才可能成为总代价函数
的最小值。上述非线性组合满足如下不等式 M4Z{f m (Jin m (5min, ")}
图5示出了单独计算出的各代价函数e ,、 e2对总代价所产生的影 响。曲线20a、 20b表示单独的代价函数。曲线20a有两个局部极小值和 一个绝对最小值。代价函数20b有一个绝对最小值。
利用代价函数20的线性组合，总代价函数(e ,、 e 2) /2 22的最 小值位于代价函数之一的绝对最小值处。所示代价函数表示两任意约 束e ,和e 2在候选向量集上的变化。线性代价函数落入约束e 2极小值之一。代价函数的非线性组合M4X^,^)如曲线24所示。迫使该总代价
函数的最小值接近于两单独约束的公共局部极小值。对于此例，很明 显总代价函数比线性组合更接近于各约束的最小值。
考虑到将约束的非线性组合应用到隔行视频素材将导致如下问 题，即在隔行素材中，像素不总是可用的，这取决于隔行相位。
例如，如果像素不可用，则可以令位置卩上的缺失像素取通过去 隔行算法计算出的该位置上的亮度值。为了计算该像素值，可以通过 利用广义采样定理(GST)插值滤波器来重建该像素值，插值滤波器
可以使用n-场和n-l场，或n-场和n+l-场中的采样。利用由n-场和n土l-场得到的GST输出F"'"-'(;,己，di,")，平方绝对差值误差函数可以是
Z ""-)(;,5,")-F"'"+'(;,-5,")
该第一约束不足以建立健壮的总代价函数
为了避免在两个连续场间偶数个像素位移处所发生的错误运动 向量，可以施加第二约束。该第二约束可以利用已经过去隔行处理的
前一帧n-l。这使得可以执行运动补偿双线性插值，以对当前场中现有
像素值进行估计。由^，"+'(;^)给出双线性插值器的输出，这使得可以
建立第二误差函数
s2 (C, Z,") = F"'"+' (;c,;; +1,")-《(x,;/ +1,")
该第二约束依旧无法独自构造健壮的总代价函数。构建这些误差 函数的线性组合只能导致根据这些准则之一的解决方案的运动估计准 则的交替。然而，如本申请所提供的，应用误差函数的非线性组合， 实现了更健壮的运动估计。
该申请提供了一种健壮的运动估计解决方案，可应用于各种视频 格式转换算法。提出了利用能够产生正交解的不同运动估计准则之间 的非线性组合来进行运动估计。
权利要求
1.一种用于确定图像信号中估计运动向量的方法，包括—为信号的图像中至少一个像素建立至少两个候选运动向量，—对每个所述候选运动向量，计算至少两个误差准则，—选择使误差准则的非线性函数最小化的候选运动向量，作为所述至少一个像素的估计运动向量。
2. 根据权利要求l所述的方法 述了搜索区内像素的可能位移。
3. 根据权利要求l所述的方法 使用空间和/或时间预测建立的。
4. 根据权利要求l所述的方法 至少一个a) 绝对差值之和准则；b) 均方误差准则； C) 归一化互相关准则； d) 重要像素数准则。
5. 根据权利要求l所述的方法 正交的子空间解的约束。
6. 根据权利要求l所述的方法 最大值其中^f ，？,n)是位置？处候选向量5的第m (其中mW)个误差准则s。
7. 根据权利要求l所述的方法，其中所述非线性函数是误差准则的 中值。
8. 根据权利要求l所述的方法，其中至少一个误差准则是根据插值 像素的绝对差值计算的。
9. 根据权利要求l所述的方法，其中至少一个误差准则是根据插值，其中所述至少两个候选运动向量描 ，其中所述至少两个候选运动向量是 ，其中所述误差准则是下述准则中的,其中所述误差准则施加了导致相互 ，其中所述非线性函数是误差准则的像素和场内插值像素的绝对差值计算的。
10. 根据权利要求l所述的方法，其中至少一个误差准则是根据当前 帧或场中的一个像素与之前或之后的去隔行帧或场中的运动补偿插值 像素之间的绝对差值计算的。
11. 根据权利要求l所述的方法，还包括使用广义采样定理根据隔行 信号计算像素值。
12. —种用于确定图像信号中估计运动向量的计算机程序，该程序 包括指令，可用于使处理器一 为信号的图像内至少一个像素建立至少两个候选运动向量， 一对每个所述候选运动向量，计算至少两个误差准则，以及 一选择使误差准则的非线性函数最小化的候选运动向量，作为所 述至少一个像素的估计运动向量。
13. —种用于确定图像信号中估计运动向量的计算机程序产品，其 上有形地存储有程序，具有指令，可用于使处理器一 为信号的图像中至少一个像素建立至少两个候选运动向量， 一对每个所述候选运动向量，计算至少两个误差准则，以及 一选择使误差准则的非线性函数最小化的候选运动向量，作为所 述至少一个像素的估计运动向量。
全文摘要
确定图像信号内的估计运动向量。为了提高估计运动向量的准确性，为信号的图像中至少一个像素建立至少两个候选运动向量；对每个所述候选运动向量，计算至少两个误差准则；以及选择使误差准则的非线性函数最小化的候选运动向量，作为所述至少一个像素的估计运动向量。
文档编号H04N7/01GK101288310SQ200680030477
公开日2008年10月15日 申请日期2006年6月15日 优先权日2005年6月23日
发明者卡利纳·丘胡, 杰拉德·德哈恩 申请人:Nxp股份有限公司