专利名称：具有非线性运动场平滑的运动估计的方法和系统的制作方法
技术领域：
本发明的实施例总体上涉及用于运动估计的方法和系统，具体涉及具有运动场 平滑的运动估计的方法和系统。
背景技术：
在运动估计(也被称作光流估计和位移估计)中，可以确定视频序列中不同视频 帧(也被称作图像)中各个区(area)之间的对应关系。除了摄像机运动以外，视频序列 中捕获的实际场景中的对象运动也会导致视频帧中视觉图案的移动。真实运动估计的目 标可以是估计视觉图案从一个帧到另一帧的二维(2D)运动，使得估计的2D运动可以是 实际三维(3D)场景运动的投影。局部运动估计是指针对小图像区(例如，单个像素或 小像素块)的运动矢量的估计，示例性的小块可以是&2、4x4、8x8以及包含少量像素的 其他块。在整个图像或视频帧上针对所有像素或像素块的运动矢量集合可以被称作运动 场。估计的运动场可以在许多领域的应用中使用，例如，视频处理、视频编码、计算机 视觉以及其他视频和成像领域。示例应用可以包括运动补偿视频编码、运动补偿视频滤 波以及运动补偿帧插值。基于梯度的运动估计可以是运动估计方法的一个重要类别。在基于梯度的运动 估计中，可以对局部运动进行建模，使该局部运动在接近可以估计运动矢量的像素位置 的邻域中实质上是恒定的。该邻域可以被称作局部分析窗、分析窗或窗。可以确定窗中 像素数据的空间和时间导数值(也被称作空间_时间梯度)，并使用该导数值来计算对应 于所关联的运动的运动矢量、位移矢量或其他参数。运动估计方法的另一重要类别可以是块匹配。在块匹配中，可以通过在预定区 域中在候选像素块之中进行搜索，来将一个帧中的像素块与另一帧中的像素块相匹配。大多数运动模型中使用的假设可能无法在所有图像位置处都成立，从而使得运 动估计在理论上和实际中均成为极具挑战性的问题。例如，由于场景中实际对象的3D本 质及其关联的照明，通常假定的基本假定不能成立，这种基本假定是像素或像素块的颜 色、强度或亮度从一个视频帧到下个视频帧保持不变。此外，在数据不足以约束运动模 型的情况下，例如在颜色或强度函数在局部非常平坦或是一维的情况下，不能够获得可 靠的解决方案，这是被称作孔径问题的问题。此外，一幅图像中的区由于遮挡而不能出 现在另一幅图像中，例如，背景区可能通过移动的前景对象而被覆盖或露出。对于基于梯度的运动估计方法，其中可以对局部运动进行建模，以使该局部运 动在邻域中实质上是恒定的，分析窗内多个对象的可能存在会产生问题，这是由于多个 对象中的每一个可能与捕获的场景内不同的运动相关联。分析窗内不同运动的存在可能 导致正被估计的运动矢量或其他运动参数的不准确估计。此外，分析窗内的数据可能包括由于例如摄像机噪声、压缩噪声或其他噪声引 起的一个或多个噪声分量。分析窗内的噪声数据可能导致不准确的运动矢量或其他运动 参数估计。该问题在分析窗不足够大到能确保准确运动估计的情况下尤其明显。
5
可以对运动矢量场的估计应用正则化(Regularization)，以尝试缓解上述和其他
问题。正则化可以使用例如空间连贯性(Coherency)的假设来约束估计。空间连贯性的 概念说明，真实世界的表面具有空间范围，并且单个表面上的区很可能以相同或类似的 运动来移动。空间连贯性概念带来了运动平滑性约束的引入。然而，空间连贯性的假定 在运动边界处不成立，运动边界通常与对象边界相符，并且可能导致过于平滑(尤其是 在运动边界)的运动场。计算效率高的运动估计系统和方法是令人期望的，这种系统和方法改善运动场 的空间连贯性，而不会使运动边界处运动场过于平滑，并且不需要显式的遮挡检测。
发明内容
本发明的一些实施例包括用于运动场的非线性扩散滤波的方法和系统。根据本发明的一个方面，可以基于滤波载板中每个位置处的图像值和与滤波载 板中心相关联的位置处的图像值的差，来确定滤波载板中每个位置处的数据自适应的滤 波权重。根据本发明的另一方面，可以基于与滤波载板(filter support)中每个位置处的运 动矢量相关联的置信测度值(confidence-meausre value)，来确定滤波载板中每个位置处的
数据自适应的滤波权重。根据本发明的又一方面，数据自适应的滤波权重可以是根据本发明的上述方面 确定的数据自适应的滤波权重的组合。本发明的一些实施例包括用于运动估计的方法和系统，包括根据本发明各个 方面的运动场的非线性扩散滤波。结合附图，考虑本发明的以下详细描述，将更容易地理解本发明的上述和其他 目的、特征以及优点。
图1是示出了二值分段常值函数关系的图；图2是示出了本发明示例实施例的图，包括基于滤波载板中位置处的图像值 与中心位置处的图像值之间的差，来确定该位置处的数据自适应权重；图3是示出了三值分段常值函数关系的图；图4是示出了本发明示例实施例的图，包括基于与位置处的运动矢量相关联 的置信测度值，来确定该位置处的数据自适应权重；图5是示出了本发明示例实施例的图，包括基于滤波载板中位置处的图像值 与中心位置处的图像值之间的差来确定该位置处的第一数据自适应权重，以及基于与该 位置处的运动矢量相关联的置信测度值来确定该位置处的第二数据自适应权重，其中， 将该位置处的第一数据自适应权重与该位置处的第二数据自适应权重进行组合，以形成 该位置处的滤波权重；图6是示出了图像的示例性多尺度级(multi-scale)表示的图；图7是示出了本发明的示例实施例的图，包括合并了根据本发明实施例的非 线性扩散滤波的多尺度级运动估计；以及
6
图8是用于对运动矢量场进行滤波的系统。
具体实施例方式参照附图将更好地理解本发明的实施例，其中，贯穿附图，类似的部件由类似 的数字表示。清楚地，合并上述附图作为该详细描述的一部分。容易理解，如这里在附图中一般描述和示意的，本发明的组件可以按照各种不 同的配置来布置和设计。因此，以下本发明的方法和系统的实施例的更详细描述并不意 在限制本发明的范围，而是仅代表本发明当前优选实施例。本发明实施例的元件可以以硬件、固件和/或软件来实现。尽管这里揭示的示 例实施例可以仅描述这些形式之一，但是应理解，本领域技术人员能够实现以这些形式 中任何形式的这些元件，而同时保持在本发明的范围内。在运动估计(也被称作光流估计和位移估计)中，可以确定视频序列中不同视频 帧(也被称作图像)中各个区(area)之间的对应关系。除了摄像机运动以外，视频序列 中捕获的实际场景中的对象运动也会导致视频帧中视觉图案的移动。真实运动估计的目 标可以是估计视觉图案从一个帧到另一帧的二维(2D)运动，使得估计的2D运动可以是 实际三维(3D)场景运动的投影。局部运动估计是指针对小图像区(例如，单个像素或 小像素块)的运动矢量的估计，示例性的小块可以是&2、4x4、8x8以及包含少量像素的 其他块。在整个图像或视频帧上针对所有像素或像素块的运动矢量集合可以被称作运动 场。估计的运动场可以在许多领域的应用中使用，例如，视频处理、视频编码、计算机 视觉以及其他视频和成像领域。示例应用可以包括运动补偿视频编码、运动补偿视频滤 波以及运动补偿帧插值。基于梯度的运动估计可以是运动估计方法的一个重要类别。在基于梯度的运动 估计中，可以对局部运动进行建模，使该局部运动在接近可以估计运动矢量的像素位置 的邻域中实质上是恒定的。该邻域可以被称作局部分析窗、分析窗或窗。可以确定窗中 像素数据的空间和时间导数值(也被称作空间_时间梯度)，并使用该导数值来计算对应 于所关联的运动的运动矢量、位移矢量或其他参数。运动估计方法的另一重要类别可以是块匹配。在块匹配中，可以通过在预定区 域中在候选像素块之中进行搜索，来将一个帧中的像素块与另一帧中的像素块相匹配。大多数运动模型中使用的假设可能无法在所有图像位置处都成立，从而使得运 动估计在理论上和实际中均成为极具挑战性的问题。例如，由于场景中实际对象的3D本 质及其关联的照明，通常假定的基本假定不能成立，这种基本假定是像素或像素块的颜 色、强度或亮度从一个视频帧到下个视频帧保持不变。此外，在数据不足以约束运动模 型的情况下，例如在颜色或强度函数在局部非常平坦或是一维的情况下，不能够获得可 靠的解决方案，这是被称作孔径问题的问题。此外，一幅图像中的区由于遮挡而不能出 现在另一幅图像中，例如，背景区可能通过移动的前景对象而被覆盖或露出。对于基于梯度的运动估计方法，其中可以对局部运动进行建模，以使该局部运 动在邻域中实质上是恒定的，分析窗内多个对象的可能存在会产生问题，这是由于多个 对象中的每一个可能与捕获的场景内不同的运动相关联。分析窗内不同运动的存在可能 导致正被估计的运动矢量或其他运动参数的不准确估计。
7
此外，分析窗内的数据可能包括由于例如摄像机噪声、压缩噪声或其他噪声引 起的一个或多个噪声分量。分析窗内的噪声数据可能导致不准确的运动矢量或其他运动 参数估计。该问题在分析窗不足够大到能确保准确运动估计的情况下尤其明显。可以对运动矢量场的估计应用正则化(Regularization)，以尝试缓解上述和其他 问题。正则化可以使用例如空间连贯性(Coherency)的假设来约束估计。空间连贯性的 概念说明，真实世界的表面具有空间范围，并且单个表面上的区很可能以相同或类似的 运动来移动。空间连贯性概念带来了运动平滑性约束的引入。然而，空间连贯性的假定 在运动边界处不成立，运动边界通常与对象边界相符，并且可能导致过于平滑(尤其是 在运动边界)的运动场。计算效率高的运动估计系统和方法是令人期望的，这种系统和方法改善运动场 的空间连贯性，而不会使运动边界处运动场过于平滑，并且不需要显式的遮挡检测。出于示意目的，可以关于单通道图像来描述这里描述的本发明的示例实施例。 本发明的这些实施例的描述不应视为限制本发明的范围，对于本发明，可以允许如本领 域技术人员将理解的、与多通道、颜色和其他非单通道图像有关的其他等同效果的实施 例。此外，可以关于单个位移矢量来描述这里描述的本发明的示例实施例。本发明的这 些实施例的描述不应视为限制本发明的范围，对于本发明可以允许本领域技术人员应认 识到的、与例如仿射运动和其他模型的其他运动模型有关的其他等同效果实施例。在运动估计中，当前图像中所识别的2D区域可以通过运动矢量、位移矢量或其 他运动参数与参考图像中相应的2D区域相关联。这里为了示意目的，当前图像可以表示 为f(x，y)，参考图像可以表示为g(x，y)，其中χ和y表示图像中像素位置坐标。像素 值f(x，y)和g(x，y)可以表示灰度级、亮度值或其他图像导出值。两幅图像，当前图 像和参考图像可以是视频序列中的两个帧。当前图像中的区域可以是与图像中单个像素 位置、矩形的像素位置块或任意形状的区域(region)相关联的区(area)。局部运动估计 可以估计针对小图像区(例如，单个像素或小像素块)的运动矢量。当前图像中每个图 像区、像素、块或区域可以与运动矢量相关联。针对所有图像区域的所有运动矢量的集 合可以被称作运动矢量场，运动场、位移场或位移矢量场。图像中的2D运动也可以被称 作流或光流。可以假定，当前图像与参考图像之间的差异很大程度上由于捕获的场景内的对 象运动。因此，在第一图像中可见的对象的一部分很可能也在第二图像中可见，但是该 对象可能根据其场景运动的投影而发生位移。在实际应用中，例如，视频编码、视频处理以及其他视频应用中，已经广泛实 现和使用的一类方法的被称作块匹配。在块匹配中，可以将当前图像划分成矩形块，可 以通过在参考图像中搜索最紧密匹配的块，为每个块估计运动矢量。另一类已知方法可以被称作基于梯度的运动估计。基于梯度的运动估计也可以 被称作差分运动估计或光流估计。在这些方法中，可以基于空间和时间图像导数或图像 差，计算运动矢量、光流矢量或位移矢量。尽管块匹配包括针对最佳运动矢量的搜索过 程，但是基于梯度的技术允许直接计算运动矢量。可以由粗略至精细的方式来执行运动估计，其中，可以初步估计粗运动场，并 随后迭代地精细化该粗运动场。这些方法也可以被称作多尺寸级别、多分辨率、分级或基于金字塔的运动估计。可以以缩减的图像分辨率来形成粗估计。然后，可以通过添加 后续的较高分辨率上的附加细节，来精细化低分辨率的运动场，直到达到期望的分辨率 为止。之前，基于块和基于梯度的运动估计技术已经扩展为包括分级方法。可以使用以下符号表示来描述本发明的实施例。当前2D图像或视频帧可以表示 为f(x，y)，参考2D图像或视频可以表示为g(x，y)。与当前图像中指示为(i，j)的位 置相关联的运动矢量可以表示为ν (i，j) = (u(i，j)，v(i, j))T，并且可以被称作位移矢 量，或运动矢量，其中，11和ν分别是水平和垂直分量。为了表示的方便性，可以省略 关于(i，j)的依赖关系，并且运动矢量可以表示为ν = (u，ν)τ。在本发明的一些实施例中，可以接收当前帧。同样，可以在运动场平滑系统、 运动估计系统或任何其他视频处理系统中的运动场滤波器处接收运动场。在一些实施例 中，运动矢量场可以与当前帧相关联，其中，运动矢量场中的每个位置与当前帧中的位 置相对应。在一些实施例中，运动场可以包括对多个感兴趣位置处的运动矢量的初步估 计。在备选实施例中，运动场可以包括对多个感兴趣位置处的运动矢量的、由粗略至精 细估计中的中间估计。感兴趣位置可以表示为(i，j)。可以根据本发明的实施例对运动场滤波。这些实施例可以包括通过使用针对 区域中每个位置而确定的加权值，对窗中心位置处的运动矢量场滤波。这些实施例还可 以包括使用包括如下局部加权平均的非线性扩散滤波器u(i,j) =-^-——r^
Zu ^ψι,η)以及
^ w{m,n)v{m,n)v(i,j) =——^=-r
yv{m,n)
m,neQ ij其中，Ω q是与感兴趣位置(i，j)相关联的邻域。该邻域也可以被称作与感兴 趣位置相关联的局部窗或滤波载板。局部窗使用感兴趣位置周围的区域(邻域)的特性 (例如像素值变化)，来计算针对感兴趣位置的运动矢量场参数。用于对运动矢量场进行 滤波的局部窗与用于对运动矢量进行初步估计的局部窗不同。在一些实施例中，窗可以实质上以感兴趣位置(i，j)为中心。因此，窗中心可 以接近(i，j)，位置(i，j)可以被称作窗中的中心位置(窗中心位置)。坐标索引(m， η)表示窗内的位置。滤波器系数w(m，η)可以是根据本发明实施例的针对运动矢量场 中区域中的每个位置而确定的数据自适应权重。在本发明的一些实施例中，可以将权重限制到例如0.0《w(m，n)《1.0的区间。在本发明的一些实施例中，根据Wl(m，η) =F1OfG, j)_f(m，η) |)，位置(m， η)处的权重可以基于图像值f(m，η)与窗中心处的图像值f(i，j)之间的差(绝对差)。其中，函数关系？乂 ·)可以随着f(i，j)与f(m，η)之间的绝对差的逐渐增大 而减小。在一些实施例中，图像值f(i，j)是与当前帧中相应位置相关联的图像值，图 像值f(m，η)是与当前帧中相应窗中心位置相关联的图像值。当绝对差较小时，得到的
9权重值可以接近于1.0，并且随着绝对差逐渐增大，获得的权重值可以减小为更小的非负 值。图1示出了这种函数10的示例。在图1所示的示例函数10中，加权是基于包括第一值和第二值的二值分段常值 函数F1(A)的，其中，Δ =|f(i，j)-f(m, n)|,该加权根据
权利要求
1.一种用于对运动矢量场进行滤波的方法，所述方法包括a)接收当前帧；b)接收与所述当前帧相关联的运动矢量场，其中，所述运动矢量场中的每个像素位 置与所述当前帧中的像素位置相对应；c)针对所述运动矢量场中区域中的每个像素位置，确定权重值，其中i)所述区域近似地以窗中心位置为中心；以及ii)针对所述区域中的像素位置的权重值是基于函数关系的，该函数关系取决于与所 述当前帧中对应的像素位置相关联的图像值和与所述当前帧中对应的窗中心位置相关联 的图像值之间的绝对差；以及d)使用针对所述区域中的每个像素位置而确定的所述权重值，对所述窗中心位置处 的所述运动矢量场进行滤波。
2.根据权利要求1所述的方法，其中a)当所述绝对差满足准则时，针对所述区域中的所述像素位置的所述权重值包括第 一值；以及b)当所述绝对值不满足所述准则时，针对所述区域中的所述像素位置的所述权重值 包括第二值；其中c)当所述绝对差小于阈值时，满足所述准则；以及e)所述第一值是1；以及f)所述第二值是在从0到1的闭合区间中的固定值。
3.根据权利要求1所述的方法，其中，所述函数关系是分段常值函数。
4.根据权利要求1所述的方法，其中，如果绝对差增大，则所述函数关系的所述权重 值减小。
5.根据权利要求1所述的方法，其中，所述滤波是非递归滤波。
6.根据权利要求1所述的方法，其中，所述滤波是因果递归滤波。
7.根据权利要求1所述的方法，其中，与所述运动矢量场中的所述像素位置相对应的 所述当前帧中的所述像素位置与所述当前帧中的多个像素相关联。
8.一种用于对运动矢量场进行滤波的方法，所述方法包括a)接收运动矢量场；b)接收针对所述运动矢量场中每个运动矢量的置信测度值；c)针对所述运动矢量场中区域中的每个像素位置，确定第一权重值，其中；i)所述区域近似地以窗中心位置为中心；以及ii)针对所述区域中的像素位置的第一权重值是基于第一函数关系的，该第一函数关 系取决于与所述像素位置处的所述运动矢量相关联的所述置信测度值；以及d)使用针对所述区域中的每个像素位置而确定的所述第一权重值，对所述窗中心位 置处的所述运动矢量场进行滤波。
9.根据权利要求8所述的方法，其中，所述置信测度值是在运动估计过程期间计算的。
10.根据权利要求8所述的方法，还包括a)接收与所述运动矢量场相关联的当前帧，其中，所述运动矢量场中的每个像素位置与所述当前帧中的像素位置相对应；b)接收与所述运动矢量场相关联的参考帧，其中，所述运动矢量场中的每个运动矢 量与所述参考帧中的像素位置相关联；c)其中，接收针对所述运动矢量场中每个运动矢量的置信测度值包括计算所述区 域中每个像素位置处的运动补偿误差；d)在所述当前帧和所述参考帧中的区上计算平均运动补偿误差，其中所述区大于所 述区域；以及e)其中，针对所述区域中的像素位置的所述第一权重值是使用所述像素位置处的所 述运动补偿误差以及所述平均运动补偿误差来计算的。
11.根据权利要求10所述的方法，其中a)当所述像素位置处的所述运动补偿误差以及所述平均运动补偿误差满足第一准则 时，针对所述区域中的所述像素位置的所述第一权重值包括第一值；b)当所述像素位置处的所述运动补偿误差以及所述平均运动补偿误差满足第二准则 时，针对所述区域中的所述像素位置的所述第一权重值包括第二值；以及c)当所述像素位置处的所述运动补偿误差以及所述平均运动补偿误差不满足所述第 一准则和所述第二准则时，针对所述区域中的所述像素位置的所述第一权重值包括第三 值；其中所述第一值是1 ；以及所述第二值和所述第三值是在从0到1的闭合区间中的预定固定值，并且所述第三值 大于所述第二值。
12.根据权利要求8所述的方法，还包括a)针对所述运动矢量场中所述区域中的每个像素位置，确定第二权重值，其中；针对所述区域中的像素位置的第二权重值是基于第二函数关系的，该第二函数关系取决于与所述当前帧中对应的像素位置相关联的图像值和与所述当前帧中对应的窗中心位置相关联的图像值之间的绝对差；b)组合针对所述区域中的像素位置的所述第一权重值与针对所述区域中的像素位置 的所述第二权重值；以及c)其中，使用针对所述区域中的每个像素位置而确定的所述第一权重值来对所述窗 中心位置处的所述运动矢量场进行滤波包括使用针对所述区域中的每个像素值而确定 的所组合的权重值。
13.根据权利要求12所述的方法，其中，所述的组合针对所述区域中的像素位置的所 述第一权重值与针对所述区域中的像素位置的所述第二权重值包括将针对所述区域中 的像素位置的所述第一权重值与针对所述区域中的像素位置的所述第二权重值相乘。
14.根据权利要求12所述的方法，其中，所述的组合针对所述区域中的像素位置的所 述第一权重值与针对所述区域中的像素位置的所述第二权重值包括确定针对所述区域 中的像素位置的所述第一权重值与针对所述区域中的像素位置的所述第二权重值中的最 小值。
15.—种用于估计运动矢量场的方法，所述方法包括a)接收当前帧；b)接收参考帧；c)估计与所述当前帧和所述参考帧相关联的运动矢量场，其中，所述运动矢量场中 的每个运动矢量与所述当前帧中的像素位置和所述参考帧中的像素位置相对应；d)针对所述运动矢量场中区域中的每个像素位置，确定权重值，其中；i)所述区域近似地以窗中心位置为中心；以及ii)针对所述区域中的像素位置的权重值是基于函数关系的，该函数关系取决于与所述当前帧中对应的像素位置相关联的图像 值和与所述当前帧中对应的窗中心位置相关联的图像值之间的绝 对差；以及d)使用针对所述区域中的每个像素位置而确定的所述权重值，对所述窗中心位置处 的所述运动矢量场进行滤波。
16.—种用于估计运动矢量场的方法，所述方法包括a)接收当前帧；b)接收参考帧；c)估计与所述当前帧和所述参考帧相关联的运动矢量场，其中，所述运动矢量场中 的每个运动矢量与所述当前帧中的像素位置和所述参考帧中的像素位置相对应；d)接收针对所述运动矢量场中每个运动矢量的置信测度值；e)针对所述运动矢量场中区域中的每个像素位置，确定第一权重值，其中；i)所述区域以窗中心位置为中心；以及ii)针对所述区域中的像素位置的所述第一权重值是基于第一函数关系的，该第一函数关系取决于与所述像素位置处的所述 运动矢量相关联的所述置信测度值；以及f)使用针对所述区域中的每个像素位置而确定的所述第一权重值，对所述窗中心位 置处的所述运动矢量场进行滤波。
17.—种用于对运动矢量场进行滤波的系统，包括a)第一接收部分，用于接收当前帧；b)第二接收部分，用于接收与所述当前帧相关联的运动矢量场，其中，所述运动矢 量场中的每个像素位置与所述当前帧中的像素位置相对应；c)确定部分，用于针对所述运动矢量场中区域中的每个像素位置，确定权重值，其中i)所述区域以窗中心位置为中心；以及ii)针对所述区域中的像素位置的权重值是基于函数关系的，该函数关系取决于与所述当前帧中对应的像素位置相关联的图像 值和与所述当前帧中对应的窗中心位置相关联的图像值之间的绝 对差；以及d)滤波部分，用于使用针对所述区域中的每个像素位置而确定的所述权重值，对所 述窗中心位置处的所述运动矢量场进行滤波。
全文摘要
本发明的各个方面涉及用于运动矢量场的非线性扩散滤波的低复杂性系统和方法。非线性扩散滤波器中的局部权重可以是数据自适应的，并且根据本发明一个方面，可以确定局部权重，使得尽管还没有显式检测到对象边界，也不会在对象边界处增强空间连贯性。因此，本发明的方法和系统可以平滑运动矢量场，而不会在对象边界上平滑运动矢量场。根据本发明的第二方面，可以抑制具有较低置信值的运动矢量，而可以传播具有较高置信值的运动矢量。根据本发明的另一方面，运动估计方法和系统可以合并根据本发明的非线性扩散滤波的方法和系统。
文档编号G06T7/20GK102014281SQ20101026109
公开日2011年4月13日 申请日期2010年8月23日 优先权日2009年9月4日
发明者皮特鲁斯·J·L·范比克 申请人:夏普株式会社