专利名称：用于运动估计的装置和方法
技术领域：
本发明涉及用于生成与一个图像的一个像素数据块(block)对应的一个运动矢量的运动估计单元，包括-数据块匹配器，用于通过最小化一个预定代价函数(costfunction)来计算一个起始运动矢量作为一个匹配判据，以便把像素数据块与一个另外图像的另外像素数据块相匹配；-光流量(optical flow)分析器，用于根据该起始运动矢量并且根据一个光流量方程式来计算用于该像素数据块的一个像素的更新运动矢量；以及-选择器，通过把该起始运动矢量的匹配判据的一个第一值与该更新运动矢量的匹配判据的一个第二值进行比较，选择该起始运动矢量或该更新运动矢量作为运动矢量。
本发明进一步涉及用于生成对应于一个图像的一个像素数据块的一个运动矢量的一种运动估计方法，包括以下步骤-进行数据块匹配，通过最小化一个预定代价函数来计算一个起始运动矢量作为一个匹配判据，以便把像素数据块与一个另外图像的另外像素数据块相匹配；-进行光流量分析，根据该起始运动矢量并且根据一个光流量方程式，计算一个用于该像素数据块的一个像素的更新运动矢量；以及-通过把该起始运动矢量的匹配判据的一个第一值与该更新运动矢量的匹配判据的一个第二值进行比较，选择该起始运动矢量或该更新运动矢量作为运动矢量。
本发明进一步涉及一种图像处理设备，该图像处理设备包括-接收装置，用于接收表示将要显示的图像的一个信号；-这样的运动估计单元；以及-运动补偿图像处理单元。
为了进行运动估计，通常有两种主要的区别技术，即，基于对应关系(correspondence)的方法和基于光流量的方法。基于对应关系的方法适于大运动的情况，而基于光流量的方法适于小运动的情况，并且是快速和精确的。基于光流量的方法的构思是使用光流量方程式Optical Flow Equation(OFE)来计算一个运动矢量。该OFE简单地是描述亮度沿着运动轨迹是恒定的假设的方程式的线性化。对于固定的和，该恒定亮度的假设能够被写成L(x+tv，t)＝常数.， (1)利用运动矢量＝(u，v)，相对于t的微分得到u∂L∂x+v∂L∂y=-∂L∂t---(2)]]>或不同地写成v‾·gradL=-∂L∂t,--(3)]]>数据块匹配方法属于基于对应关系的方法。
在开始段落中所述种类的运动估计单元的一个实施例可从专利文献WO99/17256中得知。在该文件中，相邻空间-时间候选项被用作数据块递归匹配过程的输入。另外，另外的更新矢量被对照该数据块递归匹配过程的最佳候选项来测试。通过把一个局部的像素递归过程应用于当前数据块来计算此更新的矢量，使用该数据块递归匹配过程的最佳候选项作为一个起始向量。该像素递归过程基于光流量方程式。通过把来自像素递归的更新矢量与来自数据块递归过程的起始矢量进行比较并且通过选择具有最佳匹配的矢量，获得最终输出的矢量。根据已有技术的运动估计单元具有涉及光流量部分的两个缺点。第一，该像素递归方案导致一种实质上不可预料的存储器存取，这对于硬件实现来说是不希望的。第二，选择来解决孔隙(aperture)问题的技术使得该方法易受噪声的影响。孔隙问题意味着该单个光流量方程式带有两个必须求解的未知量，即，在方程式2中，u和v都是未知的。
本发明的第一目的是提供一种开始段落中描述种类的运动估计单元，被设计来估计相对高质量的运动矢量场。
本发明的第二目的是提供一种开始段落中描述种类的运动估计方法来估计相对高质量的运动矢量场。
本发明的第三目的是提供一种开始段落中描述种类的图像处理设备，被设计为基于一种相对高质量的运动矢量场而执行运动补偿图像处理。
实现本发明的第一目的在于，光流量分析器被设计来最小化与对应于像素数据块的各个像素的一组光流量方程式相关的误差之和。在根据现有技术的运动估计单元和根据本发明的运动估计单元之间的主要差异在于，根据本发明的运动估计单元的光流量分析器不是基于递归的而是基于数据块的。在根据已有技术的运动估计单元中，对应于像素数据块的每一像素的光流量方程式的一个解(solution)被单独估计，并被用于估计对应于下一个像素的光流量方程式的一个解。在根据本发明的运动估计单元中，求解对应于多个像素的一组光流量方程式，即与对应于该像素数据块的多个像素的一组光流量方程式相关的误差之和被最小化。由于此，噪声的影响被抑制。结果是一个相对精确的运动矢量场。这具有的好处是例如由于其较少残留图像数据的编码应用。从高质量运动矢量场获益的另一应用是解交织，因为在此运动矢量场的子象素精确度是至关重要的。另一优点是，良好的候选项稳定了该运动估计单元，使得其很少可能有错误的运动矢量候选项出现，即很少可能出现不对应于实际运动的候选项，而选择偶然展现低匹配误差的候选项。
根据本发明的运动估计单元的一个实施例的特征在于如果满足对应于一个具体像素的具体光流量方程式，则具体误差等于零。引入下列表示法-在像素数据块中的像素利用i来索引。
-，和；-Li是具有索引i的数据块中的像素的亮度值；-Xi是那个像素上L的x导数；-Yi是那个像素上L的y导数；-Ti是那个像素上L的t导数；对于特定像素i来说，光流量方程式2能够被重写为uXi+vYi+Ti＝0 (4)
仅针对u和v的确切值，该方程式4才满足左边的数据项等于右边的数据项，即零。这种想法是使用左边的数据项作为误差项，因为u和v的值的估计越差，左边的数据项偏离零越多。注意，该零的平方等于零。
像素数据块的像素以两个未知数生成一个超定(over-determined)的光流量方程式组。不是立即求解多个方程式，而是使得方程式中的误差最小，得到运动矢量＝(u，v)的唯一解。由于计算的简化，最好是最小化这些误差的平方之和。总的平方误差是∑(uXi+vYi+Ti)2，(5)为了在u和v中最小化此，提取导数并且使之为零。求解u和v则得到u=ΣiXiYiΣiYiTi-ΣiYi2ΣiXiTiΣiXi2ΣiYi2-(ΣiXiYi)2]]>v=ΣiXiYiΣiYiTi-ΣiXi2ΣiYiTiΣiXi2ΣiYi2-(ΣiXiYi)2---(6)]]>用于求解光流量方程式的一种通用方法是添加一个平滑约束条件来克服这种孔隙问题。这种方案的一个实例由Horn和Schunk的文章″Determining optical flow(确定光流量)″所公开，该文章发表在1981年的″人工智能(Artificial Intelligence)″第17卷的185-203页。该平滑约束项是非线性的，导致求解这些方程式的一个迭代过程。
在根据本发明的运动估计单元的一个实施例中，该光流量分析器被设计为根据像素数据块的像素的一部分计算一个更新运动矢量。不考虑像素数据块的所有像素来定义光流量方程式，本实施例二次取样该像素数据块。例如，应用4至8的二次取样系数。其优点是，在更新运动矢量的精确度仍然相对高的同时降低计算量。
在根据本发明的运动估计单元的一个实施例中，光流量分析器包括一个梯度计算器，被设计来根据Prewitt梯度算子计算亮度梯度。为了计算x导数，使用下列内核(kernel)
并且为了计算y导数，使用下列内核
在根据本发明的运动估计单元的一个实施例中，光流量分析器包括一个梯度计算器，被设计来根据Sobel梯度算子计算亮度梯度。为了计算x导数，使用下列内核
并且为了计算y导数，使用下列内核
在根据本发明的运动估计单元的一个实施例中，光流量分析器包括一个梯度计算器，被设计来根据Robert梯度算子计算亮度梯度。为了计算x导数，使用下列内核
并且为了计算y导数，使用下列内核
其中数字是用于在对应象素位置上的亮度值的乘数，即内核系数。例如，Robert的梯度算子对应于gradL＝(L(x+1，y)-L(x-1，y)，L(x，y+1)-L(x，y-1)) (7)为了表示简单，已经省去了用于Robert、Sobel和Prewitt的梯度算子的总的1/2、1/8和1/6的定标因数。
在根据本发明的运动估计单元的一个实施例中，该数据块匹配器是递归的。G.de Haan等人在1993年10月关于用于视频技术的电路和系统的IEEE Transactions、卷3第5期的368-379页上的文章″True-Motion Estimation with 3-D Recursive Search Block Matching(利用3-D递归检索数据块匹配的实际运动估计)″给出了一个相对好的运动估计单元。那个3DRS数据块匹配器原则上准确到1/4像素。此精确度能够利用变换运动例如在一个摄像镜头(camera pan)中的变换运动而在大构造(texture)区域中实际地实现。但是，为了在较小区域中达到此精确度，或在具有例如变焦的更复杂的运动区域中达到此精确度，该3DRS匹配器必须选择许多更新候选项，并且因为这通常导致空间一致性的劣变而是不希望的。由于此原因，利用惩罚(penalty)来抑制更新候选项。这将导致一个空间和时间稳定的矢量场，但是也导致一个次最佳的精确度。根据本发明的本实施例结合了数据块匹配器方法和基于光流量方法两者好的方面。这种想法是，使用该数据块匹配器查找达到中等精确度的起始矢量场。残留运动矢量足够小，以允许由该光流量分析器应用一个光流量方法。与根据现有技术的3DRS数据块匹配器相比，必须考虑的更新候选项很少，因为运动的跟踪主要利用该光流量分析器来完成。这将提高该运动估计单元的效率。
在根据本发明的运动估计单元的一个实施例中，光流量分析器包括一个可靠性单元，以检测更新的运动矢量是否是可靠的。有时，这组光流量方程式被错误地确定，例如因为在像素数据块中仅有单个边缘，使得全部梯度点都在一个方向。如果出现这种情况，方程式6中的分母与相比将变小。计算下列数目作为更新运动矢量的一个可靠性度量100*ΣiXi2ΣiYi2-(ΣiXiYi)2ΣiXi2ΣiYi2--(8)]]>并且90或95的阈值用于接受更新运动矢量作为用于该数据块匹配器的一个候选矢量。
图像处理设备的修改及其变化可以对应于所描述的运动估计单元的修改及其变化。该图像处理设备可以包括附加组成部分，例如，用于接收表示图像的一个信号的装置以及用于显示处理的图像的显示装置。此运动补偿图像处理单元可以支持一个或者多个下列类型的图像处理-解交织交织是常见的视频信号广播方法，用于交替地发送奇数或偶数图像行。解交织试图恢复全部垂直分辨率，即可同时地得到每个图像的奇或偶行；-上变换从一系列原始输入图像中计算一个较大序列的输出图像。输出图像被暂时地定位在两个原始输入图像之间；以及-时间降噪。这还可以包括空间处理，实现空间-时间降噪。
从随后参考附图对实施方案和实施例的描述，根据本发明的运动估计单元、图像处理设备和方法的这些和其它方面将变得显而易见并且将相对下面描述的实施方式和实施例结合附图进行说明，其中
图1A示意地示出运动估计单元的一个实施例；图1B更详细示意地示出运动估计单元的一个实施例；图1C示意地示出包括一个可靠性单元的运动估计单元的一个实施例；和图2示意地示出图像处理设备的一个实施例。
相应的参考数字在所有的附图中具有相同的含意。
图1A示意地示出运动估计单元100的一个实施例。运动估计单元100被设计来生成对应于一个图像118的像素数据块116的运动矢量126。一个图像的全部运动矢量被称为一个运动矢量场124。该运动估计单元100包括
-数据块匹配器102，通过最小化一个预定代价函数来计算一个起始运动矢量110作为用于将像素数据块116与一个另外图像120的另外像素数据块122相匹配的一个匹配判据；-光流量分析器104，用于根据该起始运动矢量110计算一个更新的运动矢量111，并且被设计为将与对应于像素数据块116的各个像素的一组光流量方程式相关的误差之和最小化；以及-选择器106，通过把该起始运动矢量110的匹配判据的一个第一值与更新运动矢量111的匹配判据的一个第二值进行比较，选择该起始运动矢量110或该更新运动矢量111作为运动矢量126。
运动估计单元100的输入包括图像，并且被提供在一个输入连接器112上。运动估计单元100的输出是例如运动矢量场124，并且被提供在一个输出连接器114上。
图1B示意地示出结合图1A更详细描述的运动估计单元100的实施例。数据块匹配器102的工作情况如下。首先，生成装置202为像素数据块116生成一组候选运动矢量。随后，数据块匹配误差计算器206计算这些候选运动矢量的匹配误差。然后，该选择器204根据这些匹配误差从该组候选运动矢量中选择起始运动矢量110。此开始运动矢量110被选择是因为其具有最低值的匹配误差。由数据块匹配误差计算器206计算的匹配误差对应于SAD在图像118的像素数据块116中的像素和在对应于像素数据块116移动一个候选运动矢量的下一个图像120中的另外数据块122的像素之间的绝对亮度差值之和。
光流量分析器104的工作情况如下。梯度算子208、210和212分别计算在x、y和时间方向中的亮度梯度。通常，计算像素数据块的全部像素的梯度。在仅使用像素数据块的一部分的光流量方程式的情况中，较少梯度必须被计算。根据考虑的像素，定义根据方程式2的一组光流量方程式。优化器214被设计为最小化与该组光流量方程式相关的误差之和。根据本发明的运动估计单元的最佳实施例包括运行计数器，即累加 的值，以便根据方程式6计算更新运动矢量＝(u，v)111。
最终，这两个运动矢量(即，由数据块匹配器102计算的起始运动矢量110和由光流量分析器104计算的更新运动矢量111)由选择器106进行分析，以选择运动矢量126。为了实现此选择，数据块匹配误差计算器216例如根据绝对差之和计算针对两个运动矢量的匹配误差。然后，该选择器218根据这些匹配误差来选择运动矢量126。选择的运动矢量126是一个可能的用于其它数据块的运动矢量候选项。因此，选择的运动矢量126被提供给数据块匹配器102的生成装置202。
图1C示意地示出运动估计单元101的一个实施例，包括一个可靠性单元220，以检测更新的运动矢量111是否可靠。有时，这组光流量方程被错误地确定，例如因为在像素数据块中仅有单一边缘，使得全部梯度点都在一个方向。如果出现这种情况，方程式5中的分母与相比将变小。
作为更新运动矢量的一个可靠性度量，按照方程式8中的规定计算可靠性度量。如果一个具体的更新运动矢量的可靠性测量的值低于例如90或95的一个预定阈值，则假设该具体的更新运动矢量是不可靠的，并且通知选择器106该情况。
图2示意地示出一个图像处理设备200的组成部分，包括-接收装置201，用于接收表示将在执行某些处理之后显示的图像的一个信号。该信号可以是通过天线或电缆接收的广播信号，也可以是来自象VCR(视频盒式录像机)或数字视盘(DVD)的存储装置的信号。该信号被提供在输入连接器207上；-如结合图1A和图1B描述的一个运动估计单元100；-一个运动补偿图像处理单元203；和-一个显示处理图像的显示装置205。此显示装置是可选的。
运动补偿图像处理单元203需要图像和运动矢量作为其输入。
应该指出，上述实施例示意而非限制本发明，并且本领域的技术人员将能在不背离所附的权利要求书的范围的条件下设计另外的实施例。在权利要求书中，圆括号之间放置的任何参考符号都不应该认为是对该权利要求的限制。词语‘包括’不排除未在一个权利要求中列出的单元或步骤的出现。在一个部件前面的单词″一个″不排除多个这样的元件的存在。本发明能够利用包括若干不同部件的硬件并且利用适当编程的计算机来实现。在列举若干装置的单元权利要求中，这些装置之中的几个装置能够利用同一个硬件项来实现。注意，数据块匹配误差计算器216和206的功能是类似的。可选择地，这些计算器之一能够执行两个任务。对于选择器204和218也是这种情况。
权利要求
1.一种运动估计单元(100)，用于生成对应于一个图像(118)的像素数据块(116)的一个运动矢量(126)，包括数据块匹配器(102)，用于通过最小化一个预定代价函数来计算一个起始运动矢量(110)作为用于将像素数据块(116)与一个另外的图像(120)的另外的像素数据块(122)相匹配的一个匹配判据；光流量分析器(104)，用于根据该起始运动矢量(110)并且根据用于该像素数据块(116)的一个像素的光流量方程式来计算更新的运动矢量(111)；和选择器(106)，通过将该起始运动矢量(110)的匹配判据的第一值与该更新的运动矢量(111)的匹配判据的第二值进行比较，选择该起始运动矢量(110)或该更新的运动矢量(111)作为运动矢量(126)，其特征在于，该光流量分析器(104)被设计为最小化与对应于像素数据块(116)的各个像素的一组光流量方程式相关的误差之和。
2.如权利要求1中所述的运动估计单元(100)，其特征在于，如果满足对应于一个具体像素的一个具体光流量方程式，则一个具体误差等于零。
3.如权利要求1中所述的运动估计单元(100)，其特征在于，该光流量分析器(104)被设计为根据像素数据块(116)的像素的一部分计算更新的运动矢量(111)。
4.如权利要求1中所述的运动估计单元(100)，其特征在于，该光流量分析器(104)包括被设计为根据Prewitt梯度算子计算亮度梯度的梯度计算器(208-212)。
5.如权利要求1中所述的运动估计单元(100)，其特征在于，该光流量分析器(104)包括被设计为根据Sobel梯度算子计算亮度梯度的梯度计算器(208-212)。
6.如权利要求1中所述的运动估计单元(100)，其特征在于，该光流量分析器(104)包括被设计为根据Robert梯度算子计算亮度梯度的梯度计算器(208-212)。
7.如权利要求1中所述的运动估计单元(100)，其特征在于，该数据块匹配器(102)是递归的。
8.如权利要求1中所述的运动估计单元(100)，其特征在于，该光流量分析器(104)包括可靠性单元(214)，以检验该更新矢量(111)是否是可靠的。
9.生成对应于一个图像(118)的一个像素数据块(116)的运动矢量(126)的一种运动估计方法，包括以下步骤进行数据块匹配，以便通过最小化一个预定代价函数来计算一个起始运动矢量(110)作为用于将像素数据块(116)与一个另外的图像(120)的另外的像素数据块(122)相匹配的一个匹配判据；进行光流量分析，以便根据该起始运动矢量(110)并且根据一个光流量方程式，计算用于该像素数据块(116)的一个像素的更新的运动矢量(111)；和选择运动矢量，通过把该起始运动矢量(110)的匹配判据的第一值与更新运动矢量(111)的匹配判据的第二值进行比较，选择该起始运动矢量(110)或该更新运动矢量(111)作为运动矢量(126)，其特征在于，在光流量分析中最小化与对应于该像素数据块的各个像素的一组光流量方程式相关的误差之和。
10.一种图像处理设备(200)，包括接收装置(201)，用于接收表示将要显示的图像(118)的信号；运动估计单元(100)，用于生成对应于该图像(118)的像素数据块(116)的运动矢量(126)，包括数据块匹配器(102)，用于通过最小化一个预定代价函数来计算一个起始运动矢量(110)作为用于将像素数据块(116)与一个另外的图像(120)的另外的像素数据块(122)相匹配的一个匹配判据；光流量分析器(104)，用于根据该起始运动矢量(110)并且根据一个光流量方程式来计算用于该像素数据块(116)的一个像素的更新运动矢量(111)；和选择器(106)，通过把该起始运动矢量(110)的匹配判据的第一值与该更新运动矢量(111)的匹配判据的第二值进行比较来选择该起始运动矢量(110)或该更新运动矢量(111)作为运动矢量(126)；以及运动补偿图像处理单元(203)，其特征在于，该光流量分析器(104)被设计为最小化与对应于像素数据块(116)的各个像素的一组光流量方程式相关的误差之和。
11.如权利要求10中所述的图像处理装置(200)，其特征在于，该运动补偿图像处理单元(203)被设计为降低该图像(118)中的噪声。
12.如权利要求10中所述的图像处理装置(200)，其特征在于，该运动补偿图像处理单元(203)被设计为解交织该图像(118)。
13.如权利要求10中所述的图像处理装置(200)，其特征在于，该运动补偿图像处理单元(203)被设计为执行上变换。
全文摘要
运动估计单元(100)包括数据块匹配器(102)，用于通过最小化一个预定代价函数来计算一个起始运动矢量(110)作为一个匹配判据，以便把像素数据块(116)与一个另外的图像(120)的另外的像素数据块(122)相匹配。此运动估计单元(100)进一步包括光流量分析器(104)，用于根据该起始运动矢量(110)计算更新的运动矢量(111)，并且被设计为最小化与对应于像素数据块(116)的分别像素的一组光流量方程式相关的误差之和。最终，此运动估计单元(100)的选择器(106)通过比较该起始运动矢量(110)与该更新的运动矢量(111)来选择该运动矢量(126)。
文档编号G06T7/00GK1565118SQ02819833
公开日2005年1月12日 申请日期2002年9月27日 优先权日2001年10月8日
发明者G·A·伦特, A·佩拉戈蒂 申请人:皇家飞利浦电子股份有限公司