专利名称：运动估计的预处理方法和装置的制作方法
技术领域：
本发明涉及一种在处理电视图像序列中所利用的运动估计器的预处理方法。
运动估计在例如标准变频器、称之为“上变频器”的高频变频器、去交错器或编码器的系统中变得更加重要，同时这些算法正变得更有功效和更容易集成。
存在各种类型的运动估计器，例如块匹配类型，点对点或“递归-像素”类型。为了改进这些运动估计器的操作和提高它们的性能，传送给它们的图像一般要进行预处理。例如这可能是二次采样再加上滤波以便减小图像的尺寸，使得电路简化并增加处理速度，可能是低通滤波以去除一些高频从而有利于运动估计器的操作，可能是对于每一帧的行内插以便获得新的帧，这些帧的行是对应的(这事实上是去交错)等等。例如在法国专利第8812468号中描述的递归-像素类型的估计器要求图像的预处理以便令人满意地操作。同样在“块匹配”类型的估计器之前通常有图像的预处理。
运动估计器对于包含水平轮廓的交错的图像不能很好地操作在这些区域中存在频谱的混叠，并且表现不同行的连续帧在那里是不相关的。诸如那些递归-像素类型一类的运动估计器则在这些区域发散。
前面描述的预处理操作，例如空间滤波，在估计器的性能上带来了全面的改进，但还不能令人满意地解决可能在运动补偿的或估计的图像中特别明显的运动估计缺陷并且引起图像质量的退化。
本发明旨在减少前述缺点。
本发明的目的是提供一种预处理视频图像序列的方法，该序列包括一系列用于估计第一和第二帧之间的运动的交错帧，其特征在于在至少两个输入帧的基础上实行时间滤波以便产生为运动估计器所利用的两帧中的每一帧。
本发明的目的还在于提供一种用于实现该方法的装置，其特征在于它包括-一个用于存储四个连续交错帧的存储器，-用于变换这四个存储的交错帧为四个顺序帧的垂直滤波器(9,10,11,12)，-一个用于产生两个滤波的帧的时间滤波器(16,17)，第一帧在相应于前三个存储帧的顺序帧的基础上产生，而第二帧在相应于后三个存储帧的顺序帧的基础上产生，在这两个滤波的帧的基础上执行运动估计。
从以下借助实例并参照附图的描述将更好体现本发明的特征和优点，其中-
图1示出一个根据本发明的运动估计器的预处理装置；一图2示出一个轮廓检测电路；-图3示出在预处理链中的图像帧。
该方法执行三帧空间-时间滤波、交错帧的空间滤波以获得顺序帧，然后是三个连续的顺序帧的时间滤波。借助于图像的这种预处理，改进了运动估计器的性能，特别是在具有水平轮廓的区域，通常是临界的区域。
图1示出一个根据本发明的处理装置。
从视频源产生的图像序列的数字视频亮度信息，以连续的交错帧的形式预先存储在图像存储器中。这是一个四帧存储器，因为通常它不是该装置所特有的，所以没有在图中示出。与称为Yinn+1具有下标n+1的帧、前面的帧Yinn -2、Yinn-1、Yinn一起，这个存储器传送到如图1中表示的预处理装置的四个输入端。
四个连续的交错帧被同时逐行传送到四个输入端。这些输入端Yinn-2，Yinn-1，Yinn和Yinn+1中的每一个分别连接到数字滤波器1,2,3,4，即具有有限脉冲响应(FIR)的半波段水平数字滤波器。这些滤波器的输出端分别连接到用于水平频率的二次采样器(sampler-by-2)电路5,6,7,8的输入端。这些采样器的输出端分别连接到半波段垂直FIR滤波器9,10,11,12的输入端。二次采样器6的输出端还连接到一个轮廓检测器14的输入端以及二次采样器7的输出端还连接到一个轮廓检测器15的输入端。滤波器9,10,11,12的输出经过例如一个分配总线13传送到时间滤波器16和17的输入端。这样，在时间滤波器16的三个输入端上接收来自滤波器9,10,11的滤波的帧信号，在时间滤波器17的三个输入端上接收来自滤波器10,11,12的滤波的帧信号。滤波器10和滤波器12的第二输出端分别连接到轮廓检测器14和15的第二输入端。滤波器16的输出端连接到一个四分之一波段水平FIR滤波器18的输入端并且随后连接到四分之一波段垂直FIR滤波器19的输入端。滤波器17的输出端连接到四分之一波段水平FIR滤波器20的输入端并且随后连接到四分之一波段垂直FIR滤波器21的输入端。滤波器19和21的输出端是预处理装置的输出端。
因而借助于具有8个系数的水平一维FIR滤波器对到达该装置的四个输入端中每一个的数字视频亮度信号在它们的一半带宽上进行水平滤波。这些滤波器是抗空间混叠滤波器，因而放置在水平二次采样器的上端，而它们的系数在我们的例子中是-22/1024；43/1024；135/1024；442/1024；442/1024；135/1024；-43/1024；-22/1024；每个滤波器输出的信号随后被一个采样器二次采样，在这个信号上执行因数2的水平抽取。这种采样的目的是使图像的分辨率适应运动估计电路的当前处理容量。
在下面的讨论中，假设打算进行时间滤波并传输到运动估计器的顺序帧与输入到该设备的奇数帧一致。
在两个不同时刻描述操作的模式，如示意图中表示的，时刻t1相应于装置的四个输入中帧Yinn-2到Yinn+1的存在，后一时刻t2相应于帧Yinn-1到Yinn+2的存在。我们假设帧的下标n是奇数。
-时刻t1在滤波器1和滤波器3的输出端获得并且相应于奇数帧n-2和n的采样信号借助于一个半波段的具有3个系数的垂直一维FIR滤波器9、11在带宽的一半上被垂直地滤波。为这些滤波器选择的系数是0.25；0.50；0.25；这样，在这些半波段垂直滤波器的输出端获得的将被称为Yvn-2和Yvn的帧将它们的行定位在输入帧的行上，亮度值由当前行、前一行和再前一行的亮度的加权平均获得。该结果相应于前一行。这些是与奇数帧一致的帧。
在滤波器2和滤波器4的输出端获得并且相应于偶数帧n-1和n+1的采样信号借助于一个半波段的具有2个被选择等于0.50的系数的垂直一维FIR滤波器10,12在一半带宽上被垂直地滤波。
这里，所获得的帧、将被称为Yvn-1和Yvn+1将它们的行定位在输入帧n-1和n+1的行之间，因此这些行与从帧n-2和n获得的顺序帧对应。这是因为产生的行的像素的亮度值由下一行(当前行)和上一行(前面的行)的像素的亮度值的平均获得。因此，这些也是与奇数帧一致的帧。
-时刻t2到达滤波器9和11的信号从偶数帧n-1和n+1产生。现在所使用的滤波是具有两个被选择等于0.50的系数的半波段垂直一维滤波。因此所获得的帧Yvn-1和Yvn+1令它们的行与奇数帧一致。
到达滤波器10和12的信号从奇数帧n和n+2产生。现在由这些滤波器所使用的滤波是具有三个被选择等于0.25,0.50,0.25的系数的半波段垂直一维滤波。因此所获得的帧Yvn和Yvn+2令它们的行与奇数帧一致。
因此，来自垂直半波段滤波器9,10,11,12的帧Yvn-2,Yvn-1,Yvn和Yvn+1在时刻t1输出而帧Yvn-1,Yvn,Yvn+1和Yvn+2在时刻t2输出，它们交替地根据接收帧的奇偶性执行两系数滤波和三系数滤波。这些帧都与奇数帧一致(同样可能产生与偶数奇偶性的帧的一致)。这些顺序帧为时间滤波器所利用。
时间滤波器还接收来自轮廓检测电路14和15的信息。
在时刻t1，电路14同时接收一个从采样器6产生的偶数帧n-1的行和存储在滤波器10中并且从这个滤波器产生的这帧n-1的前一行。电路15接收来自奇数帧n的行和由滤波器11存储的这帧的前一行。在时刻t2，这些帧的奇偶性乃至这些行的奇偶性被颠倒。由电路14和15传送到时间滤波器的二进制轮廓信息的获得将在后面解释。
下面的描述只涉及时刻t1，操作的方式与时刻t2相同，由下游的电路所处理的图像是顺序的作用在三个帧Yvn-1,Yvn,Yvn+1上的第一时间滤波由时间滤波器17完成。来自当前行的当前像素的计算考虑到对应于当前像素的位置(同一行，同一列)的帧Yvn-1,Yvn,Yvn+1的每个像素的亮度，使用滤波器系数分别加权这些值，选择这些滤波器系数等于13/64；38/64；13/64这些值可以被参数化并且作为例子给出。它们可以被选择等于1/3,1/3,1/3。
因此在时间上该输出以三个一组中的中心元素为中心。
这个时间滤波器17仅仅在图像的高垂直频率上被启动。为了达到这一点，传送水平二次采样的中心帧Yinn到后面描述的水平轮廓检测器15，一次两行、当前行和前一行，该检测器的作用是确定相应于这些高垂直频率的区域。
相应于所检测区域的滤波信号、或者相应于非相关区域的帧Yvn的由时间滤波器17输出的信号Ytn随后连续地传送到两个四分之一波段滤波器20、21，一个具有五个系数的第一四分之一波段水平滤波器和随后的一个具有五个系数的第二四分之一波段垂直滤波器。这些滤波器的作用是再现稍微模糊的图像以便于运动估计。校正目标轮廓上的梯度以允许利用一种梯度算法的运动估计器收敛。由这些滤波电路输出的信号是预处理装置的输出信号Yen,该信号被传送到运动估计器的第一输入端，运动估计器没有在图中示出。
同时执行作用在三个帧Yvn-2,Yvn-1,Yvn上的第二时间滤波。如前面所指出的，它考虑到相应于当前像素和使用滤波器系数分别加权这些值的帧Yvn-2,Yvn-1,Yvn的三个一组像素的亮度，选择这些滤波器系数为13/64；38/64；13/64这个时间滤波器16仅仅在图像的高垂直频率上被启动。为了达到这一点，传送水平二次采样的帧Yinn-1到后面描述的水平轮廓检测器14，一次两行、当前行和前一行，该检测器的作用是确定相应于这些高垂直频率的区域。
相应于所检测区域的滤波信号、或者相应于非相关区域的帧Yvn-1的由时间滤波器16输出的信号随后连续地传送到两个四分之一波段滤波器18、19，一个具有五个系数的第一四分之一波段水平滤波器然后是一个具有五个系数的第二四分之一波段垂直滤波器。这些滤波器的作用是再现稍微模糊的图像以便于运动估计。由这些滤波电路输出的信号是预处理装置的输出信号Yen-1，该信号被传送到运动估计器的第二输入端，运动估计器在图中未示出。
轮廓检测电路14和15的功能是检测图像中的水平轮廓。在图2中示出了运样一个电路的示意图。
前面提到的边缘检测电路的两个输入是垂直梯度检测电路22的两个输入。这个电路22连接到一个侵蚀(erosion)电路23和随后的扩展(dilation)电路24，电路24的输出被传送到时间滤波器。
对于图像的每个像素，垂直梯度检测电路在五个水平像素乘以二个垂直像素尺寸的一个滑动窗口上执行梯度的测量。为了做到这一点，每个输入端在第一输入端上提供由采样器6或7输出的帧i+1的一行，而在第二个输入端上提供存储在滤波器10或11中的前一行i，运两行是偶数帧还是奇数帧取决于在一个给定时刻探查的轮廓检测器或者取决于相对于一给定轮廓检测器考虑的时刻。对于行i和列j的每个像素，计算行i的像素和下面的行i+1(或者如果要求保持交错帧的行编号则是i+2)像素之间在亮度差的和，对同一行上的当前像素和四个相邻像素执行该求和。这个集合与门限值Thr比较。
如果符合下列准则Σj=-2j=+2|Y(i,j)-Y(i+l,j)≥Thr]]>其中Y(i,j)表示在当前帧的行i和列j的像素的亮度值以及Thr为门限值，例如选择等于192，二进制值1被分配给相应于这个集合的当前像素。在相反的情况下，分配0值。
这样获得的水平轮廓信息的二进制图像借助数学形态学(morphology)进行处理。
传送到侵蚀电路23的二进制图像一般是相对有噪声的并且需要进行滤波。
在九个水平像素乘以一个垂直像素大小的一个滑动窗口的基础上实现在水平方向的侵蚀。门限值例如固定在值3。对于具有值1的每个当前像素(位于窗口的中间)，对具有值1的窗口中的像素进行计数，如果获得的数小于或等于该门限值，当前像素被设置为值0。这个处理是非递归的并且它是初始图像的像素的值而不是在计算下一个当前像素时考虑的为当前像素计算的新值。
随后以两个步骤完成扩展在九个水平像素乘以一个垂直像素大小的一个窗口的基础上执行在水平方向上的扩展。选择的门限值等于3。
然后在一个水平像素乘以两个垂直像素大小的滑动窗口的基础上执行在垂直方向的扩展。门限值固定在例如值1。
对于这些扩展中的每一个，当当前的像素具有值0时，在这个窗口中计数具有值1的像素数，如果这个数大于或等于门限值，则当前的像素被设置为值1。
用于垂直扩展的窗口是不规则(casual)的，也就是说它包括当前的像素和上面的像素。因此该方法不涉及任何附加的处理延迟。
相应于被标记或不被标记、也就是说在时间滤波中被涉及或不被涉及的像素的一个二进制形式的信息项，对于每个当前行可以在轮廓检测电路的输出端得到。这个信息项传送到时间滤波器。
用于这种轮廓检测的帧对于检测器15是帧Yinn以及对于检测器14是帧Yinn-1。
图3a-3c表示了在预处理方法的各个步骤中各个帧n-2到n+1的行的像素。
沿着横坐标表示时间，该轴是朝向左边的并且依据帧n-2到n+1标度的，一帧的行沿着纵轴标定。
图3a涉及顺序帧(也称为图像)的获得，Yv来自输入帧Yin。
L是一个奇数行，对于帧n-2和n，行l-2、l和l+2的像素被用于构造帧Yvn-2和Yvn的行l的像素。对于奇数帧n-1和n+1，行l-1和l+1的像素使得可能得到帧Yvn-1和Yvn+1的行l的像素。
图3b涉及时间滤波。处理帧Yvn-2、Yvn-1和Yvn的行l的像素以产生滤波帧Ytn-1的行l的像素。处理帧Yvn-1、Yvn和Yvn+1的行l的像素以产生滤波帧Ytn的行l的像素。
图3c表示从时间滤波器(滤波器18和20)输出的帧Yt获得输出帧(像素)Yc的过程。
帧Ytn-1的行l,l+2,l+4,l+6和l+8的像素被滤波以在装置的输出端产生帧Yen1的行l+4中的像素。
帧Ytn的行l,l+2,l+4,l+6和l+8的像素被滤波以在装置的输出端产生帧Yen的行l+4中的像素。
在我们的例子中运动估计器接收相应于以奇数行排列的帧的顺序帧Yen-1和Yen，其将与所述奇数行比较以计算运动矢量。
让我们返回到图1来解释相对于一些帧的一些行所执行的处理。例如以行100和101为例，这些行在装置的输入端的同一时刻接收，行100相应于偶数帧Yn1和Yn+1而行101相应于奇数帧Yn-2和Yn。这些行在水平滤波和采样后被传送到半波段垂直滤波器。
滤波器9和11在接收到滤波并采样的行101之后提供一滤波的行99，该滤波行99为了这种滤波如前面所说明的利用行97、99和101。同时，滤波器10和12在接收到滤波和采样的行100之后输出一行99，该行99在行98和100的基础上计算。
以这种方式在滤波器的输出端获得四个顺序帧的奇数行。它们中的三个(n-2,n-1,n)的行99被传送到执行这个滤波以便提供这一滤波的行99的第一时间滤波器。第二时间滤波器同时使用可以在同一时刻得到的下三个顺序帧(n-1,n,n+1)的行99，以便提供这个滤波的行99。
四分之一波段垂直滤波器利用先前滤波的行91、93、95、97和滤波的行99以输出中间行95，该行95也是在四分之一波段水平滤波之后，由预处理装置输出的。
图像的所谓“水平”轮廓很少是完全水平的，帧的这些行表现为如阶梯形。这些处理操作的目的是在顺序帧中对包含在交错帧中的信息提供最佳可能重构，特别是当计算的顺序帧相对于相应的输入帧，关于行发生偏移时(在我们的例子中当从偶数帧计算顺序帧时)。运动估计将具有较好的质量，这样在运动估计器中涉及的两个顺序帧之间的相关性是较强的。因此形态学算子也具有图像重构功能。
时间滤波还将产生回波，相对于该回波自然完成运动估计，因此改进了这种估计，因为所有传送到估计器的图像经受同样的处理并且回波的梯度如同原始图像的梯度具有相同的速度。
当复杂的目标相交时，时间滤波算法是不太有功效的，运就是为什么时间滤波被保留用于具有水平轮廓的区域。由于这种滤波，因此在例如出现或消失区域或者在相交目标的情况下，限制了损坏包含在图像中信息的危险性。
当然可以在整个图像上实行时间滤波，随后进行滤波区域的选择。这种选择是任意的。
当然分为两个时间滤波器和两个轮廓检测器是任意的并且同样可能使用一个公用的滤波电路和/或一个公用的轮廓检测电路，这些公用的电路适于处理图1描述的每个电路上接收的信息。
另外，用于存储图像序列的连续帧并同时逐行分配它们到滤波器的图像存储器也可以被认为是预处理装置的一个集成部分。
权利要求
1．一种预处理视频图像序列的方法，该视频图像序列包括一系列用于估计第一与第二帧之间运动的交错帧，其特征在于在至少两个输入帧的基础上实现时间滤波(16,17)以便提供由运动估计器所利用的两帧中的每一帧。
2．如权利要求1所述的方法，其特征在于在由垂直滤波(9,10,11,12)得到的顺序帧上完成时间滤波(16,17)。
3．如权利要求2所述的方法，其特征在于在偶数输入帧上完成第一垂直滤波(10,12)并且在奇数输入帧上完成第二垂直滤波(9,11)以便获得都与具有预定奇偶性的输入帧一致的顺序帧。
4．如权利要求3所述的方法，其特征在于在垂直滤波之前，在输入帧上执行半波段水平滤波(1,2,3,4)，随后是在这样滤波的图像上的水平抽取(5,6,7,8)。
5．如权利要求1所述的方法，其特征在于它存储了四个连续帧并且在前三个存储帧的基础上实现第一时间滤波(16)以便提供第一帧到运动估计器以及在后三个存储帧的基础上实现第二时间滤波(17)以便提供第二帧到运动估计器。
6．如权利要求5所述的方法，其特征在于逐行实现对帧的时间滤波(16,17)。
7．如前述权利要求之一所述的方法，其特征在于接着由一个四分之一波段滤波器(18,20)对时间滤波的帧进行水平滤波。
8．如前述权利要求之一所述的方法，其特征在于接着由一个四分之一波段滤波器(19,21)对时间滤波的帧进行水平滤波。
9．如前述权利要求之一所述的方法，其特征在于在输入帧上实行水平轮廓的检测(14,15)以及仅仅在包含这种轮廓的那些区域上实行时间滤波。
10．如权利要求9所述的方法，其特征在于在梯度算子的基础上实行轮廓的检测，接着是侵蚀与扩展型的形态学操作。
11．一种用于实现按照权利要求1的方法的运动估计器的预处理装置，其特征在于它包括-一个用于存储四个连续的交错帧的存储器，-用于变换这四个存储的交错帧为四个顺序帧的垂直滤波器(9,10,11,12)，-一个用于提供两个滤波帧的时间滤波器(16,17)，第一帧是在相应于前三个存储帧的顺序帧的基础上提供的，而第二帧是在相应于后三个存储帧的顺序帧的基础上提供的，在这两个滤波帧的基础上执行运动估计。
12．如权利要求11所述的装置，其特征在于它包括串联的一个四分之一波段垂直滤波器(18,20)和一个四分之一波段水平滤波器(19,21)，用于滤波由时间滤波器(16,17)输出的帧。
全文摘要
本发明涉及一种预处理视频图像序列的方法,该视频图像序列包括一系列用于估计第一与第二帧之间的运动的交错帧,其特征在于在至少两个输入帧的基础上实现时间滤波(16,17)以便提供运动估计器所利用的两帧中的每一帧。本发明应用涉及在视频图像压缩或电视标准转换领域中的运动估计器。
文档编号H04N11/04GK1208312SQ98116850
公开日1999年2月17日 申请日期1998年8月4日 优先权日1997年8月4日
发明者让－伊薇斯·巴邦尼奥, 杰勒德·布赖恩德, 扬妮克·奥利维尔, 菲利普·罗伯特 申请人:汤姆森多媒体公司