专利名称：测定帧图像间主运动的方法
技术领域：
本发明涉及一种测定视频序列两个相续帧图像间主运动的方法。该方法对所有类型的景物或摄像机运动图形均有效。
帧图像间主运动的测定是测定或分割两个相续帧图像间的视在运动的一个重要步骤。在测定一个密集的运动区域过程中，通过在帧图像的大部分范围内提供一种接近实际视在运动的初始运动来大大提高测定速度。特别是在主运动不恒定的情况下，它就不是一种单纯的平移视在运动，而是更复杂的运动，诸如摄像机的变焦和围绕光轴的旋转运动。在一个运动分割过程中，由于它可以被施加于整个帧图像以及帧图像的局部，所以它代表了识别局部运动的一个基本步骤。
通常，用于测定两个相续帧图像间主运动的主要方法是一种基于稳定回归的方法，以下称为“稳定回归整体运动测定”。该算法具有以下主要特点·它利用具有很少几个参数的整体运动模型来表示主运动。在多数情况中，选择一种能很好兼顾视在运动的实际情况和计算复杂性的仿射运动模型。它可以良好近似地描述由摄像机运动(如摄像机移动、摇镜头、俯仰、变焦距以及这些运动的任意组合运动)产生的视在运动。
·利用一种稳定回归算法实现对该模型的参数的测定，它理论上允许从测定过程中除去非本体像素，即运动不同于主运动的像素。
·该测定方法可以在未作预先密集运动帧测定时使用。用于整体运动测定方法的数据指原始帧图像。该方法是以通过熟知的“光通量约束”测定每个像素点的时间-空间亮度函数梯度为基础的。
·为了处理大运动幅度，该方法可以在一个多分辨率的方案中实现。
许多情况下，这种算法能获得满意的结果并能识别主运动。
然而，该方法强烈地依赖于整体运动的初始值。通常，将该整体运动的初始值设定为零。
此外，存在测定方法不能测定而提供错误整体运动的许多图形结构。如果原始帧图像的纹理差并含有大量的均匀区域，即使实际主运动幅度很大，该过程通常也向小幅运动收敛。当由摄像机跟踪的一个大前景物移到后景时，这种现象尤其明显。
这个问题可容易地解释为如前所述，这种“运动”的观测基于时间-空间梯度；在均匀的或纹理差的区域，这些观测显然具有很少的信息。如果这种区域占居了帧图像的大部分，那么该算法就不能收敛成一个正确的运动值，并且认为某种小运动会很好地适于这种运动观测。
本发明的一个目的是解决上述确定的主要限制。
本发明涉及一种测定两个帧图像间主运动的方法。它组合了相位相关峰测定算法和多分辨率稳定回归算法以改善测定的稳定性。
以下将利用实例解释本发明，说明其某些特征并对
图1和图2进行说明。
图1是主运动测定算法的流程图；图2是用于测定平移运动的不同视窗配置的视图。
本发明实现了一种适于多数景图形和摄像机摄取的图形的类属整体运动测定方法。该算法组合了两种整体运动测定方法，即相位相关峰测定法和多分辨率稳定回归法。
相位相关峰测定算法是用于测定经过两帧图像间的一个视窗的整体平移运动的一种快速有效的工具。在此后描述的方法中，它被用于向多分辨率稳定回归算法提供可能的初始值。对于每个初始值，该算法计算出一个整体运动测定值。最后一步包括选择最佳测定值。
图1是根据本发明的类属整体运动测定方法的流程图。
设定时间常数t以及两个原始帧图像It和It-1，本方法的各步骤(在图1中由数字1到5确定)说明如下第1步利用相关峰测定算法，在帧图像中测定经过几个不同视窗的平移运动。图2示出了在一个使用了5个视窗的实例中视窗的定位。例如，根据整体运动所适合的像素区域，也可以使用移动的视窗。
第2步平移运动按相同类分组。P平移运动矢量由步骤1测定的N平移运动矢量定义(P≤N)。
第3步利用不同的可选初始值，测定帧图像的整体运动执行多分辨率的稳定回归算法。由每个余下的平移运动向量产生的运动与在先前时间(从帧图像It-2到帧图像It-1)测定的先前最终整体运动相加，在第一次测定时，该整体运动设定为零。
第4步整体运动最佳测定方法的选择。
该最终主运动向量在第5步被存储为先前主运动向量，以便在第2步和第3步处理下一个原始帧图像时使用。
此后给出整体运动测定方法的详细描述。
视频序列中二维视在运动的仿射模型是计算复杂性(只有6个参数需要确定)和实际情况(是二维视在运动的正确反映)之间的最佳折衷方法之一。
如下就是这里所使用的运动模型。利用6个运动参数θ＝(a、b、α、β、γ、δ)T，按下列等式设计帧图像内一点(x，y)处的一个二维运动向量
在第一步完成了相位相关峰测定算法。相位相关的计算包括下列相续的相位·取两个尺寸(n，m)相同的像素视窗f1和f2。
·将二维快速傅立叶变换(FFT)施于每个视窗的亮度分量，获得两个复合(n，m)单元阵列F1和F2。
·相位差矩阵是通过构成互功率谱F1.F2并且除以其模量而得到。
·为了修正相位相关峰结果，可将n.m维的加权函数用于相位差。
此过程的目标是减少对相关表面产生干扰的噪音的影响。·相位差矩阵的逆傅立叶变换给出了具有峰值对应于候选平移的相关面。最后，搜寻主向量的运算包括在识别主平移的相关面寻找最大峰。第二步执行平移运动向量组运算。对于每个由用于一帧图像内不同视窗的相关峰测定算法所提供的测定平移运动向量
，第一个测试完成·如果先前测定的主运动θ(先前帧图像)是平移运动，即如果α＝β＝γ＝δ＝0，且·如果主运动和
之间的欧几里德距离低于一个给定的阀值，则
就从平移向量表中删除。
同样地，使用欧几里德距离将余下的平移向量一起进行比较。利用相同的测试将具有同样阀值的多余向量删除。(两个具有X1、Y1和X2、Y2分量的向量间的欧几里得距离等于√(x1-x2)2+(y1-y2)2)接着第三步完成多分辨率稳定回归算法。
为了避免使用对大量运动或严重非平移运动无效的高代价的密集运动帧测定，整体运动测定方法基于帧图像亮度的时间-空间梯度，它通过熟知的“光通量约束方程”与二维视在运动联系起来。
dx.ΔIx+dy.ΔIy+ΔIt＝0 等式2其中dx和dy是运动向量的两个分量，ΔIx、ΔIy以及ΔIt是亮度的时间-空间梯度，即对亮度导数的测定。
当dx和dy根据整体运动模型由数值代替时，得出下面的等式(α-α.x-γ.y).ΔIx+(b-β.x-δ.y).ΔIy+ΔIt＝0 等式3为了对整个帧图像测定整体运动矢量θ＝(a，b，α，β，γ，δ)T，经典回归算法通过θ的6个参数使下式最小Σx,y((a-α.x-γ.y).ΔIx(x,y)+(b-β.x-δ.y).ΔIy(x,y)+ΔIt(x,y))2]]>
然而，如果在该帧图像中有几个整体运动，则该过程将受到干扰并得出错误的测定。这就是使用稳定回归算法的原因。理论上它允许消除非本体像素(即与主运动不同的像素)。该算法包括使下式最小Σx,ywc(x,y)(a-α.x-γ.y).ΔIx(x,y)+(b-β.x-δ.y).ΔIy(x,y)+ΔI(x+y))2]]>其中wc(x，y)是一个使像素适于当前整体运动测定的加权函数。
有几种函数可供wc选择(如Lorentzian，Geman-Mc Lure，等函数)。在任何情况下，重要的是该函数依赖于与损害观测结果的噪音方差相关的比例因数，并且准确测定该比例因数可以使该算法效果良好。
测定过程是以迭代方式进行的。每次迭代k时，先前测定
都被用作该测定过程的初始值。以同样的方法，比例因数
被迭代测定。
最初，
设定为5×R0，其中R0是一个定值。在我们所有的实验中，R0平均为50。然后，在每次迭代时，按如下方式计算
设
为通过帧图像测定的平均加权运动补偿误差
比例因数被计算为
为了能够测定大量运动，该方法被应用于多分辨率的形式，即，首先对两个帧图像构造多分辨率锥形，然后通过将在较粗糙的分辨率级的测定作为一个给定分辨率级的运动参数的初始测定，测定过程应用于从最粗糙的分辨率级到最精细的分辨率级。
初始整体运动参数向量设定为·零矢量，如果对于刚开始进行视频摄影的过程，
·先前值(即由先前分辨率计算的向量)，如果刚开始测定当前帧图像，通过选定较高的分辨率级改变尺度。然后，进行迭代过程。
设K为当前迭代数。由运动参数向量
的当前测定值，完成了先前帧图像的运动补偿，并且计算出时间-空间梯度图。继续进行的该过程包括，逐渐修正θ的第一估算值直到此修正变得很小。每次迭代时的稳定回归算法提供一个修正运动参数向量
整体运动参数向量随即更新为θk^=θ^k-1+dθk^]]>此过程被迭代直至所测定的整体运动参数的校准幅值变得低于一个给定的阀值为止。所得的运动参数向量
被视为主运动参数向量的稳定测定。
接着是第四步，允许选择最佳整体运动向量。
在稳定回归过程中，主运动支持(即帧图像与主运动符合的部分)的最终偏离值按如下方法计算。
首先，本体像素(与主运动符合的像素)由下列测试确定如果
，则该像素就是一个本体像素，其中P指测定过程的最终迭代数。
这样，终极偏离值按本体像素集的ΔIt(x，y)2的平均值来计算。
提供最小终极偏离值的向量就是最佳的整体运动向量。
权利要求
1.测定两个帧图像间主运动的方法，其特征在于，组合了一种相位相关峰值测定算法(1)和一种多分辨率稳定回归算法(3)从而提高了测定的稳定性。
2.根据权利要求1所述的方法，其特征在于，相位相关峰值测定算法(1)是在几个不同的视窗完成，以提供平移运动向量作为多分辨率的稳定回归算法的初始值。
3.根据权利要求2所述的方法，其特征在于，相位相关峰值测定算法在至少一个移动视窗中测定平移运动。
4.根据权利要求2所述的方法，其特征在于，根据它们的欧几里德距离获得一个运动向量组(2)。
5.根据权利要求4所述的方法，其特征在于，执行为先前帧图像计算的主运动与平移运动向量的比较。
6.根据权利要求1所述的方法，其特征在于，该稳定回归算法(3)求得了有利于像素适合当前整体运动测定的加权函数。
7.根据权利要求6所述的方法，其特征在于，加权函数依赖于在每次迭代中计算的、并与噪音的偏离值有关的比例因数。
8.根据权利要求1所述的方法，其特征在于，选择最佳测定运动(4)就是给定最小终极偏离值。
9.根据权利要求8所述的方法，其特征在于，该偏离值只在主运动支持的区域计算。
10.根据权利要求1所述的方法，其特征在于，该测定是一个多分辨率运动测定。
全文摘要
为了改善测定的稳定性,用于测定两个帧图像间主运动的方法,该方法结合了一种相位相关峰测定算法(1)和一种多分辨率的稳定回归算法(3)。
文档编号G06T7/20GK1272747SQ0010614
公开日2000年11月8日 申请日期2000年4月26日 优先权日1999年5月3日
发明者克里斯托夫·舍旺斯, 爱德华·弗朗索瓦, 多米尼克·托罗, 蒂埃里·维耶拉尔 申请人:汤姆森多媒体公司