专利名称：：视频运动检测的制作方法视频运动检测本发明涉及视频运动检测。一见频运动检测被使用在视频压缩或其他处理系统中。在压缩系统中，通过检测图像间运动允许参照另一图像的类似部分对某一图像的一部分进行编码。在诸如标准变换、清晰度变换(例如标准清晰度到高清晰度变换或者反之亦然)或者隔行到逐行扫描变换之类的其他应用中，从一个或多个其他在时间上相近的图像导出或者内插新生成的图像的一部分。在这种设置中，运动检测允许在所述内插处理中使用附近的图像的适当区域。常常在逐图像区域的基础上按照运动"矢量，，来表示图像运动。通常来说，关于图像块来检测运动矢量，并且把运动矢量分配给整个块或者这种块内的像素或像素组。在压缩系统中，不正确的运动矢量将意味着更加难以对图像区域进行编码一也就是说，将需要更多的数据来对该图像区域进行编码，这是因为其与所述运动矢量所参照的另一图像的所述部分的相似度相对较低。然而，在基于从一个或多个附近图像生成或内插新图像的其他系统中，情况甚至更差。不正确的运动矢量将意味着把附近图像的错误部分用作了内插的基础。这可能会导致在输出(新)图像中生成高度可见的伪像。因此，一直以来都需要在视频运动检测设置中获得高质量和准确的运动信息。本发明提供视频运动检测设备，其中关于输入视频信号的图像生成输出视频信号的连续输出图像，该设备包括用于应用运动测试以便检测所述输入视频信号的两个或更多图像之间的图像间运动的装置，所述运动测试提供包括一个或多个运动矢量的运动矢量组以用于生成对应的输出图像，其中生成两个这种运动矢量组；用于利用对应的运动矢量组生成测试输出图像的装置；以及用于把由所述一组或全部两组中的运动矢量所指向的测试输出图像中的图像区域进行比较的装置，其中对于在所迷图像区域之间具有小于预定相似度的运动矢量，所述图像区域被分成两个或更多更小的图像区域，并且关于所述两个或更多更小区域当中的每一个再次应用所述比较；以及用于在所述测试输出图像中的相应图像区域在所测试的图像区域尺寸下具有小于预定相似度的情况下，禁止使用与之相对应的运动矢量的装置。本发明提供置信度测试，其中如果运动矢量不表示两个时间上邻近的测试输出图像之间的良好匹配则禁止使用所述运动矢量。在所附权利要求书中限定了本发明的其他相应方面和特征。现在将仅以实例的方式参照附图来描述本发明的实施例，其中图l示意性地示出了平板屏幕(flatscreen)显示器布置；图2示意性地示出了演播室(studio)环境中的视频混合操作；图3示意性地示出了隔行到逐行扫描变换器；图4a和4b示意性地示出了"普通的"和广义的采样理论(GST);图5示意性地示出了利用子像素(sub-pixel)位置校正的变换处理的一部分；图6示意性地示出了子像素误差；图7a示意性地示出了水平子像素校正；图7b示意性地示出了垂直子像素校正；图8a到8c示意性地示出了多相内插；图9示意性地示出了转接器；图IO示出了示例图像；图11示意性地示出了利用GxSobel算子的边缘检测；图12示意性地示出了利用GySobel算子的边缘检测；图13示意性地示出了块匹配尺寸图；图14示意性地示出了块匹配矢量接受结果；图15示意性地示出了运动矢量验证；图16示意性地示出了垂直半带滤波；图17a到17c示意性地示出了GST滤波器设计的各方面；以及图18a到18e示意性地示出了应对移动图像对象的各方面。图1示意性地示出了平板屏幕显示器布置10,其包括隔行视频素材源20、隔行到逐行扫描变换器30以及显示面板40，所迷显示面板比如是液晶(LCD)或等离子显示器。该图示出了隔行到逐行扫描变换的典型使用，这是由于许多广播信号是隔行格式，而许多平板显示器则在逐行扫描格式下最为成功地操作。因而，在图1中，由所述隔行素材源20接收的广播信号被用来生成隔行信号以供显示。所述隔行信号被传递到所述隔行到逐行扫描变换器30,以便从该隔行信号生成逐行扫描信号。正是该逐扦扫描信号被传递到显示器40。应当认识到，所述隔行素材源20不必是广播接收机，而可以是诸如DVD播放器之类的视频回放设备、诸如互联网连接之类的网络连接等等。图2示意性地示出了演播室环境中的视频混合操作，以便给出使用隔行到逐行扫描变换的另一个例子。在这里提供了隔行素材源50和逐行扫描素材源60。这些源可以是摄影机、诸如磁带录像机或硬盘记录器之类的视频回放设备、广播接收机等等。来自所述隔行素材源50的隔行输出被提供到隔行到逐行扫描变换器70，以便生成逐行扫描信号。可以由视频混合器80将该逐行扫描信号与来自源60的逐行扫描素材一起处理，以便生成经过处理的逐行扫描输出。当然，如果需要的话可以把该视频混合器80的逐行扫描输出变换回到隔行格式，例如以便用于后续的广播或记录。还应当认识到，该视频混合器80仅仅是视频处理设备的一个例子；在图2中的该位置处例如可以替换地使用数字视频效果单元。图3示意性地示出了隔行到逐行扫描变换器，其接收基于场的输入信号并且生成基于逐行扫描帧的输出信号。在本实施例中，该输出信号对于所述输入信号的每个场具有一帧。图3的变换器包括一个或更多场存储装置器100、运动估计器110、运动补偿器120、水平和垂直位置校正器130、隐藏发生器140以及输出选择器150。为了描述清楚起见，所述运动补偿器120和位置校正器130被显示为分开的项；但是在实际情况中，有可能作为相同操作的一部分来实施这两个功能。输入场被存储在(多个)场存储装置100中，并且还被传递到运动估计器110。利用将在下面描述的基于块的运动估计技术并且参照所述(多个)场存储装置100，所述运动估计器110导出表示当前场与另一场(例如前一场)之间的图像运动的运动矢量。所述运动矢量被导出达到子像素精度，所述运动补偿器120被用来生成"缺失的"像素，以便增强当前场的像素，从而生成输出帧。因此，当前场的像素被保留，并且利用运动补偿通过来自所存储的(多个)场的像素来填充这些像素之间的空线。运动补偿器120的操作将在下文中更加详细地描述。釆用所述水平和垂直位置校正器的原因在于，所述运动补偿器的输出虽然对于最近像素是正确的，但是通常并未与输出帧中的采样点(像素位置)精确对准。这是因为运动估计执行到子像素分辨率。利用多相滤波来校正水平位置误差。利用采用了所谓的广义采样定理的特殊情况的滤波器来校正垂直位置误差。将在下文中更加详细地描述这些操作。所述隐藏发生器140被设置成在所述依赖于运动的补偿布置无法提供像素值的情况下提供像素值。在无法完成导出关于每个像素的正确运动矢量所需的处理的情况下，可能需要所述隐藏发生器，这例如是由于所述图像的性质使得导出运动矢量不精确或者对处理器要求太高。在实际情况中，所述隐藏处理器被包括在所述运动补偿器/位置校正器的功能内，但是在图3中被显示为单独的单元。类似地，所述选择器150是所述运动补偿器/位置校正器/隐藏发生器的功能的一部分，但是纟支单独地显示出来以说明其操作。当不能生成经过运动补偿的像素时，该选择器150(在逐块的基础上)选择隐藏像素。图4a和4b提供了所述广义采样理论(GST)的概要。特别地，图4a示意性地示出了"正常"采样理论，而图4b则示意性地示出了所述GST。在图4a中示出了类似的情况，其中可以通过以fs的速率进行采样(也就是说，釆样点每1/fs规则地出现)而完美地重建具有fs/2的最大频率的信号。这种分析对于基于时间的系统或者基于空间的系统同样有效，也就是说，可以按照每秒的样本数或者每空间单位的样本数来表示采样率fs。图4b示意性地示出了所述GST的一个实例。根据GST,实际上没有必要以一个固定的采样周期(1/fs)进行采样。相反，如果以每2/fs的周期两个采样点进行釆样，就可以完美地重建具有fs/2的最大频率的信号。图5示意性地示出了由图3的设备实施的变换处理的一部分，以便说明对于基于GST的位置校正的需求。场0、l和2在时间上均等地间隔开。其意图是利用来自场1的现有像素以及经过运动补偿的像素(以便填充缺失的线)来产生逐行扫描帧，即帧1，其中所述经过运动补偿的像素在本例中是通过利用基于块的运动估计的运动补偿技术从场O和2中导出的。在场1的像素线之间插入缺失的像素，以便产生帧1。但是帧1中经过运动补偿的像素具有子像素位置误差。应当注意到，在其他实施例中，所述缺失的像素仅仅是从一个场导出的。如上所述，通过两种技术来校正所述子像素位置误差。利用多相滤波来校正水平子像素误差。利用GST滤波来校正垂直误差。图6示意性地示出了所述子像素误差。白圆團170表示填充场1的缺失线以产生帧1的经过运动补偿的像素的所需位置。灰像素180表示来自场1的真实像素的位置。黑像素190表示本例中经过运动补偿的像素的位置。可以看出，经过运动补偿的像素190接近所需位置170，但是却并未与其精确地对准。图7a示意性地示出了使用多相滤波器来校正水平位置。下面将更加详细地描述多相滤波的技术，但是一般来说，滤波器200接收一组经过运动补偿的像素值来作为输入。该滤波器包括P组滤波器抽头h，其中每一组被布置成相对于所述输入运动补偿像素以不同相位(在像素的情况下就是水平位置)生成输出值。在图7a中把所述相位示意性地表示(210)成从O(在本例中，相位O与左侧真实像素对准)到P-1(在本例中，相位P-1与右侧真实像素对准)。换句话说，所述水平位置误差被量化到1/P像素间隔的子像素精度。示意性转接器220选择正确的抽头組，以生成与真实像素170水平对准的新像素值190'。图7b示意性地示出了使用所述GST来校正垂直位置。这里，像素190，被显示为其水平位置已经如上所述被校正。在垂直方向上，在两条(帧)线的每个空间周期内提供两个像素来自场1的真实像素180和经过水平较正的像素190，。在两线空间周期内存在两个有效采样点意味着可以通过垂直滤波处理来恢复每个相应像素170的"原始，，值。一组正确地垂直对准的像素230只有很少的混叠或者没有混叠。与此相反，一组不正确地垂直对准的像素240遭受垂直混叠。适当的GST滤波器的等式如下<formula>formulaseeoriginaldocumentpage9</formula><formula>formulaseeoriginaldocumentpage9</formula>其中，2个子采样的数据序列形成样本组nN+np(p-0…(N-l))，其中N是每奈奎斯特周期的离散等间隔样本的最大数目，n是样本号。因此；总而言之，所述GST可以被用来从两个或更多隔行扫描场重建准完美的逐行帧。所述处理涉及到在逐行扫描帧中拷贝来自一个场的像素并且在位置上恢复剩余的像素(从另一个场获得)。随后，水平相位校正和垂直GST重建产生了完成准完美的逐行扫描帧的像素值。然而，为了从第二场恢复像素的位置和相位，必须知道精确到空间采样分辨率的某一分数的运动矢量。因此，现在在下面描述运动估计器IIO的操作。一般来说，运动估计旨在利用图像与其空间移位版本之间的误差的某种局部最小化来检测真实矢量的量值(magnitude)和方向。然而，如果图像数据被子采样(如在隔行源的场的情况下)，则在具有不同位移的各版本之间可能只有4艮小相关性或者甚至没有相关性，从而抑制了通过这种方式的运动检测。已经知道几种运动估计方法。这些方法包括1.梯度方法在其最简单的形式下，该技术假设在局部区域上的恒定亮度梯度，以便利用线性(直线)关系把像素或小块平均亮度的改变转换成运动。2.基于块的方法该方法通常涉及到视频序列中的两个或更多连续帧之间的块匹配，以便建立正确的位移。所使用的匹配标准是最小像素差度量，通常是相应块之间的MSE(均方误差)。3.傅里叶变换方法该技术通常与基于块的方法相同，但是使用傅里叶变换来计算二维中的旋转巻积。这样显著减少了在大区域上计算块搜索结果所需要的计算工作量。基于块的方法在操作中是通用的(也就是说，基于块的搜索的结果应当与应用了傅立叶方法之后的结果相同)，并且与由梯度方法相关联的假设所支持的梯度方法相比，产生在数学上更为精确的结果。在本实施例中使用块匹配的方法，但是应当认识到，也可以使用其4也方法。然而，所述块搜索方法的一个已知缺陷是通过不正确的MSE最小化搜索的错误运动矢量的计算。发生这种情况是出于至少三种可能原因1.针对所述搜索所选择的块缺少足够的细节来确保任何位移都会产生大于O位移的MSE。2.所述MSE计算内的求和可能会由于像素差而过载，从而导致对于比其他明显不正确的位移更加接近真实情况的块位移却报告了更大的误差。3.针对所迷搜索所选择的块发生自相关，从而产生了比利用该块的真实帧间矢量位移所能获得的MSE更低的(帧内)MSE。在本实施例中利用针对每种情况的特定技术来解决上述可能错误。参照图8a到8c,多相内插是用来分析连续帧之间的子像素运动的方法，所述子像素运动的产生是由生成隔行扫描场的处理所导致的原始源图像的非整数像素移位的结果。用于子块MSE搜索的多相内插可以被视为一种在计算上高效的方法，其首先通过应用原始带宽约束把样本插入到数据序列中，并且其次选择具有所期望的子像素移位的规则样本组。可以从图8a到8c的示意图导出一种多相内插方法。图8a示意性地示出了原始离散时间采样的信号。图8b示意性地示出了经过填零的图8a的原始信号。换句话说，已经在图8a的信号的"真实"样本之间(至少在概念上)插入了零值样本。图8c示意性地示出了已被滤波以便重新应用所述原始带宽约束(即图8a的信号带宽)的图8b的信号。假设所述原始信号和滤波器都是在实例0+nT时采样的离散时间系列，其中n-0，l，2等等。出于简化本分析的目的，进行T-1的替换以对采样周期进行归一化。首先对被称作x(n)(由于T=l因此不是x(nT))的原始信号进行填零，以便反应内插比。例如，按照因数N的内插需要在原始(真实)样本之间插入N-1个0，以便产生N乘以原始长度的样本序列长度。经过填零的输入序列与应用原始带宽约束(现在是笫N带)的(长度L+1)滤波器h(n)的巻积产生结果序列y(n):y(o)-顿o);<formula>formulaseeoriginaldocumentpage11</formula>很明显，y(O)、y(N)、y(2N)等等结果被计算为x(n)与滤波器系数h(O)、h(N)、h(2N)等等的巻积。类似地，y(l)、y(N+l)、y(2N+l)等等被计算为与滤波器系数h(l)、h(N+l)、h(2N+l)等等的巻积。可以如图9中所示以在各系数组P之间进行选择的示意性转接器300的形式来表示这些简式计算。所述转接器选择所需要的子像素相位。这种操作得到了效率，因为仅仅需要计算提供该特定结果所需的乘法和加法。一般来说，由于经过填零的原始样本序列^皮视为具有原始能量的1/N，因此在输出处施加增益因子N。在所述块匹配算法中，在垂直和水平方向上都使用所述多相计算。因此，以子像素分辨率生成所述运动矢量。以像素计的最大搜索范围(即一场内的块与另一场内的块之间的最大测试位移)被转换成其所表示的子像素的数目。对于任何给定的距离0的偏移量，所需的相位是以子像素测量的该移位除以内插比所得到的模数。以像素计的绝对位移是该移位除以内插比的整数除法。使用一种可变块尺寸选择方法来进行鲁棒的基于帧的运动估计。在水平(上例中是X)和垂直(上例中是Y)方向上为每个块分配最小和最大的2的乘方的尺寸。在开始时，所有块的尺寸都^皮设置成2的预定最大乘方(例如5，则给出25个像素的最大块尺寸)，但是用所述帧的外部尺度(dimesion)作为约束，以使得可以从开始在X和/或Y中减小块尺寸以确保边缘适配。基于利用Sobel算子检测及测量的边缘内容，进行把每个块垂直地或水平地(后者优先)分成两半的迭代处理。总的原理是如果发现块包含多于所期望的边缘内容，则划分该块(服从最小块尺寸一参见以下内容)。所述Sobel算子采取两个单独的二维3*3系数滤波器的形式并且作为两个单独的二维3*3系数滤波器而应用。首先，在下面左侧示出的Gx检测垂直边缘，其次，在下面右侧示出的Gy检测水平边缘。-l01-202-l01+1+2+1000-1-2-lGxGy由于Gx和Gy的系数值范围，在与0到1的范围内的图像数据巻积时，这些滤波器展现出+4到-4的最大增益。因此，首先通过除以4把通过应用这些滤波器而获得的结果归一化到-1到+1的范围。(作为替换方案，可以在所述Sobel算子中使用归一化的系数)图10示出了对之应用了当前技术的某种技术的源视频序列的一个图像。所述源视频序列实际上是从4096*1696像素基本图像开始人为地生成的。应用了模拟摄影机摇摄的整像素移位，以便使这种图像的序列产生运动。通过第n带滤波和利用相同因数的后续子采样获得最终输出场，其中n-8的值提供512*212像素的最终尺寸。因此，所述源视频序列中的每个场涉及到相对于各相邻场的运动，并且还表示所述基本图像经过子采样的版本。仅接受0.2及以上的绝对(归一化)值(即应用0.2的"大于"阈值)，把Gx和Gy应用于图10中示出的源图像将产生图11和12中所示的两个边缘检测图像。特别地，图11示意性地示出了利用Gx算子检测到的边缘，图12示意性地示出了利用Gy算子检测到的边缘。因此，像素被识别且标记为"边缘"像素。对于提出以在块匹配中使用的每个像素块，对所检测到的(具有最小归一化量值0.2的)边缘像素的总计数进行进一步的阈值测试，以便确定是否可以分割该块。在概念上把每个块细分成4个四分之一(垂直及水平地一分为二)。如果每个四分之一包含大于或等于所述预定最小(不可分)块尺寸的像素数的水平和垂直边缘像素计数，则接受所述块划分。然而，如果仅仅水平计数不足，则合并四分之一块边界，并且接受垂直的一分为二。最后，如果仅仅垂直计数不足，则合并四分之一块边界并且接受水平的一分为二。如果所迷两个计数都不足，则不对该块进行划分，这标记每一种情况下的停止标准。当不再有细分时就完成了块匹配映射。将该技术应用到具有图11和12中所示的边缘阈值结果的图10所示的图像，结果得到图13中示意性地示出的块划分才莫式。为了防止或者至少避免被用来评估块相似度的均方误差计算返回错误的最小值，采用像素差限制来防止真实情况(groundtruth)周围的小范围内的块位移的总和出现饱和。在等式1中示出了用在块匹配中的标准MSE计算。應"—师——在等式1中，块尺寸是^PM像素，其在一帧中被索引为Ax，y并且在下一帧中被索引为Bx+j,y+k，其中，j和k是在所述最小化搜索期间应用的全部像素水平和垂直位移。当然，Bx+j,y+k指代根据利用图9导出的那些图像相位以及对于该分析所需要的(以子像素计的)实际位移的才莫数的适当图像相位。如等式2所示，利用限制每像素的总体误差的计算来替换上述内核差值计算<formula>formulaseeoriginaldocumentpage14</formula>等式2在等式2中，q是适当的常数。对于范围0...1内的图像数据，已经发现q-10々的值工作良好。已经发现，按照这种方式限制像素差在由所述块搜索生成的完整二维误差表面上提供了真实情况位移的更高清晰度和更大区别。为了防止或者至少减少所述块搜索方法的错误(或"劣种(rogue)，，)矢量生成，可以通过块帧内(自动)校正获得对于出现劣种结果的可能性的提前警告。为了应用这种技术，首先在相同图像中的所需范围内执行块搜索。记录最小MSE。随后按照先前那样在第二帧内执行块搜索，然而，如果所记录的最小MSE大于所迷帧内MSE，则丟弃从所述搜索中解析的矢量。还可以通过使用帧内相关结果来应用最大MSE标准。通过仅仅允许在X和Y上的至少一个子像素的位移，可以获得针对可置信匹配的最差可允许MSE的度量。于是当所解析的位移(运动矢量)应当理想地处在距离真实情况的一个子像素之内时，所述最大MSE标准是针对任何帧间MSE的上限。在图14中示出了根据所描述的劣种矢量消除方法的每个矢量的有效性，其中仅仅给出了所述算法证实提供了真实运动估计结果的那些块的框线(outline)。现在将描述利用所述广义采样定理对所述隔行到逐行帧变换方法应用运动矢量估计的其他技术。上面已经描述了鲁棒的基于帧的运动矢量估计。然而，在本发明中，不存在的正是帧数据，并且需要利用所述GST来重建所述帧数据。在没有准完美的运动矢量来将来自一场的像素位置恢复到另一场中并检测用于GST滤波器选择的相位对准的情况下，就不能产生帧数据。帧数据或者完美的运动矢量都不可能在没有对方的情况下存在，但是二者又都难以首先导出。一种选项是基于场的运动估计。不幸的是，场数据存在混叠，这是由于从逐行格式的变换中的2:1子采样或者是由于利用隔行格式生成源素材以供随后显示的捕获设备的固有工作而导致的。由于所选择的表示可能自然地在一个样本组内排除了在另一个样本组内很明显的某些或全部特征，因此子采样并未提供图像数据块将与另一个图像中的任何推测相同的块完全匹配的保证。然而，存在至少一些数据将以同样的方式混叠的一定的可能性，并且将获得具有正确的位移的场间匹配。关于为了确保鲁棒的基于帧的运动估计所做出的三种改进，并不是所有这些改进都应用于基于场的估计。首先，场数据可能是按照排除来自一个或更多区域的重要细节的方式进行采样的结果，而在实际情况中(或者在时间上靠后的另一个场实例中)该细节是存在的。因此，对于可变块尺寸选择使用细节分析并不适用于场数据。然而，修改所述MSE计算内核以防止由于大的像素差而造成的误差和上溢对于场数据是有效的。最佳情况是场不包含由于原始信号内容的性质而产生的混叠伪像；因此，对所述内核计算的修改增强了所述搜索方法辨识可归因于真实位移矢量的最小误差的能力。劣种矢量避免技术同样对于场数据是有效的。该技术是对所迷块搜索算法的补充，但只有在没有严重混叠的情况下才能提高场的性能。对于严重混叠的场，所迷块搜索算法可能如前面已经讨论的那样失败的基本原因在于保留所述MSE内核修改，或者劣种矢量消除方法将不会在这些条件下进一步恶化性能。下面描述了基于场的运动估计算法，其中最初是通过细节分析替换块选择，并且随后是通过使得该技术在基于场的系统中更为成功而进一步增强。在所述GST运动估计算法中，用于基于场的MSE搜索的块尺寸可以从某一最大初始尺寸开始在X和Y中以2的乘方的除法而改变。然而，这些除法受到可允许像素面积的控制，在所述可允许像素面积以下，所述块不能收缩。该方法支持在X或Y中不是任何2的乘方倍数的难应对的图像尺寸，同时确保在所述块匹配计算中包括足够的像素数目，以便实现所期望的相关结果精度(即所述MSE最小值是真实情况位移)。对应于块尺寸的起始值在X和Y中通常高达26，但是具有2048像素的总体初始最小面积值。小到X和Y中的22的最终块尺寸受到25像素的最小面积的支持。用于所述GST的运动估计包括针对代表性运动的场间块搜索、针对块相似度的场内搜索以及帧间块位移验证。正如下面将讨论的那样，所述算法的全部两级都被实现来支持可变块尺寸。对场数椐应用子像素运动矢量搜索算法生成围绕真实情况矢量的运动矢量分布，即使在包括MSE内核计算修改和劣种矢量去除技术时也是如此。这完全是由于场间的图像数椐的混叠以及缺乏可重复性而导致的。例如，其中连续图像分别在每帧9和3子像素(在本例中是l/8像素)的速率下在X和Y中被移位的测试序列生成表1中的如下运动矢量分布。对应于最小MSE的X中对应于最小MSE的Y中返回;亥矢量的位移，以子像素计的位移，以子像素计的块数<table>tableseeoriginaldocumentpage17</column></row><table>从表l中可以看出，最适合的矢量是X,Y-18,3，该矢量实际上是正确的。在相同类型的(偶数或奇数)场之间应用基于场的运动估计，这意味着在从中生成这些场的帧之间，在X和Y中的运动实际上要加倍。然而，由于仅仅使用场线的集合，因此该加倍随后在Y中被减半，并且仅仅X被实际报告为实际运动的两倍。因此，用来建立场的帧间的X和Y中的9和3像素的位移被检测为18和3像素的位移。在该例中，合成的仅有摇摄(panning-only)的运动确保检测到一个主导矢量。然而，实际的场间运动可能要复杂得多。一般来说，按照支持候选运动矢量的块数的顺序对所述候选运动矢量进行排序，并且可以按照受欢迎度的顺序选择一个或更多矢量以用于进一步处理和验证。对通过场搜索获得的候选运动矢量进行验证，以便确保其有效性(或者至少增大其有效的可能性)。用在本实施例中的方法涉及到利用地重建帧。用于重建的所迷运动矢量是从基于场的运动估计获得的，并且按照受欢迎度的顺序排序的运动矢量。一旦重建了两个连续帧之后，就采用基于块的匹配来验证每个矢量的正确性。用于匹配的块尺寸是可变的，并且其是基于前面对于场块尺寸选摔所描述的固定面积标准。有用的是假设正在被验证的运动在4个场上是恒定的。可以把从一个场对匹配获得的矢量与来自下一场对匹配的矢量相组合，从而形成所述滤波处理的第一级。例如，如果矢量不受到来自每个场对的至少一块的支持，则丟弃该矢量。图15示意性地示出了矢量验证的总体处理。在所述4场序列内的相同类型(偶数或奇数)的场之间生成候选运动矢量。组合这些矢量列表、按照受欢迎度进行排序以及阈值丢弃没有出现至少两次(例如在每一场对之间出现一次)的条目都有助于建立一组具有优先级的矢量，这样确保所述用于帧重建的GST成功。一旦所述GST利用相同类型的相邻场重建了两帧之后，被用于该事例的场矢量就是在与另一帧相比时被应用于在一帧内映射的各块的场矢量。所迷匹配标准是MSE优于具有大于或等于一个子像素位移的块的任何帧内(自)相关。这可以被视为与正在被验证的块内的视频的能量和复杂度相关的阈值，并且意味着为了使得帧间块匹配成功，由所述GST正在使用的运动矢量的正确程度必须在一个子像素之内。除了细节最少的块之外，该验证阈值对所有其他块都工作良好，在所述细节最少的块中，帧内误差较小，并且由所述GST计算所导致的伪像超出所述帧内误差。验证运动矢量的块被提交给最终输出帧结果。随后可以对于下一个最适合的矢量参照从场分析获得的所述候选运动矢量列表，并且所述处理重复，直到利用由所述最小面积约束给出的块尺寸导出所述输出帧的最大可能比例。上面描述的对于运动矢量的接受标准往往会留下一定比例的重建帧块未经验证。由自(帧内)相关设置的MSE阈值是特别严格的，并且往往会在以下情况下拒绝块1、在所述块区域内的源帧细节特别低，从而生成非常小的自相关MSE，其中不管所迷GST重建有多好都无法通过帧间相关而使其变得更好。2、源帧在正在被分析的块区域内具有复杂运动(多于一个代表性矢量)。由于所显现的或所覆盖的像素，在帧间将不会获得良好的块匹配(参见下面对图18a到18e的讨论)。3、作为上面的(2)的特殊情况，位于帧的边缘处的块由于摇摄运动遭受当前像素的损失并且获得新像素，并且与其他帧中的块无法良好匹配。通过块尺寸减小，可以在一定程度上应对所有上述问题。在上面的(2)和(3)的情况下，更小的块将更好地适配于可以通过单一矢量描迷其运动的帧的一部分，从而可以细化对象和背景区域直到(但不包括)其轮廓。于是，对应于基于场的运动估计和基于帧的运动验证的最小块面积被减小，并且重复上述处理。当前在本实施例中允许小到16像素(4像素的X和Y维度)的最小块面积。从大到小的块面积选择背后的原理如下。在开始于大约2048像素的最大块面积时，获得最精确的基于场的运动估计和基于帧的运动验证。随后应对可能更易受不代表真实情况位移的MSE最小值影响的更小块，从而更好地隐藏任何小重建误差。在每一轮的基于帧的矢量验证完成之后，从所述块选择当中排除任何解析的画面区域，以便如下利用更小的块面积进行基于场的候选运动矢量生成。构造一个未解析帧像素的掩模，并且通过进行简单的子采样垂直进行因数为2的取样。对于下一轮的候选矢量生成，该掩模4皮覆盖到场数据上完成度高于卯％的任何场块都被从所述分析中排除，这是因为可能利用所述分析解析的任何矢量都已经被解析出来了。不以低于所决定的阈值的MSE重建的其他块区域，是由于全局摇摄运动(点3以上)而发生了新像素增加和当前像素损失的沿着所迷帧的底部边缘和左侧边缘的块区域。利用经过半带内插的现有场像素来替换具有未解析的运动的像素。平块区域缺少高频细节，而所述高频细节则可能在其他情况下构成混叠。在最终输出图像中，所述平块区域的经过内插的相对物通常在主观上是不可检测的。一般来说，并且仅仅通过举例的方式，到此所描述的总体运动估计算法可以被阐述为如下的步骤列表。对于从最大运动矢量检测块尺寸向下到最小运动矢量检测块尺寸的连续块尺寸执行这些步骤。1、利用场0与2之间的最低MSE匹配标准对于所有块位置生成运动矢量列表，其中丢弃任何劣种矢量，对于所述劣种矢量来说，其场内相似度优于在所述块搜索期间找到的任何非零场间相似度。2、关于场1与3重复步骤1.3、合并所述两个矢量列表。去除没有在所合并的列表中出现至少两次的矢量(即在任一列表中出现两次或者在全部两个列表中出现一次)。4、按照矢量受欢迎度对所迷列表进行排序(出现频率最高的矢量优先)。5、对于所述列表顺序中的每个矢量5.1、利用场0作为当前场以及场2作为运动补偿场并且利用来自所述合并的排序后的列表的所选矢量，重建测试输出图像。5.2、重复步骤5.1，但是使用场1作为当前场以及场3作为运动补偿场。5.3、对于从最大验证块尺寸向下到最小验证块尺寸的连续块尺寸5.3.1、利用对应于从场0和2产生的测试输出图像中的该块的一个子像素的位移，获得图像内匹配阈值块相似度度量。产生的测试输出帧与从场1和3产生的测试输出帧之间的块。5.3.3、如果所述测试帧间匹配优于所述帧内阈值，则接受所述矢量，并且把由利用场0和2产生的测试输出帧中的块所覆盖的区域提交到最终输出图像。因此，运动生成和运动验证级独立地工作并且都使用可变块尺寸(从大约2048[高达64*32]像素的面积开始，并且小到4像素[例如2*2]结束)，所述可变块尺寸反复地除以2以进行尺寸减小。对于在更小块尺寸下的后续运动矢量验证，在所述运动矢量验证的结果的反馈中使用重叠规则。需要这样做的原因在于，由于在不同块尺寸下的成功验证可能会存在最终输出图像的复杂区域，甚至在下一个可变块尺寸被用来生成更多运动矢量之前也是如此。在所述最终输出图像中被验证的任何块都被如此标记。生成所述掩模的"场尺寸"的表示，即帧掩模的经过垂直子采样的版本，其中如果已经验证了对应于该像素的运动(即，该像素是已经被验证的块的部分)，则所述帧掩模中的每个位置是"1"(在本例中)，如果没有验证则是"0"。随后使用所述场尺寸的掩模来排除对应于下一块尺寸运动矢量生成的场的区域。在下一运动矢量生成块尺寸下，如果某一块与所述已经验证的输出像素掩模的重叠程度超过90%,则不使用该块来生成运动矢量。这样，随着所述输出帧的剩余部分被解析/验证，场间的后续运动矢量池应当收敛到未解析的图像区域的运动。其意图是使得主导运动总是处在所述合并的候选运动矢量列表的顶部。特别在尝试利用潜在地混叠的场数据估计运动时，从更大面积开始通常会生成要求后续验证的更为精确的矢量。这是从大块开始的主要原因。在大约相同尺寸或小于该块的对象中的运动可能未被检测到一因此需要减小所述块尺寸。下面将描述图3的设备的各详细方面。图16示意性地示出了半带滤波方法。在图16中，通过阴影行410来表示已知像素行，并且通过白色行410来表示经过运动补偿的像素行。除了特定像素420之外，假设所有的像素都已被成功地运动补偿。将要执行水平和垂直相位(子像素位置)校正。作为上述方法的一部分，将必须对与缺失像素420相邻(或者至少在其半滤波器长度内)的像素(例如像素440)进行水平相位校正。如上所述，为了应用所述水平相位校正，使用多相滤波器。但是这种滤波器将需要对应于像素420的值以作为它的其中一项输入。不存在这种值，因此在能够对附近像素进行相位校正之前必须生成一个这种值。在没有这种值的情况下，对相邻或附近像素440的相位校正将是不正确的。这种类型的错误将被后续的垂直相位校正放大，并且可能会导致在输出帧上出现主观上有干扰的伪像。因此，找到对应于像素420的良好隐藏值将是适当的。这一点是如下实现的。首先，使用垂直半带内插来生成布置在像素420周围的一行垂直内插的像素值，所述垂直内插的像素值的数目对于所述水平多相滤波器的每个抽头来说是足够的。在图16中通过垂直虚线框示意性地示出了垂直内插滤波器430。每个垂直内插滤波器生成一个与该像素420处在相同行中的像素值。应当注意，行410中的经过运动补偿的值对于该处理被暂时搁置；所述垂直半带滤波器仅仅涉及到行400中的真实像素值。上面的处理在像素420周围生成一行半带内插的像素值。这些半带内插的像素值不会替换该行内的任何有效的经过运动补偿的值，而是仅仅被用来得到对应于该像素420的有用的隐藏值。随后由多相滤波器对该组应用"反转"水平相移。所述"反转"相到该i转相^滤波器的^入是在像素420附近产生的该组中的所述半带内插的像素。所述反转相移的结果是对应于该像素420的隐藏像素值。随后按照正常情况对于像素440的水平相移使用对应于像素420的该隐藏值。该技术可以被扩展到其中缺失多于一个像素(在将被水平相移的像素的滤波器尺寸内)的情况。通过垂直半带滤波生成所述缺失像素及其附近的像素。随后对其中的每一个应用反转相移。随后利用所述多相滤波器对将被相移的该像素进行滤波，其中到该滤波器的至少某些输入是由所述反转相移的像素提供的。随后可以由所述运动补偿器使用按照这种方式获得的运动矢量，以便从一个或更多场(通常是在时间上与当前场邻近的一个或两个场)获得缺失的像素。图17a到17c示意性地示出了GST滤波器设计的各方面。特别地，图17a示意性地示出了隔行信号的典型的空间频谱。该场包含高达场奈奎斯特极限(场采样率的一半)的空间频率，但是由于所述隔行子采样处理，这些频率分量当中的某一些实际上将被混叠，正如图17a中的阴影区域所示。然而，已经注意到，逐行扫描的帧的频率内容常常不会延伸到帧奈奎斯特极限，这意味着当形成所述隔行扫描场时，所述混叠分量(其围绕所述场奈奎斯特极限"折叠")往往不会向下延伸到O频率。本实施例可以利用隔行信号的该特征，应当注意的是，所述GST空间位置校正滤波器的目的是减轻混叠效应。在其中不存在混叠的频率区域内，应用所述GST校正可能是不必要甚至不适当的。图17b示意性地示出了低通("LP")-高通("HP")滤波器响应，其中，高达所述场奈奎斯特极限的频率范围被划分成低频区域和高频区域。基于经验试验，这两个区域之间的交叉点在本实施例中被设置到所述场奈奎斯特极限的大约20%。因此，一般来说，预期所述低频区域往往将不会包含任何混叠频率分量，而所述高频区域将包含混叠频率分量。在图17b中示出的滤波器响应被应用于所迷GST滤波器对之进行操作的像素。对所述高频区域进行GST空间位置校正，而不对所述低频区域进行所述校正。随后把所述两个区域加回到一起。在经验测试中发现这一做法可以改进总体系统的信噪比响应。图17c示意性地示出了用于实现所述滤波和部分校正技术的一种设置。特别地，图17c的设置示出了在已经实施了所述运动补偿处理以从其极性与当前场相反的场生成经过运动补偿的像素之后的情况。参照当前场像素，在上采样器500处以因数2对这些像素进行上采样。使用上采样的原因在于，低频/非混叠分量被用来产生帧。该处理实际上是上采样和滤波处理一一在所述实现方式中该处理被实施为内插，其中对所使用的滤波器应用所述20%场奈奎斯特频率响应。随后把经过上采样的像素并行提供到低通滤波器510和补偿延迟元件520。该低通滤波器510生成图17b中所示的低频区域。该低频区域被传递到下采样器530并且从该处被传递到加法器540。还通过减法器550从所述原始信号的经过延迟的版本中减去所述滤波器510的低频输出。这样生成了所述高频区域，该高频区域被下采样器560下采样，其结果被传递到GST校正滤波器570。关于所迷经过运动补偿的像素，这些像素遵循经由上采样器580、低通滤波器590、补偿延迟600、减法器610和下采样器620的类似路径，从而所述经过运动补偿的像素的高频分量被传递到所迷GST滤波器570。所述GST滤波器的输出被加法器540加回到所述当前场像素的低频分量中。应当注意到，一般来说，从所述已知场获得低频分量具有;f艮少的运动或者没有运动。通过所述位置校正滤波器对来自所述已知场和所述未知场的高频贡献进行处理，以便在所需位置处提供像素值。这样给出了经过相位校正的高频信息。该高频信息被加回到所述低频贡献中，这基本上是对所述已知场的垂直内插。下面将参照图18a到18c描述用于处理对象和图像边缘以及所显现的像素的技术。，图18a示意性地示出了一个图像，其中对象700正在特定方向上移动，并且图像背景正在不同方向上移动。图中示出了示意性的初始块匹配栅格，其中标记出用在所述块匹配运动矢量检测处理中的初始(最大)块的位置。即使是对于图18a的简单情况也可能出现各种潜在问题。例如，在对象700的后沿处，像素将随着该对象移动通过而被显现。由于这种像素不存在于前一场中，因此无法从该前一场导出这种像素。在所述对象与背景之间的边界处，将很难选择正确的运动矢量。此外，被应用于处在所述边界处或者与之非常接近的所述GST滤波器将接受来自所述边界的另一侧的像素值。因此，意图通过对边界像素应用子像素校正而改进所述图像的滤波器可能实际上会由于模糊了对象700的边缘而损害了该图像。如上所述，在所述运动矢量生成级中，通常关于图像产生各种不同的运动矢量，但是对于图18a的图像来说，两个矢量将是最频繁地出现的。这两个矢量是表示对象700的运动的矢量以及表示所述背景的运动的矢量。在远离该对象700与所述背景之间的边界处，对所述矢量的验证应当是成功的。但是所述验证处理在该边界处将遭遇困难，图18b示意性地示出了可以用在如上所迷的块匹配处理中的最小块匹配栅格。即使是对于该最小栅格，在所述对象700及其移动背景之间的边界处仍然存在无法为其正确地解析运动矢量的块(该块纟皮显示为黑色正方形)。下面将参照处在所述对象700与所述背景之间的边界区域处的4个块。在图18c到18e中示意性地示出了这些块。在图18c中，示出了被应用来校正恰处在所述背景内部的像素710的相位的水平多相滤波器720的一个例子。还示出了被应用来校正恰处在所述对象内部的像素730的相位的水平多相滤波器740的另一个例子。所述滤波器720将被对象像素(其关于所迷背景将具有不正确的相位)"污染，，，并且所述滤波器740将被背景像素(其关于所述对象将具有不正确的相位)污染。最好应当避免此类污染。对于垂直GST滤波器(在图18c中未示出)也存在相同的问题。有可能使用镜像处理来重新使用处在正确区域(对象或背景)内的像素，从而避免所述污染，图18d是这种处理的一个示意性的例子，其中落在所述边界的"错误侧"的所述多相滤波器720、740中的抽头实际上被应用于来自该边界的正确侧的像素值。如图所示，所述镜像处理关于所述滤波器中心(即像素710或730)对称，但是其反射可以替换地关于所述边界对称。类似的考虑也适用于垂直GST滤波器。然而不幸的是，这种镜像处理依赖于所述边界位于何处的知识。对所述边界的定位要求成功的运动矢量验证级。因此，这成为了一个循环问题；即需要所述边界的位置来正确地定位该边界。本实施例通过一种精巧简单的技术解决了该问题比起像素输出，对于运动矢量验证使用更短的位置校正(多相/GST)滤波器。期望对于最终输出图像保留较长的滤波器，这是因为这样做通常会提高质量。较短的滤波器可能会导致不想要的伪像，比如输出图像中的"振铃，，。但是对于其中为每个像素分配一个运动矢量的运动矢量验证来说，较短的滤波器导致污染风险较低，并且提高了能够在运动边界附近正确地分配运动矢量的几率。图18e示意性地示出了被应用于所述运动矢量验证级的两个短滤波器720，和740，。对于最终输出图像的生成将使用诸如在图18c中示意性地示出的较长滤波器，其可能具有参照图18d所描述的镜像。相同的考虑既适用于垂直方向也适用于水平方向。典型的滤波器抽头长度如下<table>tableseeoriginaldocumentpage26</column></row><table>应当认识到，可以通过在适当软件控制下进行操作的可编程或半可编程硬件来实现本发明的各实施例。所述硬件可以是通用计算机或者诸如ASIC(专用集成电路)或FPGA(现场可编程门阵列)之类的设置。所述软件可以在诸如盘或固态存储器之类的存储介质上提供，或者可以通过诸如网络或因特网连接之类的传输介质来提供，或者可以通过二者的组合来提供。权利要求1、视频运动检测设备，其中关于输入视频信号的图像生成输出视频信号的连续输出图像，该设备包括用于应用运动测试以便检测所述输入视频信号的两个或更多图像之间的图像间运动的装置，所述运动测试提供一个或多个运动矢量的运动矢量组以用于生成对应的输出图像，其中生成两个这种运动矢量组；用于利用对应的运动矢量组生成测试输出图像的装置；以及用于把由所述一组或全部两组中的运动矢量所指向的测试输出图像中的图像区域进行比较的装置，其中对于在所述图像区域之间具有小于预定相似度的运动矢量，所述图像区域被分成两个或更多更小的图像区域，并且关于所述两个或更多更小区域当中的每一个再次应用所述比较；以及用于在所述测试输出图像中的相应图像区域在所测试的图像区域尺寸下具有小于预定相似度的情况下，禁止使用与之相对应的运动矢量的装置。2、根据权利要求1的设备，其中所述比较装置被设置成在所述测试输出图像中的所述相应图像区域具有小于所述预定相似度的情况下，防止使用与所述相应图像区域相对应的运动矢量。3、根据权利要求1或2的设备，对于其中一个所述测试输出图像中的图像位置，所述阈值相似度对应于围绕该图像植置的图像区域与该测试输出图像内的另一个图像区域之间的相似度，所迷两个图像区域之间有非零预定位移。4、根据权利要求3的设备，其中所述预定位移是小于一个像素的位移。5、根据任一项在前权利要求所述的设备，包括用于执行以下操作的装置把关于当前输出图像生成的当前运动矢量組与关于时间上相邻的输出图像生成的运动矢量组进行比较，并且禁止使用来自所迷当前组矢量。6、根据任一项在前权利要求所述的设备，包括用于执行以下操作的装置把关于当前输出图像生成的当前运动矢量組与关于时间上相邻的输出图像生成的运动矢量组相组合，并且禁止使用来自所述当前组的未在该组合运动矢量组中出现至少预定次数的任何运动矢量。7、根据权利要求6的设备，其中所述预定次数是2.8、根据任一项在前权利要求所述的设备，其中所述用于比较图像区域的装置迭代地操作并且受到预定最小图像区域尺寸的影响。9、视频处理设备，包括根据任一项在前权利要求所述的视频运动检测设备；以及用于根据所检测到的运动矢量处理视频信号的装置。10、根据权利要求9的视频处理设备，该设备是扫描变换设备。11、一种视频运动检测方法，其中关于输入视频信号的图像生成输出视频信号的连续输出图像，该方法包括以下步骤应用运动测试以便检测所述输入4见频信号的两个或更多图4象之间的图像间运动，所述运动测试提供一个或多个运动矢量的运动矢量组以用于生成对应的输出图像，其中生成两个这种运动矢量组；利用对应的运动矢量组生成测试输出图像；以及把由所述一组或全部两组中的运动矢量所指向的测试输出图像中的图像区域进行比较，其中对于在所迷图像区域之间具有小于预定相似度的运动矢量，所述图像区域被分成两个或更多更小的图像区域，并且关于所述两个或更多更小区域中的每一个再次应用所述比较；以及在所述测试输出图像中的相应图像区域在所测试的图像区域尺寸下具有小于预定相似度的情况下，禁止使用与之相对应的运动矢量。12、具有程序代码的计算机软件，当由计算机执行所述程序代码时，其被设置成使得该计算机实施根据权利要求11的方法。13、一种介质，其中通过该介质来提供根椐权利要求12的软件。14、根据权利要求13的介质，该介质是存储介质。15、根据权利要求13的介质，该介质是传输介质。全文摘要本发明涉及视频运动检测设备，其中关于输入视频信号的图像生成输出视频信号的连续输出图像，该设备包括用于应用运动测试以便检测所述输入视频信号的两个或更多图像之间的图像间运动的装置，所述运动测试提供包括一个或多个运动矢量的运动矢量组以用于生成对应的输出图像，其中生成两个这种运动矢量组；用于利用对应的运动矢量组生成测试输出图像的装置；以及用于把由所述一组或全部两组中的运动矢量所指向的测试输出图像中的图像区域进行比较的装置，其中对于在所述图像区域之间具有小于预定相似度的运动矢量，所述图像区域被分成两个或更多更小的图像区域，并且关于所述两个或更多更小区域当中的每一个再次应用所述比较；以及用于在所述测试输出图像中的相应图像区域在所测试的图像区域尺寸下具有小于预定相似度的情况下禁止使用与之相对应的运动矢量的装置。文档编号H04N5/44GK101283586SQ200680037429公开日2008年10月8日申请日期2006年10月27日优先权日2005年10月31日发明者J·利文申请人:索尼英国有限公司