专利名称：基于段的运动估计的制作方法
技术领域：
本发明涉及一种基于段的运动估计方法，其用于确定分段图像的各个片段的运动向量。
本发明还涉及用于估计分段图像的各个片段的运动向量的运动估计装置。
本发明还涉及一种图像处理设备，其包括-分段装置，用于将输入图像分割为分段图像；以及-这样一种运动估计装置，用于估计分段图像的各个片段的运动向量。
背景技术：
基于段的运动估计在许多视频处理算法(例如2D到3D内容转换、视频编码、扫描速率转换、安全目的的目标跟踪，以及图像质量改进)中都是一个重要的处理步骤。然而，当前的运动估计算法大部分都是基于块的，由于基于段的运动估计能够以象素精度计算运动向量，因此具有达到更高精度的潜能。给定图像的一种分割，例如视频帧，基于段的运动估计的要点如下选取每段的候选运动向量，通过计算各个匹配误差来估算每段中的每个候选运动向量，并且根据所述估算选择每段中最佳匹配的候选运动向量。
由于片段可以为任意形状和大小，这一算法的直接实现将导致内存带宽的低效使用。通常，从内存读取在考虑之列的片段的范围框的象素值。这将导致内存带宽的低效使用，因为并非范围框内所有的象素都是在考虑之列的该片段的一部分。
发明内容
本发明的一个目的是提供一种在开篇段落中描述的类型的方法，它基于相对高效的内存带宽使用。
本发明的这一目的是通过这样一种方法达到的，该方法包括-为各个片段生成候选运动向量组；
-将分段图像划分为象素块的格栅；-根据片段以及块在分段图像内的位置为这些象素块确定哪个候选运动向量属于这些块；-根据所确定的候选运动向量并且根据另一个图像的象素值计算这些块的部分匹配误差；-在每个片段中将该部分匹配误差与多个匹配误差组合；-根据匹配误差为每个候选运动向量组选择各个候选运动向量；以及-将所选择的候选运动向量指定为各个片段的运动向量。
本发明的一个重要方面是在分段图像上重叠块格栅并且对每个块做高效运动估计。在对每个块执行运动估计后，通过对每个块的结果的累加计算每个片段的结果。因此，存储器存取和部分匹配误差的计算都是基于块的。这些特征能够得到基于段的运动估计算法一种简单实现。根据本发明的方法的另一个优点是能够达到整体并行性，因为分段图像能够被分割为若干个组块，可以并行处理不同组的块。这一特征能够为该方法引入许多并行方案(VLIW，ASIC)。
根据本发明的方法的一个实施例还包括-根据所述片段以及块在分段图像内的位置将这些块的一部分中的每个块分割为各个象素组，所述块的该部分中的每个块与多重片段重叠；-根据这些片段以及象素组在分段图像内的位置为该象素组确定哪个候选运动向量属于该象素组；-根据所确定的候选运动向量并且根据另一个图像的象素值计算这些象素组的另外的部分匹配误差；以及-在每个片段中将部分匹配误差和该另外的部分匹配误差同多个匹配误差组合。
如果块与多重片段重叠，则将该块分割为多个象素组，分组的数目与同该块重叠的片段的数目相等。对块的每个组计算一个部分匹配误差。这意味着例如如果一个块与四个片段重叠，那么建立四个象素组。对于四个组中的每一个计算相应的候选运动向量。因此，为这个块计算了四个部分匹配误差。最终这四个部分匹配误差同属于所述各个片段的部分匹配误差相累加。根据本发明的这个实施例的一个优点是估算结果的精确性。
在根据本发明的方法的另一个实施例中，根据分段图像中片段同块之间的重叠的数量来为象素块确定哪个候选运动向量属于这些块。根据本发明的这一实施例中，为块估算的候选运动向量的数目同重叠片段数目之间不是线性关系。例如，设想1个块同2个片段重叠并且对于这些片段中的每一个而言有5个候选运动向量，那么最多可以对这些块估算10个候选运动向量。但是，如果同这些片段之一的重叠数量相对较小时，例如低于该块的象素的10％，则对于这个块来说可以跳过对那个片段估算候选运动向量。这意味着只对那些具有相对较高重叠量的其它片段估算候选运动向量本例中为5。对这一计算可以应用两种不同的方法。第一，对块的所有象素(包括属于其它片段的象素)估算候选运动向量。第二，只对包括在块的象素之内的一个象素组(不包括属于其它片段的象素)估算候选运动向量。根据本发明的这一实施例的一个优点是同前述其它实施例相比其计算量是有限的。
根据本发明的方法的一个实施例中，第一部分匹配误差对应分段图像象素值与所述另一图像的另外象素值之间差异的总和。优选地部分匹配误差与绝对误差总和(SAD)相对应。象素值意思是亮度值或色彩表示。这种匹配误差的一个优点是它是稳健的，而计算匹配误差的计算量相对较小。
优选地一个象素块包括8*8或16*16象素。这一格式是一种常用格式。一个优点是与现货硬件的兼容性。
根据本发明的方法的一个实施例还包括-根据指定给第一个所述片段的第一个运动向量，并且根据指定给另一个分段图像的另一片段的特定运动向量来确定最终的运动向量，所述分段图像和所述另一分段图像都是单一扩充图像的一部分，所述第一片段和所述另外片段都是遍布所述分段图像和所述另一片段的单一片段的一部分；以及-将最终运动向量指定给所述第一片段。
换句话说，根据本发明的这一实施例执行一种后处理来组合多个子图像的结果，即部分扩充图像。看待它的另一种方式是在许多块带(stripes of blocks)或块瓦(tiles of blocks)中处理扩充图像来为子片段寻找中间运动向量并且最终这些中间运动向量被用来为扩充图像的各个片段确定合适的运动向量。这个实施例的一个优点是进一步提高了内存带宽的使用效率。
如果第一片段的第一尺寸大于另一片段的第二尺寸则优选地将第一运动向量指定为最终运动向量，并且如果第二尺寸大于第一尺寸便将特定运动向量指定为最终运动向量。或者，通过计算所述两个运动向量(即第一运动向量和特定运动向量)的平均来确定最终运动向量。优选地，这是一种基于第一和第二尺寸的加权平均。
本发明的另一个目的是提供一种开篇段落中描述的类型的运动估计装置，它基于相对高效的内存带宽使用。
本发明的这一目的是通过该运动估计装置包括下列部件达到的-生成装置，用于为各个片段生成候选运动向量组；-划分装置，用于将分段图像划分为象素块格栅；-确定装置，用于根据片段以及块在分段图像内的位置为象素块确定哪个候选运动向量属于这些块；-计算装置，用于根据所确定的候选运动向量并根据另一图像的象素值为这些块计算部分匹配误差；-组合装置，用于在每个片段中将部分匹配误差组合到多个匹配误差中；-选择装置，用于根据匹配误差为每个候选运动向量组选择各个候选运动向量；以及-指定装置，用于将所选的候选运动向量指定为各个片段的运动向量。
本发明的另一个目的是提供一种在开篇段落中描述的类型的图像处理设备，它包括基于相对高效内存带宽使用的运动估计装置。
本发明的这一目的通过安排运动估计装置执行权利要求1的方法达到。根据本发明的图像处理设备的一个实施例包括基于运动向量而被控制的处理装置。这个处理装置可以支持下列图像处理类型中的一种或多种-视频压缩，即编码或解码，例如根据MPEG标准；-去交织处理交织是用于交替传送奇数或偶数数目的图像线的通用视频广播过程。去交织试图重建完整的垂直分辨率，即，使得奇数和偶数线同时用于每个图像；
-图像速率转换从一连串原始输入图像计算一大串输出图像。输出图像暂时位于两个原始输入图像之间；以及-时间降噪。这同样可以包括空间处理，导致空间-时间降噪。
图像处理设备任选地包括一种用于显示输出图像的显示设备。图像处理设备可以为例如电视机、机顶盒、VCR(盒式磁带录象机)播放器、卫星调谐器、DVD(数字多用盘)播放器或录像机。
所述方法的修正及其变形与所描述的运动估计装置的修正和变形相对应。
下述实施方式和实施例以及附图将使根据本发明的方法、运动估计装置和图像处理设备的这些以及其它方面变得明显，并且将结合这些实施方式和实施例并参考附图对其进行说明，其中图1示意性示出两个连续分段图像；图2示意性示出图1的一个细节；图3示意性示出根据本发明的运动估计装置的一个实施例；图4示意性示出图1中的一个分段图像以及形成该分段图像的4个子图像；以及图5示意性示出根据本发明的图像处理设备。
全部附图中，相同的参考数字被用来表示相似的部件。
具体实施例方式
图1示意性示出两个连续的分段图像100和102。第一图像100包括4个片段S11、S12、S13以及S14。第二图像102同样包括4个片段S21、S22、S23以及S24。第一图像100的片段S11对应于第二图像102的片段S21。第一图像100的片段S12对应于第二图像102的片段S22。第一图像100的片段S13对应于第二图像102的片段S23。第一图像100的片段S14对应于第二图像102的片段S24。由于移动，例如涉及作为图像的一个场景的目标的照相机的移动，所述不同片段相对于图像坐标系发生移位。可以通过运动估计来估计这些移位。这意味着运动向量MV(1)、MV(2)、MV(3)以及MV(4)被估计出来，它们分别描述片段S11、S12、S13以及S14同片段S21、S22、S23以及S24之间的关系。运动估计基于对每个片段的候选运动向量CMV(s，c)的估算，s表示片段且c表示每个片段的候选者。对片段的每个候选运动向量CMV(s，c)计算一个匹配误差ME(s，c)。在每个片段中选出具有最低匹配误差的候选运动向量。这一被选候选运动向量被指定为相应片段的运动向量MV(s)。
根据本发明对匹配误差ME(s，c)的计算基于多个部分匹配误差ME(s，c，b)的计算。分段图像被划分为相互等尺寸的多个块。检验这些块中的每一个分别与图像的哪个片段相重叠。根据该重叠选择合适的候选运动向量。基于这些候选运动向量以及块的坐标，第二图像102的相应象素值被用于同该块的象素值相比较。以这种方式(例如行扫描方案或列扫描方案)逐块计算出部分匹配误差ME(s，c，b)。可选地，并行处理被应用来同时计算多个部分匹配误差ME(s，c，b)。每个片段的部分匹配误差ME(s，c，b)都按方程(1)规定的形式进行累加ME(s,c)=Σbb⋐sME(s,c,b)---(1)]]>某些块完全包含在片段之一中，例如块b11、b12、b13、b21、b22、b23、b31、b32、b33以及b41包含在片段S11中。很明显这种情况下这些块的部分匹配误差ME(s，c，b)都贡献给片段S11。但是同样存在对应于多个片段的块。例如，块b14部分位于片段S11中而部分位于片段S12中。有很多方法来处理这些类型的块。下面将通过例子来解释这些方法。
第一种方法基于将同多重片段重叠的每个块分割为多个象素组。图2示意性示出图1的一个细节。更具体的，绘出了块b24。可以看出这一块b24包括对应片段S11的第一象素组202以及对应片段S12的第二象素组204。对第一象素组202必须估算片段S11的候选运动向量，而对第二象素组204必须估算片段S12的候选运动向量。注意片段S11的某些候选运动向量可能等于片段S12的某些候选运动向量。但是，候选运动向量组之间还是存在差异的可能性很大。因此，对第一象素组202计算多个部分匹配误差ME(s11，c，b24(1))，而对第二象素组204计算多个部分匹配误差ME(s12，c，b24(2))。这种情况下，块b24的第一象素组202被指示为b24(1)而块b24的第二象素组204被指示为b24(2)。通过累加部分或完全属于片段S11的部分匹配误差来计算片段S11的不同候选运动向量的匹配误差。
ME(S11，c)＝ME(S11，c，b11)+ME(S11，c，b12)+ME(S11，c，b13)+ME(S11，c，b14(1))+ME(S11，c，b21)+ME(S11，c，b22)+ME(S11，c，b23)+ME(S11，c，b24(1))+ (2)ME(S11，c，b31)+ME(S11，c，b32)+ME(S11，c，b33)+ME(S11，c，b34(1))+ME(S11，c，b41)+ME(S11，c，b42(1))+ME(S11，c，b43(1))+ME(S11，c，b44(1))+ME(S11，c，b51(1))+ME(S11，c，b52(1))在累加部分匹配误差之后，便知道了每个候选运动向量对应的匹配误差。具有最低匹配误差的候选运动向量MV(S11，c)被选为片段S11的运动向量MV(S11)。
第二种方法同样基于将同多个片段重叠的每个块分割为多个象素组。但是，如果一个组的象素数低于预定阀值，则不对该象素组计算部分运动向量。阀值为例如块象素数的1/2或1/4。例如图1所示的例子中，这意味着如果阀值等于该块象素数的1/4，则块b44和b52对片段S1的候选运动向量的匹配误差的计算没有贡献。对于包含的象素高于预定阀值的象素组，如前所述计算和累加部分运动向量。
第三种方法中，根据片段同分段图像内块之间的重叠量来确定哪个候选运动向量属于该块。这意味着如果一个特定块被多个片段重叠，则根据这个特定块的所有象素并且根据同这个特定块具有最大重叠量的片段的候选运动向量来计算部分匹配误差。例如，在图1所示的例子中，这意味着对片段S1的候选运动向量的匹配误差的计算，下列块完全贡献给片段S1b14、b24以及b34。可选地，检测最大重叠是否高于预定阀值。这在块同多于两个的片段重叠时是特别有意义的。如果最大重叠低于预定阀值，则不对该块计算部分匹配误差。
第四种方法中，不对那些同多个片段重叠的块计算部分匹配误差。换句话说，这些块对候选运动向量的估算没有贡献。例如，图1所示的例子中，这意味着对片段S1的候选运动向量的匹配误差的计算，仅仅下列块做出贡献b11、b12、b13、b21、b22、b23、b31、b32、b33以及b41。
应当注意尽管图1示出两个分段图像100和102，但实际上仅要求一个分段。这意味着其它图像不需要被分段。这是根据本发明的方法的一个优点。因为实际计算是基于块的，而块到组的任意划分仅仅基于一个分段图像的片段。
图3示意性示出根据本发明的运动估计装置300的一个实施例。运动估计装置300在输入连接器316处被供以图像(即象素值)，并且在输入连接器318处被提供以分段数据(例如每个图像的掩模或每个图像的包围片段的轮廓线的描述)。运动估计装置300在输出连接器320处为每个图像提供一个运动向量。运动估计装置300被安排来估计如结合图1所说明的运动向量。运动估计装置300包括-生成装置314，用于为分段图像的各个片段生成候选运动向量组；-划分装置304，用于将分段图像划分为象素块格栅。划分装置304被安排从存储设备302取出那些属于被考虑象素块的象素值。或者，划分装置304被安排来确定坐标并且根据这些坐标将象素值的取出留给运动估计装置300的其它装置。存储设备302可以是运动估计装置300的一部分，但它还可以被图像处理设备的其它装置或模块共享，例如在运动估计装置300控制下的分段装置502或图像处理装置504-确定装置306，用于根据片段以及块在分段图像内的位置为象素块确定哪个候选运动向量属于这些块；-计算装置308，用于根据所确定的候选运动向量并根据另一图像的象素值为块计算部分匹配误差；-组合装置310，用于在每个片段中将部分匹配误差组合到多个匹配误差中；-选择装置312，用于根据匹配误差为每个候选运动向量组选择各个候选运动向量，并且将所选的候选运动向量指定为各个片段的运动向量。
运动估计装置300的操作如下。还看图1。假定图像100被划分为4个片段S11到S14，并且每个片段最初只有一个候选运动向量。这些候选运动向量CMV(*，*)通过生成装置314生成并且被提供到确定装置306。
划分装置304被安排来访问存储设备，由此以从左上角到右下角(即从块b11到块b88)的扫描方案逐块取出图像100的象素值。划分装置304将每个块(例如b11)的对应(x，y)坐标提供到确定装置306。确定装置306被安排根据这些坐标并根据片段的位置来为每个象素块确定哪个候选运动向量属于这些块。
第一块b11完全被第一片段S11重叠。因此，只有片段S1的候选运动向量CMV(S11，C1)被提供到计算装置308。根据该候选运动向量CMV(S11，C1)并且根据块b11的坐标，计算装置被安排来得到另一图像102的象素值。接下来该块的部分匹配误差ME(S11，C1，b11)被计算出来并且被提供到组合装置310。对块b12和b13执行相似的处理步骤，分别得到部分匹配误差ME(S11，C1，b12)和ME(S11，C1，b13)。
第4块b14部分被第一片段S11重叠且部分被第二片段S12重叠。因此，两个候选运动向量CMV(S11，C1)和CMV(S12，C1)被提供到计算装置308。计算装置308被安排来根据如下条件得到另一图像102的象素值-候选运动向量CMV(S11，C1)和CMV(S12，C1)；-分段数据；以及-块b11的坐标。
由此计算出块b14的两个象素组b14(1)和b14(2)的两个部分匹配误差ME(S11，C1，b14(1))和ME(S12，C1，b14(2))，并将它们提供给组合装置310。
以相似的方式对所有块执行上述处理步骤。计算出所有部分匹配误差后，建立每个片段的匹配误差。很清楚可以并行计算和累加部分匹配误差。
随后为每个片段生成一个新的候选运动向量。优选地，这些新的候选运动向量从其它片段的候选组导出。同样对这些新的候选者计算相应的匹配误差。计算出候选运动向量的所有匹配误差后，选择装置312为每个片段选择具有最低匹配误差的候选运动向量。
以上描述了交替执行候选运动向量的生成和估算。或者，相继执行生成和估算，即首先生成所有的候选运动向量，随后进行估算。或者，首先生成一部分候选运动向量并估算，然后生成第二部分候选运动向量并进行估算。
以上描述了对于特定块每个重叠片段只估算一个候选运动向量。然后处理下一个块。或者，计算特定块所有可得到的候选运动向量，并且随后估算下一个块所有可得到的候选运动向量。
可以使用一个处理器实现生成装置314、划分装置304、确定装置306、计算装置308、组合装置310以及选择装置312。通常，这些功能是在软件程序产品的控制下执行的。执行期间，该软件程序产品通常被载入像RAM的存储器中，并且从那里执行。程序还可以从像ROM、硬盘或磁盘和/光盘存储器的后台存储器取出，或可以通过像因特网的网络下载。任意一种专用集成电路都可提供所公开的功能性。
以上描述了以逐行扫描方案执行处理。或者可以在许多行并行执行处理。整个图像的第一迭代之后，通常要对整个图像执行额外数目的迭代。优选地，后续迭代的扫描方案是不同的，例如逐行扫描、逐列扫描、z形扫描。迭代达到预定数目或者达到收敛时便停止处理。
尽管整个图像上的迭代会得到合适的结果，但从内存带宽使用的角度来讲，优选地将估计各个片段的运动向量的过程划分为估计子片段的中间运动向量的子过程，其后跟随一个将子过程的结果组合起来的后处理步骤。图4示意性示出图1中的分段图像之一100以及形成该分段图像100的4个子图像401到404。第一子图像401对应块b11到b28。第二子图像402对应块b31到b48。第三子图像403对应块b51到b68。第四子图像404对应块b71到b88。第一子图像401同一个第一部分(即如图1所示的片段S11的子片段S111)重叠，并且第一子图像401与一个第二部分(即如图1所示的片段S12的子片段S121)重叠。第二子图像402与一个第一部分(即片段S11的子片段S112)、一个第二部分(即片段S12的子片段S122)、一个第三部分(即片段S13的子片段S132)以及一个第四部分(即片段S14的子片段S142)重叠。第三子图像403与一个第一部分(即片段S13的子片段S133)以及一个第二部分(即片段S14的子片段S143)重叠。第四子图像404与一个第一部分(即片段S13的子片段S134)以及一个第二部分(即片段S14的子片段S144)重叠。
首先分别为子片段S111到S144估计初始运动向量MV(S111)到MV(S144)。这即使在指定子图像的环境中也按参照图1到图3所描述方式执行。可以按顺序(即逐子图像地)执行初始运动向量MV(S111)到MV(S144)的估计。但是，优选地并行执行初始运动向量MV(S111)到MV(S144)的估计。确定了初始运动向量MV(S111)到MV(S144)之后，便可建立分段图像100的各个片段S11到S14的最终运动向量MV(S1)到MV(S14)。例如，根据为子片段S121确定的第一运动向量MV(S121)以及为子片段S122确定的第二运动向量MV(S122)来确定片段S12的最终运动向量MV(S12)。许多情况下，第一运动向量MV(S121)看起来与第二运动向量MV(S122)相等。这时建立片段S12的最终运动向量就相对简单，即选择一个或另一个。在第一运动向量MV(S121)与第二运动向量MV(S122)之间存在差异的情况下，优选地选择与片段S12重叠最大的初始运动向量。这种情况下，第一运动向量MV(S121)被指定为片段S12的最终运动向量MV(S12)，因为第一子片段S121的第一尺寸大于子片段S122的第二尺寸。
接下来，讨论一个建立对应于片段S13的最终运动向量MV(S13)的例子，其中片段S13与三个子片段S132、S133以及S134重叠。首先确定不同子片段S132、S133以及S134与片段S13的重叠量。这是通过计数位于表示片段S13的轮廓线的各个部分之内的并且位于与该轮廓线交叉的子片段402、403及404的边界内的各个象素数来实现的。这种情况下，子片段S132的第一尺寸相对较低。由于这个原因，计算片段S13的最终运动向量MV(S13)时不考虑对应的初始运动向量MV(S132)。片段S13的最终运动向量MV(S13)基于分别为子片段S133和S134确定的初始运动向量MV(S133)和MV(S134)的加权平均。加权系数基于子片段S133和S134各自的重叠量。
图5示意性示出根据本发明的一种图像处理设备，其包括-分段装置502，用于将输入图像分割为分段图像。分段装置502被安排来接收代表输入图像的信号。该信号可以是通过天线或电缆接收的广播信号，但也可以是来自像VCR(盒式磁带录象机)或数字多用盘(DVD)的存储设备的信号。该信号被提供到输入连接器510处；-基于段的运动估计装置508，如参照图3所述；-图像处理装置504，其由运动估计装置508控制。图像处理装置504可以支持下列图像处理类型中的一种或多种视频压缩、去交织、图像速率转换或时间降噪。
-显示设备506，用于显示图像处理装置504的输出图像。
图像处理设备500例如可以为电视。或者图像处理设备500不包括任意显示设备506而将输出图像提供给包括显示设备506的仪器。则图像处理设备500例如可以为机顶盒、卫星调谐器、VCR播放器、DVD播放器或录像机。可选地图像处理设备500包括像硬盘或移动介质存储的装置一类的存储装置，例如光盘。图像处理设备500还可以是被电影制片厂或广播电台所应用的系统。
应该注意上述实施例是为了说明而不是限制本发明，并且在不背离附加权利要求范围的前提下本领域内的技术人员将能够设计出其它实施例。权利要求中，置于括号中间的任何参考标记都不应对权利要求构成限制。单词“包括”并不排除权利要求中所列举的那些元件或步骤之外的其它元件或步骤。在元件之前的单词“一个”并不排除多个此类元件的出现。本发明可以通过包括若干独特元件的硬件且通过适当编程的计算机来实现。在组合权利要求说明中列举了若干设备，这些设备中的某些能够被同一硬件对象实现。
权利要求
1.一种基于段的运动估计方法，用于为分段图像(100)的各个片段(S11到S14)确定运动向量，该方法包括-为各个片段(S11到S14)生成候选运动向量组；-将分段图像(100)划分为象素块(b11到b88)格栅；-根据片段(S11到S14)以及块(b11到b88)在分段图像(100)内的位置为象素的块(b11到b88)确定哪个候选运动向量属于这些块(b11到b88)；-根据所确定的候选运动向量并且根据另一图像(102)的象素值计算这些块(b11到b88)的部分匹配误差；-在每个片段中，将该部分匹配误差组合到多个匹配误差中；-根据匹配误差为每个候选运动向量组选择各个候选运动向量；以及-将所选的候选运动向量指定为各个片段(S11到S14)的运动向量。
2.根据权利要求1的基于段的运动估计方法，其还包括-根据片段(S11到S14)以及块(b11到b88)在分段图像(100)内的位置将块(b11到b88)的一部分中的每个块划分为各个象素组，这些块(b11到b88)的该部分中的每个块与多个片段(S11到S14)重叠；-根据片段(S11到S14)以及象素组在分段图像(100)内的位置为象素组确定哪个候选运动向量属于这些象素组；-根据所确定的候选运动向量并根据另一图像(102)的象素值为这些象素组计算另外的部分匹配误差；以及-在每个片段中将部分匹配误差以及所述另外的匹配误差组合到多个匹配误差中。
3.根据权利要求1的基于段的运动估计方法，其中为象素块(b11到b88)确定哪个候选运动向量属于这些块(b11到b88)基于分段图像(100)内片段(S11到S14)与块(b11到b88)之间的重叠量。
4.根据权利要求1的基于段的运动估计方法，其中第一个部分匹配误差对应于分段图像(100)的象素值与另一图像(102)的另一象素值之间的差异的和。
5.根据权利要求1的基于段的运动估计方法，其中象素的第一块(b11到b88)包括8*8或16*16象素。
6.根据权利要求1的基于段的运动估计方法，其还包括-根据指定给第一片段的第一运动向量并且根据指定给另一个分段图像的另一片段的特定运动向量来确定一个最终运动向量，所述分段图像和另一分段图像都是单一扩展图像的一部分，第一个片段和另一片段都是单一片段的一部分，该单一片段分布在所述分段图像和另一分段图像之上；以及-将所述最终运动向量指定到第一片段。
7.根据权利要求6的基于段的运动估计方法，其中如果第一片段的第一尺寸大于另一片段的第二尺寸便将第一运动向量指定为最终运动向量，并且其中如果第二尺寸大于第一尺寸便将特定运动向量指定为最终运动向量。
8.一种运动估计装置(300)，用于为分段图像(100)的各个片段(S11到S14)估计运动向量，所述运动估计装置包括-生成装置(314)，用于为各个片段(S11到S14)生成候选运动向量组；-划分装置(304)，用于将分段图像(100)划分为象素块(b11到b88)格栅；-确定装置(306)，用于根据片段(S11到S14)以及块(b11到b88)在分段图像(100)内的位置为象素块(b11到b88)确定哪个候选运动向量属于这些块(b11到b88)；-计算装置(308)，用于根据所确定的候选运动向量并且根据另一图像(102)的象素值为块(b11到b88)计算部分匹配误差；-组合装置(310)，用于在每个片段中将部分匹配误差组合到多个匹配误差中；-选择装置(312)，用于根据匹配误差为每个候选运动向量组选择各个候选运动向量；以及-指定装置，用于将所选的候选运动向量指定为各个片段(S11到S14)的运动向量。
9.一种图像处理设备(500)，其包括-分段装置(502)，用于将输入图像分割为分段图像(100)；以及-运动估计装置(508)，用于如权利要求6所述为分段图像(100)的各个片段(S11到S14)估计运动向量。
10.根据权利要求9的图像处理设备(500)，其特征在于它还包括根据所述运动向量而被控制(504)的处理装置。
11.根据权利要求10的图像处理设备(500)，其特征在于处理装置(504)被安排来执行视频压缩。
12.根据权利要求10的图像处理设备(500)，其特征在于处理装置(504)被安排来执行去交织。
13.根据权利要求10的图像处理设备(500)，其特征在于处理装置(504)被安排来执行图像速率转换。
14.根据权利要求9的图像处理设备(500)，其特征在于它是电视机。
全文摘要
一种用于为分段图像(100)的各个片段(S11到S14)确定运动向量的方法，其包括为各个片段(S11到S14)生成候选运动向量组；将分段图像(100)划分为象素块(b11到b88)的格栅；根据片段(S11到S14)以及块(b11到b88)在分段图像(100)内的位置为象素块(b11到b88)确定哪个候选运动向量属于这些块(b11到b88)；根据所确定的候选运动向量并且根据另一图像(102)的象素值计算块(b11到b88)的部分匹配误差；在每个片段中将部分匹配误差组合到多个匹配误差中；根据匹配误差为每个候选运动向量组选择各个候选运动向量；以及将所选的候选运动向量指定为各个片段(S11到S14)的运动向量。
文档编号G06F7/00GK1729486SQ200380107123
公开日2006年2月1日 申请日期2003年11月20日 优先权日2002年12月20日
发明者R·塞图拉曼, F·E·埃恩斯特, P·P·E·穆维斯森, H·J·A·M·彼得斯, R·佩塞特洛皮斯 申请人:皇家飞利浦电子股份有限公司