专利名称：基于局部运动复杂性来分配候选矢量的制作方法
技术领域：
本发明一般涉及视频处理应用，并且更具体地涉及基于局部运动复杂性来分配候选矢量的系统和方法。
背景技术：
对于高质量的视频处理应用，典型地使用运动估计去完成相当多种有用的功能，诸如扫描率转换、噪声减少、内容编码和压缩。在这点上，已经发展了各种运动估计技术以便为视频信号的不同特性，不同类型的运动和具体的视频处理应用的不同目的提零供补偿。
这些运动估计技术典型地通过估计一组有限的所谓的候选运动矢量来估计像素块的运动。对于每个像素块，运动估计技术通过从在空间和/或时间域中偏移的被检测的运动矢量之中选择来从3-D邻域选择候选矢量。例如，候选矢量可以包括一个或多个在相同帧中的空间偏移运动矢量和一个或多个在先前或随后帧中的时间偏移运动矢量。另外的“特别的”候选矢量也可被用于考虑更新的运动矢量或补偿零运动，诸如静态的文本。无论如何，典型地，每个像素块被估计的候选矢量的数量是固定的并且由特定的运定估计技术预先限定。每个区域，不论是容易还是困难，都使用相同数量的候选矢量来估计。
虽然固定候选矢量的数量简化了硬件和软件实现方式，但是这些方法可以产生次最佳效果。例如，为了有效地利用有限的计算资源和存储带宽，运动估计应该理想地适用于场景和局部内容的复杂性以致更多的重点放在不容易估计的图像区域，而更少的重点放在容易估计的区域(例如具有均匀运动的背景)。也已经表明在具有均匀(集中的)运动的图像区域中估计很多候选矢量可以将讨厌的失真引入视频信号中，并且因此弊大于利。通过使用固定数量的预先限定的候选矢量，现有的运动估计技术可以导致有限资源无效率的或不合乎需要的分配。
发明内容
因此，根据上述的问题，需要基于局部运动复杂性来有效分配候选运动矢量的系统和方法。这些系统和方法优选地用于改进采用运动估计技术的视频处理应用中的有限资源的分配。
本发明的实施例通过提供基于局部运动复杂性来分配候选矢量的系统和方法来缓和上述的很多问题。在一个实施例中，一个图像帧被分为多个片段，其中每个片段包括多个像素块。然后例如可以通过确定帧的像素块与相邻帧的像素块之间的绝对差值之和(SAD)并且将每个片段中的像素块的SAD值相加来测量每个片段的局部运动复杂性。然后，可以基于所测量的局部运动复杂性来确定指派给每个块的候选矢量的数量。
其它的实施例提供用于给每个像素块指派候选矢量数量的机理。在一个实施例中，例如，可以使用图像帧中片段的最大、最小和平均SAD值来确定用于分配候选矢量的分配函数。分配函数也可以使用用于每块的候选矢量的最大、最小和平均数量的预定值以便分配函数实现预期的候选矢量分配。因此，分配函数将给具有较高SAD值(高运动复杂性)的片段中的像素块分配较高数量的候选矢量并且给具有较低SAD值(低运动复杂性)的片段中的像素块分配较低数量的候选矢量。候选矢量数量的这种非均匀分配可以确保资源重新分配给需要这样的资源的图像的部分。
附图简述从下列结合附图的详细描述中，本发明的这些和其它特点和优点对于本领域的熟练技术人员来说将变得更加明显，其中
图1示出根据本发明一个实施例的示例图像帧；图2示出根据本发明一个实施例的用于分配候选矢量的流程图形式的示例方法；以及图3示出可以根据本发明实施例来使用的示例平台。
具体实施例方式
本发明的实施例提供基于局部运动复杂性来分配候选运动矢量的系统和方法。提供下列说明以便使本领域的技术人员能制造和使用本发明。仅作为示例提供具体应用的说明。优选实施例的各种修改、替换和变化对本领域的技术人员来说将是非常明显的，并且本文中限定的一般原理可以应用于其它没有脱离本发明范围的实施例和应用。因此，本发明并不意图限制于描述的和示例的实施例，并且应该符合与本文中公开的原理和特征一致的最宽的范围。
本发明实施例可以用于有效地分配有限的计算资源给图像帧的不同部分，而没有牺牲运动估计质量。在一个实施例中，每个图像帧被分成多个片段，其中每个片段包括多个像素块。然后基于每个相应的片段的相对运动复杂性的估计来确定为每个片段内的像素块估计的候选矢量的数量。因此，相同片段内的像素块被分配相同数量的候选矢量，但是根据不同片段的相对运动复杂性，不同片段内的像素块被分配不同数量的候选矢量。该方法基于每个组内的相对运动复杂性建立了不同像素块组的候选运动矢量(以及在它们的估计中使用的相关的计算资源)的非均匀分配。
为了估计每个片段的相对运动复杂性，可以计算一个帧的像素和相邻帧的相应像素之间的绝对差值和(SAD)，其中相邻帧的相应像素可以是根据候选运动矢量在空间上对准的或者空间上偏移的。因为在这种情况中的SAD值计算相邻帧的块之间的像素差的绝对值的和，每个片段的SAD值提供片段内的块的失配误差，并因此可以用作每个片段的运动复杂性的间接量度。如果一个片段具有高SAD值，那么该片段很可能具有高运动复杂性，并且因此片段内的像素块可以受益于更大数量的候选运动矢量。如果一个片段具有低SAD值，那么该片段很可能具有低运动复杂性，并因此分配较低数量的候选矢量给这个片段内的像素块可以更有效。通过基于每个片段的相对运动复杂性来分配较高或较低数量的候选矢量，可以基于相对需要将有限的计算资源非均匀地分配给图像的不同部分。
参照图1，根据本发明一个实施例的示例图像帧在100中示出。如图所示，示例帧110被分成24个图像片段120，其中每个片段120包括16个8×8像素块130。为了清楚起见，仅示出第一片段120的像素块130。应理解为仅为了示例目的提供图1的示例帧，并且图像帧的其它细分是预期的并且被本发明包含。
为了估计每个片段120的运动复杂性，计算一个帧110a的像素块130和相邻帧110b的相应像素块130之间的SAD值。在上下文中，应理解相邻帧110b的相应像素块130可以与当前帧110a的像素块130空间上对准。代替地，基于使用有限的一组候选运动矢量确定的被估计的运动矢量，相邻帧110b的相应像素块130可以相对于当前帧110a中的像素块130空间偏移。因此，对于本发明实施例，相邻帧110b的相应像素块130可以相对于当前帧110a的像素块空间对准或空间偏移。
由于每个片段120包括多个像素块130，可以通过将目标片段120中的各个像素块130的SAD值相加来确定每个目标片段120的SAD值。因此，每个片段120的SAD值提供每个片段120内的像素块130之间的失配误差的估计，并且因此，提供每个片段120的局部运动复杂性的估计。
一旦已经确定了每个片段120的SAD值，分配函数可以用于确定用于每个片段120内的像素块130的将要被估计的候选矢量的数量以便产生候选矢量的预期的分配。例如，假定对于帧110中的所有块130有足够的资源去估计候选运动矢量的平均数量N_av。还假定预期将要被估计的候选矢量的数量限制为N_max和N_min，分别为每个块130的候选的最大和最小数量。然后通过应用下列规则可以确定用于候选矢量的分配函数(1)估计具有最低匹配误差(最低SAD)的片段内的像素块130的候选矢量的N_min数量；(2)估计具有最高匹配误差(最高SAD)的片段内的像素块130的候选矢量的N_max数量；以及(3)估计具有平均匹配误差的片段内的块130的每个候选矢量的平均N_av数量。基于这些规则，将使用下列示例等式N_min＝a+b*SAD_min+c*SAD_min*SAD_min(1)N_max＝a+b*SAD_max+c*SAD_max*SAD_max(2)N_av＝a+b*SAD_av+c*SAD_av*SAD_av(3)在等式(1)-(3)中，SAD_max、SAD_min和SAD_av分别相当于目标帧中的所有片段的最大、最小和平均SAD值。此外，N_max、N_min和N_av分别可以是候选矢量的最大、最小和平均数量的预定值，其产生像素块之中候选矢量的预期分配。在优选实施例中，N_max是9；N_min是4；以及N_av是6。
如果上述等式(1)-(3)被同时解出以确定a、b和c的值，那么下列等式可以用于确定基于片段的相应的SAD值在每个片段中将要被估计的候选矢量的数量N_candi＝a+b*SADi+c*SADi*SADi (4)其中N_candi是第i个片段中的像素块将要被估计的候选矢量的数量，并且SAD，是第i个片段的SAD值。通过使用等式(4)确定候选矢量的数量，可以根据每个片段的局部运动复杂性在各个像素块上分配将要被估计的的运动矢量的可获得数量，也就是资源被分配在需要它们的位置上。分配函数等式(4)还分配候选矢量的数量以便候选矢量的分配与预期分配一致(例如，如果SADi＝SAD_max，那么N_candi＝N_max；如果SADi＝SAD_min，那么N_candi＝N_min；等等)。
与每个像素块使用固定数量的运动候选方案相比，本发明提出的方案可以有助于(1)以具有相同总数量的候选矢量提供改进的运动估计质量；和/或(2)以具有较少数量的候选矢量提供类似运动估计质量。对于本领域的技术人员，很明显可以使用其它的等式组并且不同的表达式可以被解出以获得(不同的)分配函数。已提出的分配等式组只是一个示例。此外，可以考虑局部运动复杂性的不同测量或多重测量。例如，不使用SAD值，本发明的实施例可以使用其它的失配误差估计，诸如均方误差(MSE)，而不脱离本发明的原理。
参照图2，在200中示出根据本发明一个实施例的用于分配候选矢量的流程图形式的示例方法。如图所示，在步骤210，示例方法通过例如测量多个像素块的SAD值或MSE值并且将像素块组的SAD或MSE值相加来测量局部运动复杂性。然后在步骤220，确定用于确定指派给每个像素块的候选矢量的数量的分配函数。这一处理可以包括发展一组分配等式，诸如上述等式(1)-(4)，其基于被测量的局部运动复杂性限定候选矢量的预期分配。这些等式可以包括一个或多个固定值，诸如用于被测量的运动复杂性的最大、最小或平均值。
在步骤230，使用例如等式(4)的分配函数和像素块被测量的局部复杂性来确定将要对每个像素块估计的候选矢量数量。然后在步骤240，使用指派给每个像素块的候选矢量数量来执行对于可应用的视频帧的运动估计。应注意，运动估计技术应考虑不同数量的候选矢量可以被指派给不同的像素块的事实。例如，如果可以被估计的候选矢量包括一个或多个空间矢量、一个或多个时间矢量、一个更新(修改的运动)矢量、一个全局运动矢量和一个零运动矢量，那么运动估计技术可以给每种候选矢量指派优先顺序。如果指派给像素块的候选矢量数量不足以估计所有可能的候选矢量，那么运动估计技术可以基于矢量的相对优先级从几种候选矢量之中选择。这样，对于分配的候选矢量数量相对少的像素块对其最相关的运动矢量进行估计。此外，如果候选矢量的数量被选择以便较少数量的候选矢量被分配给具有相对简单的运动复杂性的像素块，那么有限的运动矢量组可以足以补偿所包含的运动，而没有牺牲运动估计质量。
参照图3，在300中示出根据本发明实施例可以使用的示例平台。如图所示，示例平台包括通过系统总线340可操作地耦合到存储系统320的微处理器310。该存储系统可以包括随机存取存储器、硬盘驱动器、软盘驱动器、光盘或其它计算机可读介质，其存储用于运动估计模块350和视频处理应用150的计算机指令。为了使系统输入和输出视频信号，示例系统还包括耦合到微处理器310和存储系统320的I/O接口330。
在操作中，视频处理应用360使用运动估计模块350处理从I/O接口330接收的视频信号并且将处理后的视频信号输出到I/O接口330。如果根据上述原理实施运动估计模块350，示例系统可以被设置成有效地利用微处理器310的有限的处理资源和存储系统350的有限的存储带宽，而没有牺牲运动估计质量。此外，如果在硬件或硬件和软件的组合中(不是如图3所示仅在软件中实施)实施运动估计模块350和/或视频处理应用360，示例系统的其它实施例将为系统设计者在设计最佳配置中提供灵活性。
虽然已经参照示例实施例描述了本发明，但是本领域的技术人员容易明白本发明不限于公开的和示出的实施例，相反本发明意图覆盖包含在下列权利要求的范围中的许多其它修改、替换和变化和广泛的等同物配置。
权利要求
1.一种用于分配候选运动矢量的方法，该方法包括将一个图像帧(110)分成多个片段(120)，每个片段(120)包括多个像素块(130)；测量每个片段(120)的局部运动复杂性；以及基于所测量的局部运动复杂性将多个候选运动矢量指派给每个片段(120)中的像素块(130)。
2.如权利要求1的方法，其中测量的步骤包括确定图像帧(110a)的像素块(130)和相邻帧(110b)的相应像素块(130)之间的绝对差值和；以及将与每个片段(120)中的像素块(130)相联系的所测量的绝对差值和相加。
3.如权利要求2的方法，其中指派的步骤包括使用设置为基于每个片段(120)测量的局部运动复杂性来指派候选矢量数量的分配函数。
4.如权利要求3的方法，其中分配函数基于片段的所测量的绝对差值和的最大、最小和平均值。
5.如权利要求4的方法，其中分配函数还基于每块的候选矢量的最大、最小和平均数量的预定值。
6.如权利要求1的方法，还包括使用分配给每个像素块(130)的候选矢量数量对像素块(130)执行运动估计。
7.一种用于分配候选矢量的系统，该系统包括用于将图像帧(110)分成多个片段(120)的装置，每个片段(120)包括多个像素块(130)；用于测量每个片段(120)的局部运动复杂性的装置；以及基于测量的局部运动复杂性将多个候选运动矢量指派给每个片段(120)中的像素块(130)的装置。
8.如权利要求7的系统，其中用于测量的装置包括用于确定图像帧(110a)的像素块(130)和相邻帧(110b)的相应像素块(130)之间的绝对差值和的装置；以及用于将与每个片段(120)内的像素块(130)相联系的测量的绝对差值和相加的装置。
9.如权利要求8的系统，其中用于指派的装置使用设置为基于每个片段(120)的被测量的局部运动复杂性来指派候选矢量数量的分配函数。
10.如权利要求9的系统，其中分配函数基于片段的所测量的绝对差值和的最大、最小和平均值。
11.如权利要求10的系统，其中分配函数还基于每块的候选矢量的最大、最小和平均数量的预定值。
12.如权利要求7的系统，还包括用于使用指派给每个像素块(130)的候选矢量数量对像素块(130)执行运动估计的装置。
全文摘要
一种用于分配候选运动矢量的系统和方法将图像帧(110)分成多个片段(120)，其中每个片段(120)包括多个像素块(130)。然后可以通过确定帧(110a)的像素块(130)和相邻帧(110b)的像素块(130)之间的绝对差值和(SAD)并且将每个片段(120)中的像素块(130)的SAD值相加来测量每个片段的局部运动复杂性。片段的最大、最小和平均SAD值可以用于限定分配候选矢量的分配函数以便与每块的候选矢量的预期的最大、最小和平均数量一致。然后该分配函数用于基于测量的相关片段(120)的SAD值来确定指派给像素块(130)的候选矢量的数量。
文档编号H04N5/14GK1910928SQ200580002042
公开日2007年2月7日 申请日期2005年1月4日 优先权日2004年1月8日
发明者E·贝莱尔斯 申请人:皇家飞利浦电子股份有限公司