媒体信号处理方法，相应系统及其在资源可扩缩运动估算器中的应用的制作方法

专利名称：媒体信号处理方法，相应系统及其在资源可扩缩运动估算器中的应用的制作方法
技术领域：
本发明涉及在媒体信号处理系统中处理以连续的媒体数据包组的形式可利用的媒体信号的方法，所述处理方法执行一个或多个功能，其中至少一个功能能够利用导致不同的输出质量和资源需求的不同级别的可扩缩性(scalability)来执行。
本发明还涉及允许执行所述方法的相应的处理设备，并且涉及所述处理方法的应用。
背景技术：
软件算法完成媒体(特别地，视频)处理正在可编程器件上日益增加地执行。这些算法通常具有数据相关的资源使用。由于难于预测最坏情况资源分配，而且对于有效的成本合算的实施来说也不期望这样的资源分配，所以媒体处理算法通常得处理有限的资源，仍提供好的输出质量，而又不牺牲稳定性和稳健性。可扩缩媒体算法非常适用于软件算法实现，其允许输出质量和资源使用之间的平衡。然而，数据相关的处理导致了不同的资源使用，并且资源波动可能大于系统所能够接受的程度。
执行资源可扩缩算法的设备的第一实例例如是运动估算器，诸如由R.Braspenning、G.de Hann和C.Hentschel在International Conference on VisualCommunications and Image Processing(VCIP)，Proceedings，San Jose(USA)，2002年1月，第442-453页上的“Complexity scalable motion estimation(复杂性可扩缩运动估算)”中所述的一个实例。在这样的运动估算器中，依赖于瞬时活动性和空间内容特性，资源使用可能高度波动。为了保持在所提供的预算(或资源)范围内，这个运动估算器包括调整器，其允许将负载保持为靠近特定的目标。
然而，利用这样的调整器，调整参数是在帧的基础上进行计算和调整的，并且阈值参数“资源/质量设置”对于整个帧是固定的，而因此对于这个帧中或多或少的活动区域来说，没有区别是可能的。资源使用也是对于整个帧来确定和此后被使用的。这样，在帧内没有自适应是可能的，并且结果是在快速变化之后，使用比特定目标多得多的资源，调整经常失败。最后，看来每帧的资源使用的波动对于稳健和稳定的应用来说仍太高。
在文献WO03/050758(PHNL010900)中描述了允许执行资源可扩缩算法的解决方案的第二个实例。在所述文献中所描述的方法能够适应于媒体信号的不断变化的要求(所述要求例如是对于质量等级的不可预测的要求，并因此需要更多的处理能力)，其包括的步骤为分配能够在第一质量等级上操作的预算，确定所谓的进程和在操作期间使用的预算(由于实际的资源使用的测量)，以及为媒体信号处理设置第二质量等级(基于所述进程，所分配的预算和实际使用的预算)。
然而，可以注意到，并没有提及该调整方法主要影响算法的质量等级，并且仅间接影响资源使用。质量等级和资源使用之间的相关性很弱或者是不适宜的，尤其对于与媒体信号相关的处理来说。此外，由于预算信息包括有关处理算法之外的参数的测量，例如CPU周期，所用的时间，停止周期，总线带宽，存储器存取等，因此在操作期间使用的预算是由处理算法之外的系统特性决定的。该调整因此也由处理硬件来决定，与处理算法具有繁重的交互作用，而且由于整个系统必须对于全部的特定应用被优化，所以在其它的平台或配置上的再使用是成问题的。因为可编程器件上的某些系统特性难于测量或预测(例如总线带宽，停止周期等)，这时常是不可能的。

发明内容
因此，看来需要为媒体(视频)处理算法提供负载平衡调整，而不需要任何外部控制，以允许在其它的平台或产品系列成员上容易的再使用，并将所述负载调整基于所指定的媒体处理特定的预算以及内部媒体处理特定的测量，忽略其它系统特定的参数。此外，所述负载调整优选地必须对于一组视频数据包例如帧来进行，同时调整参数在帧内进行修改。还需要检验这些调整特性独立于已处理的数据量以及接近于每帧的特定资源预算的所述调整独立于输入数据特性(可选地，该调整将必须对于小于一帧的并且具有任何规则的或不规则的形状和大小的区域或段的个别预定的预算调整资源使用，仍提供对整个帧的全部预算的调整)。
因此，本发明的目的是建议一种处理方法，其中提供包括所述特征和优点的负载调整。
为此，本发明涉及如在说明书的引言段中所定义的方法，而且其特征在于，它包括以下步骤-请求资源，以提供多个系统输出；-给该方法分配预定的预算，以允许在给定等级的可扩缩性上操作该方法；-测量考虑已处理的数据的所谓的进程；-测量在该方法的工作期间使用的至少一个媒体处理特定资源；-基于包括所述分配的预算和所述测量的调整参数，通过给媒体信号处理分配修改后的资源，执行负载调整。
所建议方法的优点如下(a)对于特定目标(指定的预算)的极佳的调整；(b)利用有限资源的可编程器件上的稳定和稳健的媒体处理；(c)该调整是媒体处理算法的一部分，并且不需要外部调整组件具有其调整的算法因此容易移植到其它平台或产品系列成员上；(d)鉴于在给定资源上优化的可察觉到的图像质量，帧中或多或少的活动区域的差异是可能的。
根据本发明的一个特定实施例，调整参数优选地在具有规则边界的帧内进行修改，但是其也在规则格栅(grid)中被细分为段的帧中进行修改，单独的预算随后被分配给至少一个所述段，通常至少是第一个。然而，基于容量相关的段特性，单独的预算还可以被分配给每个所述段。
在本发明的另一个实施例中，这些调整参数还可以在被细分为不规则部分的帧内进行改变，特定预算被分配给每个所述不规则部分。
本发明的另一个目的是建议一种媒体信号处理系统，允许执行根据本发明的处理方法。
因此，本发明涉及一种媒体信号处理系统，用于处理连续的视频数据包组，并包括一个或多个功能电路，其中由所述电路完成的至少一个功能可以利用导致不同的输出质量和资源要求的不同等级的可扩缩性来执行，所述系统包括调整设备，其包括反馈控制环路，用于动态改变系统的资源需求，作为所谓的偏差的函数(function)，所谓的偏差应用于所述可扩缩功能的至少一个可变参数，并在指定的周期期间通过计算在预期的和实际的使用之间的差异来计算。
本发明的还一个目的是将所述处理方法用于例如运动估算处理的应用中。
为此，本发明涉及媒体信号处理方法对于负载调整方法的应用，用于资源可扩缩运动估算器测试矢量候选者的目标数量，并包括用于由连续帧组成的输入视频数据流的负载平衡调整，连续帧包含连续的象素线并被细分为相连的块，所述负载调整方法包括以下步骤-请求资源，从而以估算的运动矢量候选者的给定数量的形式提供多个系统输出；-每帧分配预定的预算，以允许在限定的质量等级上操作；-测量考虑已处理的数据的所谓的进程；-测量在该方法的工作期间使用的资源；-基于包括所述分配的预算和所述测量的调整参数，通过向所述媒体信号处理分配修改的资源来执行负载调整。
本发明的还一个目的是在例如清晰度增强处理的应用中使用所建议的处理方法。
为此，本发明涉及在用于清晰度增强处理中的对于负载调整方法的媒体处理方法的应用，所述负载调整方法包括以下步骤-请求资源，从而以块活动性和相关决定的给定数量的形式提供多个系统输出；-每帧分配预定的预算，以允许操作在限定的质量等级上；-测量考虑已经处理的数据的所谓的进程；-测量在该方法操作期间使用的资源；-基于包括所述分配的预算和所述测量的调整参数，通过向所述媒体信号处理分配修改的资源来执行负载调整。


现在本发明将参照附图通过示例来加以说明，其中-图1示出了根据本发明的基于进程的媒体处理调整器；
-图2和3示出了根据本发明的调整器的两个应用；-图4示出了根据本发明的更特定的基于进程的调整器；-图5示出了在图4中的调整器中提供的常规的低通滤波器的示例；-图6相对于图4示出了根据本发明的基于进程的调整器的另一个示例；-图7示出了将图像分割为段，并将所述段之一分割为调整部分和块；-图8示出了根据本发明的基于进程的调整器的进一步示例；-图9是描述图6的所述调整器如何工作的流程图的一个示例。
具体实施例方式
根据所建议的方法，图1示出了允许满足上面列出的要求的一个基于进程的媒体处理调整器的一般结构。所示的调整器包括用于媒体处理的基础级100。该级可以包括若干方块，其数量对于下面将说明的本发明并不是实质性的。在并不是本发明限制的所示的示例中，所述级例如包括串联的执行功能1(F1)的第一电路110和执行功能2(F2)的第二电路120。在所述级100中实施的基础算法例如可以是运动估算，但原理可以更广泛地应用于具有数据相关的资源使用的任何可扩缩算法(例如，另一个实施例是用于在个别图像的最相关区域中清晰度增强的算法)。
在级100中，第一电路110接收输入视频信号(IVS)，而第二电路120传递输出视频信号(OVS)。调整环路130则与级100相关。在级100中，第三电路30(PM，用于进程测量)允许测量称为进程的表达式，并事实上由输入信号中被处理的数据的数量和将在指定周期(例如，帧周期)中处理的数据的总量之间的比率来确定。所述电路30例如可以是传递指示p。另外，在级100中，第四电路40(RM，用于资源测量)允许测量至少一个使用的媒体特定资源。所述电路40传递数值Rr，其是处理算法使用的资源的实际累计数值。电路30的输出信号p被第五电路50(ERC，用于“预期资源使用”计算)接收，而电路40的输出信号Rr被第六电路60(RDC，用于“资源偏差计算”)接收。电路30和40具有输入RESET(复位)，用于在测量周期开始时使它们复位。
在电路30的输出上可获得的测量的进程p用于加权在电路50的输入上可得到的目标Ra(或每个指定周期的预算)，并且在电路50的输出上如此获得的加权后的目标Re在电路60的第二输入上被接收，电路60基于值Re和Rr来计算与加权后的目标的偏差Rd。这个偏差Rd是朝向电路120发送的资源/质量设定，以执行所请求的调整。在电路60的这个输出Rd和电路120的输入之间，可以提供低通滤波器70(LPF)和具有非线性功能的电路80(NLF)，这两个电路中的每一个都是可选的(在图1中，它们被示出)。
这些原理首先可以应用于具有规则边界的帧，但这并不是唯一可能的实施例。例如，对于图像的不同部分，诸如静止图像部分，移动区域，纹理区域，平坦区域，具有相同方向和速率的运动矢量区域等，媒体处理还可以要求不同的资源，以实现近似恒定的感觉质量。这些图像部分可以再细分为段，这些段基于它们的内容本身可以在规则或不规则格栅中。在这样的分段后，每一段可以依赖于重要的容量相关的段特性被分配优先权或相对预算。另外，不同的优先权可以被指定用于图像的开始，为了更快的会聚。
这个通用的负载调整方法可以用于许多应用中，例如用于在已经引用的文献“复杂性可扩缩运动估算”中所述类型的资源可扩缩运动估算器中。如在所述文献中所解释的，运动估算通常解决假定两个亮度图像f(x，t-1)和f(x，t)的问题，查找矢量场d(x，t)，以使f(x，t-1)＝f(x+d(x，t)，t) (1)实际上，为了得到稳定的解决方案，函数d(x，t)的估算不是对于每一个象素而是对于一组象素例如8×8的块执行的。这引入了限制，使得d(x，t)＝d(x′，t)，x′∈B(x)， (2)其中B(x)是在位置x上的象素块，即B(x)＝{x′|x′idivβi，i＝0，1} (3)βi是块维数。为方便起见，定义组BC(用于“块坐标”)，其包含在块位置上的全部坐标，即BC＝{x|ximod βi，＝0i；i＝0，1}(4)
该估算算法随后被定义如下。考虑在位置x∈BC上的块。组PC(用于“先前计算的”)包括在当前时刻t已经被估算过的块的位置。候选组CS被构建，即CS＝{ci|i＝0，......，|CS|-1}(5)候选矢量ci与块位置xi相关，其通过扫描顺序与当前位置x相关(利用单位矢量s0和s1表示，例如，s0＝(1，0)以及s1＝(0，1))。块位置xi可以使用相对块位置矢量δ来描述，即xi＝x+δ0β0s0+δ1β1s1(6)如果矢量δ满足条件(δ1＜0)∨(δ1＝ 0∧δ0＜0)，则该块位置是当前时刻t已经处理过的一个邻近块，即xi∈PC，并且可以将其输出矢量作为候选者。对于每个候选矢量ci∈CS，匹配误差ε如下计算ϵ(c,x,t)=Σx′∈B(x)|f(x′,t)-f(x′-c,t-1)|---(7)]]>随后，具有最低匹配误差的候选矢量cmin被指定为输出置换矢量，即cmin＝argmin(ε(c，x，t))(8)c∈Cs并因此x′∈B(x) d(x′，t)＝cmin(9)最后，位置x被加到组PC，即PC:＝PC∪{x}。
在给定的运动估算的实例中，所述的资源可扩缩运动估算器使用例如(尽管可以设计其它的机制来进行运动估算器可扩缩)称为块跳跃阈值的表达式来确定是否测试图像内给定块的另一个矢量候选者。块跳跃是指一种技术，用于选择最重要的块来处理。根据所述技术，用于给定块的运动矢量仅是从邻近的块中简单拷贝，除非其导致高于可变阈值的一个匹配误差。在当前情况下，可变阈值利用反馈环路来控制，其保持资源使用低于可编程的电平。这个块跳跃机制要求至少计算一个SAD(绝对差之和)。由于每个块的SAD计算的平均值从不会低于一，并且接近每个块一个SAD的平均值很难利用可接受的质量来达到，需要另外的机制块跳越(block skipping)，其允许防止将资源花费在候选选择执行得很差的块上(例如，没有包含或包含非常低的对比度纹理的块上)。
改变块跳跃阈值因此影响被测试的候选者的数量，并结果影响运动估算器的负载。每次运动估算器处理水平行的块(或块线(block line))时，这个块跳跃阈值利用负载平衡调整器来更新。在利用给定的块跳跃阈值处理块线之后，运动估算器为图像中已处理的所有块输出候选者的实际平均数值。在相关的图像结束时，所述候选者的平均数值应接近指定的候选者的目标平均数值，即误差应接近0。实际上，给定剩余误差值，其是在指定的和实际的候选平均者数量之间所观测到的差异，校正值必须被计算，并且这个校正必须被转换为用于下一块线的块跳跃阈值的适当值，通常根据非线性转换功能(但是这也可以通过与恒定因子相乘)来实现。
然而，可以观察到，只有在图像结束时与目标的偏差才是重要的，而不是单独地对于每个块线。而且，应避免在块线之间大的负载差异，因为这些差异能导致它们之间显著的质量差异。因此，建议在此处所述的运动估算器中考虑图像中块线的相对位置。这个相对位置称为进程，其用于对于整个图像加权候选者的目标数量，以便为所有已处理的块线获得加权后的候选者的目标数量。候选者的实际数量与加权后的目标数量的偏差则被用于导出块跳跃阈值。利用进程的目标数量的加权使该调整器独立于块线位置。
在图2中，图1中示出的方案被应用于运动估算的基础算法。根据图2中示出的实施例，运动估算器200包括电路210和220，用于自身执行运动估算。调整环路230则与运动估算器200相关，并包括与电路50至80相似的电路51至81。在级200中，第三电路31(PM)传递指示p，允许测量进程，其由在输入信号中已处理的数据量与必须在指定周期(如帧周期)中处理的数据总量之间的比率来决定。另外，在级200中，允许测量使用的资源的第四电路41(RM)传递数值Rr，其是由处理算法使用的资源的实际累计数值。电路31的输出信号p由第五电路51接收，并且电路41的输出信号Rr由第六电路61的第一输入接收。在电路31的输出上可得到的测量的进程p用于加权在电路51的输入上接收的目标Ra(或每个指定周期的预算)，并且这样获得的加权后的目标数量Re在电路61的第二输入上接收到，电路61在所述值Re和Rr的基础上计算与加权后的目标的偏差Rd。这个偏差是朝向电路220发送的资源/质量设定，以执行所请求的调整。在电路61的输出Rd和电路220的相应输入之间，如图1中可以提供低通滤波器71和具有非线性功能的电路81，这两个电路中的每一个都是可选的(在图2中，它们被示出)。
在图3中，图1的方案被用于另一情形中，用于执行清晰度增强的基础算法。根据所示的实施例，基于进程的调整现在包括基础级300，其本身包括第一电路310，用于块活动性(例如，当其对应于具有高对比度的纹理时，活动性可以是高的，或对于中等对比度或低对比度纹理，可以是中等或低的，)的计算和有关处理的决定(例如，相应的决定可以是锐化(sharpening)，即增加局部对比度，或不动作(do nothing)，或平滑(smoothening)，即减小噪声)，而第二电路320用于块处理。在这个示例中，这些特性(对于清晰度增强算法)导致容量相关的资源使用对于局部调整，有可能使用两个不同的阈值等级(在“不动作”和“锐化”之间，以及在“不动作”和“平滑”之间)，其可以被移位以减小或增加资源使用(“不动作”对应于最少的资源)。调整环路330随后与运动估算器300相关，并包括与电路50至80相似的电路52至82。在级300中，传递指示p的第三电路32(PM)允许测量进程，其由在输入信号中已处理的数据量与在指定周期(如帧周期)中必须处理的数据总量之间的比率来决定。另外，在级300中，允许测量使用的资源的第四电路42(RM)传递数值Rr，这是由处理算法使用的资源的实际累计数值。电路32的输出信号p由第五电路52接收，而电路42的输出信号Rr由第六电路62接收。在电路32的输出上可得到的测量的进程用于加权在电路52的输入上可得到的目标Ra(或每个指定周期的预算)，并且在电路62的第二输入上接收如此得到的加权后的目标Re，电路62在所述值Re和Rr的基础上，计算与加权后的目标的偏差Rd。这个偏差是朝向电路320发送的资源/质量设定，以完成所需要的调整。在电路62的输出Rd和电路320的输入之间，如图1和2中可以提供低通滤波器72和具有非线性功能的电路82，这两个电路中的每一个都是可选的(在图3中，它们被示出)。
相对于图2中所示的应用，图4中描述了更特定的实施例，其示出了根据本发明的基于进程的调整器的一个特定示例。在所述图4中，候选者的输入目标数量TANC由乘法器411接收，其后串联连接减法器412、低通滤波器414、限幅器415(即，具有非线性功能的电路)、转换器416(T)和运动估算器417(EST)。滤波器414和限幅器415是可选的。在运动估算器417的输出上，可得到两个数据处理的块线数量NBLP和候选的实际数量RNBC。具有增益为K的放大器413可以在减法器412和低通滤波器414之间被提供。在每个块线调整的当前特定实施例中，通过在计算电路418中确定比率PROG＝NBLP/TNBL获得进程，其在乘法器411的第二输入上被接收，用于加权候选者的输入目标数量TANC，其中TNBL是帧中块线的总数。在乘法器411的输出上可得到的加权后的候选者的目标数量WTANC在减法器412的第一输入上接收，其负输入接收候选者的实际数量RNBC。在WTANC和RNBC之间的差称为偏差DEV，其在放大器413中被乘以增益系数K，并在滤波器414中进行低通滤波，而且在限幅器415中进行限幅(如果提供了这后两个可选的电路)。在限幅器415的输出上(或如果没有提供滤波器414和限幅器415，则在放大器413的输出上)可得到的校正值COR根据上述的线性或非线性的转换功能被转换为块跳跃阈值BHT的值。在已完成的试验中(但是这无论如何并不是本发明的限制)，这个阈值BHT利用下面的表达式给出BHT=3,3*(total number of blocks)-(target number of candidates)+correction-1,9*(total number of blocks)]]>这个功能优选地利用查询表来完成。块跳跃阈值BHT随后由运动估算器417接收。对于低通滤波器，可以使用传统的一阶IIR低通滤波器，如图5中所示的滤波器的实例。滤波器的延迟元件D和块跳跃阈值在每个新图像开始时被复位。
图4的基于进程的调整器的可替换示意图示在图6中被提出，其中图4的实施中已经存在的电路可以同样地被参考。候选者的输入目标平均数值TANC由减法器631接收，其后串联跟随着乘法器632、低通滤波器414、放大器413、限幅器415、转换器416和运动估算器417，在其输出上可得到两个数据处理的块线数量NBLP和候选者的实际平均数值RANC。与前面一样在现在位于减法器631和低通滤波器414之间的计算电路418中计算的进程在乘法器632的第二输入上被接收。运动估算器417的其它输出即候选者的实际平均数值RANC由减法器631的负输入接收。在候选者的输入目标平均数值TANC和候选者的实际平均值RANC之间的差(也称为偏差DEV)在乘法器632的第一输入上接收，并被乘以先前在计算电路418中计算的进程，所述乘法器传递加权后的误差WER，随后如前在电路414，413，415，416和417中进行处理。
在图像开始时的相对偏差将仅导致块跳跃阈值的小变化，但这将影响图像中的所有剩余块线。与此相反，接近图像结束的相对偏差将导致阈值的较大变化，以满足目标。总的来说，该调整与图4中所示的具有绝对偏差的调整器相同或相当。
在上述实施例的情况中，可利用的资源平均分配在图像中，即，图像的每一部分都被给予和每个其它部分相同的资源平均数。然而，这并不总是导致最佳的输出质量。于是，能够建议基于进程的调整器的第三个实施方式，其中依赖于图像内容，独立的负载目标用于不同的图像部分。根据这个第三实施方式，如图7的左部所示，每个图像被划分为段(在当前情况中，被划分为相等大小的矩形段)，其负载目标被确定(在图7的示例中，包括3240个8×8象素的块的图像被划分为3×6＝18个段，并且如图7的右部所示，每个段包括12个调整部分和15×12＝180个块，即，每个调整部分15个8×8象素的块)。这些负载目标表示为每个块的候选者平均数值，其通过这样的方式来确定，以使其具有如下特性(a)所有图像段的平均负载目标与整个图像的特定负载目标相同；(b)由于运动估算器不能每个块花费超过给定数量的候选者，所以最大负载目标不超过每个块的所述候选者的给定数值；(c)类似地，由于运动估算器对于每个块不能花费给定数值的候选者，所以最小负载目标不低于大约每个块的所述候选者的给定数值。
对于不同图像段使用单独的负载目标数量的一个调整器的示意图在图8中示出。下一个段的所有处理的调整部分的候选者的输入目标数量TNCPS在减法器851上接收，其后串联跟随着放大器853、转换器856(TRANS)和运动估算器857(EST)，在其输出上可得到下一个段的所有处理的调整部分的候选者的实际数值RNBC(RP)。用于调整器的目标是在给定段中所有已处理的调整器部分的候选者数量TNCPS(这个目标随着处理的调整器部分的数量而呈线性增加)。这样的使用基于段的负载目标的基于进程的调整器的流程图描绘在图9中。
最后必须指出，通过软件或硬件方式或同时通过二者，具有多种执行功能的方式。在这一方面，这些附图是非常概略的，每幅图仅代表本发明的一个可能的实施例。因而，尽管附图作为不同块示出了不同的功能，但这决不排除单一硬件或软件项执行若干功能。同样也不排除硬件或软件项或其二者的集合执行功能。
在此之前作出的注释表明，参考附图所作的详细描述阐述了本发明，但并不限制本发明。具有落入所附的权利要求的范围之内的许多替换。在任何权利要求中的任何参考标记不应解释为对所述权利要求的限制。词语“包括”并不排除在权利要求中所列出之外的其它元件或步骤的存在。在元件或步骤之前的词语“一或一个”并不排除多个这样的元件或步骤的存在。
权利要求
1.一种在媒体信号处理系统中处理以连续的媒体数据包组的形式可利用的媒体信号的方法，所述处理方法执行一个或多个功能，其中至少一个功能能够利用导致不同的输出质量和资源需求的不同等级的可扩缩性来完成，所述方法进一步包括以下步骤请求资源，以提供多个系统输出；给该方法分配预定的预算，以允许在给定的可扩缩性等级上操作该方法；测量考虑已处理的数据的所谓的进程；测量在该方法的操作期间使用的至少一个媒体处理特定资源；基于包括所述分配的预算和所述测量的调整参数，通过为媒体信号处理分配修改的资源来执行负载调整。
2.根据权利要求1的方法，其中所述调整参数在具有规则边界的帧内进行改变。
3.根据权利要求1的方法，其中所述调整参数在被细分为规则格栅中的段的帧内进行改变，单独的预算被分配给至少一个所述段。
4.根据权利要求1的方法，其中所述调整参数在被细分为规则格栅中的段的帧中进行改变，基于内容相关的段特性，单独的预算被分配给每个所述段。
5.根据权利要求1的方法，其中所述调整参数在被细分为不规则部分的帧中进行改变，特定的预算被分配给每个所述不规则部分。
6.一种媒体信号处理系统，用于处理连续的视频数据包组，并包括一个或多个功能电路，其中利用所述电路执行的至少一个功能可以利用导致不同的输出质量和资源需求的不同等级的可扩缩性来完成，所述系统包括调整设备，其包括反馈控制环路，用于动态改变系统的资源需要，作为应用于所述可扩缩功能的至少一个可变参数并在指定的周期期间利用预期的和实际的使用之间的差的计算来计算的所谓的偏差的函数。
7.权利要求1的媒体信号处理方法对于负载调整方法的一种应用，用于资源可扩缩运动估算器测试矢量候选者的目标数量，并包括用于由连续帧组成的输入视频数据流的负载平衡调整，其中连续帧包含连续的象素线并被细分为相连的块，所述负载调整方法包括以下步骤-请求资源，从而以估算运动矢量候选者的给定数量的形式提供多个系统输出；-每帧分配预定的预算，从而能够操作在限定的质量等级上；-测量考虑已处理的数据的所谓的进程；-测量在该方法的操作期间使用的资源；-基于包括所述分配的预算和所述测量的调整参数，通过为所述媒体信号处理分配修改的资源来执行负载调整。
8.根据权利要求7的负载调整方法，用于资源可扩缩运动估算器测试矢量候选者的目标数量，并包括用于由连续帧组成的输入视频数据流的负载平衡调整，其中连续帧包含连续的象素线并被细分为相连的块，所述负载调整方法包括以下步骤-估算所估算的运动矢量候选者的给定数量；-每帧分配预定的预算，以允许操作在限定的质量等级上；-测量考虑已处理的数据的所谓的进程；-利用所述进程，加权矢量候选者的目标数量；-确定在运动估算器的输出上的矢量候选者的给定数量与矢量候选者的加权目标数量之间的差值；-基于所述差值和所述测量，执行所述运动估算器的负载的调整。
9.根据权利要求8的方法，其中所述进程由帧中处理的块线的数量与块线的总量之间的比率来决定。
10.根据权利要求9的方法，其中所述调整参数是块跳跃阈值，其影响待测试的矢量候选者的数量。
11.一种计算机系统，用于执行根据权利要求8-10之中任一项权利要求的方法。
12.一种计算机程序产品，包括存储在计算机可读媒体上的程序代码装置，用于当该计算机程序在计算机上运行时执行根据权利要求8-10之中任一权利要求的方法。
13.一种资源可扩缩运动估算器，用于测试与视频数据流相关的矢量候选者的目标数量，其中视频数据流由包含连续的象素线并被细分为相连块的帧组成，所述运动估算器包括-运动估算装置，用于传递矢量候选者的给定数量；-分配装置，用于限定每帧的预定预算，以允许操作在限定的质量等级上；-测量装置，用于计算由帧中的处理块线的数量与块线的总量之间的比率决定的所谓的进程；-加权装置，用于利用所述进程加权矢量候选者的目标数量；-计算装置，用于确定在运动估算器的输出上的矢量候选者的实际数量与加权后的矢量候选者的目标数量之间的差值；-控制装置，用于基于所述差值改变运动估算器的负载的调整参数。
14.根据权利要求13的运动估算器，其中所述调整参数是块跳跃阈值，其影响待测试的矢量候选者的数量。
15.权利要求1的媒体处理方法对于负载调整方法的一种应用，用于清晰度增强处理中，所述负载调整方法包括以下步骤-请求资源，从而以块活动性和相关决定的给定数量的形式提供多个系统输出；-每帧分配预定的预算，以允许操作在限定的质量等级上；-测量考虑已处理的数据的所谓的进程；-测量在该方法的操作期间使用的资源；-基于包括所述分配的预算和所述测量的调整参数，通过为所述媒体信号处理分配修改的资源来执行负载调整。
16.一种清晰度增强设备，用于执行根据权利要求15的方法。
全文摘要
本发明涉及在媒体信号处理系统中处理以连续的媒体数据包组的形式可利用的媒体信号的方法。该方法执行一个或多个功能，至少其中的一个功能能够以不同的导致不同的输出质量和资源要求的可扩缩性等级来执行，该方法包括以下步骤请求资源，以提供多个系统输出；给该方法分配预定的预算，以允许在给定的可扩缩等级上操作该方法；测量考虑已处理的数据的称为进程的表达式；测量在操作期间使用的至少一个媒体处理特定资源；基于包括所分配的预算和所述测量的调整参数，通过给媒体信号处理分配修改后的资源来执行负载调整。
文档编号H04N7/26GK1934535SQ200580008497
公开日2007年3月21日 申请日期2005年3月15日 优先权日2004年3月19日
发明者C·亨特谢尔, R·武本 申请人:皇家飞利浦电子股份有限公司