专利名称：利用视频分析来辅助开放和灵活系统的可预测性的方法
技术领域：
本发明涉及一种辅助一个开放和灵活系统的可预测性的方法，该系统包括一个具有至少一个视频处理算法的系统(诸如，媒体处理单元)。本发明也涉及一种具有一个辅助开放和灵活系统的可预测性的装置的设备，该系统包括一个具有至少一个视频处理算法的系统，诸如媒体处理单元。本发明进一步涉及一种辅助一个开放和灵活系统的预测的方法的应用，该系统包括一个具有至少一个视频处理算法的系统，诸如媒体处理单元。
应用的领域可以是用户多媒体终端，例如PC，数字电视机，STB和显示器或者更普遍的用于媒体处理单元中。用户多媒体终端是具有明确要求的系统，即实时性，高经济效益，稳定性，以及在本文中最重要的，可预测性和高输出质量。
背景技术：
从专利申请WO94/01824已知一种基于视频-指令-设定-计算(VISC)结构的集成电路系统。这种集成电路系统包括多个功能单元，用于独立地执行远程通信，带宽调整，应用控制，多媒体管理，以及通用视频编码的任务。集成电路也包括与功能单元相连接的可伸缩格式元件，它能够依赖系统容量和结构来互操作任意的外部视频格式，将其智能地适应选定的内部格式。此外，功能单元和可伸缩格式还连接着一个智能存储元件，其能够根据选定的内部格式访问，存储，以及传送视频数据块。在优选实施方案，集成电路也包括一个用于执行DOS，Windows，NT，Macintosh，os2或者UNIX应用程序的嵌入式的RISC或者CISC协处理器元件。在一个更优选的实施方案中，集成电路包括一个实时面向对象操作系统元件，其中能够根据设定的视频指令同时执行应用程序和实时VISC。设计本发明能够支持VISC微处理器的多代演变。这些新的VISC微处理器能够有效地用于执行宽范围的实时分布式视频信号处理功能，从而在诸如交互视频，HDTV，以及多媒体通信中应用。
但是当该系统资源短缺或者过载的时候，系统是被动反应而不是主动的。仅有流水线通信量被分析，而源信息没有被分析，只有过载条件被专门调整，而没有保持整体情况的控制。在所有的资源几乎都被占用的情况下，系统将减慢通信从而造成实时特性的损失。在最坏的情况下，视觉输出质量和资源利用在运行时都会发生变化，造成系统的不可预测性，而且系统可能需要重新同步。
从专利申请WO00/21302已知一种用于控制数字视频编码器中的量化级别的方法和装置，该编码器包括多个并行压缩引擎。输入图像被划分为多个图像画面，每个画面由一个单独的压缩引擎进行处理。在对视频帧进行编码之前，确定基准量化级。将基准量化级应用于由视频编码器处理的每个视频图像画面的第一个切片。强制图像画面最后一个切片的量化级与画面第一个切片的量化级相同。强制步骤可利用分段线性反馈公式。基于当前在至少一个压缩引擎的处理流水线内的胶片图像和非胶片图像的数目，来调整图像组(GOP)的目标比特率。为非胶片图像提供较高的目标比特率。利用视频编码器的缓冲级来控制新图像组(GOP)的开始。如果缓冲存储器没有足够的空间来容纳新图像组(GOP)的一个内编码(I)帧，则延迟新图像组的开始。
但是，当系统资源短缺或者过载的时候，系统是被动反应而不是积极主动的。如果缓冲器没有足够的空间，新图像组的开始被延迟，造成实时特性的损失。在最差的情况下，系统可能是不可预测的。系统将跳过一些视频信息，以恢复实时视频处理，并且可能需要重新同步。仅分析缓冲器的占有，不分析源信息，只有过载条件被专门调整，而没有保持整体情况的控制。
发明概述本发明的目的是提供一种能够更快速反应并且做出合适改变的系统控制，以及提供一个稳定和可预测的系统。本发明的另一个目的是在给定的资源条件下提高整个输出质量。
就是，如根据本发明所提出的权利要求1，3，5所述，执行视频分析，并且合适地估量影响输出质量和至少一个视频算法的负载的参数，向系统控制提供必要的信息，以及系统控制执行合适的控制和修正。
因此，这确保系统控制能够更快速反应并且做出合适的控制和修正，从而产生一个可以预测的系统。由于系统可以更快地反应，防止了等待时间，即系统的实时特性得以确保。由于系统控制预先进行了控制和修正，瓶颈就能够被防止，这就产生了一个具有改进性能的可预测系统。改进的性能保障复杂的视频处理算法能够被执行。此外，改进的性能赢得了增加新的处理特性的空闲时间。还有，合适的设定使得对于给定的资源可以获得整体提高的输出质量。
本发明的基本思想就是通过获知影响一些视频算法的输出质量和负载的参数，以及通过向系统控制提供必要的信息，使系统控制能够更快速地反应并且做出合适的改变，从而产生一个可以预测的系统。此外，合适的设定(依赖于估量参数)使得对于给定资源可以获得整体提高的输出质量。至此，参数被合适的估量。
如权利要求2所述的该方法的一个实施方案具有这样的优点，资源利用可以与视觉输出质量动态转换。而且，该系统更为稳定和具有更高的经济效益。与权利要求1所述的方法相组合，由于视觉输出质量和资源利用在运行时被改变而引起的不可预测性变为更加可以预测的特性。
如权利要求4所述的该装置的一个实施方案具有这样的优点，资源利用可以与视觉输出质量动态转换。而且，该系统更为稳定和具有更高的经济效益。与权利要求3所述的装置相组合，由于视觉输出质量和资源利用在运行时被改变而引起的不可预测性变为更加可以预测的特性。
如权利要求6所述的应用的一个实施方案具有这样的优点，资源利用可以与视觉输出质量动态转换。而且，该系统更为稳定和具有更高的经济效益。与权利要求5所述的应用相组合，由于视觉输出质量和资源利用在运行时被改变而引起的不可预测性变为更加可以预测的特性。
本发明的这些和其他方面将在下面参照实施方案进行的描述中变得清楚。
附图的简要描述附
图1示出一个用户多媒体终端的典型的视频处理通道。
附图2示出对于多种参数类型，输出视觉质量与资源利用之间的曲线图。
附图3示出使用估量模块的视频处理通道的一个实施方案。
附图4示出使用估量模块的视频处理通道的另一个实施方案。
优选实施方案的详细描述附图1示出了一个用户多媒体终端的典型的视频处理通道。输入103被提供给视频解码104。视频解码104的输出105被传送到视频增强101的第一可伸缩视频算法106。第一可伸缩视频算法106的输出被传送通过一些可伸缩视频算法109，到视频增强101的最后一个可伸缩视频算法110。视频增强101的输出111被传送到视频输出处理102的第一个可伸缩视频算法112。第一个视频可伸缩算法112的输出被传送通过一些可伸缩视频算法113到视频输出处理102的最后一个可伸缩视频算法114。视频输出处理102的输出115被输出。
在某种意义上，一些或者全部视频算法是可伸缩的，用于处理的资源需求与质量进行折中。在视频解码104之后，信息传递通过一些可伸缩的视频算法106，110从而进行视频增强。然后信息被传送通过一些可伸缩视频算法112，114以进行视频输出处理。可伸缩视频算法106，110，112，114能够动态地调整资源利用与视觉输出质量。在该实施例中，没有视频解码104的输出或者任何可伸缩视频算法106，110，112，114被提供给诸如系统控制模块的整体控制，以修正过载条件，这可能导致系统不可预测。
附图2是一个对于不同的参数利用一个可伸缩的视频算法(SVA)所获得的质量级别，即输出视觉质量与资源利用的字节组的曲线图。R(li，pj)表示当指定的质量为li，参数的类型是pj的时候，SVA的资源利用。Q(li，pj)表示当指定的质量为li，参数的类型是pj的时候，所获得的输出视觉质量。曲线250表示参数类型1的输出视觉质量与资源利用之间的关系。曲线251表示参数类型2的输出视觉质量与资源利用之间的关系。曲线252表示参数类型3的输出视觉质量与资源利用之间的关系。
附图3示出了使用估量模块的视频处理通道的一个优选实施方案。输入303被传送到视频解码304。视频解码304的输出305被传送到第一可伸缩视频算法306，视频解码304的输出318被传送到视频分析319。视频分析319的输出320被传送到系统控制321。第一可伸缩视频算法306的输出307被传送到下一个可伸缩视频算法308。下一个可伸缩视频算法308的输出309被继续传送，可能传送到一个或者多个可伸缩视频算法，和/或可能输出。视频解码304的输出316被继续传送到系统控制321。系统控制321的输出317被继续传送到视频解码304。系统控制321的输出322被继续传送到第一可伸缩视频算法306。系统控制321的输出323被继续传送到下一个可伸缩视频算法308。系统控制321的接下来的相似输出被传送到接下来的可伸缩视频算法；这些在附图3中没有显示。
附图3示出了一种使用估量模块的建议的视频处理通道。在不同的地点可以使用具有不同性质的多于一个的分析模块。视频解码304和视频分析319模块估算影响系统中可伸缩视频算法306，308的负载和视觉输出质量的参数的状态，并且通过参数316，320通知系统控制321进行适当的操作(反应)，即通过可伸缩视频算法306，308的控制322，323。因此系统就变得稳定和可以预测。
附图4示出使用估量模块的视频处理通道的另一个优选实施方案，它也是本发明的最佳方式。输入403被传送到视频解码404。视频解码404的输出405被继续传送到第一可伸缩视频算法406，视频解码404的输出418被传送到视频分析419。可能地，视频分析419的输出420被传送到系统控制421。第一可伸缩视频算法406的输出407被传送到下一个可伸缩视频算法408。下一个可伸缩视频算法408的输出409被继续传送，可能传送到一个或多个可伸缩视频算法，和/或可能输出。视频解码404的输出416继续被传送到系统控制421。系统控制421的输出417被传送到视频解码404。系统控制421的输出422被传送到第一可伸缩视频算法406。系统控制421的输出423被传送到下一个可伸缩视频算法408。系统控制421的接下来的相似输出能够被传送到接下来的可伸缩视频算法；这些在附图4中没有被显示。视频分析419的输出424被传送到第一可伸缩视频算法406。视频分析419的输出425被传送到下一个可伸缩视频算法408。第一可伸缩视频算法406的输出426被传送到系统控制421。下一个可伸缩视频算法408的输出427被传送给系统控制421。视频解码404的输出428被传送到第一可伸缩视频算法406。视频解码404的输出429被传送到下一个可伸缩视频算法408。
附图4示出了使用估量模块的另一个建议的视频处理通道。视频解码404和视频分析419模块估算影响系统中可伸缩视频算法406，408的负载和输出视觉质量的参数的状态，并且通过参数424，425，428，429通知可伸缩视频算法406，408，其依次将426，427通知给系统控制421以进行适当操作(反应)，即，通过可伸缩视频算法406，408的控制422，423。可能地，视频解码404和视频分析419模块也将416，420通知给系统控制421以正确操作(反应)。因此系统就变得稳定和可以预测。
应当注意这里所提出的观点可以应用于混合的系统，即，仅有一些视频算法能够被系统控制所控制的系统。而且，一些不可伸缩的视频算法也能够由一个系统控制所控制。因此这里所提出的观点通常适用于可控的视频算法。
下面将重点描述用户终端的可预测特性以及视频处理算法对这种特性的影响。
在视频处理算法过载的情况下，用户终端的预测受到了挑战。这种过载可能发生在场景变化过程中，或者由于视频处理算法的特定参数的统计变化(例如，运动或者细节)，而发生。目前，多数视频处理算法是利用专用硬件来实现的，从而处理在更糟情况下的视频算法的需要。
目前的趋势要求灵活性和开放的系统，这样就要求在可编程的元件上运行视频处理算法。但是，与专用硬件相比，可编程的元件在硅面积以及能量消耗上都非常昂贵。因此，系统的设计和管理应当以满足经济效益的方式进行。
建议使用可伸缩的视频算法(SVA)，其能够在服务质量(QoS)的环境下，将资源转换成输出质量。SVA以其资源和质量特性在运行时受控。一种模块形式的SVA组能够执行多媒体PC，机顶盒，电视机，或者，更通常的，在媒体处理单元中所需的不同的应用。
在一个用户多媒体终端中，各种视频输入流通常被解码(频道，源/彩色解码)，增强(噪声和伪痕降低，缩放，扫描速率转换，边缘增强)以及最终用于显示(混合，彩色拉伸，YUV到RGB，视频和图形混和)，或者编码以存储或者进一步传输。视频处理通道的这些部分中的每一个都是由图1所示的一组视频处理算法构成的。它们中的一些是可伸缩的。
可伸缩视频算法以不同的结构设计，从而允许在资源利用与视觉输出质量之间折中。这些结构1的每一个采用资源利用与输出视觉质量的字组(R(1)，Q(1))来表示，并且被称为质量级别。
在资源适应系统中，系统控制根据可用的资源为每一个SVA分配一个质量级别。每一个SVA的质量级别是最佳处理的结果，这种处理的标准是视觉输出质量和资源利用都得到优化。在优化的过程中，搜索空间包括每一个SVA的所有合适的质量级别。系统控制在每一次系统变化时执行这种优化。
但是，几种视频算法的性能(输出视觉质量和负载)依赖于一定数目的参数，例如视频流的特定内容，输出大小或者用户焦点。例如，峰值算法可以使用影响其资源需求和输出视觉质量的噪声适应技术。这样，对于峰值算法的一组有效质量级别而言，在有或无噪声存在的情况下，是不同的。另一个例子是用户焦点标准。当需要高质量的时候(用户焦点)以及期望更低的质量的时候(非用户焦点)，相同的算法可以支持不同的质量级别组。因此，相同的算法可以根据一些如图2所示的预定的参数来支持多于一组的有效质量级别。这些组有效质量级别被称为质量映射。
前面的段落建议的是为了获得最佳质量级别分配，系统控制每次都应当具有对于每一种算法的一组有效质量级别，即合适的质量映射。通过使系统控制一组有效质量级别，使得最合适的资源分配得以实现，并且这样系统就成为最稳定和最可预测的。
而且，系统控制根据资源需求的最差情况的平均向SVA分配资源(指定质量级别)，允许这种方法同时运行更多的应用，并且提高了系统的经济效益。但是，一些算法的负载对于一些诸如细节的数据参数很敏感。如果一个SVA的负载高于其初始要求的，那么系统控制可能通过减小该(或者其他一些更不重要的)SVA的质量级别来反应。
但是，系统控制的这样操作(反应)是在过载检测之后进行的，并且需要一些时间，在这段时间中，系统的状态可以不是最佳状态，例如，SVA可以滞后运行。过载检测的越早，系统控制执行合适的改变就越快，这样系统就更加可以预测。因此，期望提供能够尽早检测过载状态的装置。这种职责通常是系统控制通过一个监视模块来完成的。
这里提出了一种通过使用来自于视频信号的信息来辅助系统的预测的方法。所提出的方法识别可以导致负载和/或输出视觉质量变化的参数，并且为系统控制提供必需的信息。然后该系统对于每一个SVA使用合适的质量映射来执行最优化。
而且，所提出的方法通过尽早地通知系统来辅助过载检测。下面将描述该方法和该方法对系统的影响以及视频处理链。
已经描述，一些视频算法的负载和/或输出视觉质量对特定的参数(例如，运动，细节，噪声，焦点和窗口尺寸)敏感。这些参数的值或者类型可以改变(例如在场景变化的时候，由于统计的变化或者在用户请求之后)，这样都对系统的性能提出了挑战。可伸缩视频算法能够通过下述的方法辅助系统的可预测性。
首先，算法设计者应当识别其(统计上的)变化会影响该算法的性能(资源需要和输出视觉质量)的那些参数。算法设计者还应当定义算法的合适质量映射，如图2所示。就是说，对于参数p的每一种类型或者每一个值pj，应当提供一组有效质量级别(R(l，pj)，Q(l，pj))，l＝1，…，Nj，j是固定的，如图2所示。
在系统的初始化过程中，信息通过可伸缩视频算法控制部分被提供给系统控制。
在视频处理通道中，估量参数p的(统计)变化的软件模块应当被识别和/或引入。这些用于测量的软件模块应当在系统中分布。测量的最好位置在对其敏感的算法之前。这些模块包括噪声测量，运动估算，频率范围测量和场景切换检测。测量模块通知系统控制有关各个参数的状态(例如，值或者类型)的改变，在过载状态实际发生之前向系统发出警告。
系统控制能够尽早的启动必要的处理，即，以一种新的优化的方法为运行应用重新调整可用的资源，最重要的是对于每一个SVA使用合适的质量映射。
在处理链中测量的越早，系统可以越早的执行必要的改变，系统在资源利用和输出质量上就能够更加可以预测。
在MPEG输入流的情况下，在视频解码的过程中，能够执行诸如运动的一些参数的统计变化的估算。在其他的情况(例如噪声)，在视频处理通道中能够引入估量参数的(统计)变化的软件模块。
负载对如上所述的参数敏感的视频算法通常是视频增强的部分，如图1所示。为此提出了使用附图3所示的视频处理链。在所提出的处理链中，引入了一个新的软件模块，视频分析，其目的是为了对其输入(解码)视频流进行分析，检测可以导致过载的参数改变，并且通知系统进行适当的控制。
在视频处理通道中利用估量模块来辅助一些视频处理模块选择合适工作模式的概念已经为人所知(例如，自动电视)。其与目前的解决方案的区别在于两个方面。首先，建议每次使用估量模块来辅助系统控制选择合适的有效质量级别组，是为了执行最佳的资源分配。其次，估量模块被放在处理通道的前端。这样做是为了较早的获得有关图象或者序列特征，以及系统变化的信息，从而允许系统控制更快速反应。所使用的信息或者从视频解码中获得，或者从视频分析模块中获得。视频分析被引入，以估算视频解码模块所不能估算的参数。
视频分析模块的引入可以造成通道等待时间的增加，以及其他应用的可利用资源的减少。但是，其执行所需的资源总量很小。而且，其对于系统的稳定和预测的整个贡献超过了上述的限制。
在附图4中示出了使用所提出的方法的另一种方式。参数信息被传送(广播)到SVA，并且它们向系统控制发送合适的信息。这种方法使系统控制的功能性更为简单，又不会失去前一方法的时间优势。在SVA的变化实际发生之前，对于系统优化的合适的信息已经被提供给系统控制。
本发明的关键的发明步骤可以总结如下1.一些视频处理算法的性能(负载和输出视觉质量)对特定的参数敏感，诸如，运动，细节，噪声，用户焦点和窗口大小。因此，相同的可伸缩视频算法可以支持多于一组的依赖于(一定数目)的预定参数的值或者类型的有效质量级别(质量映射)(附图2)。
2.可伸缩视频算法能够通过为系统控制提供影响它们性能的参数的类型以及相应质量映射来辅助系统的可预测性。
3.为了使系统控制执行最佳的资源分配，应当在每次和每一个SVA考虑合适的质量映射。
4.为了在每次确定合适的质量映射，每一个SVA的敏感参数的值和类型应当被估算。
5.这些参数在时间上的统计特性应当在视频解码模块(在MPEG输入数据的情况下)和/或在视频分析模块中被部分估量。该测量/估算能够被报告给系统控制。
6.在资源的系统优化过程(再)分配中，将以下内容通知给系统控制哪些参数改变、以及因而哪些SVA受到影响、对于应当考虑的每一个SVA来说哪些是合适的质量映射。通过使系统控制具有质量级别的有效组，能够做出最合适的资源分配，这样系统就最为稳定和可以预测。
7.附加的功能可以防止过载。使视频分析模块尽早地位于视频处理通道当中，系统控制就被通知的越早，就能越快地启动必要的改变，从而能够避免过载(附图3)。这种方法使系统控制在过载实际发生之前就被通知。
8.视频分析模块的最合适的位置如图3所示。该位置相应于可以获得解码视频输入流的通道的最前面的位置。
权利要求
1.一种用于辅助一个开放和灵活的系统中的可预测性的方法，该系统包括一个具有至少一个视频处理算法(106，109，110，112，113，114，306，308，406，408)的系统，例如媒体处理单元，其特征在于执行视频分析(319，419)，适当地估量影响该至少一个视频算法(106，109，110，112，113，114，306，308，406，408)的输出质量和负载的参数，以及将必要的信息(316，320，416，420，426，427)提供给一个系统控制(321，421)，并且该系统控制(321，421)执行适当的控制和修正(317，322，323，417，422，423)。
2.一种如权利要求1所述的用于辅助一个开放和灵活的系统的可预测性的方法，其特征在于所述的视频处理算法(106，109，110，112，113，114，306，308，406，408)是将资源利用与视觉输出质量进行动态交换的可伸缩视频算法。
3.一种具有用于辅助一个开放和灵活的系统的可预测性的装置(316，317，318，319，320，321，322，323，416，417，418，419，420，421，422，423，424，425，426，427，428，429)的设备，该系统包括一个具有至少一个视频处理算法(106，109，110，112，113，114，306，308，406，408)的系统，例如一个媒体处理单元，其特征在于执行视频分析(319，419)，适当地估量影响至少一个视频算法(106，109，110，112，113，114，306，308，406，408)的输出质量和负载的参数，以及将必要的信息(316，320，416，420，426，427)提供给一个系统控制(321，421)，并且该系统控制(321，421)执行适当的控制和修正(317，322，323，417，422，423)。
4.一种如权利要求3所述的具有用于辅助一个开放和灵活的系统的可预测性的装置(316，317，318，319，320，321，322，323，416，417，418，419，420，421，422，423，424，425，426，427，428，429)的设备，其特征在于所述的视频处理算法(106，109，110，112，113，114，306，308，406，408)是将资源利用与视觉输出质量进行动态交换的可伸缩视频算法。
5.一种用于辅助一个开放和灵活的系统的可预测性的方法的应用，该系统包括一个具有至少一个视频处理算法(106，109，110，112，113，114，306，308，406，408)的系统，例如媒体处理单元，其特征在于执行视频分析(319，419)，适当地估量影响该至少一个视频算法(106，109，110，112，113，114，306，308，406，408)的输出质量和负载的参数，以及将必要的信息提供给一个系统控制(321，421)，并且该系统控制(321，421)执行适当的控制和修正(317，322，323，417，422，423)。
6.一种如权利要求5所述的用于辅助一个开放和灵活的系统的可预测性的方法的应用，其特征在于所述的视频处理算法(106，109，110，112，113，114，306，308，406，408)是将资源利用与视觉输出质量进行动态交换的可伸缩视频算法。
全文摘要
在稳定和高经济效益的开放和灵活系统中，建议使用可伸缩视频算法(106，109，110，112，113，114，306，308，406，408)。可伸缩视频算法(106，109，110，112，113，114，306，308，406，408)能够动态地交换资源利用和视觉输出质量。在这样的系统中，在运行时资源利用和视觉输出质量都可以变化，从而导致系统的不可预测。提出了一种新的方法用于辅助一个开放和灵活的系统的可预测性。其方法是通过获知影响一些视频算法(106，109，110，112，113，114，306，308，406，408)的输出质量和负载的参数，合适地估量这些参数，并且将必要的信息(316，320，416，420，426，427)提供给系统控制(321，421)，从而使系统控制更快速反应并且做出合适的改变(317，322，323，417，422，423)，从而产生一个可预测的系统。
文档编号H04N7/50GK1575585SQ02821045
公开日2005年2月2日 申请日期2002年10月10日 优先权日2001年10月25日
发明者M·加拉尼, C·亨特斯彻, E·F·M·斯特芬斯, R·J·布里 申请人:皇家飞利浦电子股份有限公司