专利名称：减少在隐藏区域内的媒体处理的制作方法
技术领域：
本发明涉及媒体处理，更具体地说，涉及通过不处理在视频/图形图像内的对输出没有影响的像素(例如隐藏区域)来节约计算资源的系统和方法。
随着新的基于媒体的技术(例如，图像、视频或图形)进入市场，已经越来越需要具有诸如画中画之类的高级数字处理功能的系统。此外，随着诸如基于万维网和基于无线视频通信之类的技术的出现，高效率处理编码媒体数据的能力已经变得特别关键。一些基于媒体的算法通常独立于其在最终显示上的外观而被处理。在多窗口显示的情况下，许多区域是隐藏的。
媒体处理系统通常是按明确的质量要求设计的。过去，这种系统在专用的硬件上被实现以便操作在特定环境内。例如，在传统的电视接收机内，将一些专用集成电路组合起来，执行各种功能，例如NTSC或PAL系统的彩色解码、噪声降低或帧速率上变换。这种专用硬件通常按照最差情况的要求设计，因此不需要节约处理资源。
然而，近来的技术趋势是开发越来越多的可编程平台，使一些媒体应用可以用软件实现。期待的优点包括减少上市时间、重用硬件和软件模块、可移植性和灵活性。然而，如所周知，与专用硬件相比，可编程组件就硅面积和功耗而言是昂贵的。因此，对于具有可编程组件的系统需要一些经济的解决方案以提供更高的质量或得到增强的功能。
正如上面所指出的那样，许多系统利用窗口(例如图文电视、画中画等)或者利用分屏可以在一个显示屏上显示一个以上的应用。现在这样的应用在宽屏幕电视上是常见的。为了实现多窗口，对于每个特定应用需要若干媒体处理算法，例如解码算法，图像增强算法，图形覆盖算法，以及显示处理算法。其中有一些主要包括空间处理，诸如空间峰化、对于模拟信号的亮度-色度分离的空间解码以及空间噪声降低之类。其他一些包括时间处理，例如利用运动估计的上变换、基于像素的处理。在任何情况下，对隐藏区域内的数据的处理通常会浪费计算资源。因此，有必要解决这个问题，以降低对系统的资源需求。
本发明提供一种避免处理在一个多窗口视频和/或图形图像处理环境的重叠部分内的数据的系统和方法，从而解决上面所提到的问题以及其他一些问题。
在第一方面，本发明提供了一种处理重叠图像的系统，这种系统包括第一图像处理系统，用来处理在第一窗口内的第一图像；第二图像处理系统，用来处理在第二窗口内的第二图像，其中，第二窗口覆盖第一窗口的一部分；窗口控制器，用来计算第二窗口的一组坐标；以及处理控制系统，用来根据所计算的这组坐标来确定在第一窗口的重叠部分内的将不处理的像素集合。
在第二方面，本发明提供了一种存储在一个可记录媒体上的用来处理重叠图像的程序产品，这种程序产品包括处理第一图像的装置；处理第二图像的装置，其中，第二图像覆盖第一图像的一部分；计算第二图像的一组坐标的装置；以及根据所计算的这组坐标来确定在第一图像的重叠部分内的将不处理的像素集合的装置。
在第三方面，本发明提供了一种处理重叠图像的方法，这种方法包括处理第一图像；处理第二图像，其中，第二图像覆盖所述第一图像的一部分；向一个处理控制系统输出第二图像的一组坐标；以及根据由所输出的这组坐标定义的区域中减去任何需要的隐藏像素来确定在第一图像的重叠部分内将不处理的像素集合。
在第四方面，本发明提供了一种处理重叠图像的系统，这种系统包括第一图像处理系统，用来处理在第一窗口内的第一图像；第二图像处理系统，用来处理在第二窗口内的第二图像，其中，所述第二窗口覆盖所述第一窗口的一部分；增强过滤器，对于第一窗口的一个非重叠部分内的一个像素，该增强过滤器使用来自在第一窗口的重叠部分内的至少一个相邻像素的数据在空间上进行增强；以及处理控制系统，用来识别在第一窗口的重叠部分内的不需处理的像素子集，其中所述子集包括在所述第一窗口的重叠部分内的各个像素减去在所述第一窗口的重叠部分内的所述至少一个相邻像素。
在第五方面，本发明提供了一种产生一个由第一窗口和第二窗口组成的输出的成像系统，其中第二窗口覆盖第一窗口的一部分，这种成像系统包括处理控制系统，用来为第一帧图像数据确定第一窗口的被覆盖部分内的一个不需要像素区域；第一媒体处理单元，用来识别在不需要像素区域内的一个为处理第二帧数据所需要的像素集合，并且计算出一个减小的不需要像素区域；以及第二媒体处理单元，用来识别处理第三帧数据所需要的所述像素集合的一个子集，并且计算出一个进一步减小的不需要像素区域。
以下将结合
本发明的一个典型实施例，在这些附图中同样的标记表示同样的组成部分，其中图1示出了按照本发明的一个实施例设计的处理系统的方框图；图2示出了本发明的一个实施例的第二窗口重叠第一窗口的情况；图3示出了按照本发明的一个实施例的窗口坐标处理系统；以及图4示出了媒体处理单元链如何执行像素处理。
现在来看这些附图，图1示出了一个媒体处理系统10，用来对由第一视频和第二视频输入(视频输入1以及视频输入2)组成的视频数据进行处理，输出单个视频图像(视频输出)。按照这个实施例，第一视频输入被处理以便在第一窗口内显示，而第二视频输入被处理以便在与第一窗口一部分重叠的第二窗口内显示，或者反之亦然。在一个典型实施例中，第一窗口包括一个主窗口，而第二窗口包括一个覆盖主窗口的一部分的画中画(PiP)窗口。然而，应该理解，本发明可以用于多个图像被分别处理并且在单个输出内相互重叠的任何成像系统。例如，除了覆盖的窗口，所处理的图像可以包括任意形状的物体或图块。
此外，还可以理解，虽然在这里说明的典型实施例主要针对视频图像，但本发明也可用于图形图像和混合图形以及视频图像，诸如在基于MPEG-4的系统内使用的那些。
第一视频输入由图像处理系统12(主窗口)处理，而第二视频输入由图像处理系统16(PiP窗口)处理。这两个图像处理系统可以包括任何功能，诸如解码、过滤或增强操作。此外，图像处理系统12可选地包括将在下面进一步详细说明的空间和/或时间处理13。这两个处理系统12和16的输出发送给转换开关24，转换开关24输出含有第一和第二窗口的单个视频图像(视频输出)。总系统控制18对窗口控制器20进行控制，控制器20告诉转换开关24如何显示这两个窗口，例如窗口应该如何以及在哪里出现、哪个窗口应该在最前面等。
在生成一个含有与第一窗口重叠的第二窗口的输出图像时，第一窗口的一部分会被遮住看不见。在这种情况下，图像处理系统12可能不必要地处理部分或全部隐藏区域。本发明通过包括一个用于确定第一视频输入内不需处理的像素的处理控制系统14，从而可以消除不必要的处理。
确定这些像素所根据的是(1)第二窗口的坐标(例如，PiP坐标22)，以及(2)从任何空间和/或时间处理13了解到的相关性信息。每当需要隐藏或重叠的像素内的信息来处理非重叠的区域时就存在相关性信息。在只进行像素处理的情况下，通常不需要相关性信息。
现在来看图2，图中示出了一个示范性的视频输出，它包括一个PiP窗口32，它覆盖主窗口30的一部分并且遮盖了主窗口30中的像素集合38。在没有时间或空间处理而只进行例如用一个查找表的像素处理(不需要用来自其他邻近像素或场的信息的零维处理)的情况下，被PiP窗口32遮盖的整个像素集合38不需要由图像处理系统12处理。由于没有与隐藏的像素38有关的相关性，因此不会因为不处理主窗口30内隐藏的像素38而导致图像质量降低。
在多维的空间处理的情况下，就可能必需处理隐藏的像素38中的像素。可以包括例如清晰度增强过滤在内的空间处理在处理一个像素时要使用来自邻近像素的系数数据。一个例子可以是如图2所示的在水平方向有五个系数而在垂直方向有三个系数的空间过滤器。在图2所示的这种情况下，像素34是两维的中心像素34，需利用来自邻近像素36(打有阴影的像素)的数据进行处理。中心像素34的计算取决于邻近像素36。由于所处理的像素34处于PiP窗口32的边界，计算中心像素34需要隐藏区域内的六个“需要的”像素(即，窗口32内的六个打有阴影线的像素)。如果跳过这六个像素，就会导致图像质量降低。因此，这六个像素虽然是隐藏的，但不应该不予处理。假设没有别的相关性，可以跳过被PiP窗口32遮盖的其余像素的处理。应该理解，其他类型和形状的空间过滤器(例如，十字线、线路过滤器等)也可使用，并且导致要确定不同的需要的隐藏像素。
类似地，如果涉及时间处理，例如有运动估计和运动补偿的时间上变换，则隐藏的信息可能对于计算对象的正确时间位置来说是重要的。在这种情况下，这样的对象可能在下一场或在PiP窗口32外的帧中出现或重现。因此，诸如运动估计矢量之类的隐藏的信息可能仍然需要，但诸如对于隐藏区域的像素内插之类的其他像素处理信息就是不必要的，因此可以被消除，以节约计算机资源。
在例如涉及运动自适应递归过滤(用于噪声降低)的时间处理的情况下，可以部分忽略隐藏区域，以节约计算资源。根据对象的速度，有些对象会在窗口或隐藏的区域外出现或重现，可能导致图像质量降低。
现在结合图3对处理控制系统14的工作情况进行进一步的详细说明。处理控制系统可以作为总系统控制18的一部分，也可以作为一个独立的系统，如图所示。处理控制系统14包括一个需要像素确定系统52，用来确定在一个重叠的区域内哪些像素应该予以处理(即，“需要的隐藏像素”53)。该信息用例如从如上所述的空间/时间处理13得到的图像处理信息50以及PiP坐标22来确定。空间/时间处理13可以由一个或多个下面将结合图4进行详细说明的媒体处理单元(MPU)实现。PiP坐标22从窗口控制器20得到。处理控制系统14还包括一个相减系统54，用来从由PiP坐标22定义的区域中减去需要的隐藏像素。相减操作的结果提供了在重叠的区域内将不处理的像素的坐标56。应该理解，相减系统54提供的所得出的坐标56可以包括任意形状，也可以进一步处理后提供一个“经剪裁的”矩形区域。
坐标56可以直接或通过总系统控制18反馈，以影响每个媒体处理单元(即，空间/时间处理13)。在一个媒体处理单元(D-1)处理图像数据时，在为显示器(D)输出坐标前，它很容易知道哪些像素将不处理。然而，在一个典型应用中，可能使用媒体处理单元链。因此，与第一媒体处理单元(D-1)连接的第二媒体处理单元(D-2)会需要来自第一媒体处理单元(D-1)的关于不需处理像素的信息或所输出的坐标56。根据媒体处理单元的个数和处理的类型，产生“回扩(ripple back)”效应，使得在处理中涉及越来越多的像素。
图4示出了对像素处理的回扩效应的例子。图的底部示出了一个处理第一窗口66内的像素的处理链60。在链60的上方示出了链内各步骤的所处理的图像数据的示范性的帧61、63和65。处理链包括一个与第一帧61关联的显示器71(D)；一个与第二帧63关联的第一媒体处理单元73“MPU(D-1)”；以及与第三帧65关联的第二媒体处理单元75“MPU(D-2)”。在帧61在D上显示时，帧63和65正在处理，供以后显示。
如图所示，帧61包括一个第一窗口66和一个覆盖第一窗口一部分的第二窗口64。对于这个例子来说，显示器本身没有作空间或时间处理。在这个例子中，第一媒体处理单元73识别了一个为处理位于第一窗口的重叠部分外的像素所需要的像素集合70，其中有一些像素是位于不需要的区域内的。因此，第一媒体处理单元73必须为帧63计算一个“经减小的不需要的区域”68，并且必须处理比帧61所需要的更多的像素。类似地，第二媒体处理单元75识别了一个为处理位于第一窗口的经减小的不需要的区域68外的像素所需要的第二组像素74，其中有一些像素位于经减小的不需要的区域内。因此，第二媒体处理单元75必须为帧65计算一个“经进一步减小的不必要区域”72，并且必须处理比帧63和61所需要的更多的像素。
为了解决与回扩影响关联的问题，每个媒体处理单元可以向属于处理控制系统14的一部分的需要像素确定系统52报告它们所计算的信息50。像素确定系统52为每个媒体处理单元13确定一个重叠的区域内应该处理的哪些像素(即，“需要的隐藏像素”)。这信息用例如从如上所述的空间/时间处理13得到的图像处理信息50以及PiP坐标22确定。PiP坐标22是从窗口控制器20得到的。处理控制系统14还包括一个相减系统34，用来为每个媒体处理单元13从由PiP坐标22定义的区域中减去需要的隐藏像素。相减操作的结果为每个媒体处理单元13提供在重叠的区域内将不被处理的像素的坐标56。应该理解，相减系统54提供的所得出的坐标56可以包括任意形状，也可以再加以处理后提供一个“经剪裁的”矩形区域。然后，系统14将该信息提供给总系统控制18，或者直接反馈给第一媒体处理单元13。虽然这可能导致一些控制开销，但可以减少像素处理。作为第二个选择，所需要的处理控制系统可以提供有关任何媒体处理单元都不会处理的各个像素的信息。这导致极少的控制开销，但因此会不必要地处理一些像素。因此，可以使用这两个方法的组合，以提供一个最佳的解决方案。
如果对将不被处理的像素的分析过于复杂或麻烦，则跳过对一些需要的隐藏像素的处理可能是有益的。一个例子涉及一些具有不同速度的不规则形状的图块可能会在下一帧内出现的运动估计/补偿。如果只是处理其中部分图块，而将接近重叠窗口(窗口2)的那些部分不予处理，则总直观误差就可能不大。
可以理解，在这里所说明的系统、功能、机制、方法和模块可以用硬件、软件或者硬件和软件的组合实现。它们可以由任何类型的计算机系统或其他适合于实现在这里所说明的方法的设备来实现。一种典型的硬件和软件的组合可以是一个配有一个计算机程序的通用计算机，这个计算机程序在加载执行时对这个计算机系统进行控制，使它实现在这里所描述的方法。或者，也可以使用一个含有一个或多个实现本发明的操作任务的专用硬件的专用计算机。本发明也可以体现为一种计算机程序产品，这种计算机程序产品包括使在这里所描述的方法和功能得以实现的所有功能组件，这种计算机程序产品在装入一个计算机系统后能实现这些方法和功能。计算机程序、软件程序、程序、程序产品或软件在本上下文内是指用任何语言、代码或符号对一系列指令的任何表示，这些指令用来使一个具有信息处理能力的系统直接执行或者在(a)变换成另一种语言、代码或符号和/或(b)以一种不同的实体形式再现后执行特定的功能。
以上对本发明的优选实施例的说明用来例示和说明本发明。这些实施例并不是穷举性的或将本发明局限于就是所描述的形式，根据以上原理显然许多变化都是可行的。对于熟悉该技术的人员来说是显而易见的这样一些变化都应列入如所附权利要求书所给定的本发明的范围。
权利要求
1.一种处理重叠图像的系统，所述系统包括第一图像处理系统，用来处理在第一窗口内的第一图像；第二图像处理系统，用来处理在第二窗口内的第二图像，其中，所述第二窗口与所述第一窗口的一部分重叠；窗口控制器，用来计算所述第二窗口的一组坐标；以及处理控制系统，用来根据计算的所述一组坐标来确定在所述第一窗口的重叠部分内的一个将不处理的像素集合，以及进一步确定在重叠部分内的为处理在第一窗口的重叠部分外的至少一个像素所需的任何需要的隐藏像素。
2.权利要求1的系统，其中所述至少一个像素包括在第一窗口的一个非重叠部分内的一个空间相关像素。
3.权利要求2的系统，其中所述需要的隐藏像素包括至少一个与所述空间相关像素垂直相邻的像素。
4.权利要求2的系统，其中所述需要的隐藏像素包括至少一个与所述空间相关像素水平相邻的像素。
5.权利要求2的系统，其中所述处理控制系统从一个由计算的所述一组坐标定义的区域中减去所述需要的隐藏像素。
6.权利要求2的系统，还包括一个清晰度增强过滤器，其中从所述清晰度增强过滤器中确定所述空间相关像素。
7.权利要求1的系统，其中所述至少一个像素包括一个时间相关像素。
8.权利要求7的系统，其中所述时间相关像素处在一个相邻的帧内。
9.权利要求7的系统，其中所述时间相关像素处在相邻的场内。
10.权利要求1的系统，其中在重叠部分内的每个像素不被处理。
11.一种存储在一个可记录媒体上的用来处理重叠图像的程序产品，包括处理第一图像的装置；处理第二图像的装置，其中所述第二图像与所述第一图像的一部分重叠；计算所述第二图像的一组坐标的装置；根据计算的所述一组坐标来确定在所述第一图像的重叠部分内的将不处理的像素集合的装置；以及确定在重叠部分内的为处理一个在所述第二图像外的像素所需的至少一个需要的隐藏像素的装置。
12.权利要求11的程序产品，其中所述至少一个需要的隐藏像素包括一个空间相关像素。
13.权利要求11的程序产品，其中所述确定装置为在重叠部分外的像素确定在重叠部分内是否有时间相关性。
14.权利要求11的程序产品，其中所述确定装置使在重叠部分内的每个像素不被处理。
15.一种处理重叠图像的方法，包括处理第一图像；处理第二图像，其中，所述第二图像与所述第一图像的一部分重叠；向一个处理控制系统输出所述第二图像的一组坐标；以及根据由输出的所述一组坐标定义的一个区域减去任何需要的隐藏像素来确定在所述第一图像的重叠部分内将不处理的像素集合。
16.权利要求15的方法，其中所述确定将不处理的像素集合的步骤包括确定在重叠部分内的为处理一个在所述第二图像外的空间相关像素所必需的至少一个需要的隐藏像素的另外的步骤。
17.权利要求16的方法，其中所述确定将不处理的像素集合的步骤包括为在重叠部分外的像素确定在重叠部分内是否有时间相关性的另外的步骤。
18.权利要求15的方法，其中所述确定将不处理的像素集合的步骤使在重叠部分内的每个像素不被处理。
19.一种处理重叠图像的系统，包括第一图像处理系统，用来处理在第一窗口内的第一图像；第二图像处理系统，用来处理在第二窗口内的第二图像，其中所述第二窗口与所述第一窗口的一部分重叠；增强过滤器，用来对于所述第一窗口的一个非重叠部分内的一个像素，使用来自在所述第一窗口的重叠部分内的至少一个相邻像素的数据进行空间上的增强；以及处理控制系统，用来识别在所述第一窗口的重叠部分内的将不处理的像素子集，其中所述子集包括在所述第一窗口的重叠部分内的各个像素减去在所述第一窗口的重叠部分内的所述至少一个相邻像素。
20.一种产生一个由第一窗口和第二窗口组成的输出的成像系统，其中所述第二窗口覆盖所述第一窗口的一部分，所述成像系统包括处理控制系统，用来为第一帧图像数据确定在所述第一窗口的被覆盖部分内的一个不需要像素区域；第一媒体处理单元，用来识别在所述不需要像素区域内的为处理第二帧数据所需要的像素集合，并且计算出一个减小的不需要像素区域；以及第二媒体处理单元，用来识别所述像素集合的为处理第三帧数据所需要的一个子集，并且计算出一个进一步减小的不需要像素区域。
21.权利要求20的成像系统，其中所述处理控制系统包括一个需要像素确定系统，用来识别从不需要第一和第二媒体处理单元处理的像素集合。
全文摘要
本发明提供了一种处理重叠的视频和/或图形图像的系统和方法。这种系统包括一个第一图像处理系统，用来处理在第一窗口内的第一图像；一个第二图像处理系统，用来处理在第二窗口内的第二图像，其中，第二窗口覆盖第一窗口的一部分；一个窗口控制器，用来计算第二窗口的一组坐标；以及一个处理控制系统，用来根据计算出的这组坐标所定义的区域减去任何确定的需要的隐藏像素来确定一个在第一窗口的重叠部分内将不处理的像素集合。
文档编号G06T5/20GK1599914SQ02824040
公开日2005年3月23日 申请日期2002年11月20日 优先权日2001年12月4日
发明者C·亨特斯彻, G·C·范鲁 申请人:皇家飞利浦电子股份有限公司