专利名称：样值集合的滤波的制作方法
技术领域：
本发明涉及样值集合的滤波。例如，这样的滤波可以应用于像上采样(Up-sampling)、下采样(down-sampling)或弯曲(warping)等图像处理操作之前的图像处理。
国际专利WO-A-98／06064(代理机构档案号No．PHB 34．096)描述了计算机产生的三维物体图像显示为像素图像的后处理。每一帧图像用的聚焦深度或者由用户规定或者在系统内部指定。图像像素分组成相邻图像像素的不重叠的块，这些像素带有为每一块预先规定或运行时计算的各自单一的深度值。每一块是依次从图像提取出来的，并用公用的一套滤波系数对一块内的像素进行滤波。填充可以应用来填充不能形成完整滤波核的区域。填充的一个实例是重复像素边沿值或该块对边的“卷回”值，以便提供一般量级的足够的值(sufficicent valuesof right gerenal order)来构造在边沿区域中的以这些像素为中心的滤波核。
本发明的一个目的是能够令人满意地对各种各样的样值集合进行滤波。
本发明考虑以下方面。对样值集合进行滤波通常意味着针对每一个样值形成一簇样值。该簇样值包括该样值本身和相邻的样值。例如，通过用某个函数对该簇样值进行处理，从该簇样值推算滤波后的样值。这样获得的滤波后的样值与形成该簇样值的样值相关。
为了滤波的目的，方便的办法是用这样的方法构造一个样值集合，使得各簇样值能够容易形成。例如，假定一个样值集合代表一个二维图像。然后方便地把样值集合构造成矩阵。
假定所构造的样值集合代表一个形状不规则的多维实体。这意味着，某些样值是有效的，因为它属于该实体，而其他样值是无效的，因为它不属于该实体。例如，一个图像可能是各种任意形状的物体的合成物。假定该图像由一个构造成矩阵的样值集合来代表。或者说，该样值集合包括一个包含该图像的矩形边框。某些样值属于该图像，因而是有效的，而其他样值不属于该图像，因而是无效的。
对一个构造出来代表具有不规则形状的多维实体的样值集合进行滤波时会出现以下问题。某些滤波后的样值将从这样一些簇推算出来，这些簇包括一个或多个由于属于该实体因而是有效的样值和一个或多个由于不属于该实体因而是无效的样值。就是说，某些被滤波的样值实际上是有效和无效样值的混合体。因而滤波后的样值代表有着某种程度失真的实体。若无效样值在数值上明显地不同于有效样值，则这样的失真将是相对严重的。
按照本发明，根据辅助数据来区分有效样值和无效样值。与有效样值相关的滤波后的样值只根据有效样值推算。
因而，在本发明中，防止与有效样值相关的滤波后的样值受到无效样值影响。于是，假定该样值集合代表既带有属于该实体的样值又带有不属于该实体的样值的实体，它能防止对该样值集合的滤波造成实体的失真。因而，本发明允许在失真上得到令人满意的结果，而不必要求所有样值都是有效的，或者任何无效样值在数值上都不明显地区别于有效样值。于是，本发明允许对各种各种各样的样值集合进行令人满意的滤波。
参照以下描述的附图，本发明和任选地用来有利地实现本发明的附加特征将得以阐明，使其显而易见。
图1是概念示意图，举例说明权利要求1所要求的本发明的基本特征；图2是方框图，举例说明按照本发明的MPEG-4图像处理装置的一个实例；以及图3是概念示意图，举例说明图2中所示的MPEG-4图像处理装置中可以如何形成图像样值流。
首先，在参考符号的使用上作一些说明。在所有附图中类似的实体用相同的字母码表示。在一个附图中可以表示不同的类似的实体。在这种情况下，把数字加在字母码上，以便类似的实体彼此区别。若类似的实体的号码是工作参数，则把数字放在括号之间。在说明书和权利要求书中，合适的话，引用符号中的任何数字都可以省略。
图1举例说明本发明的基本特征。样值Si的集合COL用以下方法滤波。根据辅助数据AUX区分(DIS)有效样值Si+和无效样值Si-。与有效样值Si+相关的滤波样值So便仅仅根据有效样值Si+推算(DER)。
有各种不同的方法使与有效样值相关的滤波样值只由有效样值推算。例如，假定形成一簇样值来推算滤波样值。然后就有可能只进行该簇中有效样值的加权组合，加权系数取决于该簇中的样值数。这可以通过可变长度的滤波装置实现，每一个长度用一套不同的滤波系数。但是，这样的滤波器一般成本较高。因此，最好使用固定长度的滤波器。
固定长度的滤波器可以用在以下实施例中。滤波后的样值从大小固定的一组滤波器输入值推算。每一个滤波器输入值与特定的样值有关。若样值有效，则取样值的值作为滤波器输入值。若样值无效，则取填充值作为滤波器输入值。填充值从至少一个有效样值产生。例如，填充值可以是所有有效样值的平均值。但是，这样的计算一般是费时的，并要求相对较大的存储器。
一种相对较快的填充值计算可以进行如下。形成一簇样值。根据该簇中的有效样值计算填充值。通过，对每一个有效样值，取该样值的值，而对每一个无效样值则取填充值来形成一组滤波器值。滤波后的样值从该簇滤波器输入值推算。
例如，举例示于图1的特征可以用来处理由纹理数据和形状数据组成的图像数据。这样的组成将用在一般称作MPEG-4的视频编码标准中。在MPEG-4中，纹理数据由一个或多个图像样值块形成。形状数据由位图形成，位图中每一位与特定的图像样值相关。位的数值指出该相关的图像样值是否属于图像数据所代表的一个对象或多个对象的组合。以下将把构成形状数据的位图的位称作形状位。
图2举例说明MPEG-4的图像处理装置再次体现举例示于图1的特征。该图像处理装置包括接收部分INP、滤波装置FAR和图像处理器PROC。更详细地说，滤波器装置FAR包括样值存储器MEMSMPL、形状存储器MEMSHP、填充值计算器PVC、多路器MUX和滤波器FIL。
图像处理装置操作如下。接收部分INP接收图像数据ID。图像数据ID包含代表一个对象或多个对象的组合的一个或多个图像样值块。图像数据ID还包含与一个或多个图像样值块相关的位图。接收部分INP提供图像样值流ISS和形状位流SBS。这些流是同步的。就是说，当输入部分提供图像样值时，它同时提供与该图像样值相关的形状位。
图3举例说明图像样值流ISS是如何形成的。既然形状位流SBS是与图像样值流ISS同步的，这两者就有相同的格式。图3示出包括真图像样值PX和填充图像样值PE的矩阵。真图像样值PX来源于图像数据。填充图像样值已经添加到真图像样值上，以便滤波装置FAR提供与包含在输入数据ID中的图像样值数对应的滤波图像样值数。图像样值流ISS通过扫描形成，或者说，从左到右扫描有关矩阵的每一行。扫描从上行开始，在底行结束。对于每一个填充图像样值PF，接收部分INP同时提供指示填充图像样值PF无效的形状位。
滤波装置FAR依次形成不同的图像样值簇和相关形状位的簇，并从每一簇图像样值推算滤波图像样值。样值存储器MEMSMPL和形状存储器MEMSHP是先进先出(FIFO)存储器，它们分别接收图像样值流ISS和形状位流SBS。于是当图像样值流ISS中后来的图像样值写入样值存储器MEMSMPL时，便形成新的一簇图像样值，而同时删除首先写入样值存储器MEMSMPL的图像样值。类似地，当形状位流SBS中后来的形状位写入形状存储器MEMSHP时，新的一簇形状位形成，而同时删除首先写入形状存储器MEMSHP的形状位。
滤波装置FAR从包含在样值存储器MEMSMPL中一簇图像样值推算滤波图像样值。该簇有可能不包含任何有效的图像样值。在这个特定的情况下，例如，滤波装置FAR可以提供作为“不必管”值或该簇中无效样值的滤波图像样值。此后假定，在该簇图像样值中至少有一个有效样值。
填充值计算器PVC根据包含在该簇中的有效图像像素计算填充值PV。填充值计算器PVC可以借助于包含在形状存储器MEMSHP中的形状位确定一个图像样值是否有效。
有各种不同的方法让填充值计算器PVC从有效的图像样值推算填充值PV。例如，填充值可以是一簇中所有有效的图像样值的算术平均值。作为另一个例子，填充值PV可以是所有有效样值的总和除以最接近有效样值数的2的幂的整数值的近似算术平均值。这个近似算术平均值的计算只要求一次或多次加法和移位操作。这样的操作可以在比较简单的硬件中比较快地进行。作为再一个例子，填充值PV可以是该簇中所有有效样值的中值。在那种情况下，填充值计算器PVC可以只用比较器和多路器实现。
多路器MUX依次读出包含在形状存储器MEMSHP中的形状位。若形状位指出与之相关的图像样值是有效的，则该图像样值是真图像样值PX。但若形状位指出与之相关的图像样值是无效的，则图像样值是填充图像样值PF。在那种情况下，多路器MUX向滤波器FIL提供填充值PV。
滤波器FIL对它从多路器MUX接收的值进行加权组合。这些值的加权组合构成了滤波图像样值。加权系数是滤波器系数。对于一簇中每一个位置，都有一个特定滤波器系数。
滤波装置FIL对每一个不同的图像样值簇和相关的形状位进行上述操作。因此将得到滤波图像样值的集合滤波图像样值的集合构成滤波后的图像数据FID。
图像处理器PROC对滤波后的图像数据进行处理，以便获得处理后的图像数据。图像处理器PROC可以进行诸如上采样、下采样或变形等图像处理操作。
附图及此前对它们的描述只是举例说明本发明，而不是限制本发明。落在后附权利要求书的范围内的替代方案显然还有很多。在这方面，作以下结束性的评论。
物理上有许多方法把功能或功能单元分散在不同的单元中。在这方面，附图是非常示意性的，每一个只代表本发明一个可能的实施例。这样，尽管附图把不同的功能元件表示为不同的块，但是这绝不意味着排除有些或全部功能元件可以作为单一的物理装置加以实现的可能性。
有许多形成图像样值簇的方法。图2只是举例说明通过向FIFO存储器提供图像样值流来形成图像样值簇的一种可能的实施例。另一个可能的实现方法是按照某种格式储存所有的图像样值和相关的位图。地址产生器依次产生不同的地址组。在一个地址组下储存的图像样值形成一簇，由此可以根据图1所示的基本原理推算滤波后的图像样值。
权利要求书中的任何引用符号均不应解释为限制该权利要求。
权利要求
1．一种对样值(Si)集合(COL)进行滤波的方法，其特征在于所述方法包括以下步骤根据辅助数据(AUX)区分(DIS)有效样值(Si+)和无效样值(Si-)；以及只根据所述有效样值(Si+)推算(DER)与所述有效样值(Si+)相关的滤波后的样值(So)。
2．权利要求1所要求的滤波方法，其特征在于所述方法包括以下步骤从固定大小的一组滤波器输入值推算滤波后的样值；每一个滤波器输入值以这样的方法与特定的样值相关，若所述样值有效，则取所述样值的值作为所述滤波器输入值，而若所述样值无效，则取填充值作为所述滤波器输入值，所述填充值至少由一个有效样值推算。
3．权利要求1所要求的滤波方法，其特征在于所述方法包括以下步骤-形成一簇样值；-根据所述簇中的有效样值计算填充值；-对于每一个有效的样值，取所述样值的值，而对于每一个无效的样值，则取所述填充值来形成一组滤波器输入值；以及-从所述一簇滤波器输入值推算滤波后的样值。
4．一种用来对样值(Si)集合进行滤波的滤波装置(FAR)，其特征在于所述滤波装置包括输入电路，用来根据辅助数据(AUX)区分有效样值(Si+)和无效样值(Si-)；和滤波电路，用来仅仅根据所述有效样值(Si+)产生与所述有效样值(Si+)相关的滤波后的样值(So)。
5．滤波装置用的计算机程序产品，所述计算机程序产品的特征在于包括一组指令，后者在装入所述滤波装置时，能使滤波装置执行权利要求1所要求的方法。
全文摘要
用以下方法对代表例如图像的样值(Si)集合进行滤波。根据辅助数据AUX区分有效样值Si+和无效样值Si－。仅仅根据有效样值Si+来推算与有效样值相关的滤波后的样值So。因而,便防止了与有效样值相关的滤波后的样值变成有效样值和无效样值的混合物。这样的混合物会引起失真;尤其是如果有效样值和无效样值在数值上有显著区别的话。
文档编号G06T5/20GK1294719SQ00800221
公开日2001年5月9日 申请日期2000年2月4日 优先权日1999年2月26日
发明者J·戈伯特 申请人:皇家菲利浦电子有限公司