专利名称：时空滤波器单元以及包括这种时空滤波器单元的图像显示设备的制作方法
技术领域：
本发明涉及一种具有能够减少图像噪声的西格玛滤波器的时空滤波器单元。
本发明还涉及一种包括这种时空滤波器单元的图像显示设备。
前段所描述的滤波器类型的单元公开在G.de Haan等人的“Memory integrated noise reduction for television”(IEEETransactions on Consumer Electronics，Vol.42，No2，May1996，pages175-181)中。在这篇文章中描述的滤波器单元是一个空间滤波器和一个时间滤波器的串联系统。空间滤波器和时间滤波器在一起能有效的达到噪声抑制。通常，空间滤波器需要来自一个图像的像素，而时间滤波器则需要从两个或更多的连续的图像上取样。
空间滤波器是一个循环的西格马滤波器。它是以选择过程中最邻近的西格马变量为基础。组合过程包含加权平均，这对于附加的白高斯噪声是最佳的。所述西格马滤波器的权重有三个可能数值，根据与噪声级相配的阈值选择这些数值。在该文章中也描述了用来估计噪声级的噪声估计器。
作为运动补偿的一阶时间循环滤波器的时间滤波器已能实现。因此，该时间滤波器需要一个运动估计和运动补偿系统，这便导致了高价格。而且，在运动发生时需要运动检测装置来与滤波的强度相适应。否则，图像会失真。
本发明的第一个目的是提供一种时空滤波器单元，是前段所述的把空间的与内含运动补偿的时间的噪声抑制集在一个滤波器中的那种类型。对于运动补偿，不要求运动向量或表达运动的大小和方向的其它装置。
本发明的第二个目的是提供一种包括这种时空滤波器单元的图像显示装置。
本发明的第一个目的是这样实现的时空滤波器单元包括一个滤波器核，该滤波器核设计为能对当前图像以及作为时间循环滤波图像的时空滤波器单元的输出的像素进行运算。滤波是以西格马最邻近值的选择为基础。与原始像素有不良关联的像素能自动被抛弃，而其它的像素则按照相关联的比例对输出起作用。滤波包含了对被选像素的加权平均，这些像素来自包括水平、垂直及时间方向的预定的三维视窗。这个时空滤波器单元的主要特征在于空间的和时间的滤波被做在同一个滤波器核内。这样极大地降低了执行花费，产生了一个容易地最佳化概念。而且，因为时间滤波器不再是分离的，像一些所谓的“污点视窗”效应或固定噪声，“彗星尾巴”等问题都被自动解决了。由于空间和时间的滤波器的相互补充，在运动物体边缘及周围的噪声穿透也被消除了。
根据本发明时空滤波器单元的一个实施例包括一个空间像素缓存器，用于存储当前图像的像素；一个空间像素选择器，用于从空间像素缓存器中选择像素；一个时间像素缓存器，用于缓存来自作为时间循环滤波图像的时空滤波器的输出的像素；一个时间像素选择器，用于从时间像素缓存器中选择像素；以及一个包括滤波器核的西格马滤波器，滤波器核设计为能对来自空间像素选择器及时间像素选择器的像素进行运算。
在空间像素缓存器中，为了选择像素来完成空间滤波，定义了一个二维空间像素选择器。在西格马滤波器的滤波器核中为了增加时间循环滤波的像素，在时间像素缓存器中定义第二个二维空间像素选择器，取自图像存储器的像素充满时间像素缓存器中。按这种方式，在一个滤波器孔径内就可以进行三维时空滤波。西格马滤波器的输出存储在图像存储器中并用来进行后续的滤波。这是处理过程中的时间循环部分。运动检测是在滤波过程中固有的，每个像素首先与原始像素进行比较，由此来决定对输出的作用。运动发生的地方像素将有很大的灰值差异，因此，该像素自动被抛弃。此外，运动补偿也是固有的，这是通过使用一个选择时间循环滤波像素的时间像素选择器和一个使用了阈值的识别平均值滤波器来实现的。如果没有发生运动，在先前图像的中心像素的周围，相对于中心输入像素的灰度级相关度是较高的。在发生运动时，这个相关度随着运动的轨道而漂移。如果运动足够低的话将进行时间滤波，因为在时间视窗内(即空间像素选择器)可找到有关的像素。换言之，运动补偿隐性地完成，由此使显性运动补偿冗余。
根据本发明时空滤波器单元的一个实施例包括一个自适应西格马滤波器。西格马滤波器的滤波器阈值是可调节的。这意味着滤波的程度可减小或增加，以便适应时空滤波器单元以及包括这种时空滤波器单元的图像显示仪的使用者的口味。空间的和时间的滤波阈值能独立的确定，因此在空间的和时间的滤波之间可以达到想要的平衡。
根据本发明时空滤波器单元的一个实施例的特征在于作为时间像素选择器和空间像素选择器的像素选择器中至少一个选择器，其孔径是可调节的。这决定了滤波的长度及输出的特征。窄孔径与大孔径图像的更迭的组合得到良好的结果。
根据本发明时空滤波器单元的一个实施例的特征在于作为时间像素选择器和空间像素选择器的像素选择器中至少一个选择器，在所选像素之间的距离是可调节的。其结果是选择器的孔径可调节而所选像素的数量的多少保持不变。像素选择器的价格是基于存储容量，即它们能同时存储像素的数量。根据本发明这个实施例的优点是像素处理过程的花费能相对较低。
根据本发明时空滤波器单元的一个实施例是它包括一个运动检测器，运动检测器设计为能检测运动并基于所检测的运动来控制时间像素选择器的孔径。孔径决定对静止图像滤波的长度以及对运动时序运动补偿的范围。这个实施例的一个优点是使隐性运动补偿最佳化。运动检测器可以检测到全局或局部的运动。由于可以基于现场确定孔径，因此一旦运动的程度已知，对每一序列都能找到最佳设置。检测器不能提供有关运动方向的信息。一个外部运动估值器也可以提供有关运动的信息。
根据本发明时空滤波器单元的一个实施例是它包括一个运动估计器，运动估计器设计为能提供运动向量并能基于运动估计器提供的运动向量来控制与时间像素缓存器相关的时间像素选择器的位置。这个实施例的优点是时间的近程性增加了，在物体高速运动的情况下尤其有益。一个外部运动估值器也可以提供运动向量。
根据本发明时空滤波器单元的一个实施例是它包括一个噪声估计器，噪声估计器设计为能估计当前图像的噪声级，并能根据估计的噪声级控制作为时间像素选择器和空间像素选择器的像素选择器中至少一个选择器的孔径。滤波的强度与像素选择器的孔径有关。在估计的噪声级相对高的情况下允许进行相对更多的滤波。因此在所有的噪声级下均可达到最佳的噪声滤波。外部噪声估计器也可以提供估计的噪声级。
根据本发明时空滤波器单元的一个实施例是它包括一个噪声估计器，噪声估计器设计为能估计当前图像的噪声级，并能根据估计的噪声级控制自适应西格马滤波器的阈值。估计噪声级相对高的情况下阈值能被增加，估计噪声级相对低的情况下阈值能被减小。因此在所有的噪声级下均可达到最佳的噪声滤波。
时空滤波器单元的以上这些和其它方面以及图像显示设备将参考下文描述的实施例以及附图而进行阐述。
图1示意出时空滤波器单元的一个实施例；图2示意出包含噪声估计器、运动估计器和运动检测器的时空滤波器单元的一个实施例；以及图3为图像显示设备的基本单元图。
图1示意出了时空滤波器单元100的一个实施例和由该时空滤波器单元100使用的两个存储器。这些存储器可被在包括时空滤波器单元100的一个系统中的其它单元共享。第一个存储器为图像存储器114，用来贮存作为时间循环滤波图像的时空滤波器单元的输出。第二个存储器为高速缓冲存储器116。表示图像的信号在连接点102进入时空滤波器单元100。已滤波信号在连接点118离开时空滤波器单元100。来自这个已滤波信号的像素也存储在图像存储器114中。进入时空滤波器单元100的图像像素缓存在空间像素缓存器104中，空间像素选择器106从空间像素缓存器104中选取像素，图像存储器114的像素因运行的原因存储在高速缓冲存储器116中。来自高速缓冲存储器116的像素缓存在时间像素缓存器108中。时间像素选择器110从时间像素缓存器108中选取像素，并把这些像素提供给西格马滤波器112中的滤波器核107。这样，滤波器核107对来自空间像素选择器106和时间像素选择器110的像素进行运算。
图2示意出了时空滤波器单元200的一个更复杂的实施例，图2中白色方框是时空滤波器单元200的部件，图2中有阴影的方框不是时空滤波器单元200的部件。这些有阴影的方框代表存储器单元。这些存储器单元可被包含时空滤波器单元200的一个系统中的其它单元共享。第一个存储器为图像存储器214，用来贮存作为时间循环滤波图像的时空滤波器单元的输出。第二个存储器为高速缓冲存储器216。表示图像的信号在连接点202进入时空滤波器单元200。已滤波信号在连接点218离开时空滤波器单元200。来自这个已滤波信号的像素也存储在图像存储器214中。进入时空滤波器单元200的图像像素缓存在空间像素缓存器204中。空间像素选择器206从空间像素缓存器204中选取像素，并把这些像素提供给西格马滤波器212中的滤波器核207。来自图像存储器214的像素因运行的原因存储在高速缓冲存储器216中。来自高速缓冲存储器216的像素缓存在时间像素缓存器208中。时间像素选择器210从时间像素缓存器208中选取像素，并把这些像素提供给西格马滤波器212中的滤波器核207。这样，滤波器核207对来自空间像素选择器206和时间像素选择器210的像素进行运算。时空滤波器单元200包括一个运动检测器224，运动检测器224设计为能够检测运动并根据所检测的运动来控制时间像素选择器210的孔径。时空滤波器单元200包括一个运动估计器222，运动估计器222设计为能提供运动向量并能根据运动估计器提供的运动向量来控制与时间像素缓存器208相关的时间像素选择器210的位置。时空滤波器单元200包括一个噪声估计器220，噪声估计器220能估计当前图像的噪声级，并能根据估计的噪声级控制作为时间像素选择器210和空间像素选择器206的像素选择器的至少一个选择器的孔径。除此之外，噪声估计器220能根据估计的噪声级来控制自适应西格马滤波器212的阈值。
图3为根据本发明的图像显示设备300的基本单元，图像显示设备300有一个能接收代表显示图像的视频信号的接收装置302。视频信号既可以是经天线或电缆接收的广播信号也可以是来自像录象机或DVD(数字化视频光盘)这样的存储设备的信号。图像显示设备300还有对视频信号进行滤波的时空滤波器单元304以及能显示经过视频信号滤波的图像的显示设备306。时空滤波器单元304按图1或图2描述的来实现。
应该注意的是上述的实施例只是说明作用而不是限制本发明，本领域的普通技术人员在不脱离所附的权利要求的范围的前提下可以设计出变形实施例。在权利要求中，任何括号内的标号不应构成对权利要求的限制。“包括”一词并不排斥没有罗列在权利要求中的单元和步骤。在单元前有“一”或“一个”一词并不排斥多数这类单元的存在。本发明能包括通过几个不同元件构成的硬件和相应的编程的计算机来实现。在滤波器单元的权利要求中列举的几种装置，这些装置能通过相同类的硬件来实现。
权利要求
1.一种时空滤波器单元(100)，具有能减少图像噪声的西格马滤波器(112)，其特征在于西格马滤波器(112)包括一滤波器核(107)，该滤波器核(107)设计为能对来自当前图像以及作为时间循环滤波图像的时空滤波器单元的输出(118)的像素进行运算。
2.如权利要求1所述的时空滤波器单元(100)，其特征在于其包括一个空间像素缓存器(104)，用于存储当前图像的像素；一个空间像素选择器(106)，用于从空间像素缓存器(104)中选择像素；一个时间像素缓存器(108)，用于缓存作为时间循环滤波图像的时空滤波器单元的输出(118)的像素；一个时间像素选择器(110)，用于从时间像素缓存器(108)中选择像素；以及一个包括滤波器核(107)的西格马滤波器(112)，滤波器核(107)设计为能对来自空间像素选择器(106)及时间像素选择器(110)的像素进行运算。
3.如权利要求2所述的时空滤波器单元(100)，其特征在于其包括一个自适应西格马滤波器(112)。
4.如权利要求3所述的时空滤波器单元(100)，其特征在于作为时间像素选择器(110)和空间像素选择器(106)的像素选择器中至少一个选择器，其孔径是可调节的。
5.如权利要求4所述的时空滤波器单元(100)，其特征在于作为时间像素选择器(110)和空间像素选择器(106)的像素选择器中至少一个选择器，设计为在所选像素之间的距离是可调节的。
6.如权利要求4所述的时空滤波器单元(200)，其特征在于其包括一个运动检测器(224)，运动检测器(224)设计为能够检测运动并基于所检测的运动来控制时间像素选择器(210)的孔径。
7.如权利要求4所述的时空滤波器单元(200)，其特征在于其包括一个运动估计器(222)，运动估计器(222)设计为能提供运动向量并能根据运动估计器(222)提供的运动向量来控制与时间像素缓存器(208)相关的时间像素选择器(210)的位置。
8.如权利要求4所述的时空滤波器单元(200)，其特征在于其包括一个噪声估计器(220)，噪声估计器(220)设计为能估计当前图像的噪声级，并能根据估计的噪声级控制作为时间像素选择器(210)和空间像素选择器(206)的像素选择器中至少一个选择器的孔径。
9.如权利要求4所述的时空滤波器单元(200)，其特征在于其包括一个噪声估计器(220)，噪声估计器(220)设计为能估计当前图像的噪声级，并能根据估计的噪声级控制自适应西格马滤波器(212)的阈值。
10.一种图像显示设备(300)，包括接收装置(302)，用于接收代表图像的信号；一显示设备(306)，用于显示图像；以及一时空滤波器单元(100)，具有能减少图像噪声的西格马滤波器(112)，其特征在于西格马滤波器(112)包括一滤波器核(107)，滤波器核(107)设计为能对来自当前图像以及作为时间循环滤波的图像的时空滤波器单元的输出(118)的像素进行运算。
11.一种图象显示设备(300)，包括接收装置(302)，用于接收表示图象的信号；显示设备(306)，用于显示图象；以及时空滤波器单元(100)，具有西格马滤波器(112)，用于减少图象中的噪声，其特征在于它还包括空间象素缓存器(104)，用于存储当前图象的象素；空间象素选择器(106)，用于从空间象素缓存器(104)中选择象素；时间象素缓存器(108)，用于缓存从时空滤波器单元的输出(118)的象素，该象素是时间循环滤波图象；时间象素选择器(110)，用于从时间象素缓存器(108)中选择象素，以及西格马滤波器(112)，作为一种自适应西格马滤波器，包括一个滤波器核(107)用于对来自空间象素选择器(106)和时间象素选择器(110)的象素进行运算。
全文摘要
在消费电视用户中，噪声抑制是重要的性能，它可通过时间的、空间的或时空滤波器来实现。空间滤波器需要来自一个图像内的像素，而时间滤波器则需要从两个或更多的连续的图像上取样。本发明时空滤波器单元(100)把空间的与内含运动补偿的时间的噪声抑制集成在一个滤波器中。对于运动补偿，不要求运动向量。时空滤波器单元(100)具有包括滤波器核(107)的西格马滤波器(112)，滤波器核(107)设计为能对来自空间像素选择器及时间像素选择器的像素进行运算。通过改变西格马滤波器(112)的阈值以及像素的选择能调节时空滤波器单元(100)的运行。调节是由运动估计器(222)、运动检测器(224)以及噪声估计器(220)来控制。
文档编号H04N5/44GK1419680SQ01807208
公开日2003年5月21日 申请日期2001年12月19日 优先权日2001年1月26日
发明者O·A·奥约, T·G·夸伊塔尔斯帕索瓦, R·埃兰德 申请人:皇家菲利浦电子有限公司