专利名称：：用于低功率可分级图像处理的局部化内容自适应滤波器的制作方法
技术领域：
：本发明通常涉及可分级(scalable)图像处理，并且更具体地，涉及一种局部化内容自适应系统，以及用于选择或编程用于低功率(power)多速率可分级图像处理的重采样低通滤波器的方法。
背景技术：
：高级视频编码(AVC)标准、MPEG4(运动图像专家组)的Part10(还被称为H.264)包括高级压缩技术，该技术被开发用于实现宽比特率范围上视频信号的传输，或者用于实现在给定的传输速率下视频质量的提高。较新的H.264标准优于现有标准的视频压缩技术，以便于在给定比特率下支持更高质量的视频以及实现基于因特网的视频和无线应用等。该标准定义了编码的^见频比特流的i吾法以及比特流的解码方法。可分级视频编码(SVC)是H.264的扩展，其提出使用可用系统资源在异构网络上可靠地将视频递送给不同客户端的编码方案，特别是在其中下游客户端能力、系统资源和网络条件不是预先已知的或者随时间动态改变的情形中。SVC通过使用基本层和增强层概念实现可分级性，其中增强层或上层可自下层例如基本层分级。尽管H.264具有相对受限的可分级性，但是SVC提供了多个层级(level)的可分级性，包括时间可分级性、空间可分级性、复杂度可分级性和质量可分级性。基本层应是在质量、空间分辨率和时间分辨率方面的最简单的形式。时间可分级性通常是指视频流的每秒帧数目(fps)，例如7.5fps、15fps、30fps等。空间可分级性是指每帧的分辨率，例如每帧352x288像素的通用接口格式(CIF)，或者每帧176x144像素的四分之一CIF(QCIF)，其他的空间分辨率也在考虑范围内，例如4CIF、QVGA、VGA、SVGA、Dl、HDTV等。复杂度可分级性通常是指处理视频信息的设备的多种计算能力和处理功率。质量可分级性是指多种比特率，例如量化层级，并且通常是通过峰值信噪比(PSNR)度量与比特率的关系来测量的，定义了重建的图像相比于原始图像的相对质量。本公开内容主要考虑图像信号的上和下采样是在包括视频系统的图像通信系统中执行的常见功能。上和下釆样功能并入有低通滤波器功能，该功能趋于使图像或视频帧模糊不清。希望保持每张图像或视频帧的锐度(sharpness)。在当前的SVC开发过程中，-f见频帧或宏块的上和下采样被用于层间紋理预测。在联合可分级验证模型(JSVM)的编码器和解码器中使用了两个固定长度的FIR滤波器。然而，由于这样的二维信号的频率、空间和时域中的特性变化，固定长度的滤波器可能导致用于上和下采样的抗混叠和抗镜像(anti-imaging)的非最优的性能。更长的滤波器抽头将导致另外的功耗和存储器要求。希望提供一种用于平衡图像处理的视觉质量、功耗和存储器消耗之间的权衡的自适应滤波器。通过参考下面的描述和附图，将更好地理解本发明的益处、特征和优点，其中图1是根据本发明示例性实施例实现的可分级视频系统的、说明空间可分级性的简化框图2是说明图1的视频编码器执行的上和下采样过程的图形框图3是说明图1的视频解码器执行的上采样过程的简化的图形框图4是可用于实现图1的自适应滤波器系统之一或两者的、根据滤波器的顶层框图5是示出图4的频率内容分析器的示例性实施例的框图6是示出使用图4的局部化内容自适应滤波器的示例性帧的处理的框图7是可用于实现图1的自适应滤波器系统之一或两者的、根据本发明的另一示例性实施例的用于可分级视频处理的局部化内容自适应滤波器的顶层框图8是表1中描述的4抽头Kaiser-Bessel滤波器的曲线图，其绘出了对于每个示例性P值的以分贝(dB)为单位的响应量值与归一化频率的关系，其中重采样比是2;以及图9是表2中描述的自适应长度Kaiser-Bessel滤波器的曲线图，其绘出了对于每个抽头数目N的以dB为单位的响应量值与归一化频率的关系，其中重采样比是2。具体实施例方式下面的描述用于使本领域的普通技术人员能够在特定应用及其要求的背景下实现和使用所提供的本发明。然而，对优选实施例的多种修改对于本领域的技术人员将是显而易见的，并且此处定义的一般原理可应用于其他实施例。因此，本公开内容不应限于此处示出和描述的特定实施例，而是应给予与此处公开的原理和新颖特征一致的最广泛的范围。尽管使用处理视频信息例如MPEG(运动图像专家组)类型的视频信息的视频处理实施例说明了本公开内容，但是本公开内容通常应用于任何图像信息或连续图像信息的处理，例如JPEG(联合图像专家组)信息、运动JPEG(MJPEG)信息、JPEG2000信息、运动JPEG2000(MJPEG2000)信息等。如此处使用的术语"图像信息"应适用于任何视频或图像或图像序列信息。图1是根据本发明的示例性实施例实现的可分级视频系统100的、说明空间可分级性的简化框图。视频系统IOO可以并入其他可分级性，例如时间可分级性、复杂度可分级性、质量可分级性等。可分ii级视频系统100包括可分级视频编码器101和可分级视频解码器103。视频编码器101对输入视频编码并且将编码的视频信息封装到比特流器103提供输出视频。信道102可以是任何媒体或介质，并且无线通信也在考虑范围内。在所说明的配置中，可分级视频系统IOO是两层的系统，其中输入视频是在通用接口格式(commoninterfaceformat,CIF)空间层提供的，并且其中BTS并入有CIF和四分之一CIF(QCIF)视频信息。输入视频被提供作为CIF信息块，从右到左被示出为CIFl块llO、CIF2块111等。如示出的，BTS从右到左包括第一编码的QCIF块，即QCIF(l)块120,接着是编码的剩余CIF块，即RCIF(l)块121，接着是第二编码的QCIF块，即QCIF(2)块122，接着是第二剩余CIF块，即RCIF(2)块123，如此等等。用这种方式，视频解码器103接收用于通过处于QCIF或CIF的空间层对BTS解码并且提供输出视频的足够信息。尽管可分级视频系统IOO仅示出了两层，但是本发明不限于任何特定数目的可分级层或输入分辨率。如本领域的技术人员公知的，每个视频帧被细分为一个或多个分片(slice)并且在宏块(MB)层级上被编码，其中每个MB是16x16的像素块。每个分片的尺寸是任意的并且可以在从单个MB直至帧中的所有MB的范围内。BTS中编码的每个块的相对尺寸也可以是在从单个MB直至整个帧的范围内。如下文进一步描述的，视频编码器101并入有用于在编码过程中便利上和下采样的自适应滤波器系统(AFS)105,并且视频解码器103并入有用于在解码过程中便利上采样的另一AFS107。由于QCIF信息可以被直接解码，而如下文进一步描述的，CIF层是通过对QCIF信息上采样并且添加到解码的剩余CIF信息而实现的，因此在视频解码器103中未使用下采样。出于使解释清楚的目的示出了两层的系统，但是应当理解本发明适用于包括两个或更多个空间层级的任何的多层级系统。BTS典型地包括用于选定的基本层的编码信息和用于更高层的剩余信息。图2是示出视频编码器101执行的上和下采样过程的图形框图。来自视频输入的CIFjc块(其中"jc"表示输入视频的块编号，包括CIF1块110、CIF2块111等)被提供给由AFS105配置的或者配置在AFS105中的低通滤波器(LPF)201，其中LPF201的输出被提供给下采样器203的输入。下采样器203执行抽取(decimation)，其中它选择性地接受或拒绝滤波的样本并且提供对应的QCIFx块205。QCIFx块205均由视频编码器101(被表示为编码器207)编码，该编码器输出编码的QCIF块QCIF(jc)，包括QCIF(1)块120、QCIF(2)块122等。编码的QCIF(jc)块被提供给输出緩冲器(buffer)225的一个输入，输出緩冲器225将编码的QCIF(x)块并入或者另外封装在比特流BTS中。编码的QCIF(x)块在视频编码器101(被表示为解码器209)中解码，该解码器输出被示出为RECONQCIF;c块211的重建的QCIF块。RECONQCIFx块211每一均被提供给上釆样器213的输入，其输出耦合到另一LPF215的输入，该LPF215也由AFS105配置或者配置在AFS105中。如下文进一步描述的，RECONQCIFjc块211还被直接提供给用于配置LPF215的AFS105，所述LPF215用于对上采样器213的输出处的对应的上采样的信息滤波。在一个实施例中，上采样器213执行插值(interpolation)，其中它将零插入数字数据流，并且随后由LPF215使该数字数据流平滑。LPF215的输出提供预测性的PCIFjc块217,由加法器219将该预测性的PCIFx块217每一均与对应的一些CIFjc块组合以提供剩余RCIFjc块221。特别地，加法器219从CIF1中减去PCIF1以提供RCIF1,从CIF2中减去PCIF2以提供RCIF2，等等。剩余RCIFx块221由被表示为编码器223的编码器编码，编码器223输出编码的剩余块RCIF(x)，该编码的剩余块RCIF(x)包括RCIF(1)块121、RCIF(2)块123等。输出緩冲器225将编码的参考RCIF(x)块121并入或另外封装到比特流BTS中。应当注意，如本领域的技术人员理解的，编码器207和223可被实现为单个编码器227。图3是示出视频解码器103执行的上采样过程的简化的图形框图。从比特流BTS中提取QCIEv块(120、122等)并且将其提供给解码器301，该解码器301输出对应的解码的QCIFx块303作为QCIF视频输出的一部分用于存储或显示。解码的QCIFa:块303还被提供给上采样器305的输入，其输出^皮提供给在AFS107中配置或选择的LPF307的输入。QCIFa:块303还被直接提供给用于配置每个LPF的AFS107，所述LPF用于对对应的上采样的信息滤波。LPF307的输出提供预测PCIFjc块309，该预测PCIFjc块309,皮提供给加法器315的一个输入。剩余RCIF(jc)块(例如，121、123等)在^L频解码器103中被提供给解码器311，该解码器311输出被提供给加法器315的另一输入的对应的剩余RCIFx块313。加法器315使每个预测性的PCIFx块309与对应的一个剩余RCIFx块313相加并且输出对应的CIFa:视频块317用于存储或显示。应当注意，如本领域的技术人员理解的，解码器301和311可被实现为单个解码器319。图1-3示出用于执行上和下放缩(scaling)的可分级视频处理系统的编码器和解码器中的低通滤波的使用。可分级视频编码器101使用用于下采样的LPF201和用于上釆样的LPF215，并且可分级视频解码器103使用遵循上采样过程的LPF307。应当注意，用基本相同的方式配置LPF215和LPF307以避免编码器101和解码器103之间的失配。如前面讨论的，在执行上或下采样时，固定滤波器不能实现在抗混叠和抗镜像方面的最优性能。这是因为输入视频流的频率内容变化并且在视频流内是时变的。因此，希望提供一种方案，其中滤波器长度和滤波器性能依赖于输入视频帧的帧、分片或宏块的局部化频率内容自适应更新。用于滤波器选择的局部化内容自适应方案的另一优点在于，对于每个可以应用较短的滤波器的分片，避免了滤波器的多余设计(over-design)，从而极大地降低计算强度和处理功率。视频编码器101中的块AFS105和视频解码器103中的AFS107提供了一种用于选择预先配置的低通滤波器或者用于对滤波器抽头编程以使视觉质量与功耗和存储器消耗平衡的、基于处理分辨率的内容(例如，保存信息分片的图块(tile)，其中每个分片是一个或多个宏块直至整个信息帧)的自适应方法。图l-3示出了视频处理，其中应当理解，本发明适用于任何图像信息，包括例如JPEG图像等。图4是根据本发明的示例性实施例的用于可分级视频处理的局部化内容自适应滤波器400的顶层框图，该局部化内容自适应滤波器400可用于实现AFS105和AFS107之一或两者。应当注意，局部化内容自适应滤波器400是示例性实施例，其中基于具有变化的频率内容的不同视频序列的统计分析，预先设计滤波器，其对于图块式的(tiled)输入最优的滤波器被与阈值等级匹配以允许在运行时使用阈值和滤波器之间的映射。在另一实施例中，如下文进一步描述的，基于预先确定的关系实时配置滤波器。输入信息(INI)(例如视频、图像、图像序列等)被提供给图块緩冲器401,该图块緩冲器401基于图像或视频帧的局部化频率内容便利滤波器的选择。INI取决于正在实现的特定的滤波器，例如CIFx块llO、111等取决于LPF201，RECONQCIFjc块211取决于LPF215，或者QCIFx块303取决于LPF307。图块緩冲器401根据选定的处理分辨率将输入信息拆分为图块，其中每个图块的尺寸是宏块或分片或者帧，并且其中每个分片依赖于系统配置和操作是一个或多个宏块。自图块緩冲器401输出的每个图块TL耦合到小波变换滤波器403的输入。在一个实施例中，小波变换滤波器403被实现为本领域的技术人员公知的"Haar"小波变换滤波器。小波变换滤波器403的输出是子带图块(sub-bandedtile，SBT)信息，该SBT信息便利图块緩冲器401中的选定图块的频率内容分析。SBT信息^皮提供给频率内容分析器405的输入。频率内容分析器405向滤波器选择器407的输入提供频率指示符(FI)信号，该滤波器选择器407并入有FI信号与预先配置的滤波器组或滤波器列表中的预先配置的滤波器之间的预先确定的映射，该滤波器组或滤波器列表在此处被称为滤波器列表409。滤波器选择器接收FI信号并且将频率选择(FS)信号提供给滤波器列表409的输入，该滤波器列表409选择预先配置的滤波器集合中的一个滤波器用于执行低通滤波。滤波器列表409中的每个滤波器预先配置有通过置于表格形式等(例如，查找表格)中的滤波器系数。利用视频序列和/或图像的大15的统计样本，将滤波器响应经验地映射到不同的阈值。频率内容分析器405确定图块緩冲器401中存储的图块TL中的大部分能量主要是低频的还是高频的，并且提供表示这一点的FI信号。如果在图块TL中低频是主要的，则将低频指示符输出提供给滤波器选择器407。相似地，如果主要频率是高的，则提供高频指示符。一旦确定了频率内容，则FI信号被映射到适当的预先配置的并且预先设计的低通滤波器，用于将采样滤波器分配给正被处理的图块TL。在一个实施例中，滤波器列表409是接收FS信号作为指针的查找表格，该FS信号由图块式的输入图像或视频帧的频率内容确定。基于图像或视频的训练集合预先设计和优化表格化滤波器，以产生高的视觉质量。一旦选择了低通滤波器，则选定的输入信息(SII)被提供给选定低通滤波器的输入，以提供输出滤波的图块数据OT。该SII取决于局部化内容自适应滤波器400被配置用于上釆样，例如LPF215或LPF307;还是被配置用于下釆样，例如LPF201。在下采样的情况中，SII与提供给图块緩冲器401的输入INI相同并且作为到滤波器列表409的输入也循着路径404。在上采样的情况中，SII是由对应的上采样器的输出(例如用于LPF215的上采样器213的输出或者用于LPF307的上采样器305的输出)所提供的上采样(US)的图像信息，其被示出为US402。该US图像信息与图块TL相关联之处在于其是INI的上采样的版本。应当注意，保持TL信息与由滤波器列表409滤波的SII信息之间的相关。例如，如果基于宏块执行对宏块的处理，则用于选择滤波器列表409中的滤波器的TL的每个宏块对应于被滤波器列表409滤波的SII。在替代实施例(未示出)中，对于下采样情况，图块緩冲器401的TL输出被直接提供给滤波器列表409,用于由滤波器列表409中的选定滤波器滤波，或者被直接提供给对应的上采样器，该上采样器将其输出提供给滤波器列表409的输入，用于由滤波器列表409中的选定滤波器滤波。图5是示出频率内容分析器405的示例性实施例的框图。在这种情况中，频率内容分析器405包括频率阈值逻辑501，其输入接收来自滤波器组403的输出的SBT信息；和计数器和分支逻辑503，其提供FI信号。频率阈值逻辑501将每个图块二值化并且将二值化的图块BT输出到计数器和分支逻辑503。基于具有变化的或不同的内容的图像和视频序列的大的集合的平均统计，设定频率阈值逻辑501的特定层级。计数器和分支逻辑503并入有计数器等，其确定在频率阈值逻辑501的输出处正被处理的二值化的图块BT中的低频像素能量的量还是高频像素能量的量是主要的，以确定原始图块TL主要包含低频内容还是高频内容。计数器和分支逻辑503并入有多路复用器(m，i，HnlPYPr.MTFX")蛊去容竑;f圣^^古谬產Af).JU承利对要用于正被处理的图块TL的预先配置的滤波器的选择。计数器和分支逻辑503对滤波器选择器407声明(assert)FI信号，如前面描述的，该滤波器选择器407提供了FI信号与滤波器列表409的预先配置的滤波器之间的映射。图6是示出使用局部化内容自适应滤波器400的示例性帧601的处理的框图。帧601,皮细分为标记为A，B，C，...，Y的5x5图块栅格。依赖于图块緩冲器401的尺寸，每个图块的尺寸是一个或多个宏块。每个图块A-Y被逐个提供给小波变换滤波器403，并且用于每个图块的SBT信息被提供给频率内容分析器405。在这种情况中，频率内容分析器405将阈值逻辑应用于每个SBT信息输出，其中定义了三个阈值等级T1、T2和T3。Tl对应于较低频率范围，T2对应于中间频率范围，并且T3对应于较高频率范围。应当注意，可以定义任何数目的阈值等级和对应的滤波器(大于或小于三个)，其中三个阈值和对应的滤波器仅被示出为示例性配置。频率内容分析器405根据阈值等级映射帧601，如由阈值帧603表示的。特别地，图块A，B，C，F，J，K，O，P，U，X和Y被映射到阈值等级Tl，图块D，E，T，V和W被映射到阈值等级T2，并且剩余的图块G，H，I，L，M,N，Q，R和S被映射到阈值等级T3。如所示出的，阈值帧603是示出每个图块A-Y与对应的一个阈值等级Tl-T3的映射的5x5栅格。用分别具有滤波器阶数NT1、Nn和Nt3的三个渡波器FT1、Ft2和Ft3表示應波器列表605，其中"N，，表示滤波器阶数并且滤波器F和滤波器阶数N的下标对应于特定的阈值等级。因此，滤波器FT3是对应于或被映射到阈值等级T3的低通重采样滤波器，滤波器Fn是对应于或被映射到阈值等级T2的低通重采样滤波器，并且滤波器FT1是对应于或被映射到阈值等级Tl的低通重采样滤波器。根据频率选择器407选择的滤波器列表605的滤波器映射阈值帧603，如由滤波器帧607表示的。如所示出的，滤波器帧607是示出每个图块A-Y根据分配给该图块的特定的阈值等级Tl-T3与对应的一个滤波器F^-Ft3的映射的5x5栅格。特别地，图块A，B，C，F，J，K，O，P，U，X和Y被映射到滤波器FT1，图块D，E，T，V和W被映射到滤波器FT2，并且剩余的图块G，H，I，L，M，N，Q，R和S^皮映射到滤波器FT3。如本领域的技术人员理解的，滤波器F的滤波器阶数N越大，则抗混叠和抗镜像就越好(如图9中示出的)，这是因为，这意味着更尖锐的转换带宽和更高的通过滤波器截止频率的衰减。依赖于选择用于阈值的逻辑，设计人员建立阈值量值和待选择的滤波器之间的关系。在该示例性实施例中，希望降低映射到较高阈值的图块的较高频率的衰减。用这种方式，推断出对应的滤波器F^-FT3的滤波器阶数NTrNT3分别具有NT户NT户NT3的关系。进一步注意到，所定义的阈值等级和对应的低通滤波器的数目越大，则从主观和客观上预期的编码性能就越好。尽管图6中仅示出了三个阈值等级Tl-T3和对应的滤波器FT1-FT3，但是应当理解，根据特定的配置和系统需要，可以定义任何数目的阈值等级和对应的低通滤波器。作为示例，如果601表示待由视频编码器101使用局部化内容自适应滤波器400作为AFS105处理的输入视频的帧，则每个图块A-Y被加载到图块緩冲器401中并且由小波变换或滤波器组403和频率内容分析器405逐个处理，其中滤波器选择器407选择滤波器列表409存储的适当的低通滤波器用于处理对应的图块。假设阈值等级Tl、T2和T3以及滤波器列表605(表示预先配置的滤波器列表409)，18滤波器选择器407基于输入信号FI选择滤波器列表409中的一个滤波器，FT1、Fn或Ft3，该输入信号FI提供阔值等级与滤波器列表409中的滤波器的映射的指示。假设图块A导致了Tl到Fn的映射，则图块A^皮施加到用作LPF201的滤波器F^的输入。接着，滤波器FT1的滤波输出被施加到下采样器203并且如前面描述的通过视频编码器IOI被处理。替代地，如果帧601表示视频编码器101的RECONQCIFx块211，则局部化内容自适应滤波器400表示AFS105并且被用于选择LPF215。在这种情况中，图块A-Y表示来自解码器209的输出。通过局部化内容自适应滤波器400处理重建的QCIF图块A，用于通过与上文描述的基本相同的方式选择滤波器F^。然而，在这种情况中，图块A被提供给上采样器213的输入并且上采样器213的输出被提供给选定滤波器FT1(即，而不是通过局部化内容自适应滤波器400处理上釆样器213的输出)。因此，通过局部化内容自适应滤波器400和上采样器213并行地处理每个图块，其中上采样器213的输出被施加到选定滤波器的输入。通过相似的方式，如果帧601表示视频解码器103的QCIFjc块303,则通过基本相同的方式选择滤波器列表605的滤波器，并且通过上采样器305并且随后通过实现LPF307的选定低通滤波器，逐个处理图块A-Y。前面注意到，应通过与解码器103中的AFS107的LPF307基本相同的方式配置编码器101中的AFS105的LPF215。进一步注意到，上采样器213和305被配置为通过基本上相同的方式操作。在替代实施例中，编码器101被配置为在比特流BTS中并入被选择用于LPF215的滤波器的信息，从而解码器103的AFS107选择相同的滤波器用于LPF307。在该替代配置中，AFS107不需要被配置为具有局部化内容自适应滤波器400的所有功能性，而是仅包括滤波器列表409，和用于自比特流BTS取回(retrieve)选定滤波器信息并且生成提供给滤波器列表409以用于选择适当的滤波器的FS信号的足够逻辑。该替代配置的潜在益处在于其确保了滤波器215和307是相同的。该替代配置可以改变描述比特流BTS的任何标准定义，这是因为额外的信息被并入用于标识选定的滤波器。而且，如果需要用于额外信息的额外比特，尽管可能重新定义现有的比特或者使用当前未使用的或者未定义的比特组合，但是该替代配置也可以增加比特流BTS的比特率。图7是可用于实现AFS105和107之一或两者的根据本发明另一示例性实施例的用于可分级视频处理的局部化内容自适应滤波器700的顶层框图。在该情况中，低通滤波器未被预先配置，但是在来自图块緩冲器401的图块正被处理的运行期间(或者实时地)被配置或另外编程。由于相比于预先配置的滤波器设计人员可以以更加准确的方式灵活地调节滤波器响应，因此局部化内容自适应滤波器700可以产生优越的结果。然而，应当理解，局部化内容自适应滤波器700适用于其中有足够的功率可用的应用，这是因为相比于预先配置的滤波器系统例如局部化内容自适应滤波器400,局部化内容自适应滤波器700潜在地消耗更多的功率。如滤波器设计领域的技术人员所公知的，滤波器窗函数相对易于实现并且提供了适用于减少Gibb振荡的技术。窗函数操作用于使信号平滑，使得得到的频i瞽具有更多频带限制，由此减少了频镨泄露。可以使用许多不同的窗函数，例如矩形窗、三角窗(例如，Bartlett)、升余弦或余弦平方窗(例如，Hann)、Hamming窗、Blackman窗、Kaiser-Bessel窗等。根据视频处理过程中的Gibb振荡幅度的相对减少量、实现方案的复杂度和滤波器的实际应用，选择适当的窗函数。局部化内容自适应滤波器700被示出使用Kaiser-Bessel窗函数，其中应当理解，根据特定的配置可以采用替代的窗函数。局部化内容自适应滤波器700包括存储当前图块TL的图块緩冲器401、小波变换滤波器403和频率阔值逻辑501，它们以与前面针对局部化内容自适应滤波器400描述的相似方式操作。在该情况中，来自图块緩冲器401的输出图块TL被提供给开关逻辑SW的一个输入，开关逻辑SW还在其另一输入处接收恢复图块RT。下文将进一步描述恢复图块RT。开关逻辑SW在原始图块TL和恢复图块RT之间选择并且将选定的图块ST输出到小波变换滤波器403的输入，小波变换滤波器403将其输出提供给频率阈值逻辑501(FTL)501。频率阈值逻辑501的二值化输出BT被提供给阈值计数器701,阈值计数器701将频率计数值FC输出到查找表格(LUT)703。LUT703将每个FC值映射到转换带宽值M和对应的阻带(stopband)衰减值As。如滤波器设计领域的技术人员公知的，根据公式Af=Aw/27r，每个转换带宽值Af与径向(radial)转换带宽相关。转换带宽值M和对应的阻带衰减值As被提供给滤波器编程器705，该滤波器编程器705对可编程的低通滤波器(PLPF)707编程。PLPF707在被编程用于正被处理的特定图块之后，如前面描述地对来自INI(对于下采样的情况)或者INI的上采样US版本(对于上采样的情况)的选定输入信息SII滤波，其中PLPF707提供输出滤波的图块数据OT。在所示出的配置中，滤波器编程器705和PLPF707是根据Kaiser-Bessel窗函数实现的，尽管其他的窗函数也在考虑范围内。Kaiser-Bessel窗函数被用作滤波器响应如何被变化或编程为滤波器阶数N、阻带衰减AS和转换带宽Af的函数的示例。Kaiser-Bessel窗函数被表示为w(k)，是通过beta参数p分开的窗口族，其提供了在转换带宽和阻带衰减之间获得适当折衷的系统性方法。根据阻带衰减As,例如根据下式(1)调节Beta参数p:'0如果_^<21〃=<0.5842(4—21)。4+0.07886(4-21)如果—21<^<50(1)0.1102(^—8.7)如果_4>50根据下式(2)，Kaiser-Bessel窗函数w(k)是beta参数p和滤波器阶数N的函数，"〃"J对于-^1化^1(2)々Vii))2/》]其中1。M是根据下式(3)表达的修正的零阶Bessel函数:(0.5x)*(3)其中在大部分实际滤波器设计中仅需要计算式(3)的求和中减21少的数目的项(例如，1<:=20项)。而且，可以根据下式(4)基于阻带衰减和转换带宽估计滤波器阶数N:7.95(4)14.36A/由上式(l)-(4)中描述的关系，可知，对于在运行时配置PLPF707的应用，每个图块TL的阈值与转换带宽Af和阻带衰减As之间的映射产生了Kaiser-Bessel窗函数w(k),并且随后产生了与正被处理的图块TL的FC值相关联的低通滤波器设计。基于数个输入视频序列和/或图像的统计分析以及应用滤波器之后的输出处的视觉质量，预先确定FC值与值Af和As之间的映射。在PLPF707被编程之后，其对SII(INI或其上采样版本)滤波并且提供输出滤波的图块数据OT。由于实际配置中待处理的视频序列或图像可能略微偏离已测试的视频序列或图像，因此希望具有自适应过程，由此将更优化的滤波器应用于每个图块，而非应用由LUT703中提供的FC与Af和As之间的预先确定的映射所给出的缺省滤波器。PLPF707的输出滤波的图块数据OT被提供给反向滤波器709，反向滤波器709有效地执行如PLPF707的反向滤波功能，并且生成恢复图块RT。接着，恢复图块RT被提供给开关逻辑SW的另一输入。对于选择图块TL之后的一次或多次迭代，切换开关逻辑SW以选择RT作为选定图块ST，由此通过小波变换滤波器403、频率阈值逻辑501和阈值计数器701处理恢复图块RT而非处理原始图块TL，以用于与图块TL相关联的后继迭代。在每次后继迭代中，阈值计数器701对于恢复图块RT在其输出处生成新的频率计数值FC。提供频率计数緩冲器FCB,该频率计数緩冲器FCB具有接收FC的输入以及提供被示出为BFC值的緩冲的FC值的输出。因此，緩冲器FCB存储原始FC值作为BFC值，并且新的FC值和BFC值被提供给比较逻辑711的各个输入。比较逻辑711将FC与BFC比较，并且如果FC与BFC相差小于预先确定的阈值等级TL(如百分比差值等，例如15%)，则对于当前图块TL的处理完成并且比较逻辑711声明下一图块标志NT。NT标志表示成功的滤波，由此视频数据流中的下一图块可被加载到图块緩冲器401,并且标志NT被清除。控制逻辑713被示出为耦合到图块緩冲器401、开关逻辑SW和比较逻辑711,并且接收用于控制递归过程的NT标志。如果FC和BFC的差值大于阈值等级THL，则NT保持假，并且新的FC被存储到FDB中，并且还被提供给查找表格703以映射新的Af和As值。新的Af和As值被提供给滤波器编程器705,该滤波器编程器705对PLPF707编程以生成新的输出滤波的图块数据OT。新的输出滤波的图块数据OT通过开关逻辑SW提供并且以相似的方式被处理以生成另一FC值，该FC值与被存储为BFC的前一FC值比较。该过程重复足够多次的迭代(直到预先确定的最大迭代次数)，直至FC收敛到BFC的预先确定的阈值等级THL中。用这种方式，局部化内容自适应滤波器700被设计用于执行使频率计数值FC收敛的递归过程，以对于正被处理的视频数据的每个图块确定输出滤波的图块数据OT。如上文提及的，在第一次迭代中，开关逻辑SW选择图块緩沖器401中存储的图块TL，并且随后在每次后继迭代的过程中，开关逻辑SW选择恢复图块RT直至NT标志被声明或者直至达到如控制逻辑713确定的预先确定的最大迭代次数(成功或不成功)。緩冲器FCB将来自阈值计数器701的每个FC值存储为前一FC值(BFC)，用于与所生成的下一FC值比较，由此FC值的每个连续对可由比较逻辑711相互比较，用于评估递归过程。预先确定的最大迭代次数由复杂度层级和频率计数阈值中的误差最小化(例如，对频率内容/能量的最小偏离)的折衷确定。由于图像重采样通常在水平和垂直可分离的2-D滤波中进行并且两个l-D滤波器是相同的，因此这里列出了示例性的l-D滤波器。下面的表1列出了N=4的固定长度Kaiser-Bessel上采样滤波器的范围为1.5-5.5的五个示例性p值以及关于四个抽头中的每个抽头的对应滤波器抽头值，其中重采样比为2:表1:4抽头Kaiser-Bessel滤波器的beta值和抽头值<table>tableseeoriginaldocumentpage24</column></row><table>图8是表1中描述的4抽头Kaiser-Bessel滤波器的曲线图，其绘出了关于每个示例性P值的以分贝(dB)为单位的响应量值与归一化频率的关系曲线，其中重采样比是2。图8的曲线图示出对于给定滤波器长度的P值越大，则高频内容衰减就越小。较低的P值提供了较高频率的增加的衰减。下面的表2列出了自适应长度Kaiser-Bessel上釆样滤波器的范围为4-12的抽头数目和对应的滤波器抽头值，其中重采样比为2:表1:自适应长度Kaiser-Bessel滤波器的抽头数目和抽头值<table>tableseeoriginaldocumentpage24</column></row><table>图9是表2中描述的自适应长度Kaiser-Bessel滤波器的曲线图，其绘出了对于每个抽头数目N的以dB为单位的响应量值与归一化频率的关系曲线，其中重采样比是2。图9的曲线图示出抽头数目越大，高频内容衰减得越多。较高数目的抽头增加了较高频率的衰减。根据本发明实施例的局部化内容自适应滤波器系统包括图块緩沖器，其具有提供第一图像信息的输出；频率分析器，其基于第一图像信息的频率内容提供频率信息信号；和自适应滤波器，其基于频率信息信号进行调节。在一个实施例中，频率分析器包括小波变换滤波器和提供频率信息信号的频率内容分析器，而自适应滤波器包括滤波器选择逻辑，该滤波器选择逻辑具有接收频率信息信号的第一输入、接收与第一图像信息相关联的第二图像信息的第二输入、和提供滤波了的图像信息的输出。该滤波器选择逻辑基于频率信息信号确定滤波器，并且所确定的滤波器对第二图像信息滤波以提供滤波了的图像信息。滤波器选择逻辑可以包括滤波器选择器和滤波器列表。滤波器选择器接收频率信息信号并且提供滤波器选择信号。滤波器列表接收滤波器选择信号和第二图像信息，并且提供滤波了的图像信息。滤波器列表包括预先配置的滤波器的列表，其中通过滤波器选择信号选择一个滤波器用于对第二图像信息滤波。预先配置的滤波器可以被映射到基于预先确定的图像信息已确定的多个阈值。小波变换滤波器可以是Haar小波变换滤波器。频率内容分析器可被配置来确定较低频率范围和较高频率范围之间的第一图像信息的相对能量。频率内容分析器可以包括频率阈值逻辑和提供频率信息信号的计数器逻辑。在这种情况中，小波变换滤波器提供子带图像信息，频率阈值逻辑基于至少一个频率阈值等级将图像信息二值化并且提供二值化的信息，并且计数器逻辑对二值化的信息计数以确定相对频率信息。在另一实施例中，频率内容分析器可以包括频率阈值逻辑和阈值计数器，该阈值计数器具有提供多个频率计数值中的对应的一个频率计数值的输出。在这种情况中，滤波器选择逻辑包括基于对应的频率计数值编程的可编程滤波器系统。可编程滤波器系统还可以包括存储器和可编程滤波器。存储器存储频率转换带宽值和对应的阻带衰减值。每个频率计数值被映射到对应的滤波器值对，其中每个滤波器值对包括频率转换带宽值和阻带衰减值中的各一个。可编程滤波器被基于选定的滤波器值对进行编程。可以根据预先确定的滤波器窗函数配置可编程滤波器。局部化内容自适应滤波器系统还可以包括反向滤波器，其接收滤波了的图像信息并且提供重建图像信息；控制逻辑，其通过小波变换滤波器和频率内容分析器提供重建图像信息来为一次或多次迭代中的每次迭代提供的新的频率计数值；和比较器逻辑，其确定连续的频率计数值是否处于彼此的预先确定的范围内。局部化内容自适应滤波器系统可被配置用于下采样，其中待滤波的第二图像信息是提供给图块緩冲器的第一图像信息。在上采样配置中，第一图像信息在由选定的或编程的滤波器滤波之前首先被上釆样。根据本发明实施例的图像处理系统包括上采样器和局部化内容自适应滤波器。上采样器具有接收处于第一空间层的第一图像信息的输入和提供上采样的图像信息的输出。局部化内容自适应滤波器可以包括图块緩冲器，其存储第一图像信息；小波变换滤波器，其具有耦合到图块緩冲器的输入，以及输出；频率内容分析器，其具有耦合到第一小波变换滤波器的输出的输入和提供表示第一图像信息的频率内容的频率信息信号的输出；和滤波器选择逻辑，其具有接收频率信息信号的第一输入、接收上采样的图像信息的第二输入、和提供用于第二空间层的第一滤波了的图像信息的输出。在这种情况中，滤波器选择逻辑基于频率信息信号确定滤波器，并且所确定的滤波器对上采样图像信息滤波以提供滤波了的图像信息。在一个实施例中，图像处理系统被配置用于解码器。在这种情况中，该系统包括解码器和加法器。解码器具有接收处于第一空间层的编码的图像信息和处于第二空间层的编码的剩余信息的输入，以及提供处于第一空间层的第一图像信息和处于第二空间层的剩余信息的输出。加法器具有接收第一滤波了的图像信息的第一输入、接收剩余信息的第二输入以及提供处于第二空间层的第二图像信息的输出。在替代实施例中，图像处理系统被配置用于编码器。在这种情况中，该系统包括通过与第一局部化内容自适应滤波器相似的方式配置的第二局部化内容自适应滤波器和下采样器。第二局部化内容自适应滤波器包括存储处于第二空间层的第二图像信息的另一图块緩沖器。该第二滤波器包括提供指示第二图像信息的频率内容的第二频率信息信号的另一频率内容分析器。第二滤波器包括第二选择逻辑，该第二选择逻辑具有接收第二频率信息信号和第二图像信息的输入以及提供用于第一空间层的笫二滤波了的图像信息的输出。在这种情况中，第二滤波器的滤波器选择逻辑基于第二频率信息信号确定对第二图像信息滤波以提供第二滤波了的图像信息的第二滤波器。下采样器具有接收第二滤波了的图像信息的输入和提供处于第一空间层的第三图像信息的输出。编码器系统还可以包括编码器、解码器和加法器。编码器具有接收第三图像信息和处于第二层的剩余图像信息的输入以及提供处于第一空间层的第一编码的图像信息和处于第二空间层的编码的剩余信息的输出。解码器具有接收第一编码的图像信息的输入和提供处于第一空间层的第一图像信息的输出。加法器具有接收第一滤波了的图像信息的第一输入、接收第二图像信息的第二输入以及提供剩余图像信息的输出。编码器系统还可以包括输出緩冲器，该输出緩冲器将处于第一空间层的第一编码的图像信息和处于第二空间层的编码的剩余信息组合为比特流。每个局部化内容自适应滤波器的频率内容分析器可以包括频率阈值逻辑和提供频率信息信号的计数器逻辑。而且，滤波器选择逻辑可以包括滤波器选择器和滤波器列表。滤波n选择器具有接收频率信息信号的输入和提供滤波器选择信号的输出。滤波器列表具有接收滤波器选择信号的第一输入、接收上采样的图像信息的第二输入和提供滤波了的图像信息的输出。滤波器列表包括预先配置的滤波器，其中通过滤波器选择信号选择一个滤波器以用于对上采样的图像信息滤波。可替换地，频率内容分析器可以包括频率阔值逻辑和提供对应的频率计数值的阔值计数器。滤波器选择逻辑包括被基于对应的频率计数值编程的可编程滤波器系统。根据本发明的实施例的自适应配置滤波器的方法包括将输入图像信息局部化，确定局部化的输入图像信息的频率内容，以及基于所确定的频率内容调节自适应滤波器。该方法可以包括通过提供滤波的信息的滤波器组变换局部化的输入图像信息，以及分析滤波的信息的频率。该方法可以包括自滤波器列表选择滤波器。该方法可以包括根据预先确定的滤波器窗函数对自适应滤波器编程。尽管通过参考本发明的特定的优选版本非常详细地描述了本发明，但是其他版本和变化是可行的并且在考虑范围内。例如，此处描述的电路和逻辑块可被实现为分立的电路或集成电路或软件或任何替代配置。最后，本领域的技术人员应认识到，在不偏离由所附权利要求限定的本发明的精神和范围的前提下，他们可以容易地使用所公明的相同目的。权利要求1.一种局部化内容自适应滤波器系统，包括图块缓冲器，其具有提供第一图像信息的输出；频率分析器，其耦合到所述图块缓冲器，基于所述第一图像信息的频率内容提供频率信息信号；和自适应滤波器，其耦合到所述频率分析器，基于所述频率信息信号进行调节。2.如权利要求l所述的局部化内容自适应滤波器系统，其中所述频率分析器包括小波变换滤波器，其具有耦合到所述图块緩冲器的所述输出的输入，以及输出；和频率内容分析器，其具有耦合到所述小波变换滤波器的所述输出的输入和提供所述频率信息信号的输出；并且其中所述自适应滤波器包括滤波器选择逻辑，所述滤波器选择逻辑具有接收所述频率信息信号的第一输入、接收与所述第一图像信息相关联的第二图像信息的第二输入、和提供滤波了的图像信息的输出，并且其中所述滤波器选择逻辑基于所述频率信息信号确定滤波器，并且其中所确定的滤波器对所述第二图像信息滤波以提供所述滤波了的图像信息。3.如权利要求2所述的局部化内容自适应滤波器系统，其中所述滤波器选择逻辑包括滤波器选择器，其具有接收所述频率信息信号的输入和提供滤波器选择信号的输出；和滤波器列表，其具有接收所述滤波器选择信号的第一输入、接收所述第二图像信息的第二输入、和提供所述滤波了的图像信息的输出，其中所述滤波器列表包括多个预先配置的滤波器，其中通过所述滤波器选择信号选择一个滤波器用于对所述第二图像信息滤波。4.如权利要求3所述的局部化内容自适应滤波器系统，其中所述多个预先配置的滤波器被映射到基于预先确定的图像信息已经确定的多个阈值。5.如权利要求2所述的局部化内容自适应滤波器系统，其中所述小波变换滤波器包括Haar小波变换滤波器。6.如权利要求2所述的局部化内容自适应滤波器系统，其中所述频率内容分析器确定较低频率范围和较高频率范围之间的所述第一图像信息的相对能量。7.如权利要求2所述的局部化内容自适应滤波器系统，其中所述频率内容分析器包括频率阈值逻辑，其具有耦合到所述小波变换滤波器的所述输出的输入，和输出；计数器逻辑，其具有耦合到所述频率阈值逻辑的所述输出的输入和提供所述频率信息信号的输出；其中所述小波变换滤波器提供子带图像信息，其中所述频率阔值逻辑基于至少一个频率阈值等级将所述图像信息二值化并提供二值化的信息，并且其中所述计数器逻辑对所述二值化的信息计数以确定相对频率信息。8.如权利要求2所述的局部化内容自适应滤波器系统，其中所述频率内容分析器包括频率阈值逻辑，其具有耦合到所述小波变换滤波器的所述输出的输入，和输出；和阈值计数器，其具有耦合到所述频率阈值逻辑的所述输出的输入和提供多个频率计数值中对应的一个频率计数值的输出；并且其中所述滤波器选择逻辑包括基于所述多个频率计数值中的所述对应的一个频率计数值编程的可编程滤波器系统。9.如权利要求8所述的局部化内容自适应滤波器系统，其中所述可编程滤波器系统包括存储器，其存储多个频率转换带宽值和对应的多个阻带衰减值，其中所述多个频率计数值中的每个频率计数值被映射到多个滤波器值对中的对应的一个滤波器值对，其中每个滤波器值对包括所述多个频率转换带宽值和所述多个阻带衰减值中的各一个；和可编程滤波器，基于所述多个滤波器值对中的选定的一个滤波器值对对其进行编程。10.如权利要求9所述的局部化内容自适应滤波器系统，其中所述可编程滤波器被根据预先确定的滤波器窗函数进行配置。11.如权利要求8所述的局部化内容自适应滤波器系统，还包括反向滤波器，其具有接收所述滤波了的图像信息的输入和提供重建的图像信息的输出；控制逻辑，其通过所述小波变换滤波器和所述频率内容分析器提供所述重建的图像信息，以对于至少一次迭代中的每次迭代提供新的频率计数值；和比较器逻辑，其确定连续的频率计数值是否处于彼此的预先确定的范围内。12.如权利要求l所述的局部化内容自适应滤波器系统，其中所述第二图像信息被提供给所述图块緩冲器的输入。13.—种图像处理系统，包括上采样器，具有接收处于第一空间层的第一图像信息的输入和提供上采样的图像信息的输出；以及第一局部化内容自适应滤波器，其包括第一图块緩冲器，其存储所述第一图像信息；第一小波变换滤波器，其具有耦合到所述第一图块緩冲器的输入，和输出；第一频率内容分析器，其具有耦合到所述第一小波变换滤波器的所述输出的输入和提供表示所述第一图像信息的频率内容的第一频率信息信号的输出；和第一滤波器选择逻辑，其具有接收所述第一频率信息信号的第一输入、接收所述上釆样的图像信息的第二输入、和提供用于第二空间层的第一滤波了的图像信息的输出；其中所述第一滤波器选择逻辑基于所述第一频率信息信号确定第一滤波器，并且其中所述第一滤波器对所述上采样的图像信息滤波以提供所述第一滤波了的图像信息。14.如权利要求13所述的图像处理系统，进一步包括解码器，其具有接收处于所述第一空间层的编码的图像信息和处于所述第二空间层的编码的剩余信息的输入，以及提供处于所述第一空间层的所述第一图像信息和处于所述第二空间层的剩余信息的输出；加法器，其具有接收所述第一滤波了的图像信息的第一输入、接收所述剩余信息的第二输入、和提供处于所述第二空间层的第二图像信息的输出。15.如权利要求13所述的图像处理系统，进一步包括第二局部化内容自适应滤波器，其包括第二图块緩冲器，其存储处于所述第二空间层的第二图像信息；小波变换滤波器，其具有耦合到所述第二图块緩冲器的输入，和输出；第二频率内容分析器，其具有耦合到所述第二小波变换滤波器的所述输出的输入和提供表示所述第二图像信息的频率内容的第二频率信息信号的输出；和第二选择逻辑，其具有接收所述第二频率信息信号的第一输入、接收所述第二图像信息的第二输入、和提供用于所述第一空间层的第二滤波了的图像信息的输出；其中所述滤波器选择逻辑基于所述第二频率信息信号确定第二滤波器，并且其中所述第二滤波器对所述第二图像信息滤波以提供所述第二滤波了的图像信息；和下采样器，其具有接收所述第二滤波了的图像信息的输入和提供处于所述第一空间层的第三图像信息的输出。16.如权利要求15所述的图像处理系统，进一步包括编码器，其具有接收所述第三图像信息和处于所述第二层的剩余图像信息的输入，以及提供处于所述第一空间层的第一编码的图像信息和处于所述第二空间层的编码的剩余信息的输出；解码器，其具有接收所述第一编码的图像信息的输入和提供处于所述第一空间层的所述第一图像信息的输出；和加法器，其具有接收所述第一滤波了的图像信息的第一输入、接收所述第二图像信息的第二输入、和提供所述剩余图像信息的输出。17.如权利要求16所述的图像处理系统，还包括输出緩冲器，该输出緩冲器将处于所述第一空间层的所述第一编码的图像信息和处于所述第二空间层的所述编码的剩余信息组合到比特流中。18.如权利要求13所述的图像处理系统，其中所述第一频率内容分析器包括频率阈值逻辑，其具有耦合到所述第一小波变换滤波器的所述输出的输入，和输出；和计数器逻辑，其具有耦合到所述频率阈值逻辑的所述输出的输入和提供所述第一频率信息信号的输出。19.如权利要求13所述的图像处理系统，其中所述第一滤波器选择逻辑包括滤波器选择器，其具有接收所述第一频率信息信号的输入和提供滤波器选择信号的输出；和滤波器列表，其具有接收所述滤波器选择信号的第一输入、接收所述上采样的图像信息的第二输入、和提供所述第一滤波了的图像信息的输出，其中所述滤波器列表包括多个预先配置的滤波器，其中通过所述滤波器选择信号选择一个滤波器以用于对所述上采样的图像信息滤波。20.如权利要求13所述的图像处理系统，其中所述第一频率内容分析器包括频率阈值逻辑，其具有耦合到所述第一小波变换滤波器的所述输出的输入，和输出；和阈值计数器，其具有耦合到所述频率阈值逻辑的所述输出的输入和提供多个频率计数值中的对应的一个频率计数值的输出；并且其中所述第一滤波器选择逻辑包括被基于所述多个频率计数值中的所述对应的频率计数值编程的可编程滤波器系统。21.—种自适应地配置滤波器的方法，包括使输入图像信息局部化；确定局部化的输入图像信息的频率内容；以及基于所确定的频率内容调节自适应滤波器。22.如权利要求21所述的方法，其中所述确定频率内容包括通过提供滤波的信息的滤波器组对局部化的输入图像信息进行变换，以及分析滤波的信息的频率。23.如权利要求21所述的方法，其中所述调节自适应滤波器包括从滤波器列表中选择滤波器。24.如权利要求21所述的方法，其中所述调节自适应滤波器包括根据预先确定的滤波器窗函数对自适应滤波器编程。全文摘要一种局部化内容自适应滤波器系统(400)包括图块缓冲器(401)，其具有提供第一图像信息的输出；频率分析器，其基于第一图像信息的频率内容提供频率信息信号；和自适应滤波器(407、409)，其基于频率信息信号进行调节。频率分析器可以包括小波变换滤波器(403)和频率内容分析器(405)。自适应滤波器可以包括滤波器选择逻辑(407)，该滤波器选择逻辑(407)接收频率信息信号和与第一图像信息相关联的第二图像信息，并且提供滤波图像信息。滤波器选择逻辑基于频率信息信号确定滤波器，并且所确定的滤波器对第二图像信息滤波以提供滤波图像信息。文档编号G06K9/40GK101517597SQ200780034147公开日2009年8月26日申请日期2007年7月19日优先权日2006年9月15日发明者Y·普里托,何忠力,勇闫申请人:飞思卡尔半导体公司