图像压缩与解压缩的制作方法

专利名称：图像压缩与解压缩的制作方法
技术领域：
本发明涉及用于图像压缩和解压缩的方法和设备。
背景技术：
不但在视频压缩的上下文中而且对于个体图像，有损图像压缩的方法
是已知的。主要的例子是在各种MPEG和JPEG压缩/解压缩标准中定义的 方法，它们包括图像数据的粗量化。这些有损压缩方法引入了伪像 (artefact)，即，在原始图像与经压缩和解压缩之后得到的重建图像之间 的差异。
在S. Wittmann和T. Wedi的、在18th meeting of the Joint Video Team (JVT) of ISP/IEC MPEG & ITU-T VCEG上的、题目为"Post filter SEI message for 4:4:4 coding"的出版物(document number JVT S030)中已经描述 了减小这些差异的方法。
在这份出版物中，提出了把定义用于FIR(有限脉冲响应)后滤波器的 滤波器系数的消息添加到MPEG视频流，以便减小压缩伪像，其中所述 FIR后滤波器要在译码器一侧被应用于译码的图像。使用了维纳滤波，也 就是说，定义了对于在原始图像与经后滤波的解压缩图像之间的差异的统 计测度(measure),并且选择滤波器系数，以便它们使这个测度的值最小化。 正如可指出的，这意味着，滤波器系数的值取决于图像的内容。在编码器 中计算滤波器系数，并将之包括在视频流中。译码器从所述流中提取系数， 并使用所提取的系数来施加后滤波。
不幸的是，这种类型的后滤波只提供压缩伪像的有限减小。
发明概要
本发明的目的尤其是提供一种减小压缩伪像的方法。 提供了按照权利要求1的解压缩设备。这里，对于在解压缩图像中多 个像素的每一个，根据相对于该像素的相应窗口中的图像内容来分类像 素。所述分类被使用来从随图像一起被传送的多个控制参数组中选择一个控制参数组。所选择的控制参数组被使用来控制对于像素的后处理。以这 种方式，使得有可能在图像的不同像素处使用不同的后处理。在检测到不 同类别的特征的像素处，例如可以使用不同的控制参数组来进行后滤波。 类似地，在出现不同方向的梯度的地方，可以使用不同的控制参数组来进 4亍后滤波。
在本发明的框架内，"后滤波"和"后处理"包括在图像的完全译码之 后，即在完全的译码处理过程之后的滤波和处理。经常使用循环过程来译 码图像，其中在初始译码后执行循环过程，以便得到最后的译码的图像。
最后的译码的图像接着在环外(out-of-loop)被滤波。本发明的这样的'环
外的，实施例形成优选的实施例组。
在本发明的构思内，也包括环内(in-loop)滤波器的应用，例如，也包 括解块(deblocking)滤波器的环内应用。在初始译码步骤之后接着在环内 应用"后滤波"。本发明的这样的'环内，实施例也形成优选的实施例组。
在实施例中，控制参数组连同压缩的图像一起被复用成图像流。替换 地，当解压缩设备的用户已预订以接收要施加后处理的图像时，控制参数 组和压缩的图像可以分开地提供到解压缩设备，例如，提供到解压缩设备 的输入的分开的子输入。
在实施例中，后处理包括用滤波器——例如有限脉沖响应滤波器—— 按由控制参数组定义的滤波器系数进行滤波。但替换地，可以使用其它形 式的后处理，诸如用由控制参数组定义的统计参数进行紋理的本地添加。
提供了按照权利要求18的压缩设备。这个压缩设备为不同类别选择 控制参数组，并把它们添加到压缩的图像信号。在一个实施例中，该压缩 设备还根据图像的内容来选择类别定义，并把它添加到压缩的图像信号。 所述类别定义可包括例如在解压缩图像的窗口中的像素值的代表性矢量。 在一个实施例中，为多个输入图像共同地计算多个控制参数组。以这种方 式，控制参数组可以被再利用(reuse)于不同的图像。这减小了压缩的信 号所需要的带宽。控制参数组可以根据在输入图像与由解压缩的图像信号 定义的解压缩图像之间的差异而被选择，以便对定义这个差异的后处理操 作进行定义。
附图简述
从将要使用以下的附图予以描述的示例性实施例中，将明白这些和其它目的以及有利的诸方面。


图1显示压缩设备；
圓2显示解压缩设备；
图3显示后滤波器的实施例；
图3a图示像素的聚类(cluster);
图3b和3c图示正面效果；
图4显示解压缩设备；
图5显示参数估计器16的图6显示后处理器；
图7显示压缩-解压缩系统；
图8显示压缩设备；
图9显示解压缩设备；
图10显示压缩-解压缩系统；
图11图示其中梯度被用作为选择准则的实施例；
图12图示当梯度被用作为选择准则时聚类中心(cluster center )的位
置；
图13图示使用梯度作为选择准则的优点； 图14图示分级结构；
图15a、 15b和15c图示使用解块功能的另一个实施例； 图16图示被使用来决定像素po和qo是否与子块边缘BE相邻的条件 的例子；
图17提供比特率减小的测量结果；
图18图示另一个实施例；
图19图示显示旋转对称性的图案；
图20图示显示就移位来说的对称性的图案；
图21图示显示就翻转来说的对称性的图案；
图22a到22c图示显示在变换下的不变性的图案的例子；
图23示意性地图示一种信号。
实施例详细说明
图1显示一种压缩设备。该压缩设备包括流输入10、压缩器12、解 压缩器14、参数估计器16、流复用器18和压缩流输出19。压缩器12具有被耦合到流输入10的输入和被耦合到流复用器18的输出。解压缩器14
具有被耦合到压缩器12的输出的输入。参数估计器16具有被耦合到流输 入10和被耦合到解压缩器14的输出的输入。参数估计器16具有被耦合 到流复用器18的输出，用于提供参数数据17。流复用器18具有被耦合到 压缩流输出19的输出。
图2显示一种解压缩设备。该解压缩设备包括压缩流输入20、流分用 器(demultiplexer) 22、解压缩器24、后滤波器26和解压缩的输出28。 流分用器22具有被耦合到压缩流输入20的输入、以及被耦合到解压缩器 24的输入与后滤波器26的控制输入的输出。后滤波器26具有被耦合到解 压缩器24的输出的信号输入、以及被耦合到压缩流输出的输出。
在这两个图上，仅仅显示了与图像压缩和解压缩相关的部件。应当理 解，可以存在例如用于音频压缩与解压缩、数据管理等等的其它部件。而 且，应当意识到，不同的部件可以通过使用一个或多个可编程处理电路来 实施，该可编程处理电路通过一个程序被编程为使得该处理电路作为相关 的部件运行。 一个可编程处理电路可被使用来在不同程序的控制下作为所 述部件中不同的部件运行，或者可以使用不同的处理电路。作为替换例，
所述部件可以通过使用专用电路来实施，或是作为被编程电路和专用电路 的混合体而纟皮实施。
在运行时，压缩设备产生压缩的流，且压缩流被施加到解压缩设备。 可以使用任何方式的耦合。例如，来自压缩设备的压缩流可以被广播，或 经由任何介质(未示出)一对一地传送，并被提供到解压缩设备，或者它可 以被存储在存储装置中，然后从存储装置被施加到解压缩设备。当然，可 以使用存储和广播或传输的任何混合。
压缩器12和解压缩器14、 24执行图像的压缩和对应的解压缩。可以 使用任何形式的压缩和解压缩，例如象由任何MPEG标准定义的。流复用 器18把压缩的图像数据与任何想要的其它数据组合成压缩流。流分用器 22提取压缩的图像数据，并把所提取的数据提供到解压缩器24。解压缩 器解压缩图像数据，并把解压缩的图像数据提供到后滤波器26。后滤波器 26对该数据进行滤波，并输出经滤波的图像数据，其例如可被使用来控制 显示设备(未示出)以在屏幕上再现图像。
虽然复用器18和分用器22被显示，使得压缩的图像和用于后处理该 图像的控制参数组可被组合在一个图像信号中，但应当意识到，压缩的图像和控制参数组也可以被分开地提供，例如通过给压缩设备和解压缩设备 提供用于这些信号的分开的子输出和子输入来进行。这具有需要更复杂的 转移信号的方法的缺点，但它具有如下优点控制参数组可以在不需要时 被省略，例如压缩的图像被带有和不带有后处理选项地给订户提供。 后滤波
参数估计器16选择用于控制由后滤波器26进行的后滤波的参数。参 数估计器16把选择的参数提供到流复用器18,流复用器18把该参数添加 到压缩流中。流分用器22提取参数，并把提取的参数提供到后滤波器26。 后滤波器26使用所述参数来控制后滤波。
图3显示后滤波器的实施例。在这个实施例中，后滤波器包括窗口收 集器30、聚类选择器32、聚类定义存储器34、系数存储器36、控制接口 38和FIR滤波器39。窗口收集器30被耦合到解压缩器(未示出)的输出， 并且具有被耦合到FIR滤波器39的输出。聚类选择器32具有被耦合到窗 口收集器30和聚类定义存储器34的输出的输入。聚类选择器32具有被 耦合到系数存储器36的输入的输出。系数存储器36具有被耦合到FIR滤 波器39的系数输入的输出。控制接口 38具有用于接收来自流分用器(未示 出)的控制数据的输入、以及被耦合到聚类定义存储器34和系数存储器36 的输出。虽然图1的各种单元，诸如存储器34、 36，被显示为是后滤波器 26的一些部分，但应当理解，它们也可以-敗看作为是解压缩设备的分开的 部分，而不是后滤波器的部分。
在运行时，窗口收集器30为在图像中像素位置的移动窗口(例如，3 x3像素位置窗口)中的像素位置收集像素值。窗口收集器30把对于窗口 的像素值施加到FIR滤波器39。 FIR滤波器39将输出像素值计算为像素 值与滤波器系数的乘积的和值。对于窗口中的各个位置，依据像素值和与 该位置相关联的滤波器系数来计算每个乘积。乘积的和值可被归一化，并 作为对于 一个对应于窗口位置的像素位置的、经后滤波的像素值而被输 出。这对于一系列窗口位置重复进行，以产生对于在相对于窗口位置的预 定相对位置处(例如，在3x3窗口的中心点处的输出像素位置，但可以使 用其它预定的相对位置)的一系列像素位置的输出像素值。
聚类选择器32和系数存储器36控制被FIR滤波器39使用的系数。 在聚类定义存储器34中的信息定义多个聚类，每个聚类对应于在窗口中 的像素值的一组可能的组合。系数存储器36存储对于每个聚类的相应的滤波器系数组。聚类选择器32接收由解压缩器(未示出)产生的、在当前窗 口中的像素值的组合，并依据这些像素值，聚类选择器32对窗口的内容
分类，也就是，确定这个组合所属于的聚类。聚类选择器32使用这个聚 类的标识来寻址系数存储器36，并且作为响应，系数存储器36把对应的 滤波器系数组提供给FIR滤波器39。这对于一系列窗口位置重复进行。因 此，对于每个窗口位置，按照窗口位置的分类(对于该窗口位置而选择的聚 类)来滤波像素值，以产生对于相应像素位置的输出像素值。
在一个实施例中，聚类定义存储器34存储对于每个聚类的像素值的 代表性组合。在这个实施例中，聚类由到这些代表性组合的距离来定义。 像素值的任何给定的组合到像素值代表性组合中的不同组合具有不同的 距离。给定的组合属于聚类中具有处于最短距离的代表性组合的那一个聚 类。
在这个实施例中，聚类选择器32通过识别在最小距离上的代表性组合 而进行分类。在另一个实施例中，仅仅使用像素值的亮度分量来定义聚类。 因此，例如，如果使用3x3窗口，则每个代表性组合包括9个亮度值 (Yl(j), Y2(j),... Y9(j))
这里，"j"是聚类的标号。在这个实施例中，聚类选择器32接收对于 在当前窗口中的像素位置的亮度值(L1,L2,.,丄9)，并选择使得以下距离最 小化的聚类j:
|L1-Yl(j)|+ |L2-Y2(j)|+…+lL9-Y9(j)1
(I l表示绝对值)。在这个实施例中，聚类选择器32使用标号j来选 择滤波器系数组。
图3 a显示其中几个关键帧被选择用于找出滤波器系数的场景的例子。 用于聚类的特征矢量是在如上所述的围绕像素的本地3x3窗口中的亮度。 图3a中的上部的行给出原始帧，底部的行给出译码的帧。几个聚类的单 元被在底部行上指示。这些聚类包括具有相似图案的区域或像素。在本例 中，使用20个聚类。图3a显示了把相似的图案聚合成聚类。聚类被散布 在图像上，经常是这样，因为聚类由图像上的相似的图案组成。聚类算法 可以是基于用来找出相似图案的不同方案和公式。在本例中，算法是基于 亮度值。
图3b显示对于这种情景的正面效果。在一个曲线图中，形成平均的 PSNR-Y，它是对于失真的测度。曲线A图示对于译码的信号的PSNR-Y值；曲线B图示在应用聚类并施加自适应滤波器后的PSNR-Y值。平均的 PSNR-Y值从32.38dB增加到32扁B，有0.5dB的改进。
应当指出，在帧315附近存在场景改变，以及在所述场景改变之后， 先前的场景的聚类不再是最佳的。对降级的检测可被使用来动态地更新聚 类选择和对应的滤波器系数。在离线情况下，可能的场景改变可以通过场 景划分而被预先确定。
图3c图示对于H.264编码的视频的PSNR-Y值的增加，该PSNR-Y 值是作为比特率的函数。在所有的比特率下，存在PSNR-Y值的显著的增 加。
图3d图示作为聚类数目的函数的PSNR-Y值的增加。优选的聚类数 目是5或更高，最优选地小于30。当聚类数目增加时计算负荷增加，而附 加增益变为更小。
在本例中，对于一个视频场景，后处理函数包括40个浮点数(聚类中 心和滤波器系数)。这个信息可被进一步量化并被熵编码，以便进一步减小 比特代价。考虑可以用相同的数据进行后处理的图像帧(属于一个场景)的 量，这个额外的代价在实际的意义上可被忽略，而好处是相当大的和可测 量的。
应当强调指出，这个实施例仅仅是一个例子。可以使用任何其它的定 义聚类的方法。例如，来自窗口中不同位置的像素值在计算距离时可以被
不同地加权，或者颜色分量可以:故不同地加权(例如，通过仅^叉使用一个颜
色分量来聚类)。代替绝对值的和，例如可以使用平方和。
代替使用到 一组亮度值的距离，可以使用到亮度值组合与亮度值的标 准矢量的一组标量积的距离等等。代替对于个体聚类的代表性矢量，可以 使用参考矢量的系统来控制沿着决策树的在聚类组之间的选择。代替提供 代表性矢量，可以提供不同的矢量来用于在聚类或聚类组等等之间进行选 择。这里"对矢量进行分类"将被使用于任何这样类型的分类，而不管所述 分类是通过首先把矢量的相关分量分组成一个矢量、还是仅仅通过考虑这
些分量而被执行的——在"分类，，的上下文中，术语"矢量"被使用来表示 多个分量被使用于分类。对应地，聚类选择器32可以使用其它方法来选 择在分类时被使用的聚类和"聚类矢量"的分量。
虽然描述了其中聚类是藉助于对于邻接像素位置的窗口的解压缩值 Yl、 Y2、...而被选择的实施例，但应当意识到，替换地可以使用对于位置的不同组合的信号值。例如，替代使用来自3x3窗口的个体像素值的 组合，可以使用平均像素值的组合，其中每个平均像素值用于一组像素位
置块中的相应的一个。例如，在8 x 8像素块的3 x 3窗口中的这样的8 x 8 像素块。作为另一个例子，替代使用来自3x3窗口的个体像素值的组合， 可使用子采样值来选择聚类，其中所述子采样值来自相对于当前像素位置 的预定的非邻接位置。
作为再一个例子，可使用以下的步骤来得出类别
1. 从给定的图像信息中提取来自构成该图像信息的译码帧子集的每 一个像素的所有MxM邻居窗口 。每个窗口由一个特征矢量x，代表，该特 征矢量x，由其亮度组成。该矢量可以通过从每个矢量减去所有分量的平均 值而被归一化。因此，围绕一像素的4x4窗口由一个16维矢量代表，该 16维矢量在它的所有轴上具有0.... 255的数值(对于256种颜色)。5 x 5窗 口由25维矢量代表等等。
2. 把该特征矢量采样成预定义的类别数目N，以使得总计类别内方差
在上文中有总共N个类别d(15 gN), x，是16或25维矢量(分别对于4x4， 5x5窗口)的样本，以及Hi，是属于类别Ci的所有矢量x，的平均矢量。这样 的分类可以通过使用迭代方法而容易地进行。结果，找到每个类别或聚类 的中心，表示相同的，即，多个单元的聚类和类别。这个中心被存储来代 表该类别。最接近每个中心的矢量形成一个聚类或类别的一部分。在本例 中，使用平方和，在先前的例子中，使用绝对值的和。在每个例子中，使 用总共N个类别。
3.对于每个被标识的类别，确定滤波器系数。滤波器对于译码帧的应 用提供了对于在译码的低res帧中每个像素的新像素值p"， p"是基于该像 素的MxM邻居。目标是使得对于在每个类别中的所有样本，预测的值p" 与对应的原始像素值p之间的MSE(均方误差)最小化。这可被看作为一个 标准的最小平方问题，它可以通过多变量线性回归或用来求解最小平方问 题的其它已知的技术而被解决。
基于5x5窗口和总共5个类别来使用滤波器，与其它已知的技术相比较，发现有约ldB的PSNR-Y值的典型的改进。
另外，用于选择聚类的窗口不一定与在FIR滤波器中使用的窗口相同。 虽然优选地，这些窗口至少重叠，以使得对于一像素位置的选择的滤波器 系数依赖于该位置的一个接近的范围，但聚类也可以基于与由FIR滤波器 所使用的窗口不重叠的窗口进行选择。
而且，代替使用像素值(或除了使用像素值以外)，可以使用运动矢量 来对位置进行分类。正如本身已知的，在视频流中的图像可以按照像素块 的运动矢量进行编码，该运动矢量为每个块定义块在另一个图像中的位 置，像素必须从该图像复制到所述块中。在一个实施例中，在相对于一像 素位置的预定位置处的多个块的运动矢量可被使用来把该像素位置指派 给聚类。这可以以几乎与按照像素值进行聚类相同的方式完成。
图4显示一个实施例，其中解压缩器24包括图像解压缩器240、运动 矢量提取器242和参考图像存储器244。这里，运动矢量提取器242从进 入的视频信息中提取运动矢量，并把提取的运动矢量提供到图像解压缩器 240,以指示必须从参考图像存储器244中的何处取装像素块。另外，所 提取的运动矢量被提供到聚类选择器32,它使用在对于相对于一像素位置 的预定位置处的块的"运动矢量的矢量"与对于不同聚类的运动矢量的代 表性矢量之间的运动矢量差异。当然，基于运动矢量的聚类选择也可以通 过除确定与代表性矢量的差异之外的其它方法而被执行。另外，应当认识 到，对于运动到图像的运动矢量和/或对于运动自图像的矢量都可以被使用 于聚类。而且，虽然优选地可以使用来自视频流的编码的运动矢量，但应 当意识到，替换地，可以使用以预定的方式从视频流的图像的图像内容确 定的运动矢量。
在另一个实施例中，选择器32可以使用与包含像素值和运动矢量的 代表性矢量的差异，其中在确定差异时对于代表性矢量的不同分量可以使 用不同的权重。
应当指出，所使用的聚类是在窗口中像素值的可能组合的空间中的聚 类，而不是像素位置的聚类。实际上，已看到，在相邻窗口位置处对于窗 口的像素值的组合常常导致相同的聚类选择，但这并不定义聚类。即使--在图像区域具有一些窗口位置、其大部分有一个指派的聚类时--该区 域中的许多窗口位置具有不同的指派的聚类，这种后滤波的形式也很适 用。最终，是经滤波的像素值，而不是被使用来获得它的聚类有重要性。而且，虽然作为例子使用了 FIR滤波器39,但应当意识到，可以代之 以使用其它类型的滤波器。例如，可以使用非线性滤波器，或使用其中输 出依赖于对于一个或多个相邻位置的滤波器输出的递归滤波器。另外，当 然，可以使用3 x 3之外的任何其它尺寸的窗口 ，例如，使用3xl尺寸的 窗口(水平方向三个像素位置和垂直方向一个像素位置)。
在前述的例子中，定义图像的信息，诸如像素值、运动矢量等等，被 使用来选择聚类。另外，明显的聚类选择信息也可以被包括在压缩的图像 信号中。这增加了信号的尺寸，但它可有助于简化分类。在一个实施例中， 这样的明显的聚类选择信号可以是由解压缩设备使用来选择聚类的最合 适的信息。
可以使用后滤波器的部件的任何方便的实现。在一个例子中，后滤波 器使用在存储器中的完整存储的图像，窗口收集器30从存储器中检索用 于窗口的像素值。在另一个实施例中，窗口收集器30仅仅緩沖来自足够 数目的图像行的像素值，以便提供用于窗口的像素值。不同的部件可以通 过使用一个或多个可编程处理电路而被实施，该可编程处理电路通过程序 被编程为使得该处理电路作为相关的部件运行。 一个可编程处理电路可以 在不同程序的控制下被使用来作为所述部件中不同的部件运行，或者可以 使用不同的处理电路。作为替换例，所述部件可以通过使用专用电路来实 施，或是作为编程的和专用的电路的混合体而被实施。
如所显示的，后滤波器26及关联部件是完整解压缩设备的一部分。 然而，应当意识到，它可以-故实施在分开的设备中。在一个实施例中，这 样的设备可被用作为在诸如移动电话那样的移动设备和更高质量的显示 设备(例如，电视监视器)之间的接口。在另一个实施例中，解压缩设备可 以重新压缩后滤波的结果，以便生成改进质量的#见频流。
参数估计
图5显示参数估计器16的图。参数估计器16包括聚类单元40、窗口 收集器42、系数选择器44和输出接口 46。系数选择器44具有被耦合到 流输入10和经由窗口收集器42被耦合到解压缩器14的输入，以及具有 被耦合到聚类单元40的控制输入。
在运行时，系数选择器44选择用于各自聚类的滤波器系数组。对于 每个聚类，可以选择一个系数组，它使得差异的平均测度最小化，所述差 异是指在来自流输入10的像素值与通过使用滤波器系数组来后滤波由压缩器12和解压缩器14进行的压缩和解压缩的结果而得到的像素值之间的 差异。差异的平均测度是在被指派给相同聚类的像素位置上取平均。例如 可以使用均方差，但可以使用任何其它测度，诸如感性差异的统计测度。 用于选择系数组使得对于给定像素组的平均测度最小化的技术本身是已 知的。
聚类单元40确定把像素指派给哪些聚类。这可以以对应于在解压缩 设备中的聚类选择的方式来完成。在一个实施例中，聚类单元40还选择 聚类。可以使用任何聚类技术(对于聚类，我们不仅仅是指盲寻找分开的聚 类，而且分类到预定义聚类也将起作用)。通过使用多个不同的聚类，与使 得在各个聚类内后滤波的结果与原始像素值之间的差异最小化的滤波器 系数组相组合，可以保证在后滤波的图像与原始图像之间的差异的总测度 (例如，平方差的和值)小于在对整个图像使用单一滤波器系数组的情况下 得到的测度。这已经减小了对于任意选择的聚类的总的差异。然而，在几 个实施例中，聚类被选择来使得差异的减小最佳化。聚类的选择可以在选 择用于该聚类的滤波器系数之前执行，或与滤波器系数选择相组合地执 行。
本发明的总的构思是基于通过施加图像最佳化/训练的滤波器组中的 特定一个滤波器一一所述滤波器的系数/参数被添加到信号上，而分析在原 始图像中存在哪种结构，以及压缩的版本可如何在译码器一侧被改进(例 如，典型地看起来更像原始的；或总体上具有更高的图像质量，例如，更 高的锐度)。仅仅需要传送有限的额外数据来规定那些滤波器；以及例如， 在其上施加那些滤波器中的一些的一对图像位置。
本发明构思的许多变例是可能的，许多变例在下面被描述，这样的变 例可以改进现有的编码方案，诸如H265。
通常，人们可以把所有出现的结构简单地分类成几个类别(例如，边 缘,高频水平紋理,...)，但在本发明的更广义的构思内，人们可以以更加结 构化的/分层次的参数方式进行分类，包括分层次的构建，例如首先找出哪 种类型的分类是最适用的，然后执行分类，或者还重新分类或不同地分类， 例如聚类和对应的滤波器或后处理参数的选择可以以迭代方式完成。
在第一步骤，可以定义聚类，随后定义与聚类相关联的后处理参数。
本方案通常将提供良好的结果，但在本发明的框架内，可以应用迭代 过程。例如，找出试行的聚类，找出对于试行聚类的滤波器参数组，精细化聚类以找出更适当的聚类，精细化滤波器参数组等等；
多个可能的迭代过程例如是
-初始地，聚类内的所有单元被给予相同的权重，用于确定后处理参 数。 一旦确定初始的参数组和对应的聚类中心，则提供对于在原始像素值 与后处理后的像素值之间的平均差异的初始结果，取决于到聚类中心的距 离测度，可变的权重例如以预定的但可调节的方式^f皮加于聚类内的每个单
元。使用这样的权重，滤波器系数被重新计算；如果结果改进，则过程被
反复进行，直至得不到进一步的增益或增益的增加降低到阈值以下为止。 这个方案的简单实施例是从对于聚类或后处理参数的计算中去除聚类内 的'奇数，点，即，对于这样的单元将权重设为零。
-其中，在以上的实施例中，聚类的单元保持不变，但它们对于系数 的计算的影响被改变，替换的方案是保持所确定的滤波器系数不变以及聚 类中心不变，但把单元从一个聚类移到另一个聚类，由此移位在聚类之间 的边界，并重新计算在原始像素值与后处理后的像素值之间的差异。如果 有改进，则边界再稍微地进一步移位。
-用以定义聚类中心和聚类的方式取决于聚类算法。正如上面以及下 面说明的，有各种可能的聚类算法，不同点在于它们的聚类基础(根据像素 值、根据运动矢量、根据边缘、根据紋理等等)以及用以确定聚类的方式(绝 对值的和值的最小化，或平方和值的最小化)。另一个实施例是使用组合各 种准则(诸如像素值和运动矢量和/或另外的准则)的聚类算法，以及使用这 样的准则的混合，其中在迭代过程中找出准则的最佳混合和对应的参数 组。
在本发明的框架内，还包含在编码一侧处快速我出最佳滤波器的变
例，例如，通过在系数空间各处跟踪Pi叩ut/Pcompressed的谱分析。
在一个实施例中，聚类单元40应用聚类技术来识别像素值的代表性 组合，该代表性组合定义可能组合的空间到处于与各个代表性组合的最接 近距离处的部分的划分。代表性组合是根据预定的聚类质量准则选择的。 聚类质量准则例如可以是在每个划分部分中实际观察到的组合的数目在 某些预定的误差容限内是相同的，或在每个划分部分内实际观察到的组合 的散布的测度(例如，离中心像素值的平方距离的和值)低于阈值。例如， 可以使用对在窗口中出现的解压缩像素值的组合分组的K均值聚类算法。 通过使用这样的聚类，保证每个滤波器系数组应用到具有相似内容的窗口。这使得后滤波后的误差最小化。
在再一个实施例中，使用了一种聚类方法，该聚类方法使用基于后滤 波后的剩余误差的质量准则。在这样的实施例的例子中，作出聚类的初始 定义，对于每个聚类选择出滤波器系数组，以及计算对于不同的像素位置 的剩余误差的大小。如果一聚类的平均尺寸大于阈值，则该聚类被分割， 从原始聚类取两个实际观察到的组合作为新的代表性组合。同样地，如果 相邻聚类中的误差的平均大小低于阈值，和/或在对于这些聚类的滤波器系 数组之间的差异低于阈值，则聚类可被合并。通过重复进行这个过程许多 次，聚类组可被最佳化。这是迭代过程的另一个例子。
输出接口 46具有被耦合到聚类单元40和系数选择器44的输入。输 出接口 46把代表聚类和滤波器系数的信息提供到流复用器18，用于提供 到解压缩设备，在那里它们将被后滤波器26使用。
在其中视频图像流被压缩的 一个实施例中，对于流中的每个图像选择 聚类和系数。然而，这并不是必须的。聚类和系数典型地是与场景相关的。 当场景(或类似的场景)被拍摄到一系列图像中时，相同的聚类和系数可被 使用于所有的这些图像。在另一个实施例中，参数估计器16被配置成检 测在其中可以使用相同的聚类和系数的图像组，以及仅仅当聚类和系数被 改变时用信号通知。在这种情形下，后滤波器26保持先前接收的聚类定 义和滤波器系数组，并施加它们以后滤波解压缩图像，直至被用信号通知 聚类和系数改变为止。
在这个实施例中，参数估计器16可以通过使用对于每个进入的图像 的当前组而计算在后滤波后的剩余误差的大小，以及仅仅在所述大小超过 阈值时(以及，可选地，也在自从上一个新的系数和聚类组以来预定数目的 图像后)，才切换到新的系数和聚类组的计算。在另一个实施例中，参数估 计器16可以首先选择视频流的部分，以及计算对于每个部分的系数和聚 类组。在这种情形下，参数估计器16可以通过仅仅处理该部分中的图像 之一或该部分中的图像子集而选择聚类和系数。
作为替换例，可以通过按照预定的函数来评估图像特性、并且如果图 像特性的不同小于预定的阈值则把图像指派给同 一 个组，从而检测所述的 组。可以接收每个新接收的图像的图像特性，并把这些图像特性与对其使 用系数和聚类的当前组的图像的那些图像特性进行比较，如果图像特性的 不同小于预定的阈值则该系数和聚类组保持不变。在一个实施例中，对于不同地压缩的图像和/或不同的目标平面，可以
使用不同的系数和聚类组。因此，例如，对于内部编码的图像(在MPEG
的情形下的I帧)可以定义第一系数和聚类组，以及对于藉助于从附近的图
像和可选的残余(residue)的预测而被编码的图像(在MPEG的情形下的P 帧和B帧)可以定义第二系数和聚类组。作为另一个例子，如果图像内容 在视频流中对于可被重叠来形成输出图像的多个平面来定义，则不同的系 数和聚类组可被使用于不同的平面。
在一个实施例中，对于这些图像或平面，聚类组可以是相同的，但可 以使用不同的系数，每个系数被选择成减小在不同类型的帧中的误差。在 这个实施例中，后滤波器26同时存储多个聚类定义和/或系数，并根据编 码类型(I或B, P)和/或平面从该多个聚类定义和/或系数中进行选择。同样 地，参数估计器16根据编码类型和/或平面选择聚类和系数。
在一个实施例中，解压缩设备被配置成把多个聚类组和/或系数同时存 储在例如后滤波器26中的聚类定义存储器34、以及系数存储器36。解压 缩设备根据组选择信号从多个存储的组中选择当前的组，以便用来后滤波 当前的图像。可以根据从压缩设备提供的选择信号、或根据图像和/或平面 的类型，而从流分用器22提供所述的组选择信号。
在另 一个实施例中，压缩设备被配置成存储对应的多个聚类组和/或系 数。当新的图像(或目标平面)被接收时，参数估计器首先测试它是否可被 指派给所存储的聚类组和/或系数之一 。这例如可以通过以下操作来完成， 即压缩新的图像、将它解压缩、按照每个存储的系数和聚类组对它进行 后滤波、把结果与原始的新图像进行比较、选择导致最小差异的聚类组和 系数。如果这个差异低于预定的阈值，则压缩设备用信号通知解压缩设备 应当使用所选择的系数和/或聚类组。然而，替换地，系数和/或聚类组的 选择可以通过以下方式而被执行，即按照某些预定的图像特性来分类新 的图像，并且选择与所选图像类别相关联的系数和/或聚类组。
当在新的图像与压缩、随后解压缩并用所选系数和/或聚类组进行后滤 波的结果之间的差异超过阈值时，估计新的系数和/或聚类组并将之传送到 解压缩设备，用来取代在存储器中的先前的系数和/或聚类组，该先前的组 在压缩设备和解压缩设备中按照相同的准则来选择，例如是通过在从压缩 设备到解压缩设备的信号中明确地标识这个先前的组、通过使用最近使用 最少的组或最类似的组等等来选择。虽然描述了其中通过使用由压缩设备指示的信息来控制在解压缩后 的后滤波器的例子，但应当理解，也可以使用其它形式的后处理。
图6显示可被用来代替后滤波器26的后处理电路的例子，在这个后 处理电路中，添加了(伪)随机信号发生器50和加法器52。随机信号发生 器50在来自系数存储器36的 一个或多个系数的控制下生成(伪)随机信号。 加法器52把这些系数添加到解压缩的信号。随机信号发生器50可被配置 成将随机信号的平均值和/或标准偏差、和/或所生成的随机信号的空间相 关和/或谱包络和/或其它统计特性作为该一个或多个系数的函数来控制。 这样，本地生成的紋理可被添加到解压缩的信号。有关的一个或多个系数 在压缩设备的参数估计器中依据在原始图像与解压缩-压缩的图像之间的 差异的统计值而被估计。估计出的有关的一个或多个系数从编码设备传送 到译码设备。因此，代替传送代表实际像素值的数据，传送代表统计特性 的系数。
应当强调指出，这仅仅是紋理生成的一个例子。代替使用(伪)随机信 号发生器50，可以使用其它类型的信号发生器来用于把本地生成的信号添 加到、或甚至部分地替换解压缩的图像，该本地生成的信号在由解压缩设 备用信号通知的系数的控制下被生成。例如，随机发生器可以使用系数来 控制一组值，它从其作出随机选择以生成像素值；或控制基本紋理图案， 它从其把像素随机地映射到输出信号。为了提供更多的紋理生成自由度， 紋理生成可以与如下的实施例相组合，即在该实施例中，藉助对于一组像 素位置块中各个像素位置块(例如，对于在这样的块的3x3窗口中，使用 例如8 x 8像素块)的平均像素值的组合的解压缩信号值，或非邻接的像素 位置的子采样值来选择系数组。
在又一个实施例中，使用紋理生成与滤波的组合，使系数是在检测出 的聚类的控制下被选择。在另一个实施例中，取决于聚类而使用仅仅后滤 波或仅仅紋理生成。
在至此所描述的实施例中，诸如后滤波那样的后处理被施加到作为解 压缩结果的最终图像。这具有如下优点可以使用任何形式的压缩和解压 缩。然而，应当意识到，替换地，后处理可被施加到解压缩的中间结果。 例如，当使用解压缩的频率系数的逆DCT(离散余弦变换)作为解压缩的一 部分时，也可以例如通过把对于不同频率的系数乘以不同的因子而将后处 理施加到频率系数。类似地，紋理信息可被添加到这样的系数。参数估计器和后滤波器可以与各种类型的压缩器和解压缩器相组合。
在一个实施例中，压缩器是量化压缩器，例如是计算对于像素块的DCT(离
散余弦变换)系数并量化这些系数的压缩器，或者是量化像素值的压缩器。 在另一个实施例中，压缩器可以是减小图像的空间分辨率的压缩器。对应 地，解压缩器可以应用逆量化或内插来重建解压缩的图像。
图7显示施加压缩，包括分辨率缩放(scaling)和量化。这里，滤波 器系数组被使用来减小这两种形式的压缩的伪像。图上显示压缩设备66 和解压缩设备68。在压缩设备66中，压缩器12包括串联的分辨率缩放器 60和量化压缩器61。在一个实施例中，量化压缩器61计算对于像素块的 DCT(离散余弦变换)系数，并量化这些系数。分辨率缩放器60可包括抗假 频(anti-alias)滤波器和子采样单元。解压缩器包括串联的逆量化解压缩 器63和逆分辨率缩放器62。在解压缩设备68中，解压缩器包括在后滤波 器26前面的、串联的逆量化解压缩器65和逆分辨率缩放器64。
在运行时，可包括抗假频滤波器和子采样单元的分辨率缩放器60在 压缩图像之前，减小用以表示所接收图像的分辨率。逆分辨率缩放器62 重建有原始分辨率的图像，或是与被压缩并相继被解压缩的减小分辨率的 图像相比有至少更高分辨率的图像。
参数估计器16选择滤波器系数组并可选地选择聚类，以用于后滤波 器操作，当所述后滤波器操作被施加到重建的图像时，将使得这些图像更 接近地对应于与原始输入图像相对应的图像。
在解压缩设备68中，图像被解压缩，并且随后分辨率被放大(scale up)。放大的图像通过使用所选择的滤波器系数组被后滤波。虽然后滤波 器26和逆分辨率缩放器64被显示为分开的单元，但应当意识到，它们可 被集成，滤波器系数定义在放大期间像素值必须如何被内插。
虽然在所示的实施例中，可应用的聚类在放大的图像的像素值的控制 下被选择，但应当理解，替换地，聚类可以根据来自解压缩的减小分辨率 的图像一_即来自逆量化解压缩器65的图像一一的像素值而被选择。在 一个实施例中，这是在压缩设备66和解压缩设备68中完成的。
在一个实施例中，量化压缩器61和逆量化解压缩器63可以#:省略， 以使得分辨率减小是压缩的唯一形式。在这种情形下，后滤波器26仅被 使用来减小由于分辨率减小和随后重建更高分辨率的图像而引起的伪像。 在图7上，后滤波器26被使用来减小由于分辨率减小和量化这两者引起的伪像。
此外，如图8所示，作为替换实施例，分开的后滤波器39a、 39b可 被串联地用作为在解压缩设备68中的子滤波器，用于校正由于压缩器12 所进行的压缩而引起的伪像和由于分辨率缩放器60所进行的分辨率减小 而引起的伪像。在这个实施例中，对于这些不同的后滤波操作，可以提供 分开的滤波器系数组。这具有如下优点不同的组可以对于不同的功能被 最佳化。在一个实施例中，可以为后滤波器39a、 b之中的不同后滤波器 定义不同的聚类组，用于后滤波器的后滤波器系数可以被提供用于为该后 滤波器39a、 b定义的聚类。因此，事实上，对于第一和第二后滤波器39a、 3%的组合的聚类定义了对于个体后滤波器的聚类的子聚类。在子聚类中 不同的子聚类共享相同的滤波器系数组。替换地，子聚类可以首先被确定， 然后被相继地联合成对于所选择的后滤波器的超级聚类，在每个超级聚类 中的子聚类共享对于所选择的后滤波器的滤波器系数组。在这种情形下， 对于不同的子聚类不需要传送分开的滤波器系数组，这节省了传输带宽。
图9显示用于生成这样的多个组的压缩设备的另一个实施例。在这个 实施例中，压缩设备被添加附加参数估计器16a和后滤波器600。后滤波 器600被耦合在逆量化解压缩器63和逆分辨率缩放器64之间。附加参数 估计器16a具有被耦合到分辨率缩放器60的输出与逆量化解压缩器63的 输出的输入，以及具有被耦合到后滤波器600的控制输入及复用器18的 输出。
在这个实施例中，附加参数估计器16a用来提供用于减小由于压缩引 起的伪像的控制参数组，而参数估计器16用来提供用于减小主要由于分 辨率减小和放大而引起的剩余伪像的控制参数组。附加参数估计器16a选 择后滤波器操作的控制参数组，其减小在由量化压缩器61进行压缩之前 与在逆量化解压缩器63之后的图像之间的差异。在把图像传递到逆分辨 率缩放器62之前，后滤波器600把通过这些控制参数组选择的后滤波器 操作施加到解压缩的图像。复用器18把这些控制参数组添加到流中，供 解压缩设备的后滤波器使用。
可以指出，图9的除了分辨率缩放器60、后滤波器600、逆分辨率缩 放器62和参数估计器16以外的部分，基本上等同于图1的压缩设备，其 中解压缩器14的输入形成图像输入。如图所示，图9的实施例添加了附 加压缩层，具有在解压缩后的对应的参数估计。正如将会意识到的，在每种情形下，参数估计器被使用来通过比较在压缩处理操作之前和在解压缩 处理操作一_即这个压缩处理操作的逆操作 一 一 之后的图像而得出控制 参数组。控制参数组是对于本地图像配置的不同的聚类而选择的。
如图9所示，当施加接连的压缩操作时，可以多次地施加参数估计， 每一次用于相应的压缩操作。虽然已显示了其中压缩操作是抽取
(decimation)和量化的例子，但可以使用其它的压缩操作。在一个实施例 中，压缩操作、或为其使用后滤波与参数估计的压缩操作之一，可以是预 测性压缩，其中后滤波被施加到藉助于参考一一诸如运动矢量、相对于参 考图像、或多个参考图像一一而表示的图像。
聚类的选择可以由不同的参数估计器分开地执行。在这种情形下，聚 类定义信息将被包括在流中用于所有的控制参数组。这使得有可能令聚类 选择最佳化，这是以对于流的增加的带宽使用为代价。在替换实施例中， 参数估计器共享相同的聚类选择。在这个实施例中，对于接连施加的后滤 波器操作，包括对于多个控制参数组的共享的聚类定义信息就足够了。这 减小了带宽使用。
图10显示施加预测性压缩，其中后滤波被施加到参考图像。这里， 后滤波的解压缩的内部编码的图像被用作为用于预测性压缩和解压缩的 参考。该图显示了压缩设备和解压缩设备，每个设备包含用于参考图像的 存储器72、 74。压缩设备包括被耦合在压缩器14的输出与存储器72之间 的后滤波器70。压缩设备的存储器72被耦合到压缩器12的输入。参数估 计器16的输出被耦合到后滤波器70的控制输入，后滤波器70的功能类 似于解压缩设备的后滤波器26的功能。在运行时，存储器72存储通过按 照滤波器系数组进行后滤波而得到的所选图像，以及压缩器12使用存储 的图像、根据运动矢量和相对于所存储的图像的可选残余信息来编码其它 图像。
同样地，解压缩设备的存储器74被耦合在从后滤波器26的输出到解 压缩器24的输入的反馈环中。在运行时，存储器74存储选择的后滤波的 图像，以及解压缩器24使用存储的图像来译码根据运动矢量和相对于所 存储图像的可选残余信息被编码的其它图像。这样，改进的参考图像被提 供来在预测性压缩和解压缩中使用。在预测性压缩和解压缩中，预测的图 像可以通过使用仅仅一个参考图像而被预测，但替换地，可以使用依据多 个参考图像的预测。这里描述的方法和设备使得有可能通过在至少部分地解压缩后使用 由压缩设备定义的后处理系数进行后处理而减小压缩伪像。后处理的质量 通过在图像中不同位置处使用在解压缩图像的内容的控制下选择的不同 系数组而被改进。链接低质量和高质量图像的许多应用是可能的，例如， 在具有良好的内置照相机的移动电话上拍摄照片，但以较低的质量+辅助 信息存储它，然后把它发送给朋友，他将在他的(高清晰度)电视机或PC 上看到它。
人们可以将不同的最佳滤波器组用于不同的图片子组。例如，B图片 可能需要与I和P图片不同地被滤波。在这种情形下，信号将典型地具有 另外的信息例如用来将类别和对应的滤波参数进行分组(实际的格式保留 为开放的，因为滤波器可以以许多方式被规定，例如，包含在底层的被滤
波区域上执行的过程的算法描述)，具有标签，像B图片聚类l:系数 1，系数2，.，.；聚类2:系数3，系数4,...;聚类X; I图片聚类Y:...。
构建的聚类的其它例子可以对压缩参数完成，例如用于高和低量化、 或高和低运动等等的不同的组。
以上通过各种选择准则，尤其是像素值、运动矢量、以及像素值与运 动矢量而描述了聚类选择。本发明不限于这样的示例性选择/分类准则。
例如，用于自适应滤波的再一个分类准则可以导致显著减小用于译码 过程的计算代价，具有更加改进的视觉质量。它也减小在编码处的计算代 价，并提供用于分类的更稳定的性能。这样的滤波是基于这样的理解后 处理的序列的质量改进主要集中在具有梯度改变的区域。
在优选实施例中，水平梯度值和/或垂直梯度值被计算，这些值在选择 过程中被使用。选择器被配置成通过根据水平梯度值和/或垂直梯度值进行 分类而相对于位置来对图像信息分类。
例如，当在编码器一侧得出场景自适应聚类时，代替直接使用归一化 的孔径(例如，5 x 5)窗口作为用于聚类统计的基本图案，通过巻积每个窗 口与如下定义的两个索贝尔(Sobel)边缘滤波器(水平和垂直)而计算水平 梯度值ex和/或垂直梯度值ey:
-1 -2 -1 -10 1
0 0 0 和-2 0 2
12 1 -10 1
结果，每个孔径由特征矢量(ex, ey)表示。然后对于这些聚类执行聚类算法，例如K均值。图11显示对于两个序列的两个典型的聚类结果。 十字叉表示聚类中心。点显示对于大量点的结果。
已发现的附加优点是聚类中心对于不同的序列是相当一致的。所以， 有可能与序列无关地定义几个聚类轮廓(profile)。例如，在图12上，显示 5个聚类轮廓和21个聚类轮廓的示例性定义。这些轮廓的定义是通过平均 多个序列的自聚类结果而得到的。在这些二维曲线图上发现，由对于各种 不同序列的K均值得出的聚类中心实际上共享如图12所示的非常类似的 分布。十字叉表示聚类中心的位置。这允许预先定义聚类中心。
由于聚类轮廓可以被预先定义并因此被标准化，所以不再需要随流传 送聚类中心的位置。因此，仅仅随流发送场景自适应滤波器(或更一般地， 控制参数组)，作为例如辅助信息。应当指出，控制参数组，诸如滤波器的 参数，在编码期间仍旧需要对于每个聚类被动态地生成，以便反映不同视 频(具有各种不同的场景特性，编码设置值等等)的不同特性。
通过应用以上的方案，在译码器处的节省是明显的正确聚类的选择 被很大地简化，仅仅牵涉到2维特征距离(而不是5 x 5=25维特征距离)。 而且，在使用预定义的聚类轮廓的优选实施例中，例如可以通过预定义的 2维查找表T而实施分类，
T(ex, eyh类别-标签，
其中(ex, ey)是在像素(x, y)处的梯度值，以及T(ex, ey)直接给出对于给 定轮廓的它的相关联的类别标签。因此，在译码器一侧，用于聚类选择的 计算代价几乎可忽略。
另一个优点是更稳定的分类结果。已证明梯度特征给出在视觉上比 起原始亮度孔径更稳定的本地图案的分类，导致视觉上更吸引人的后处理 的序列。
当应用预定义的基于梯度的轮廓时，对于辅助信息的附加比特成本被 减小一半，因为不需要传送聚类中心信息。在编码器一侧的计算成本也被 减小，因为不用计算自聚类，而仅仅执行MSE最佳化。
在译码器一侧，正确滤波器的选择耗费大部分的计算时间。假设我们
使用N个聚类，那么滤波器的选择耗费滤波本身的N倍的计算成本。通 过应用基于梯度的方案，滤波器的选择仅仅牵涉到索贝尔巻积和对于正确 聚类的表查找。选择过程典型地耗费小于1/6的滤波过程的计算时间。这 使得对于在译码器一侧的后滤波的实时实施成为可能。通过应用基于梯度的选择方法，视觉质量比起基于像素值的方法甚至
好出达0.5-0.7dB之多。图13上示出一个例子，其中显示了所谓的Shields 序列的被修剪(crop)的例子。改进的视觉质量可以通过如下事实来说明， 即梯度信息是比原始亮度更好的代表，以及在X-Y梯度坐标中的类似性 比在Mx M维亮度空间中的MSE度量更适合于确定类别。
替换的或附加的简单聚类也可以根据紋理来完成。紋理常常较简单以 用小数目的参数进行检测，所述参数例如，
1. 标准偏差，表征亮度变化有多猛烈，
2. 连续累积梯度(running accumulative gradient)，是图案向上和向 下移动有多频繁的一个可能的测度，以及
3. 平均颜色
虽然在选择的梯度类型中定义了在二维空间中的多个聚类中心(见图 11和12)，但纹理聚类可以由在三维空间中的聚类中心点来定义，三个轴 例如是标准偏差、连续累积梯度和平均颜色。 一个点可以对应于例如蓝天 (标准偏差小、累积梯度小和平均颜色为蓝色)。另一个点可以对应于草地。
在按照本发明的方法和设备的再一个实施例中，选择是在分级结构中 进行的。
在实际的分类过程之前，进行用于选择的最适合形式的第 一粗分类， 例如，分类是在亮度值、运动矢量、梯度、紋理、还是在这样的准则的任 何组合上发生。 一旦作出第一分级的决定，就执行选择过程。
可以对于文件的任何部分、对于图像、对于图像的一部分、对于一系 列图像作出分级的决定。另外，选择准则可以依赖于图像数据的类型，例 如依赖于帧的类型。
图14示意地显示分级结构，其中选择各种可能的选择方法。
在步骤110,图像或部分图像的进入的数据首先经受在预选择器110 中的边缘滤波器。在这个预选择中，确定图案主要是具有边缘特性还是主 要是紋理。
如果分析表明图像或部分图像主要具有边缘特性，则数据被传送到最 后选择器lll,在其中根据梯度ex、 ey，执行聚类选择和对于该聚类的控 制参数组的确定，见图11和12。如果分析表明图案主要是紋理，则数据 被传送到最后选择器112,在其中根据紋理参数执行聚类选择和对于该聚类的控制参数组的确定。
图15a到15c图示本发明的再一个实施例。
在许多压缩技术中，压缩是基于块的。在解压缩后块边缘可能出现错 误，即，块的边缘可能是可见的。图像的划分和基于块的处理导致被称为 分块伪像的误差。这些分块伪像使感知的图像质量降级，特别是在低比特
率下。使用解块滤波器减小这样的分块误差。在标准H.264中，已知在译 码器处应用解块滤波器，其中在译码器端，做出基于边缘条件的分类。该 分类被使用来从多个可能的标准的预先安排(prefixed )解块滤波器中选择 一个解块滤波器。不同的滤波器本身是固定的，以及在译码器一侧滤波器 的选择可以无需任何来自编码器的辅助信息地被执行。
图15a图示本发明的实施例。在编码器端，进入的信号150在压缩器 152中被压缩，以提供压缩的信号151。该压缩的信号在解压缩器154中 被解压缩。在解压缩后，根据诸如在块中的位置、边缘步进尺寸和相邻块 的编码^t式之类的特征，形成C个聚类。对于每个聚类，根据块内的位置 识别具有自适应滤波器参数F(C)的自适应滤波器，并使用具有滤波器参数 F(C)的自适应滤波器。解块滤波器的输出被馈送到比较器154,该比较器 比较经压缩-解压缩-滤波的图像与原始图像。该比较器提供误差信号E。 分类(C)和用于各种不同类别的滤波器参数F(C)被适配来最小化误差E。解 块滤波器可以在环内和在环外被使用，图15A显示在环外，即在完全的解 压缩后，使用该滤波器的例子。解块滤波器也可以在环内被使用。
图15b和15c图示在译码器端的本发明。
VLD是指可变长度译码器，IQ是指逆量化，IDCT是指逆DCT， DF 是指解块滤波器，以及MC代表运动补偿。滤波器操作由数据C(分类)和 F(C)——即用于不同类别的滤波器参数组——来支配。在图15b上，处理 电路被安排成在环外应用解块滤波器DF,在图15c上，解块滤波器DF被 在环内应用。
这个实施例的简单形式使用与已知的解块滤波器相同的选择滤波器 的准则，但用具有自适应参数的滤波器代替固定的滤波器。在这个简单的 形式中，在译码器端的已知的分类确定因子是完全标准的，但滤波器参数 是自适应的。
选择过程例如开始于指派边界强度参数给每个4 x 4亮度子块的边缘。 边界强度由每个子块及其相邻块的模式和编码条件(例如，内部或之间，编码残余与否，运动矢量的尺寸)排他地确定，并且在以下操作之间作出第一
选择，即对多半由分块伪像造成的边缘进行强滤波、对可能受分块影响
的边缘进行正常滤波、以及对多半是内容相关的边缘不进行滤波。在这个 初始的再划分后，边缘活动性——即，在边缘两侧的像素值之间的绝对差
异的不等性条件一一确定是否施加滤波器。图16提供了一个被使用来决 定与子块边缘BE相邻的像素po和qo是否在正常滤波模式下被滤波的条件 的例子。像素q。仅仅在满足条件(l)与(2)时才被滤波。同样地，p。仅仅在 满足条件(1)与(3)时才被滤波。在已知的方法中，可以选择来自解块滤波器 的固定滤波器组，所有的滤波器具有相同的结构。它们是有限脉冲响应(FIR) 类型的一维滤波器，具有相对于被滤波的像素的最大2抽头位移。不同的 固定滤波器被施加到距块边缘有不同距离的像素。远离边缘的像素不太可 能受分块伪像的影响，因此将接收较弱的滤波。这样，解块滤波器以非常 基本的方式计及块变换中对于相对位置的统计值的变化。在宏块级别上， 滤波在适当的位置进行，首先水平滤波垂直边缘，随后垂直滤波水平边缘。
确定应用哪些滤波器的过程可被看作为分类过程，并且可以无需任何 附加信息地在译码器一侧执行。这具有如下优点不需要传送有关分类的 信息，以及在译码器端可以使用已知的分类方案。本发明的方法归结为 代替只在译码器端使用标准固定的滤波器，用自适应滤波器取代标准滤波 器并对于每个类别确立最佳参数组。在译码器端对于分类的计算需求没有 改变，这是一个优点。
在简单的实施例中，在译码器端的已知的确定因子被简单复制，但滤 波器参数是自适应的，在更先进的实施例中，例如，通过使得条件1与2 是自适应的，用于类别选择的确定因子也是自适应的。
在一个实施例中，所述方法在两阶段(two pass)过程中^皮实施。在 第一步骤，该算法处理所有的宏块，以便确定哪种类型的滤波器要施加到 每个像素。
在下一个阶段中，收集受特定滤波器影响的所有的像素，并且在 MSE(均方误差)的意义下估计最佳滤波器系数。这个处理过程对于所有的 滤波器重复进行。然而，由于滤波在适当的位置被执行，所以参考帧优选 地在其间被更新。也就是说，每次在对于一个像素类别计算滤波器系数后， 在继续为下 一个滤波器确定系数之前，该滤波器被施加到当前的参考帧。
如果场景自适应滤波器在环内运行，则重要的是在编码器一侧和译码器一侧滤波过程的有序匹配。在一个实施例中，这是通过使施加滤波器的次序固定而达到的。这样的实现的简单扩展是确定在编码器 一 侧的最佳滤
波次序，并通过流用信号通知滤波器次序，输出157因而是F(C)和S(F)，F(C)即滤波器系数，S(F)即滤波器要被施加的次序。因为是在适当的4立置滤波，所以滤波操作不交换，并且改变滤波次序可以改进性能。为了避免由于环内运行造成的非线性，最佳滤波器系数逐帧地估计。
为了避免由于环内运行造成的非线性，最佳滤波器系数逐帧地估计。相比于等价的后滤波器，环内运行导致1-1.5%的附加比特率减小。这可以通过以下事实来说明，即滤波器不单改进最后的图像，而且参考图^f象也为运动补偿提供更高的质量。环内滤波的另一个优点在于，它保证一定的
性能水平，而后滤波通常是可选的。已经发现，与根据边缘类型和所选择的编码模式而在具有固定系数的预定义滤波器组中进行选择的解块滤波
器算法相比较，通过估计与这些滤波器中的每个滤波器相关联的最佳系数并借助视频流用信号通知这些系数而进行的解块的性能大约是5-10%。图17提供与使用标准分类方法的标准H.264固定分块滤波器相比较的、使用自适应有源滤波器的比特率减小的测量值，其中所述标准分类方法使用由List等人在IEEE transaction on Circuits and Systems for Video Technolgy13(7): 614-619中提出的分类算法。曲线C和D涉及到固定的indexA和indexB的不同的选择，见图16。本发明的优点是明显的，使用自适应滤波器系数，而不是使用固定滤波器，带来比特率的很大减小。
如上所述，通过使滤波器被施加的次序最佳化，可以得到另外的改进。另外的改进是通过分类的自适应最佳化而得到的，例如，令自适应有源滤波器的分类依赖于在块变换中的相对位置。图17显示一个实施例的结果，其中标准固定解块滤波器的分类准则未对于本发明被最佳化，而只是简单地被复制。比特率减小方面的相当显著的效果暗示还有通过对分类和/或滤波器选择准则的进一步最佳化来改进的空间。
基于块的分类的以上实施例是在其中分类和/或滤波是依赖于位置——在本例中依赖于块内的位置——而作出的 一 大批实施例中的 一个例子。
在所述一批实施例内，其它的例子是
根据在图像内的位置(例如靠近边界)而进行分类，与其中使用较大数量类别和/或更复杂的滤波器的中心区域相比较，使用了不同数目的类别和不同的更简单的自适应滤波器组。这对于必须被传递的数据是安全的。
使得分类是依赖于目标的，例如，天空区域可以使用较少的或不太复杂的滤波器。在一个实施例中，滤波器适应于它们在面部分段区域内的中心程度(例如，靠近面部边界上的阴影区域)。或者在草地或砖块图案内，在整个要被锐化的草地区域内，相对于内部，不同的滤波器被施加到草地叶片边缘(这可能需要更多的锐化)[以及译码器能够从砖块内部重新估计例如砖块分段边缘]。
在所有的实施例中，对于数据执行分类，以上也称为聚类，对于每个类别生成可适配的滤波器或更一般而言的后处理过程，以及在编码器一侧，滤波器参数或更一般而言的后处理被改变、并被施加到对应的数据类别和被最佳化，以便与原始图像相比较，产生低的或最小的失真，或更一般地，产生最佳值或质量测度的增加，正如对于在对应的一个类别中的位置的(压缩)伪像的减小。
译码器被给予信息(或者明显地或者隐含地)，以便重新生成在编码器处使用的类别，对于聚类或类别的滤波器参数被传递到译码器，并在译码器中被应用。正如说明的，对于分类，根据不同的构思(值、边缘、运动、图案、位置以及这样的概念的组合)可以遵循众多的途径。用于分类的基础的再一个例子是根据对于本地区域的压缩的选择而进行分类。再次地，
译码侧知道这样的因子，如使用哪种量化，块的运动是什么(和可能的预测误差，或减小的误差可视性)等等；再次地，取决于那些参数，滤波器可以是不同的(例如，对于高量化，使用更多地为了解块和更少地为了4)i化而被偏置/被最佳化的滤波器)。
再一个实施例被图示于图18。图18示意性地图示围绕像素的两个窗口I和II。该窗口显示某个图案。窗口 II可被看作为等价于被"翻转"的窗口 I。换句话说，当比较这两个窗口时，在这两个窗口之间有某种类型的对称性。
在本发明的这些实施例中，有利地使用了对称性法则。在基于分类的后滤波框架中，分类常常t基于自聚类策略，其中像素通过使用围绕像素的窗口，诸如nxn窗口，和窗口内的平均值而^皮分类。这是相当灵活的分类方法，因为可以预先规定任意数目的类别。然而，在许多应用中，由于带宽和/或存储限制，可被使用的类别的总数是有限的。对于有限数目的类别，非常难捕获在一个(或多个)帧中出现的局部图像图案的大方差。减小这种大方差的一个方法是在分类和实际滤波之前相7十于
它们的取向规格化(normalize)围绕像素的窗口。这些窗口然后形成一个类别，以及可以用同一个滤波器对它们进行后滤波。这样，相同数目的类别可以代表图像图案的大得多的多样性。除了旋转以外，也可以想到其它类型的几何规格化，诸如移位和镜像。
图19提供事实上等价的、但是是对于旋转90、 180或270度的多个图案。
图20显示相互翻转的版本的、相同的或类似的图案，图21显示相互移位的版本的图案。这个实施例所基于的理解是各种对称性被使用来减小这个大方差，这是通过在分类与实际滤波之前相对于其取向来规格化窗口而进行的。这些窗口然后形成一个类别，并可用相同的滤波器对它们进行后滤波。这样，相同数目的类别可以代表图像图案的大得多的多样性。除了如在图19上的旋转以外，也可以想到其它类型的几何》见格化，诸如移位(图21)和镜像(图20)。
在这样的实施例中，参数估计器被安排来执行分类上的对称性操作。在下面，我们给出例子，用来举例说明我们可以如何生成几何不变的分类，以便导致较少的类别。所述说明是在如上所述的进行聚类的上下文中，使用围绕像素的nxn窗口和有关最小化平方和的分类。然而，可以
示例性过程如下
步骤l:从压缩的帧收集窗口样本。
步骤2:对于每个窗口样本x，得出它的对应于3个旋转图案、4个镜像图案和移位图案的变换版本xi(a是孔径尺寸)。假设孔径尺寸a-5，这意味着，必须生成总共N=3+4+8=15个附加的变换的图案。
步骤3:扩展在聚类算法中使用的距离度量。如果要计算在给定的样本x和聚类中心y之间的距离，则我们计算在样本x的每个变换版本和y之间的距离，然后选择最小距离。
步骤4:作为如上所述的修改的K均值算法的结果，我们得到相对于几何不变图案(在MSE意义上)最佳的多个聚类(类别)中心。然而，在滤波器生成期间，导致到聚类中心的最小距离的每个样本x的变换版本将被使用来最佳化滤波器系数。
得出的聚类(类别)中心和对应的滤波器系数将被传送到译码器一侧用于后处理。在译码器一侧，对于每个像素位置，除了使用用于分类的基本特征矢量以外，还必须生成多个变量(如在步骤2中)，每个变量必须与聚类(类别)中心进行比较，以便得出在所有的变量与聚类中心之间的最小距离。然后选择对应的滤波器系数，并把它施加到所选择的变换的变量。应当指出，滤波的结果需要被变换回去，以便施加到译码的帧。
虽然以上的例子是基于使用最小化的距离的例子，但它也可以容易地
扩展到例如基于梯度的分类策略，诸如在图11和12上示意性地图示的。在这种情形下，在步骤2后，对于每个候选的变换图案，必须计算对应的基于梯度的特征矢量，并在此后将其使用于聚类。
应当指出，所提出的方法也可以应用于环内滤波。
提供实验结果。
上述的实施例在H.264参考软件内被实施、并且用SD分辨率序列进行实验，量化参数QP被设置为从28到34。几何不变的滤波作为对环内后滤波的附加特征选项而被实施。我们测量了对于每个帧的PSNR增益，并且对于大多数帧，观察到与不使用几何不变性(具有相同数目的类别)相比较的0.03dB到0.06dB的增益。对于某些帧，达到高达O.ldB的增益。由于添加几何不变性不需要额外的比特率增加，几何不变性给现有的环内滤波提供了额外的增强，而不会有退步。
我们还在我们的实验中注意到对于某些帧，启用几何不变滤波选项，可能提供相对于PSNR的负面影响。这可以是在帧中缺乏图案多样性的结果，且使用几何不变性对于质量没有正面的贡献。然而，由于分类和环内滤波在编码器一侧执行，所以如果出现这样的负增益的话，编码器可以决定对于当前帧禁止使用几何不变性。这意味着，对于每个帧必须发送附加的一个'信号比特，，用来指示是否使用几何不变性。与总比特率相比较，这显然是可忽略的开销，而平均增益增加。
2.开启所有的变换模式(例如，3个旋转模式、4个镜像模式和多个移位模式)可能不能给出相对于PSNR的最佳性能。例如，对于序列直升机(Helicopter),我们发现平均起来使用2个镜像模式(垂直和水平翻转)和移位模式将给出最好的性能。然而，开启某些模式而禁止其它模式可以是依赖于序列的决定。这样的微调等价于使用几何不变性与否。
对称的不变性变换(翻转、移位和旋转)是一 个大类别的图案不变性变换的子类别。另 一个简单的图案不变性操作是缩放。
显示在变换下的某个不变性的图案的其它例子被图示于图22a到22c。
例A:不精确的但类似蠕虫那样的结构"不精确的旋转"的变换可以例如象这样地完成把在块中的像素分类成暗的和明亮的[例如，以上的块平均]，以及使用"链取向代码"测试类似性。例如如果方向改变是在相同的罗盘方向，并且对于像素的每个定向游动(oriented run)来说长度差异不大于1个像素(例如，2相对3像素开始分段)，则图案可以被类似地考虑，以及用类似的滤波器(例如，某个模糊核尺寸)来处理。
例B:人们也可以规格化边缘的(灰度值)高度。(虽然在某些滤波器情形下[例如，滤波器实施边缘强度改变]，使滤波器也适配于边缘的高度可能是更明智的，但在那些情形下，人们例如可以把边缘步进高度分类到多个子类别中(强的、中等、最小边缘))。
例C给出另一个例子，它可被使用来例如处理(伪)周期性紋理(例如，具有非线性函数，它维持它们的灰度值顶部，但加深它们的谷底[例如，加深在草地的叶片之间的暗区域])。
图案被示例性地建模[这可以适于基础数据]为某个高度h[最亮的像素灰度/亮度/颜色值——例如240，减去最暗的一一例如10]、斜率a(这导致顶部间距离D)的正弦栅格，以及它具有在块中的某个空间取向(3(这里象征性地显示45度，但在灰度值截面图上不能同时显示，因为它只具有一个空间维度)。
具有差异不太大的值oc、 h、 D的所有图案然后可被分类在相同的紋理类别中，或再次地，可以沿可能的值范围[线性地或非线性地]做出某些子类别，然后可以训练被参数化的滤波器f(h,oc);这例如可以通过以下操作来完成，即检验滤波器系数在不同的(h,ot)范围类别上如何变化，以及用多项式对它们建模。
图23示意性地图示按照本发明的图像定义信号。该图像定义信号包括图像信息，在本例中是定义图像内容的压缩数据CD;
多个控制参数组，定义图像处理电路的控制参数，该图像处理电路用于后处理在图像的各个位置处的所述内容，所述控制参数在本例中是类别定义参数C和对于每个类别的参数组F(C)，诸如象滤波器系数组。
类别定义参数可以具有各种各样的形式，这取决于所选择的用来定义案、基于块的、运动矢量等等)，或可以具有直接定义聚类中心的参数(见图12)。在某些实施例中，例如，如果使用固定的方式在编码器和译码器处定义类别，则可能不存在类别定义参数。
用于每个组的参数组可以是滤波器系数。参数组可以以绝对的方式被
定义，例如，每个参数的精确值；或以相对方式被定义，例如，与在前的值相比较，参数组内的参数的改变。
在实施例内，图像定义信号可包括关于各种分开的操作的信息，各自具有分开的分类和对于类别的参数组。例如，根据在译码环路后的图像中的基于梯度的聚类，环内解块操作后面可以跟随另外的处理。对于所提到的两个处理步骤中的每个步骤，在图像定义信号中可以存在关于各种类别的分类和系数组的信息。每个分类M于不同的原理，以及系数也将是不同的，所以该信息将是不同的。
类别定义数据和参数组可以以任何适当的方式被提供，例如作为头标，通过标记或作为分开的信号来提供。
在权利要求中阐述了本发明。正如这里使用的，术语"包括"并不排除其它单元或步骤，"一，，或"一个"并不排除多个，以及单个处理器或其它单元可以完成在权利要求中列举的几个装置的功能。当术语"电路"被使用时，这包括被编程来执行该电路功能的可编程电路。在权利要求中的参考符号不应被解释为限制范围。
简而言之，本发明可被描述如下
定义像素的聚类以便使用于图像压缩和解压缩。被使用来定义聚类的
/各/工aa L Jr丄n rt丄 t /各 ±_ /.厶2- a /丄变/j、 i厶7各主乂去 A:4 aA c -a七
口 '15 "j & 4石-,'J M 'l，乐w V j夕；&1丄且w v ',个尔1JL 、 -X ^曰天曰"还劝天
量、梯度、紋理等等。在图像压缩期间，相对于像素的图像信息被检验，以便确定它所属于的聚类。因此，像素可以按照用于其图像信息的聚类而被分类。在一个实施例中，聚类的定义根据图像内容而被动态地选择。对于每个聚类，计算一个控制参数组以用于后处理操作，诸如是用于滤波的滤波器系数、或用于本地生成紋理的统计数据。控制参数组根据图像内容而被选择成使得在解压缩后当后处理操作被应用于图像时，将改进对于被分类为属于该聚类的像素的图像质量。压缩的图像和控制参数组被传送到解压缩设备。在解压缩后，代表解压缩的图像的图像信息被检验，以便按照聚类分类像素，以及用于所选聚类的不同控制参数组被使用来控制在所述像素的位置处的后处理。
权利要求
1.一种解压缩设备，包括-一个或多个输入(20)，用于接收图像信息和多个控制参数组，该图像信息定义图像的内容；-存储器(36)，用于存储所接收的多个控制参数组；-解压缩器(24)，被配置成至少部分地解压缩该图像信息；-选择器(32)，被配置成对于图像中多个像素的每一个来分类像素，并且根据对于像素的分类，选择所接收的多个控制参数组中的相应控制参数组；-图像处理电路(39)，被配置成后处理所述至少部分地解压缩的图像信息，使用来自存储器(36)的、用于所述经分类的像素的该控制参数组中的被选择的相应控制参数组来控制对于图像中像素的后处理。
2. 按照权利要求1的解压缩设备，包括分用器(22)，其被配置成从输 入信号中分用图像信息和控制参数组。
3. 按照权利要求2的解压缩设备，其中所述分用器(22^皮配置成从输 入信号中分用定义图像序列的图像信息，以及其中所述选择器(32)被配置 成对于序列中多个图像的每一个，使用相同的分类参数而从相同的多个控 制参数组进行选择。
4. 按照权利要求1的解压缩设备，其中所述图像处理电路(39)包括滤 波器，所述控制参数组包括供所述滤波器使用的滤波器系数。
5. 按照权利要求4的解压缩设备，其中所述滤波器是解块滤波器。
6. 按照权利要求5的解压缩设备，其中所述处理电路被安排成在环内 应用解块滤波器。
7. 按照权利要求5的解压缩设备，其中所述处理电路被安排成在环内 应用解块滤波器。
8. 按照权利要求4的解压缩设备，其中解压缩器包括逆分辨率缩放器 (64)，所述图像处理电路(39)被配置成通过使用由控制参数组定义的滤波器 系数而执行分辨率放大的滤波。
9. 按照权利要求4的解压缩设备，其中所述滤波器包括子滤波器(39a, b)的串联装置，所述控制参数组包括各个子滤波器的滤波器系数。
10. 按照权利要求1的解压缩设备，其中所述图像处理电路包括随机 或伪随机信号发生器(50)，其被配置成生成具有由控制参数组定义的统计特性的随机或伪随机信号。
11. 按照权利要求1的解压缩设备，包括参考存储器(74),用于存储在对预测地压缩的图像解压缩时使用的参考图像，该参考存储器(74)具有被耦合到图像处理器的输出的输入，用于存储经后处理的图像以便作为参 考图像使用。
12. 按照权利要求2的解压缩设备，其中所述分用器(22)被配置成从 输入信号中分用类别定义数据，所述选择器(32)被配置成把内容分类成由 类别定义数据定义的类别。
13. 按照权利要求1的解压缩设备，所述选择器(32)被配置成通过 分类如下的矢量而分类图像中的多个像素，所述矢量包括在相对于相应像 素的预定相对位置处的图像中的像素值；以及根据对于该矢量的分类，而 选择所接收的多个控制参数组中的相应控制参数组。
14. 按照权利要求1的解压缩设备，所述选择器(32)被配置成通过 分类包括运动矢量的矢量而分类图像中的多个像素，其中所述运动矢量表 征在相对于相应像素的预定相对位置处的图像区域内的、视频流中的图像 和相邻图像之间的运动；根据对于该矢量的分类，而选择所接收的多个控 制参数组中的相应控制参数组。
15. 按照权利要求1的解压缩设备，其中所述选择器(32)被配置成 通过分类在相对于像素的相应窗口中的图像的紋理内容，而分类图像中的 多个像素；以及根据对于紋理的分类，而选择所接收的多个控制参数组中 的相应控制参数组。
16. 按照权利要求1的解压缩设备，其中所述选择器(32)被配置成 通过根据水平梯度值和/或垂直梯度值进行分类，而分类图像中的多个像 素；以及根据水平和/或垂直梯度的分类，而选择所接收的多个控制参数组 中的相应控制参数组。
17. 按照权利要求1的解压缩设备，其中所述压缩l基于块的，以及 所述选择器(32)被配置成通过相对于在块内的位置和边缘活动性进行分 类，而分类图像中的多个像素位置；以及根据在块内的位置和边缘活动性 的分类，而选择所接收的多个控制参数组中的相应控制参数组。
18. —种压缩设备，包括-图像输入(IO)，用于接收定义输入图像的输入信号；-图像信号压缩器(12),具有被耦合到图像输入(10)的压缩器输入，和用于至少部分地压缩图像的压缩器输出；画参数估计器(16),具有被耦合到图像输入的输入，以及被配置成 根据在相对于像素的相应窗口中的图像内容，把图像中的像素分类成相应 的类别；以及根据压缩的图像与输入图像的比较，计算多个控制参数组， 每个控制参数组用于所述类别中的对应类别，定义后处理操作，以便为对 应类别中的像素减小压缩伪像。
19. 按照权利要求18的压缩设备，包括复用器(18)，其被配置成把控 制参数组与来自压缩器输出的压缩图像信号复用成复用的输出信号。
20. 按照权利要求18的压缩设备，其中所述参数估计器(16)被配置成 根据输入图像的内容来选择类别的定义。
21. 按照权利要求18的压缩设备，其中类别的定义包括聚类矢量，它 包括在相对像素位置的配置处的解压缩的图像内容。
22. 按照权利要求18的压缩设备，其中类别的定义包括聚类矢量，它 包括用于相对像素位置的配置的运动矢量。
23. 按照权利要求18的压缩设备，其中类别的定义包括用于相对像素 位置的配置的水平梯度值和/或垂直梯度值。
24. 按照权利要求18的压缩设备，其中类别的定义包括在块内的位置 和边缘活动性，以及所述参数组是解块滤波器参数组。
25. 按照权利要求18的压缩设备，其中所述参数估计器被安排成执行 对于分类的对称操作。
26. 按照权利要求18的压缩设备，被配置成压缩包括输入图像的视频 序列，以及其中参数估计器(16)被配置成为来自视频序列的多个输入图像 共同地计算多个控制参数组。
27. 按照权利要求18的压缩设备，包括解压缩器(14),被配置成从 压缩器输出接收压缩的图像信号；该参数估计器(16)具有被耦合到解压缩 器的另一个输入，用于接收解压缩的图像信号，该参数估计器(16)被配置 成根据在输入图像与由解压缩的图像信号定义的解压缩图像之间的差异 而选择参数组。
28. 按照权利要求27的压缩设备，其中参数估计器(16)被配置成为每 个像素选择类别控制参数，当后处理在由控制参数定义的对应类别中的像 素处被施加到来自图像信号解压缩器(14)的解压缩图像时，所述类别控制 参数减'J、在输入图像与解压缩的图像之间的、在对应类别中的像素上求平均的差异。
29. 按照权利要求18的压缩设备，其中由压缩器(12)执行的压缩包括量化。
30. 按照权利要求18的压缩设备，其中由压缩器(12)执行的压缩包括 分辨率缩减。
31. 按照权利要求18的压缩设备，其中所述参数估计器(16)被配置成 估计滤波器系数组，当在滤波器中被使用来在由控制参数定义的对应类别 中的像素处滤波来自图像信号解压缩器(14)的解压缩图像时，所述滤波器 系数组减小在输入图像与解压缩的图像之间的、在对应类别中的像素上求 平均的差异。
32. 按照权利要求31的压缩设备，其中所述滤波器系数组是解块滤波 器系数。
33. 按照权利要求18的压缩设备，其中所述滤波器包括多个子滤波器 的串联装置，滤波器系数组包括对于每个子滤波器的滤波器系数。
34. 按照权利要求33的压缩设备，其中所述参数估计器(16)被配置成 为多个类别共同地估计用于至少 一个子滤波器的滤波器系数组。
35. 按照权利要求18的压缩设备，其中所述参数估计器被配置成估 计表明在类别内的压缩信号与输入图像之间的差异范围的统计特性；以及 表示在控制参数组中的统计特性。
36. 按照权利要求18的压缩设备，包括参考存储器(70),用于存储参 考图像，所述压缩器被配置成藉助于对参考图像的参考而表示另外的图 像，该参考存储器(70)具有被耦合到图像处理器的输出的输入，用于存储 经后处理的图像以便作为参考图像使用。
37. —种解压缩图像的方法，该方法包括-接收图像信息和控制参数组，该图像信息定义图像的内容；-存储多个控制参数组；-至少部分地解压缩图像信息；-分类图像中多个像素的每一个；-根据对像素的分类，而选择多个控制参数组中的相应控制参数组； -后处理所述至少部分地解压缩的图像信息，使用来自存储器的、对于图像中所述像素的已接收控制参数组中的被选择的相应控制参数组，来控制对于图像中所述像素的后处理。
38. —种计算机程序产品，包括指令形式的程序，当由可编程计算机 执行时，该指令使得可编程计算机执行按照权利要求37的方法。
39. —种压缩图像的方法，该方法包括 -接收定义输入图像的输入信号；-压缩该输入信号；-根据在相对于像素的相应窗口中的图像内容，把图像中的位置分类 成相应的类别；-计算多个控制参数组，每个控制参数组用于所述类别中对应的类别， 定义后处理操作，以便为对应的类别中的像素减小压缩伪像。
40. —种计算机程序产品，包括指令形式的程序，当由可编程计算机 执行时，该指令使得可编程计算机执行按照权利要求39的方法。
41. 一种图像定义信号，包括 -定义图像的内容的图像信息；-多个控制参数组，其定义图像处理电路的控制参数，以用于后处理 在图像中相应像素处的所述内容。
42. 按照权利要求41的图像定义信号，包括类别定义信息，用于定义 图像中像素的类别，每个类别对应于控制参数组中的相应控制参数组。
43. 按照权利要求41的图像定义信号，其中所述参数组是滤波器系数组。
44. 按照权利要求43的图像定义信号，其中所述滤波器系数组是解块 滤波器系数。
45. 按照权利要求42的图像定义信号，其中所述类别定义信息包括关 于聚类中心的x和y梯度坐标的信息。
46. 按照权利要求41的图像定义信号，其中所述图像信息定义多个图 像的内容，多个控制参数组中的至少 一个控制参数组定义用于图像处理电 路的控制参数，用以后处理在相应位置处的该多个图像中的所有图像。
全文摘要
定义像素的聚类以便使用于图像压缩和解压缩。被使用来定义聚类的图像信息可包括在相对于像素的预定位置处的像素值、或相关的运动矢量、梯度、纹理等等。在图像压缩期间，相对于像素的图像信息被检验，以便确定它所属于的聚类。因此，像素可以按照用于其图像信息的聚类而被分类。在一个实施例中，聚类的定义根据图像内容而被动态地选择。对于每个聚类，计算一个控制参数组以用于后处理操作，诸如是用于滤波的滤波器系数、或用于本地生成纹理的统计数据。控制参数组根据图像内容而被选择成使得在解压缩后当后处理操作被应用于图像时，将改进对于被分类为属于该聚类的像素的图像质量。压缩的图像和控制参数组被传送到解压缩设备。在解压缩后，代表解压缩的图像的图像信息被检验，以便按照聚类来分类像素，以及用于所选聚类的不同的控制参数组被使用来控制在所述像素的位置处的后处理。
文档编号H04N7/26GK101563926SQ200780046841
公开日2009年10月21日 申请日期2007年12月11日 优先权日2006年12月18日
发明者F·卓, K·J·G·欣南, M·J·弗伯恩, S·德韦尔, W·H·A·布鲁尔斯 申请人:皇家飞利浦电子股份有限公司