组合的解块和去噪滤波器的制作方法

专利名称：组合的解块和去噪滤波器的制作方法
技术领域：
本公开总地涉及对图像和视频数据进行滤波。
背景技术：
已知解块滤波器对经解码的视频进行滤波，该视频已被用诸如MPEG-2和其他方 法之类的基于块的编码方法进行编码。MPEG-2编码例如包括按8X8像素块和16X16像素 宏块的编码。块化伪影(blocking artifact)包括当对经解码视频进行播放时可见的块之 间和/或宏块之间的边界。解块滤波器在像素级对经解码视频进行滤波以在重放之前去除 块化伪影，并且许多这样的滤波器是已知的。其他像素级视频滤波也是已知的。例如，已知在编码之前在像素级对视频滤波以 去除噪声，以使得例如经编码视频的比特率可以比没有噪声滤波时的低。


图1示出了滑动窗口 DCT滤波器的简单框图。图2示出了实现集成的解块和去噪滤波器并且包括本发明的一个或多个特征的 装置的实施例的简化框图。图3示出了采取实现集成的解块和去噪滤波器的装置的形式的本发明的一个装 置实施例的简化框图。图4示出了本发明的方法实施例的流程图。图5示出了包括处理系统的本发明的装置实施例和本发明的计算机可读介质实 施例的简化框图。
具体实施例方式概述这里描述了方法、装置和配置有在被运行时执行该方法的指令的介质。该方法取 得图像并且执行解块和去噪。特定实施例包括一种减轻通过基于块的编码过程来压缩的图像中的块化伪影和/ 或噪声的方法。该方法包括利用交叠正向方向性变换来对图像进行解块。交叠正向方向性 变换包括用于跨水平和垂直边界进行滤波的方向性阈值处理。该方法还包括利用交叠正向 非方向性变换来对图像去噪，其中交叠正向非方向性变换包括非方向性阈值处理。该方法 还包括进行边缘检测，以就各个像素是否属于边缘特征来对其进行分类，以及通过针对像素是否在块边界中和/或是否包括边缘特征进行局部适应，来生成输出像素。边缘检测使 用交叠正向变换。特定实施例包括一种减轻通过基于块的编码过程来压缩的图像中的块化伪影和 /或噪声的方法。该方法包括对于图像数据的块，对于不同的水平和垂直偏移(包括无偏 移)，重复根据偏移选择图像数据的块，以及通过正向水平选择变换并且通过正向垂直选 择变换对块进行方向性正向变换。正向水平选择变换可分离成一维水平正向变换，然后是 用于选择一维变换值之中的重要值的方向性选择操作(例如阈值处理)，然后是一维垂直 正向变换。类似地，正向垂直选择变换可分离成一维垂直正向变换，然后是用于选择一维变 换值之中的重要值的方向性选择操作(例如阈值处理)，然后是一维水平正向变换。该方法 还包括对水平选择的变换数据和垂直选择的变换数据进行逆变换，以及形成不同偏移的经 逆变换的水平选择变换数据和经逆变换的垂直选择变换数据的组合。该方法还包括对图像 数据的块进行滤波以形成经去噪的图像数据的块；以及对于图像数据的块中的每个像素位 置，根据一个或多个标准来组合所形成的组合数据和经去噪的图像数据。在一个版本中，对图像数据的块进行滤波以形成经去噪的图像数据的块的步骤包 括对于图像数据的块的每个位置，对于包括无偏移在内的不同的水平和垂直偏移，重复 通过用于形成非方向性选择的变换数据的正向非方向性选择性变换对块进行正向变换，其 中非方向性选择性变换包括用于选择二维变换值之中的重要值的非方向性选择操作(例 如，阈值处理)。该版本还包括对非方向性选择的变换数据进行逆变换，为非方向性选择的 变换数据确定加权因子，以及形成经逆变换的非方向性选择变换数据的加权组合，加权是 按所确定的各加权因子来进行的。在一个版本中，任何偏移的块的权重与非方向性选择变换中的例如利用阈值处理 进行的选择步骤所选择的重要值的数目成比例。一个版本还包括确定边缘特征。所述组合包括根据一个或多个标准来组合边缘特 征、所形成的组合数据和经去噪的图像数据。特定实施例包括一种装置，该装置包括对图像数据的块的偏移交叠版本操作的水 平方向性选择正向变换器。水平方向性选择正向变换器实现正向水平选择变换，该正向水 平选择变换可分离成一维水平正向变换，然后是用于选择一维变换值之中的重要值的方向 性选择操作，然后是一维垂直正向变换。该装置还包括耦合到水平方向性选择正向变换器 并且被配置为对水平方向性选择正向变换器的输出进行逆变换的水平逆变换器，以及耦合 到水平逆变换器并且被配置为形成水平边缘的块的交叠偏移的逆变换数据的组合的水平 组合器。该装置还包括对图像数据的块的偏移交叠版本操作的垂直方向性选择正向变换 器。该垂直方向性选择正向变换器实现正向垂直选择变换，该正向垂直选择变换可分离成 一维垂直正向变换，然后是用于选择一维变换值之中的重要值的方向性选择操作，然后是 一维水平正向变换。该装置还包括耦合到垂直方向性选择正向变换器并且被配置为对垂直 方向性选择正向变换器的输出进行逆变换的垂直逆变换器，以及耦合到垂直逆变换器并且 被配置为形成垂直边缘的块的交叠偏移的逆变换数据的组合的垂直组合器。该装置还包 括去噪滤波器，该去噪滤波器被配置为帮助对图像数据去噪；以及耦合到去噪滤波器并 且耦合到垂直组合器和水平组合器的局部适应子系统，该局部适应子系统根据像素的位置在解块模式和去噪模式之间切换，从而使得对块边缘区域中的像素发生解块。在一个版本中，去噪滤波器包括对图像数据的块的偏移交叠版本操作的非方向性 选择正向变换器。非方向性选择正向变换器实现正向变换可分离和用于选择变换值之中的 重要值的非方向性选择操作。去噪滤波器还包括耦合到非方向性选择正向变换器的非方 向性逆变换器，该非方向性逆变换器被配置为对非方向性选择正向变换器的输出进行逆变 换；以及耦合到非方向性逆变换器的非方向性组合器，该非方向性组合器被配置为形成交 叠偏移的逆变换数据的加权组合。该装置的一个版本还包括边缘检测器/分类器，该边缘检测器/分类器被配置为 检测图像数据的块中边缘并且提供对像素是边缘特征、块边缘还是既非块边缘亦非边缘特 征的分类，该边缘检测器/分类器具有耦合到局部适应子系统的输出。特定实施例包括一种计算机可读介质，其上编码有指令，所述指令在被处理系统 的一个或多个处理器运行时执行减轻通过基于块的编码过程来压缩的图像中的块化伪影 和/或噪声的方法。该方法包括利用交叠正向方向性变换来对图像进行解块。交叠正向方 向性变换包括用于跨水平和垂直边界进行滤波的方向性阈值处理。该方法还包括利用交叠 正向非方向性变换来对图像去噪，其中交叠正向非方向性变换包括非方向性阈值处理。该 方法还包括进行边缘检测，以就各个像素是否属于边缘特征来对其进行分类，以及通过针 对像素是否在块边界中和/或是否包括边缘特征进行局部适应，来生成输出像素。边缘检 测使用交叠正向变换。特定实施例包括一种计算机可读介质，其上编码有指令，所述指令在被处理系统 的一个或多个处理器运行时执行减轻通过基于块的编码过程来压缩的图像中的块化伪影 和/或噪声的方法。该方法包括对于图像数据的块，对于不同的水平和垂直偏移(包括无 偏移)，重复根据偏移选择图像数据的块，以及通过正向水平选择变换和通过正向垂直选 择变换，对块进行方向性正向变换。正向水平选择变换可分离成一维水平正向变换，然后是 用于选择一维变换值之中的重要值的方向性选择操作(例如阈值处理)，然后是一维垂直 正向变换。类似地，正向垂直选择变换可分离成一维垂直正向变换，然后是用于选择一维变 换值之中的重要值的方向性选择操作(例如阈值处理)，然后是一维水平正向变换。该方法 还包括对水平选择的变换数据和垂直选择的变换数据进行逆变换，以及形成不同偏移的经 逆变换的水平选择变换数据和经逆变换的垂直选择变换数据的组合。该方法还包括对图像 数据的块进行滤波以形成经去噪的图像数据的块，以及对于图像数据的块中的每个像素位 置，根据一个或多个标准来组合所形成的组合数据和经去噪的图像数据。特定实施例可提供这些方面、特征或优点中的全部或一些，或者不提供这些方面、 特征或优点。特定实施例可提供一个或多个其他方面、特征或优点，其中一个或多个是本领 域的技术人员根据这里的附图、描述和权利要求可以很容易清楚看出的。已知的解块方法和已知的去噪方法在现有技术中已知许多去噪和解块方法。A. Nosratinia在〃 Denoising JPEG images by re-application of JPEG, " 1998 IEEE Second Workshop on Multimedia Signal Processing, 7-9Dec. 1998Page(s) :611-615 (以下称为 Nosratinia)中描述了针对 静止图片重新应用JPEG编码，以便对经JPEG压缩的图像进行解块，在所述图像中，由于按 标准JPEG对8X8块的单独编码，发生了块化伪影。Nosratinia利用交叠的块来重新应用JPEG编码。因此该方法包括编码，然后解码，然后重新编码。交叠的块被取平均以获得最终 结果，其中块之间的边界的可见性被消除或者至少被降低。注意，Nosratinia的方法被应用到所有像素，虽然块化仅在沿着边界处才是明显 的。一种方法仅被应用到某些局部区域的能力在这里被称为局部适应性。Nosratinia的方 法缺乏局部适应性。另外，Nosratinia的方法包括按照JPEG标准的量化和逆量化。JPEG 编码包括将图像分解成块，向每个块应用离散余弦变换(DCT)，并且对系数进行量化以例如 强制小系数值为O (JPEG还包括对量化系数排序并且对经排序的量化系数进行编码)。在 Nosratinia的方法中，非零值量化DCT系数经历另一量化过程，从而导致进一步失真。量化 并随后进行逆量化是选择系数之中的重要值系数的选择过程的一个示例。阈值处理是另一 种选择过程并且避免了多重量化、重建和重量化产生的失真。另外，因为Nosratinia中的 量化方法是JPEG量化操作，所以这些操作不是方向性的，而块化伪影一般在水平和垂直方 向上更显著。JPEG量化没有被具体特制来专门解决水平和垂直块化伪影。本发明的一些实 施例包括使用一种方案，例如方向性阈值处理。另外，因为Nosratinia的方法包括解码和 重编码，所以该方法需要关于在JPEG编码中使用了什么量化参数的知识。虽然知道量化参 数可能提供好处，但是量化参数可能并非总是已知，从而方法的一个合宜的属性是不需要 关于在编码中使用的(一个或多个)量化参数的知识。另外，Nosratinia的方法没有考虑 到重要的图像特征，例如图像边缘。对Nosratinia的方法的一种解释是它实质上是在将去噪滤波器用于解块，因为 没有具体针对去除块化的视频中存在的水平和垂直边缘的局部适应性或量化/阈值处理 操作。Samadini 等人在 R. Samadini, A. Sundararajan, and A. Said “ Deringing and deblocking DCT compression artifacts with efficient shifted transforms," 2004 International Conference on Image Processing,2004 (ICIP " 04) , Volume 3, 24-270ct. 2004，Page (s) :1799-1802 中扩展了 Nosratinia 的技术。除了其他改进之外， Samadini等人使用了比JPEG/MPEG使用的DCT在计算上更简单的变换并且还包括了对偏移 的变换的加权。Rusanovsky 等人在 D. Rusanovsky and K. Egiazarian “ Video Denoising Algorithm in Sliding 3D DCT domain, " Institute of Signal Processing, Tempere University of Technology, Finland，2005 中描述了使用与 Nosratinia 的静止图像解块 方法类似的方案的用于对视频去噪的方法。与Nosratinia的方法中一样，Rusanovsky等 人使用了交叠的变换的平均。与包括了使用JPEG(并且可被类似地应用到MPEG)的变换、 量化、逆量化和逆变换的整个编码/解码链的Nosratinia不同，Rusanovsky等人描述了在 变换域中执行的阈值处理过程，从而避免了量化和逆量化操作和Nosratinia由此而产生 的伪影。Rusanovsky等人还描述了使用向2D空间维度添加时间维度的3DDCT。非均一加 权被应用来产生经阈值处理的图像的平均。Rusanovsky等人的去噪滤波器被称为滑动窗口 DCT(SWDCT)滤波器。图1示出 SWDCT去噪滤波器的实施例的简化框图。用P表示大小为mXn的输入图片。假定图像被 分解成8X8块。用(i，j)表示8X8像素块在图片P中的位置。在SWDCT的一种实现方式 中，首先利用离散余弦变换器(DCT) 103来变换8X8像素块。DCT阈值处理器105被配置为仅考虑高于预先选择的阈值的DCT系数。在实践中，这实质上消除了较高频率的系数，因 此也消除了噪声。逆DCT变换器107生成消除了高频的块的像素。权重计算器109被配置 成为来自阈值处理器105的每个经阈值处理的DCT计算权重，并且乘法器111被配置为将 经逆DCT的值乘以计算出的权重因子。结果被累积在累积缓冲器113中。这个过程对于从 向左4个像素到向右3个像素的图片P的偏移版本重复，并且在垂直方向上也类似地重复 (例如利用控制器)。因此，每个像素将经历64个不同的滤波版本(原始的加上7个不同 的水平偏移乘以原始的加上7个不同的垂直偏移)，这些版本被累积在累积缓冲器113中。 累积缓冲器从而将包含经滑动阈值处理的DCT(被逆变换到像素)的加权平均。注意，图1是简化框图，其中省略了许多细节，以免模糊主要特征。因此，例如，控 制器不止耦合到块选择器103。另外，这些元件中的一个或多个通常可通过执行被编码在存 储器和/或其他计算机可读介质中并且被处理系统的一个或多个处理器执行的指令来实 现。图1示出了串行实现方式，其中对不同的偏移重复变换并且累积经逆变换的结 果。并行实现方式也是可能的，其中分开的变换单元对于不同的偏移并行运行，并且总和由 不同偏移的逆变换形成，其中对于非方向性去噪逆变换数据形成加权和。对于不同的水平和垂直偏移执行正向变换、例如通过量化或阈值处理选择值、然 后进行逆变换并且对不同偏移的结果进行组合的方法和装置被称为交叠正向变换。注意，在Nosratinia和Rusanovsky等人的滤波器中，与(0，0)偏移位置-即水平 零偏移且垂直零偏移-相对应的滑动变换在解块/解块过程中的贡献是相等的。这在唯一 的焦点是去噪的Rusanovsky等人中是可理解的。然而，对于解块，(0，0)变换起到加强输 入视频的像素值的作用，从而保留了块化并且还可能对块化增强做出贡献。在本发明的一 个实施例中，如下所述，使(0，0)变换不对解块的过程做出贡献。解块和去噪滤波器图2示出了实现集成的解块和去噪滤波器的装置200的实施例的简化框图。此滤 波器包括水平方向性选择正向变换器205和垂直方向性选择正向变换器207，它们被配置 为分别帮助在水平和垂直方向上对图像数据解块。在一个实施例中，对变换的选择是根据 解块选择级别来进行的。该选择是要选择经变换的值之中的重要值。选择的一个示例是进 行阈值处理以仅选择具有高于预定的(例如可设定的)值的幅度的变换值。也可使用其他 选择过程，例如量化、舍入等等。总体思想是选择具有重要值的变换系数。变换大体上是一 个可分离的阈值，其可被分割成一个方向上(例如水平或垂直)的一维变换，一个方向上的 选择过程，例如阈值处理过程，以及另一方向上的一维变换。该变换将变换到是或者类似于 空间频率的域。示例包括离散余弦变换、傅立叶变换、哈达马得变换、哈尔变换、近似于离散 余弦变换的整数变换(例如在H. 264/AVC压缩方法中使用的变换或其更大的例如8X8版 本)、小波变换，等等。有关可在没有乘法的情况下实现的8X8类DCT整数变换的描述，请 例如参见以上提及的 Samadini 等人的文章“Deringing and deblocking DCT compression artifacts with efficient shifted transforms，，。这些变换器205、207被应用到由块提取器203提取的像素块，该块提取器203被 配置为提取/选择像素块，例如nXn像素，其中η表示整数，例如8或16。例如，利用控制 器231，通过使块在水平和垂直位置上的位置(表示为(i，j))偏移，来对多个交叠的块，例如对从向左4个像素到向右3个像素的块，执行对像素块的操作，并且在垂直方向上执行类 似的操作。一般地，对于nXn块，一个实施例包括对于被表示为P的图像中的η个水平位 置和η个垂直位置、总共η2个位置执行操作。对于从根据诸如MPEG、JPEG、H. 264/AVC或某 种其他标准或非标准方法之类的基于块的编码方法编码的压缩形式解码的经解码图像，η 匹配块大小，块的位置被配置为对应于该编码方法的块。该装置包括被配置为对水平方向性选择正向变换器205的输出进行逆变换的逆 变换器213和被配置为对于每个像素累积经逆变换的水平选择的变换数据的结果的水平 累积缓冲器221，从而使得在对偏移的块执行操作之后，水平累积缓冲器221中的每个像素 包含与经逆变换的水平选择的变换数据的非加权平均成比例的值。该缓冲器充当水平组合 器，其耦合到水平逆变换器并被配置为针对水平边缘形成块的交叠的偏移的逆变换数据的 组合。该装置还包括被配置为对垂直方向性选择正向变换器207的输出进行逆变换的逆变 换器215和被配置为对于每个像素累积经逆变换的垂直选择的变换数据的结果的垂直累 积缓冲器223，从而使得在对偏移的块执行操作之后，垂直累积缓冲器223中的每个像素包 含与经逆变换的垂直选择的变换数据的非加权平均成比例的值。该缓冲器充当垂直组合 器，其耦合到垂直逆变换器并被配置为针对垂直边缘形成块的交叠的偏移的逆变换数据的 组合。该装置还包括去噪滤波器209，其被配置为帮助根据去噪级别对图像数据去噪。一个实施例还包括边缘检测器/分类器219，用于检测图像数据的块中的边缘，以 提供对像素的分类，即它是边缘特征、块边缘，还是既非块边缘也不是边缘特征。累积的输 出和边缘检测器/分类器输出在局部适应子系统229中被处理以提供依边缘而定的滤波， 以便使边缘保持锐利。局部适应子系统2 被配置为根据像素的位置在解块模式和去噪模 式之间切换，从而使得对于块边缘区域中的像素发生解块。适应子系统2 根据取决于像 素位置的模式选择输入来选择模式。图2示出了串行实现方式，其中对不同的偏移重复变换并且累积经逆变换的结 果。并行实现方式也是可能的，其中分开的变换单元对于不同的偏移并行运行，并且总和由 不同偏移的逆变换形成，其中对于非方向性去噪逆变换数据形成加权和。图3示出了实现集成的解块和去噪滤波器的装置300的一个实施例的简化框图。 装置300是图2所示的装置的特定实现方式。此滤波器包括被配置为帮助对图像数据解块 的垂直方向性阈值处理正向变换器305和水平方向性阈值处理正向变换器307、被配置为 帮助对图像数据去噪的非方向性阈值处理正向变换器309。这些变换器305、307和309被应 用到由块提取器303提取的像素块，该块提取器303被配置为提取/选择像素块，例如ηXη 像素，其中η表示整数，例如8或16。例如，利用控制器331，通过使块在水平和垂直位置上 的位置(表示为(i，j))偏移，来对多个交叠的块，例如对从向左4个像素到向右3个像素 的块，执行对像素块的操作，并且在垂直方向上执行类似的操作。一般地，对于nXn块，一 个实施例包括对于被表示为P的图像中的η个水平位置和η个垂直位置、总共η2个位置执 行操作。对于从根据诸如MPEG、JPEG、H. ^4/AVC或某种其他标准或非标准方法之类的基于 块的编码方法编码的压缩形式解码的经解码图像，η匹配块大小，块的位置被配置为对应于 该编码方法的块。水平阈值处理变换305和垂直阈值处理变换307中的阈值处理是根据从被示为DEBLOCKING_FILT_LEVEL的量确定的可设定的阈值处理值进行的。非方向性阈值处理变换 309中的阈值处理是根据从被示为DENOISING_FILT_LEVEL的量确定的可设定的阈值处理 值进行的。变换大体上是一个可分离的阈值变换，其可被分割成一个方向上(例如水平或垂 直)的一维变换，阈值处理过程，以及另一方向上的一维变换。该变换将变换到是或者类似 于空间频率的域。一个实施例使用DCT。其他实施例使用其他变换。在一个实施例中，水平或垂直阈值处理变换还包括在另一方向上的第二个一维变 换之后的非方向性阈值处理。这样，解块滤波器也执行非方向性去噪。该装置包括被配置为对水平方向性阈值处理正向变换器305的输出进行逆变换 的逆变换器311和被配置为对于每个像素累积经逆变换的水平阈值处理变换数据的结果 的水平累积缓冲器321，从而使得在对偏移的块重复之后，水平累积缓冲器321中的每个像 素包含与经逆变换的水平阈值处理变换数据的非加权平均成比例的值。该装置还包括被配 置为对垂直方向性阈值处理正向变换器307的输出进行逆变换的逆变换器313和被配置为 对于每个像素累积经逆变换的垂直阈值处理变换数据的结果的垂直累积缓冲器323，从而 使得在对偏移的块重复之后，垂直累积缓冲器323中的每个像素包含与经逆变换的垂直阈 值处理变换数据的非加权平均成比例的值。该装置还包括被配置为对非方向性阈值处理正 向变换器309的输出进行逆变换的逆变换器315，以及为根据来自单元309的非方向性变 换数据确定权重的权重计算器317和用于对经逆变换的数据加权的加权单元。该装置还包 括非方向性累积缓冲器325，其也被称为噪声累积缓冲器325，其被配置为对于每个像素累 积加权后的经逆变换的非方向性阈值处理变换数据的结果，从而使得在对偏移的块重复之 后，噪声累积缓冲器321中的每个像素包含与经逆变换的非方向性阈值处理变换数据的加 权平均成比例的值。一个实施例还包括边缘检测器/分类器319，用于检测图像数据的块中的边缘。边 缘检测器/分类器使用在正向变换单元中产生的变换数据，因此与直接在像素域中工作的 边缘检测器相比在计算上更高效。在一个实施例中，边缘检测器/分类的输出包括对像素 是否是边缘特征以及如果不是则其是否是块边缘的分类。累积的输出和边缘检测器/分类器输出在局部适应子系统2 中被处理以提供依 边缘而定的滤波，以使边缘保持锐利并且允许根据像素的位置在解块模式和去噪模式之间 切换，从而使得对于块边缘区域中的像素发生解块。适应子系统2 根据取决于像素位置 的模式选择输入来选择模式。在本发明的一个实施例中，使(0，0)变换不对解块的过程做出贡献。与上述的“注意，在Nosratinia和Rusanovsky等人的滤波器中”的比较是令人感 兴趣的。在Nosratinia和Rusanovsky等人中，与(0，0)偏移位置-即水平零偏移且垂直 零偏移-相对应的滑动变换在解块/解块过程中的贡献是相等的。这在唯一的焦点是去噪 的Rusanovsky等人中是可理解的。然而，对于解块，(0，0)变换起到加强输入视频的像素 值的作用，从而保留了块化并且还可能对块化增强做出贡献。如上所述，在本发明的一个实 施例中，使(0，0)变换不对解块的过程做出贡献。图3示出了串行实现方式，其中对不同的偏移重复变换并且累积经逆变换的结 果。一个不同的实施例使用并行实现方式，其中分开的变换单元对于不同的偏移并行运行，并且总和由不同偏移的逆变换形成，其中对于非方向性去噪逆变换数据形成加权和。方法实施例图4示出了本发明的方法实施例的流程图。该方法用于减轻图像中的块化和/或 噪声，所述图像例如是从通过基于块的编码过程压缩的图像重建的图像。该方法包括，对 于图像数据的块，对于不同的水平和垂直偏移(包括无偏移)，执行以下步骤Gio)在403 中，根据偏移选择图像数据的块，在405中，通过形成水平选择的变换数据的正向水平选择 性变换和形成垂直选择的变换数据的正向垂直选择性变换，对该块进行方向性正向变换， 并且在407中，对水平选择的变换数据进行逆变换并且对垂直选择的变换数据进行逆变 换。正向水平选择性变换可以被分离成一个一维水平正向变换，然后是一个选择操作，例如 阈值处理，以选择一维变换值之中的重要值，然后是一个一维垂直正向变换。正向垂直选择 性变换可以被分离成一个一维垂直正向变换，然后是一个选择操作，例如阈值处理，以选择 一维变换值之中的重要值，然后是一个一维水平正向变换。该方法还包括在411中形成不同偏移的经逆变换的水平选择变换数据和经逆变 换的垂直选择变换数据的总和，以及在413中对图像数据的块进行滤波以形成经去噪的图 像数据的块，以及在415中对于图像数据的块中的每个像素位置，对图像进行检测/分类， 以就每个像素是否是边缘特征以及如果不是则是否是块边缘进行分类。步骤417包括根据 一个或多个标准来组合所累积的经解块的数据和经去噪的图像数据。装置中的计算机可读介质图5示出了包括本发明的计算机可读介质实施例的装置实施例500。该装置包括 处理系统503，该处理系统503包括一个或多个处理器。在图5的实施例中示出了一个处 理器。该处理系统还包括存储器507。该存储器的一部分用于实现一个或多个缓冲器，并 且一个图像缓冲器511在图5中示出。存储器507还包括程序指令513，这些程序指令513 在被处理系统执行时，使得一种减轻通过基于块的编码过程来压缩的图像中的块化伪影和 /或噪声的方法被执行。该方法例如是上文中以及图4的流程图中以及本文中别处所述的 那样。用于解块的方向性选择变换方向性阈值处理变换被配置为执行解块。在一个实施例中，方向性阈值处理变换 还被配置为执行去噪，从而使得对于适应子系统2 所选择的要被解块的像素，像素值也 被去噪。本发明的一个实施例使用DCT和逆DCT(IDCT)作为正向变换和逆变换。然而，本 发明并不限于这种变换，而是也可使用其他变换。例如，H. 264使用整数变换。一般属性是， 典型图像的较高频率具有许多小值系数，从而在仅选择高于幅度阈值的值的意义上进行的 量化或阈值处理消除了相对较小值(例如小于阈值或小于量化间隔)的较高频率系数。解块/去噪滤波器中的正向变换通过三个分开的过程被进行阈值处理。诸如DCT 及其他之类的变换可被实现为一个水平变换后跟一个垂直变换。即，当把由表示为χ的 nXn矩阵所表示的图像数据的ηXη块变换成由ηXη矩阵Y表示的变换块时，包括DCT变 换在内的许多变换可被表达为Y = AXAt (1)其中X是输入矩阵，并且A是在一个维度-水平-上的变换的矩阵。上标T表示矩阵转置，从而右乘以At就相当于在与A的方向正交的方向(在此情况下是垂直方向)上的ID变换。式(1)可被写为Y= (A X) At，以表明首先通过将nXn块X左乘以矩阵A来对X 进行水平变换，然后通过将水平结果右乘以At来对其进行垂直变换。或者，式(1)可被写为 Y = Α(Χ At),以表明首先通过将X右乘以矩阵At来对X进行垂直变换，然后通过将经垂直 变换的数据左乘以A来对其进行水平变换。对于先水平后垂直，令Thx = A X，从而Y = ThxΑτ。然后，通过在将Thx右乘以乂之前进行阈值处理，可以实现Y的水平阈值处理版本。通过设定Tvx = X At以使得Y = A Tvx并且在将Tvx左乘以A之前进行阈值处理， 对于垂直方向性阈值处理得到类似的结果。水平阈值处理变换器205和垂直阈值处理变换器207的阈值处理包括分别根据如 下的式( 和C3)来从输入像素块X产生经阈值处理的变换块\和& Yh = ThH (Thx) At (2)Yv = A Thv (Tvx) (3)其中ThH( ·)和Thv( ·)分别表示水平和垂直阈值处理操作。这些操作被选择来 分别实现水平和垂直解块。即，阈值处理操作仅选择具有大于预定的阈值的幅度的系数。较 小的系数被滤掉。本发明不限于选择任何特定的阈值量。在一个使用8X8块和DCT的实施例中， 做出以下考虑。ID-DCT用sqrt (8)(大约为2. 88)对输入进行缩放。从而，具有最大DC值 255(8比特)的像素块具有大约721的最大值。为了进行滤波并且留下良好的视觉细节，一 个实施例允许大约36的峰值信号噪声比(PSNR)，这导致了为4的许可误差(在255的尺度 上)。当用sqrt (8)来缩放时，这导致了为11的阈值(到整数精度)。其他实施例使用其 他阈值处理值。水平阈值处理变换器205和垂直阈值处理变换器207的一些实施例还包括非方向 性去噪。利用这种变换器，在像( 和(3)中那样执行了方向性阈值处理操作之后，对块进 行进一步阈值处理以便降低噪声。Ynh = ThN(YH) (4)YNV = TIiN(YV) (5)其中ThN( ·)表示被选择来实现去噪的非方向性阈值处理操作。即，阈值处理操 作仅选择具有大于预定的阈值的幅度的系数。较小的系数被滤掉。如上所述，每个方向性 阈值处理变换被逆变换器211和213进行逆变换，并且被累积在缓冲器221和223中。发明人发现，对于8X8块，利用DCT，对于非方向性阈值处理，为最大值的 4/255 (即大约为最大值的1. 45% )的阈值带来了良好的结果。通过非方向性阈值处理变换进行去噪此外，非方向性变换器209被配置为以非方向性的方式来进行阈值处理。虽然一 个实施例使用与方向性变换器205和207相同的变换，但是一般地，对于非方向性变换器 209可以使用不同的变换。对于像DCT这样的可以按可分离的方式(例如，先垂直后水平， 或者反之)应用的变换，被表示为X的图像数据的nXn块的被表示为V的变换可被写为Y' =A' XA' τ (6)
其中A'不一定等于A，但在一些实施例中与A相同。非方向性阈值处理变换器209的阈值处理包括如下产生被表示为Yn的经阈值处 理的变换块Yn = ThN(Y' ) (7)其中ThN( ·)表示被选择来实现去噪的非方向性阈值处理操作。在一个实施例中， 在非方向性变换器209和方向性变换器205和207中使用相同的去噪阈值操作。发明人发现，对于8X8块，利用DCT，对于非方向性阈值处理，为最大值的 4/255 (即大约为最大值的1. 45% )的阈值带来了良好的结果。如上所述，非方向性阈值处理变换数据对于不同的偏移被加权。在每个像素处，水平累积缓冲器221表示经水平滤波和噪声滤波的像素，并且垂 直累积缓冲器223表示经垂直滤波和噪声滤波的像素。非方向性累积缓冲器(也称为噪声 累积缓冲器)225表示仅经噪声滤波的像素。这些缓冲器中的每一个被输入到局部适应子系统229中。利用交叠的变换和方差图进行的边缘检测/分类本发明的一个实施例还包括边缘检测/分类以保留图像中的至少一些边缘可见 性。图像中的边缘检测的许多方法是已知的。它们从例如在私0 Nie ；Hao-Song Kong ； Vetro, A. ；Huifang Sun ；Bamer, K. E. “ Fast adaptive fuzzy post-filtering for coding artifacts removal in interlaced video," IEEE International Conference on Acoustics, Speech, and Signal Processing,2005 (ICASSP' 05), Volume 2,18_23March 2005，Page(s) :ii/993_ii/996中描述的简单的基于方差的边缘检测到诸如Canny，J. F A computational approach to edge detection. " IEEE Trans Pattern Analysis and Machine Intelligence, Vol. 8，No. 6，Pages :679-698, Nov 1986 中描述的 Canny 边缘检测 器之类的更复杂的方法不等。本发明的一个实施例使用这样一种边缘检测器/分类器其将基于方差的边缘检 测与基于变换的边缘检测相组合，利用来自用于解块和/或去噪的变换器的变换结果。结 果是简单但可靠的边缘检测器。已知可以从DCT的输出来近似Sobel边缘检测操作符。例如参见Chung-Bin Wu ；Bin-Da Liu ；Jar-Ferr Yang “ Adaptive postprocessors with DCT-based block classifications, " IEEE Transactions on Circuits and Systems for Video Technology, Volume 13，Issue 5，May 2003，Page (s) :365_375。在这个 Wu 等人的论文中， 边缘检测是用于解码过程内的解块的应用。基于DCT的边缘检测用于找到沿着块的水平或 垂直边缘。然而这与这里描述的应用不同。然而mi等人的方法对于这里的解块/去噪应用具有有用的方法。在一个实施例中，水平χ和垂直y方向上的梯度可被近似为Gx =2. 88F(0，1)+F(0，3)Gy =2. 88F(1，0)+F(3，0)其中F( ·，·)表示图像数据的8X8块的DCT。边缘检测的一个示例类似于上述Chung-Bin Wu等人的论文中提出的那种并且包括对X和1方向上的梯度的总和进行阈值处理E(i, j) = Edge，如果 abs(Gx) +abs(Gy) > Th (6)其中Th表示可设定的阈值，并且(i，j)表示被使用DCT的图像数据的块的位置。 从而，E(i，j)是针对8X8块的。从而，当E(i，j)检测到边缘时，块被认为是边缘特征块。在组合的解块/去噪滤波器中，边缘检测器/分类器包括以下能力·对于每一个像素，边缘检测器/分类器生成对于该像素是否是边缘特征并从而 应当被保留的指示。边缘特征不太可能是伪影。·对于每一个像素，边缘检测器/分类器生成对于该像素是否是潜在的水平边缘 或垂直边缘的指示，这种潜在的水平边缘或垂直边缘是潜在的块化伪影。为了实现这一点，边缘检测器/分类器被配置为计算每个像素的局部方差，并且 累积每个像素处的式(6)的基于DCT的边缘检测。对于每一个像素，如果局部方差超过边 缘特征方差阈值并且如果检测到的边缘特征块的数目超过边缘特征数目阈值，则声明特征 边缘。即，像素位置(i，j)被分类为边缘特征像素，如果V(i，j) > Th_Var_edge，并且(7b)N_DCT_EDGE(i，j) > TDCT_Edge, (7a)其中V(i，j)表示图片中的像素(i，j)处的局部方差，N_DCT_EDGE(i, j)是像素 (i，j)处的根据使用DCT来确定(i，j)处的块是特征边缘的式(6)检测到了特征边缘的滑 动窗口 DCT的数目。Th_Var_edge是可设定的边缘特征方差阈值，并且TDCT_Edge是可设定 的边缘特征数目阈值。在一个实施例中，局部方差是在像素周围的小方窗口(例如3X3窗 口)中计算的。对于8X8块，适当的边缘特征方差阈值的一个示例是Th_Var_Edge = 40， 并且边缘特征数目阈值的一个示例是TDCT_Edge = 30。注意，利用如图3所示的结合8X8 块的装置，并且利用滑动DCT，即在每个方向上有8个不同的偏移值(包括不偏移)的正向 滤波，则在每个像素处有64个构成累积的缓冲器的滑动窗口 DCT。与mi等人的方法的比较是值得注意的。在mi等人中，每个像素的边缘检测结果 被聚集成图像上的变换(例如，DCT)的滑动。mi等人依赖于一个DCT的结果，因此所有检 测都应用于整个块。在本发明的实施例中则不一定是这样。对于未被分类为特征边缘的每一个像素，在一个实施例中，这种非特征边缘像素 被分类为块边缘特征，如果该像素局部方差超过块边缘方差阈值，并且检测到的边缘特征 块的数目超过块边缘数目阈值的话。即，如果V(i，j) > Th_Block_edge，并且(8a)N_DCT_EDGE(i，j) > TDCT_Block_Edge,(8b)其中Th_BloCk_edge是可设定的块边缘方差阈值，并且TDCT_Bl0ck_Edge是可设 定的块边缘数目阈值。如果式(8a)和(8b)成立，则像素被进一步分类为水平或垂直块化 边缘，如果它沿着块边界并且沿着同一块的边界有至少一定数目(表示为k)的相邻像素也 被这样分类的话。k的示例值是k = 2。在应用条件(7a)、(7b)、(8a)和(8b)之后，边缘检测器/分类器将图片中的每个像素分类成以下五种可能的分类之一⑴非边缘。(ii)特征边缘。(iii)水平块化边缘。(iv)垂直块化边缘。(ν)既垂直/亦水平块化边缘。用Po(i，j)表示滤波前的原始图片，并且将边缘检测器/分类器输出表示为 class (Po (i，j))，则可能的输出为class(Po(i， j)) = no edge，class(Po(i， j)) = feature edge,class(Po(i，j)) = vertical_blocking_edge ，class(Po(i，j)) = horizontal— blocking_edge,或者class(Po(i， j)) = horizontal_vertical_blocking_edge。边缘检测器对于每个像素的输出是被输入到接下来描述的局部适应功能中的分类。局部适应局部适应子系统2 可操作来根据一个或多个标准组合所累积的经解块的数据、 经去噪的图像数据以及检测到的边缘分类。局部适应例如确定装置200(或300)执行了 哪种滤波解块、去噪，或者既解块又去噪。该装置能够执行这种滤波的许多组合。在一个 版本中，该装置可以在两种模式之一中工作，所述两种模式是解块和去噪，或者仅去噪，这 种模式分别被表示为 DEBL0CKING_DEN0ISING_M0DE 和 DENOISING_M0DE，其中 DEBL0CKING_ DEN0ISING_M0DE 和 DEN0ISING_M0DE 中的每一个是二元值量。当切换到 DEBL0CKING_ DEN0ISING_M0DE = 1时，根据像素是否在块边界上来选择来自水平或垂直累积缓冲器的输 出。如果像素在角落中(既在水平边界上又在垂直边界上)，则为该像素选择噪声累积缓冲 器。在DEN0ISING_M0DE = 1中，只选择噪声累积缓冲器。在DEBL0CKING_DEN0ISING_M0DE中，位置(i，j)处的最终经滤波的像素由下式给 出Pf(i,j) = aPo(i, j) + (l-a)Ps(i, j)(9)其中Ps (i，j)表示如上所述来自所选的累积缓冲器的像素，Po(i, j)表示输入图 片p(i，j)中的原始的未经滤波的像素，Pf (i，j)表示最终经滤波的像素，并且α是加权因 子，其被表达为0到1之间的值。在一个实施例中，在DEBL0CKING_DEN0ISING_M0DE中，加权因子α是如下确定 的a)DEBL0CKING_DEN0ISING_M0DE 和 DEN0ISING_FILT_LEVEL = 0α = 0 class (Po (i, j)) = feature edge.OR.class (Po (i, j)) = no edge.OR.Po (i，j)不在块边界上。
α = a_default，预定的默认值class(Po(i, j)) = vertical_blocking_edge.OR.class(Po(i, j)) = horizontal_blocking_edge.OR.class (Po) = horizontal_vertical_blocking_edge.AND.Po (i，j)在块边界上。其中claSS(·)表示如上所述的边缘检测/分类器功能的输出，并且b) DEBL0CKING_DEN0ISING_M0DE 和 DEN0ISING_FILT_LEVEL 不等于 0α = 0 class (Po) = feature edge.α = a_default，预定的默认值class(Po)=其他·其中class ( ·)是如上所述的边缘检测功能的输出。在DEN0ISING_M0DE中，加权因子α是如下确定的α = 0 class (Po) = feature edge.α = a_default，预定的默认值其他.其中在一个示例中，a_default = 1.0从而，组合的解块/去噪滤波器装置以及解块和去噪的方法已被描述并且可应用
于静止图像和数字视频，尤其可应用于从如下数据解码的图像该数据是通过基于块例如 基于变换的图像编码方法来编码的。一些实施例包括以下特征·经由方向性阈值处理交叠变换进行的水平和垂直滤波。·使用组合的交叠变换和局部方差的边缘检测，具有针对解块和去噪的像素分类。·根据像素类型、针对解块和/或去噪的局部适应。一般在一个实施例中，一种计算机可读介质被编码有指令，所述指令在被例如图5所 示的滤波器装置中的处理系统的一个或多个处理器运行时使得装置执行这里描述的任何 方法。一个实施例采取被编码在一个或多个有形介质中以供运行并且在被运行时可操 作来执行这里描述的任何方法的逻辑的形式。一个实施例采取被编码在一个或多个计算机 可读介质中并且在被运行时可操作来执行这里描述的任何方法的软件的形式。除非另有具体指明，从以下论述中清楚可见，可以明白在整个说明书中，使用诸如 “处理”、“计算”、“确定”等等之类的术语的论述指的是计算机或计算系统或类似的电子计算 设备的把被表示为物理量(例如电子量)的数据操纵和/或变换成被类似地表示为物理量 的其他数据的动作和/或处理。类似地，术语“处理器”可以指处理例如来自寄存器和/或存储器的电子数据以将该电子数据变换成例如可被存储在寄存器和/或存储器中的其他电子数据的任何设备或 设备的一部分。“计算机”或“计算机器”或“计算平台”可包括一个或多个处理器。注意，当描述包括若干个要素(例如若干个步骤)的方法时，除非明确指明，否则 没有暗示这种要素(例如步骤)的顺序。这里描述的方法在一个实施例中可由一个或多个处理器运行，这些处理器接受被 编码在一个或多个计算机可读有形介质上的计算机可读(也称为机器可读)逻辑，其中编 码了一组指令，所述指令在被一个或多个处理器运行时执行这里描述的方法中的至少一 种。包括任何能够运行规定要采取的动作的一组指令(顺序的或其他方式的)的处理器。 从而，一个示例是包括一个或多个处理器的典型处理系统。每个处理器可包括CPU、图形处 理单元和可编程DSP单元中的一个或多个。处理系统还可包括存储器子系统，该存储器子 系统包括RAM和/或静态RAM和/或ROM。可包括总线子系统，用于组件之间的通信。处理 系统也可以是分布式处理系统，其中处理器通过网络耦合。如果处理系统需要显示器，则可 以包括这种显示器，例如液晶显示器(LCD)或者阴极射线管(CRT)显示器。如果需要手工 数据输入，则处理器还包括输入设备，例如字母数字输入单元(例如键盘)和点选控制设备 (例如鼠标)等等中的一个或多个。如果从上下文清楚可见并且如果没有另外明确指明，则 这里使用的术语“存储器单元”也包含诸如盘驱动单元之类的存储系统。处理系统在一些 配置中可包括声音输出设备，以及网络接口设备。存储器子系统从而包括计算机可读承载 介质，该介质承载逻辑(例如软件)，该逻辑包括一组指令，以在被一个或多个处理器运行 时使得执行这里描述的一个或多个方法。软件可以驻留在硬盘中，或者也可以在被计算机 系统运行期间完全或部分地驻留在RAM内和/或处理器内。从而，存储器和处理器也构成 其上编码有逻辑(例如，采取指令的形式)的计算机可读承载介质。另外，计算机可读介质可以形成或者被包括在计算机程序产品中。在替换实施例中，一个或多个处理器作为独立的设备操作或者可以在联网部署中 被连接(例如联网)到其他(一个或多个)处理器，该一个或多个处理器可以在服务器-客 户端网络环境中作为服务器或者作为客户机操作，或者在对等或分布式网络环境中作为对 端机器操作。该一个或多个处理器可形成个人计算机(PC)、平板PC、机顶盒(STB)、个人数 字助理(PDA)、蜂窝电话、web器具、网络路由器、交换机或网桥、或者任何能够运行一组指 令(顺序的或其他形式的)的机器，所述指令规定了该机器可采取的动作。注意，虽然一些附图仅示出了单个处理器和承载包括指令的逻辑的单个存储器， 但本领域的技术人员将理解，上述许多组件被包括，但未被明确示出或描述，以免模糊创造 性方面。例如，虽然只示出了单个机器，但是术语“机器”应当被理解为包括单独或联合运 行一组(或多组)指令以执行里论述的任何一个或多个方法的机器的任何集合。从而，这里描述的每个方法的一个实施例采取介质的形式，在该介质中编码有一 组指令，例如计算机程序，用于在一个或多个处理器(例如作为编码系统的一部分的一个 或多个处理器)上运行。从而，正如本领域的技术人员将明白的，本发明的实施例可被体现 为方法、诸如专用装置之类的装置、诸如数据处理系统之类的装置、或者介质(例如计算机 程序产品)。计算机可读介质承载包括一组指令的逻辑，所述指令当在一个或多个处理器上 被运行时使得包括该一个或多个处理器的装置实现方法。从而，本发明的各方面可以采取 方法的形式、完全硬件的实施例的形式、完全软件的实施例的形式、或者组合软件和硬件方面的实施例的形式。另外，本发明可以采取承载被包含在介质中的计算机可读程序代码的 介质(例如计算机可读存储介质上的计算机程序产品)的形式。虽然介质在示例性实施例中被示为单个介质，但是术语“介质”应当被理解为包括 存储一组或多组指令的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联 的缓存和服务器)。术语“介质”还应当被理解为包括任何能够存储、编码一组指令的介质， 所述指令供一个或多个处理器运行，并且使得该一个或多个处理器执行本发明的任何一个 或多个方法。介质可以采取许多形式，包括有形存储介质。非易失性介质例如包括光盘、磁 盘和磁光盘。易失性介质包括动态存储器，例如主存储器。例如，术语“介质”应当相应地 被理解为包括但不限于固态存储器、包含在光介质和磁介质中的计算机产品。要理解，所论述的方法的步骤在一个实施例中是由运行存储在存储装置中的指令 的处理(即计算机)系统的适当的一个处理器(或多个处理器)执行的。还要理解，本发 明并不限于任何特定的实现方式或编程技术，并且本发明可以利用任何适当的用于实现这 里描述的功能的技术来实现。本发明并不限于任何特定的编程语言或操作系统。整个本说明书中提及“一个实施例”或“实施例”指的是结合该实施例描述的特定 特征、结构或特性被包括在本发明的至少一个实施例中。从而，在本说明书中各处出现短语 “在一个实施例中”或“在实施例中”不一定都指的是同一实施例，而可以。另外，在一个或 多个实施例中，正如本领域的普通技术人员根据本公开将清楚的，可以按任何适当的方式 来组合特定的特征、结构或特性。类似地，应当明白，在以上对本发明的示例性实施例的描述中，本发明的各种特征 有时被一起聚集在单个实施例、附图或对其描述中，以便使本公开更精简并且帮助理解各 种创造性方面中的一个或多个。然而，这种公开方法不应当被解释为反映了这样一种意图 即，要求保护的发明需要比每个权利要求中明确记载的更多的特征。而是，如以下权利要求 所反映的，创造性方面存在于以上公开的单个实施例的非全部特征中。从而，“具体实施方 式”部分之后的权利要求特此被明确结合到此“具体实施方式
”部分中，其中每个权利要求 独立作为本发明的一个单独实施例。另外，虽然这里描述的一些实施例包括其他实施例中包括的一些特征但不包括其 他特征，但是不同实施例的特征的组合意欲在本发明的范围内，并且形成不同的实施例，这 是本领域的技术人员要理解的。例如，在以下权利要求中，可以以任何组合来使用任何要求 保护的实施例。另外，一些实施例在这里被描述为可由计算机系统的处理器或者其他实现功能的 手段来实现的方法或方法的要素的组合。从而，具有用于实现这种方法或方法的要素的必 要指令的处理器形成用于实现方法或方法的要素的手段。另外，这里描述的装置实施例的 要素是用于实现该要素为了实现本发明而执行的功能的手段的示例。在这里提供的描述中，阐述了许多具体细节。然而，要理解，没有这些具体细节也 可以实现本发明的实施例。在其他实例中，没有详细示出公知的方法、结构和技术，以免模 糊对本描述的理解。除非另有指明，就这里的使用而言，当使用序数形容词“第一”、“第二”、“第三”等 等来描述共同的对象时，只是表明称呼相似对象的不同实例，而并不意欲暗示这样描述的 对象必须按照给定的顺序，无论是时间上的、空间上的、排名上的还是以其他任何方式的顺序。还应当明白，虽然已在从通过使用DCT的压缩方法(例如MPEG-2)编码的数据确 定的数据的上下文中描述了本发明，但是本发明并不限于这种上下文中，而是可以用于各 种其他应用和系统中，例如用于使用H. ^4/AVC或者其他压缩媒体流的系统中，无论是否 符合公开的标准。另外，本发明不限于任何一类网络体系结构和封装方法，从而可以结合其 他网络体系结构/协议中的一种或其组合来使用。特此通过引用并入这里引述的所有公布、专利和专利申请。本说明书中任何对现有技术的论述都绝不应当被认为是承认了这样的现有技术 是广泛已知的、是公众已知的、或者形成本领域的一般知识的一部分。在以下权利要求和这里的描述中，术语“包括”、“由...构成”和“其...包括”中 的任何一种是开放术语，其意味着包含其后跟随的要素/特征，但不排除其他的。从而，当 在权利要求中使用时，术语“包括”不应当被解释为限于其后列出的装置或要素或步骤。例 如，“包括A和B的设备”这一表述的范围不应当限于仅由元件A和B构成的设备。这里使 用的术语“包含”或“其包含”中的任何一个也是开放术语，其也意味着至少包含跟随该术语 之后的要素/特征，但不排除其他的。从而，包含是包括的同义词，并且其含义就是包括。类似地，要注意，当在权利要求中使用时，术语“耦合”不应当被解释为仅限于直接 连接。术语“耦合”和“连接”及其派生词可以被使用。应当理解，这些术语并不意欲作为 彼此的同义词。从而，“设备A耦合到设备B”这个表述的范围不应当限于其中设备A的输 出直接连接到设备B的输入的设备或系统。它意味着在A的输出和B的输入之间存在一条 路径，该路径可以是包括其他设备或装置的路径。“耦合”可以意指两个或更多个元件发生 直接物理或电气接触，或者两个或更多个元件没有相互直接接触，但仍相互合作或交互。从而，虽然已经描述了所认为的本发明的优选实施例，但是本领域的技术人员将 会认识到，可以对其进行其他和进一步的修改，而不脱离本发明的范围，并且意欲要求保护 所有落在本发明的范围内的这种变化和修改。例如，以上给出的任何公式只是代表了可以 使用的过程。可以向框图中添加或从中删除功能，并且可以在功能块之间互换操作。在本 发明的范围内，可以向所描述的方法添加或从中删除步骤。
权利要求
1.一种减轻通过基于块的编码过程来压缩的图像中的块化伪影和/或噪声的方法，该 方法包括对于图像数据的块，对于包括在一个或两个方向上无偏移在内的不同的水平和垂直偏移根据偏移选择图像数据的块，通过用于形成水平选择的变换数据的正向水平选择变换和用于形成垂直选择的变换 数据的正向垂直选择变换，对块进行方向性正向变换，所述正向水平选择变换可分离成一 维水平正向变换，然后是用于选择一维变换值之中的重要值的方向性选择操作，然后是一 维垂直正向变换，所述正向垂直选择变换可分离成一维垂直正向变换，然后是用于选择一 维变换值之中的重要值的方向性选择操作，然后是一维水平正向变换；并且对水平选择的变换数据进行逆变换并且对垂直选择的变换数据进行逆变换； 形成不同偏移的经逆变换的水平选择变换数据和经逆变换的垂直选择变换数据的组合；对图像数据的块进行滤波以形成经去噪的图像数据的块；以及 对于图像数据的块中的每个像素位置，根据一个或多个标准来组合所形成的组合数据 和经去噪的图像数据。
2.如权利要求1所述的方法，其中对图像数据的块进行滤波以形成经去噪的图像数据 的块的步骤包括对于图像数据的块的每个位置，对于包括无偏移在内的不同的水平和垂直偏移，重复通过用于形成非方向性选择的变换数据的正向非方向性选择性变换对块进行正向变 换，其中所述非方向性选择性变换包括用于选择变换值之中的重要值的非方向性选择操 作；对非方向性选择的变换数据进行逆变换；并且 为非方向性选择的变换数据确定加权因子；以及形成经逆变换的非方向性选择变换数据的加权组合，加权是按所确定的各加权因子来 进行的。
3.如权利要求2所述的方法，其中每个方向性选择操作包括用于选择具有高于可设定 的方向性阈值的幅度的值的阈值处理，并且非方向性选择操作包括用于选择具有高于可设 定的非方向性阈值的幅度的值的阈值处理。
4.如权利要求1所述的方法，还包括检测边缘以判定每个像素是边缘特征、块边缘还 是非边缘特征非块边缘像素，其中，所述组合包括根据数据是被分类为边缘特征的像素的数据还是被分类为块边缘 的像素的数据还是被分类为非边缘特征非块边缘像素的数据，来组合所形成的组合数据和 经去噪的图像数据。
5.如权利要求4所述的方法，其中，对于一像素位置的边缘检测使用该像素位置的从 正向变换数据获得的梯度信息和计算出的局部方差。
6.如权利要求1所述的方法，其中，所述正向水平选择变换包括在一维垂直正向变换 之后的非方向性选择操作，并且所述正向垂直选择变换包括在一维水平正向变换之后的非方向性选择操作，从而使得垂直选择的变换数据和水平选择的变换数据包括去噪。
7.如权利要求1所述的方法，其中，每个选择操作包括用于选择具有高于可设定的值 的幅度的值的阈值处理。
8.如权利要求1所述的方法，其中，所述正向水平选择变换可分离成水平方向上的一维离散余弦变换，然后是方向 性选择操作，然后是垂直方向上的一维离散余弦变换，并且其中，所述正向垂直选择变换可分离成垂直方向上的一维离散余弦变换，然后是方向 性选择操作，然后是水平方向上的一维离散余弦变换。
9.如权利要求1所述的方法，其中，所述正向水平选择变换和所述正向垂直选择变换中的每个一维变换是由以下变 换构成的变换集合中的一种类似于离散余弦的整数变换、哈尔变换、傅立叶变换、小波变 换。
10.一种减轻通过基于块的编码过程来压缩的图像中的块化和/或噪声的方法，该方 法包括利用交叠正向方向性变换来对所述图像进行解块，所述交叠正向方向性变换包括用于 跨水平和垂直边界进行滤波的方向性阈值处理；利用交叠正向非方向性变换来对所述图像去噪，所述交叠正向非方向性变换包括非方 向性阈值处理；进行边缘检测，以就各个像素是否属于边缘特征来对其进行分类，通过针对像素是否在块边界中和/或是否包括边缘特征进行局部适应，来生成输出像素，其中，所述边缘检测使用交叠正向变换和局部方差计算。
11.如权利要求10所述的方法，其中，所述正向方向性变换和正向非方向性变换是离散余弦变换。
12.如权利要求10所述的方法，每个正向方向性变换或正向非方向性变换是由以下变 换构成的变换集合中的一种类似于离散余弦的整数变换、哈尔变换、傅立叶变换、小波变 换。
13.一种计算机可读介质，其上编码有指令，所述指令在被处理系统的一个或多个处理 器运行时执行减轻通过基于块的编码过程来压缩的图像中的块化伪影和/或噪声的方法， 该方法包括对于图像数据的块，对于包括在一个或两个方向上无偏移在内的不同的水平和垂直偏移根据偏移选择图像数据的块，通过用于形成水平选择的变换数据的正向水平选择变换和用于形成垂直选择的变换 数据的正向垂直选择变换，对块进行方向性正向变换，所述正向水平选择变换可分离成一 维水平正向变换，然后是用于选择一维变换值之中的重要值的方向性选择操作，然后是一 维垂直正向变换，所述正向垂直选择变换可分离成一维垂直正向变换，然后是用于选择一 维变换值之中的重要值的方向性选择操作，然后是一维水平正向变换；并且对水平选择的变换数据进行逆变换并且对垂直选择的变换数据进行逆变换；形成不同偏移的经逆变换的水平选择变换数据和经逆变换的垂直选择变换数据的组合；对图像数据的块进行滤波以形成经去噪的图像数据的块；以及 对于图像数据的块中的每个像素位置，根据一个或多个标准来组合所形成的组合数据 和经去噪的图像数据。
14.如权利要求13所述的计算机可读介质，其中对图像数据的块进行滤波以形成经去 噪的图像数据的块的步骤包括对于图像数据的块的每个位置，对于包括无偏移在内的不同的水平和垂直偏移，重复通过用于形成非方向性选择的变换数据的正向非方向性选择性变换对块进行正向变 换，其中所述非方向性选择性变换包括用于选择变换值之中的重要值的非方向性选择操 作；对非方向性选择的变换数据进行逆变换；并且 为非方向性选择的变换数据确定加权因子；以及形成经逆变换的非方向性选择变换数据的加权组合，加权是按所确定的各加权因子来 进行的。
15.如权利要求14所述的计算机可读介质，其中每个方向性选择操作包括用于选择具 有高于可设定的方向性阈值的幅度的值的阈值处理，并且非方向性选择操作包括用于选择 具有高于可设定的非方向性阈值的幅度的值的阈值处理。
16.如权利要求13所述的计算机可读介质，其中，所述方法还包括检测边缘以判定每个像素是边缘特征、块边缘还是非边缘特征 非块边缘像素，并且其中，所述组合包括根据数据是被分类为边缘特征的像素的数据还是被分类为块边缘 的像素的数据还是被分类为非边缘特征非块边缘像素的数据，来组合所形成的组合数据和 经去噪的图像数据。
17.如权利要求13所述的计算机可读介质，其中，对于一像素位置的边缘检测使用该 像素位置的从正向变换数据获得的梯度信息和计算出的局部方差。
18.如权利要求13所述的计算机可读介质，其中，所述正向水平选择变换包括在一维 垂直正向变换之后的非方向性选择操作，并且所述正向垂直选择变换包括在一维水平正向 变换之后的非方向性选择操作，从而使得垂直选择的变换数据和水平选择的变换数据包括 去噪。
19.如权利要求13所述的计算机可读介质，其中，每个选择操作包括用于选择具有高 于可设定的值的幅度的值的阈值处理。
20.如权利要求13所述的计算机可读介质，其中，所述正向水平选择变换可分离成水平方向上的一维离散余弦变换，然后是方向 性选择操作，然后是垂直方向上的一维离散余弦变换，并且其中，所述正向垂直选择变换可分离成垂直方向上的一维离散余弦变换，然后是方向 性选择操作，然后是水平方向上的一维离散余弦变换。
21.如权利要求13所述的计算机可读介质，其中，所述正向水平选择变换和所述正向垂直选择变换中的每个一维变换是由以下变 换构成的变换集合中的一种类似于离散余弦的整数变换、哈尔变换、傅立叶变换、小波变 换。
22.一种装置，包括对图像数据的块的偏移交叠版本操作的水平方向性选择正向变换器，该水平方向性选 择正向变换器实现正向水平选择变换，该正向水平选择变换可分离成一维水平正向变换， 然后是用于选择一维变换值之中的重要值的方向性选择操作，然后是一维垂直正向变换；耦合到所述水平方向性选择正向变换器的水平逆变换器，该水平逆变换器被配置为对 所述水平方向性选择正向变换器的输出进行逆变换；耦合到所述水平逆变换器的水平组合器，该水平组合器被配置为形成水平边缘的块的 交叠偏移的逆变换数据的组合；对图像数据的块的偏移交叠版本操作的垂直方向性选择正向变换器，该垂直方向性选 择正向变换器实现正向垂直选择变换，该正向垂直选择变换可分离成一维垂直正向变换， 然后是用于选择一维变换值之中的重要值的方向性选择操作，然后是一维水平正向变换；耦合到所述垂直方向性选择正向变换器的垂直逆变换器，该垂直逆变换器被配置为对 所述垂直方向性选择正向变换器的输出进行逆变换；耦合到所述垂直逆变换器的垂直组合器，该垂直组合器被配置为形成垂直边缘的块的 交叠偏移的逆变换数据的组合；去噪滤波器，该去噪滤波器被配置为帮助对图像数据去噪；以及 耦合到所述去噪滤波器并且耦合到所述垂直组合器和水平组合器的局部适应子系统， 该局部适应子系统根据像素的位置在解块模式和去噪模式之间切换，从而使得对块边缘区 域中的像素发生解块。
23.如权利要求22所述的装置，其中所述去噪滤波器包括对图像数据的块的偏移交叠版本操作的非方向性选择正向变换器，该非方向性选择正 向变换器实现正向变换可分离和用于选择变换值之中的重要值的非方向性选择操作；耦合到所述非方向性选择正向变换器的非方向性逆变换器，该非方向性逆变换器被配 置为对所述非方向性选择正向变换器的输出进行逆变换；耦合到所述非方向性逆变换器的非方向性组合器，该非方向性组合器被配置为形成交 叠偏移的逆变换数据的加权组合。
24.如权利要求23所述的装置，其中每个方向性选择操作包括用于选择具有高于可设 定的方向性阈值的幅度的值的阈值处理，并且非方向性选择操作包括用于选择具有高于可 设定的非方向性阈值的幅度的值的阈值处理。
25.如权利要求22所述的装置，还包括边缘检测器/分类器，该边缘检测器/分类器被 配置为检测图像数据的块中边缘并且提供对像素是边缘特征、块边缘还是既非块边缘亦非 边缘特征的分类，该边缘检测器/分类器具有耦合到所述局部适应子系统的输出。
26.如权利要求25所述的装置，其中，所述边缘检测器/分类器对于一像素位置使用该 像素位置的从正向变换数据获得的梯度信息和计算出的局部方差。
27.如权利要求22所述的装置，其中，所述正向水平选择变换包括在一维垂直正向变 换之后的非方向性选择操作，并且所述正向垂直选择变换包括在一维水平正向变换之后的非方向性选择操作，从而使得垂直选择的变换数据和水平选择的变换数据包括去噪。
28.如权利要求22所述的装置，其中，所述正向水平选择变换可分离成水平方向上的一维离散余弦变换，然后是方向 性选择操作，然后是垂直方向上的一维离散余弦变换，并且其中，所述正向垂直选择变换可分离成垂直方向上的一维离散余弦变换，然后是方向 性选择操作，然后是水平方向上的一维离散余弦变换。
29.如权利要求22所述的装置，其中，所述正向水平选择变换和所述正向垂直选择变换中的每个一维变换是由以下变 换构成的变换集合中的一种类似于离散余弦的整数变换、哈尔变换、傅立叶变换、小波变 换。
30.一种计算机可读介质，其上编码有指令，所述指令在被处理系统的一个或多个处理 器运行时执行减轻通过基于块的编码过程来压缩的图像中的块化伪影和/或噪声的方法， 该方法包括利用交叠正向方向性变换来对所述图像进行解块，所述交叠正向方向性变换包括用于 跨水平和垂直边界进行滤波的方向性阈值处理；利用交叠正向非方向性变换来对所述图像去噪，所述交叠正向非方向性变换包括非方 向性阈值处理；进行边缘检测，以就各个像素是否属于边缘特征来对其进行分类，通过针对像素是否在块边界中和/或是否包括边缘特征进行局部适应，来生成输出像素，其中，所述边缘检测使用交叠正向变换和局部方差计算。
全文摘要
装置、指示处理器实现方法的计算机可读介质以及减轻通过基于块的编码过程来压缩的图像中的块化伪影和/或噪声的方法。该方法包括利用交叠正向方向性变换来对图像进行解块，交叠正向方向性变换包括用于跨水平和垂直边界进行滤波的方向性阈值处理；对图像去噪；在一个版本中进行边缘检测，以就各个像素是否属于边缘特征来对其进行分类；以及通过针对像素是否在块边界中和/或是否包括边缘特征进行局部适应，来生成输出像素。
文档编号G06T5/00GK102077591SQ200980124315
公开日2011年5月25日 申请日期2009年6月24日 优先权日2008年6月25日
发明者乔尔·华伦·肖恩勃朗姆 申请人:思科技术公司