减少显示图像中的压缩伪影、分析编码参数的制作方法

专利名称：减少显示图像中的压缩伪影、分析编码参数的制作方法
技术领域：
本发明涉及一种处理压缩图像数据流的方法，该方法中压缩伪影
本发明还涉及一种用于减少被显示的解压缩图像中的压缩伪影的 减少器。
本发明还涉及一种用于接收显示图像的压缩图像数据流的接收 器，所述接收器包括用于减少被显示的解压缩图像中的压缩伪影的减 少器。
本发明还涉及一种显示设备，包括用于接收显示图像的压缩图像 数据流的接收器，所述接收器包括用于减少被显示的解压缩图像中的 压缩伪影的减少器。
本发明还涉及一种用于转换压缩图像数据流的代码的代码转换 器，其中所述代码转换器包括用于减少被显示的解压缩图像中的压缩 伪影的减少器。
本发明还涉及一种用于分析编码图像数据流的编码参数的方法， 以及一种用于分析编码图像数据流的编码参数的分析器。
背景技术：
图像显示系统通常接收已压缩的数据流。已知有多种"带损耗的，， 视频压缩技术来减少必须被存储或传输的图像数据量。先进的压缩方
案，例如MPEG或基于小波变换的方案，试图截去对于观众感知并不重 要的空间频率信息。由于压缩，在被解压缩的图像中可能出现图像伪 影。已经提出了一些方案来减少图像伪影。
本发明人已经注意到，尽管已知伪影抑制方法，但是特殊图像伪 影仍然难以减少并且继续存在。在部分图像中，该伪影以条带的形式 存在。已知的伪影抑制方法不能减少该问题，或者具有严重的副作用。

发明内容
本发明第一方面的目的是提供一种方法和设备，例如在开篇段落 中所述的显示设备、接收器和/或代码转换器以及减少器，通过所述设 备实现了用于减少由于压缩所引起的上述图像伪影的方法。
为实现该目的，所述方法的特征在于，对于一个或一组解码图像 块，根据相邻线之间的垂直方向上的像素数据中的差别来确定至少一 个差值，并且将所述差值与阈值进行比较，其中如果所述差值达到阈 值，则对所述解码图像块施以垂直方向上的低通滤波。
本发明基于下述认识
先进的图像和视频压缩方案，例如MPEG，使用基于块的处理。每 个由8行8列像素矩阵构成的块被分别进行DCT转换和量化。根据MPEG 标准，交错的视频图可以被编码为帧或域图。 在帧图中，帧和域DCT编码均可以被使用 在帧DCT编码的情况下，每个块由两个域的线交替地构成。 在域DCT的情况下，每个块只由两个域中的一个的线所构成。 MPEG编码器对每个宏块来判断应该使用帧DCT还是域DCT。 运动预报也以两种不同模式执行域和帧预报。在第一种情况下， 通过使用来自 一个或多个之前已经解码的域的数据为每个域单独进行 预报。帧预报根据一个或多个之前已经解码的帧形成该帧的预报。
在域图中，所有预报是域预报。然而，在帧图中，可以使用域预
报或帧预报(根据宏块基础对宏块进行选择)。因此，对于帧图来说， 编码器可以做出两种不同的决定。
理想地，MPEG编解码器应当正确地确定使用帧处理或域处理，并 对初始交错的素材施以域DCT和运动预报，和对累进的素材施以帧处 理。实际上，MPEG编码器并不总是正确地做出决定，尤其是对于包含 交错膜(因此，初始累进的)素材的输入源。伪影是标准编码所固有 的。虽然使用的MPEG编码器的品质可以减少所述问题，但是即使在高 端编码器中所述问题似乎仍然存在。
如果MPEG编码器关于对于特殊块或宏块使用帧模式还是域模式做 出了错误的决定，则会出现伪影，所述伪影位于该块或宏块内。那些 伪影在低比特率编码时十分明显。所述伪影具有清楚的图案具有一 个像素宽度的水平线(并且因此具有两条线的垂直空间波长)，其位 于该块或宏块(4个块)内。宽像素水平条(上-下-上-下)是明显的，
其中所述水平条跨越块或宏块。正如许多其它伪影，这些伪影不是由 于边界周围的效应，虽然它们在边界周围明显。所述伪影也不会与交 错误差相混，所迷交错误差典型地发生在移动边界周围，并且典型地 延伸于多个块上。本发明旨在减少的所述伪影来源于编码中的固有误
差。所述伪影是由于对于帧图的错误的帧-域编码(DCT和/或运动预 报)。可能在每次为块或宏块在帧编码和域编码之间做出决定时发生 错误，并且所述错误在图像中不规律的位置处可能明显或不明显。由 这样的错误导致的特殊伪影图案可能在物体中间或边缘或任何其它位 置处是明显的。所述图案随处可以出现。上面对于MPEG编码给出了解 释。然而，任何一种对于帧图在对宏块的块进行帧编码和域编码之间 做出选择的编码都会在显示的图像中出现相同的伪影。因此，本发明 不局限于MPEG编码数据流，虽然这里特别关注于MPEG编码数据流。
本发明的第一方面通过两个简单的基本步骤减少了解码比特流中 出现的问题
第一步骤中，在块或宏块内，根据相邻线的像素之间在垂直方向 上的像素数据差别来确定差值。该第一步骤包括基于对解码图像(更 多地在整个像素数据中)的亮度和/或色度分量的局部(即在块或宏块 中)空间(即具有或接近于线的特殊空间距离)分析的伪影检测。下 面将给出示例性算法。可以使用任何能够检测具有交替线(这样的线， 其与相邻线具有的相关性比与下一最近线的相关性更低)(较亮、不 太亮、较亮等)的空间斑马式图案的条形图案的算法。总之，用于检 测等厚度(至少一个像素)'上-下-上，图案的任何检测器和检测步 骤例如通过在两点上查看相邻线上像素的差别来工作。这可以简化为 提取像素值，取平均，并将其与阈值进行比较，或者复杂化为例如进 行Hadamard转换(存在方波基本函数时)，然后在垂直方向上确定l-像素宽基本函数的能量，并将其与阈值(可能是固定阈值也可能是例 如在垂直方向上2-像素宽基本函数的能量的k倍)进行比较。根据所 述算法，可以各种方式表示所述差值。所有表示的共同之处在于所述 差值，或者所述多个差值(如果确定出多于一个差值时)，与是否存 在条形图案相关，根据像素数据之间的垂直方向上的差来确定"是否 存在条形图案"。在本发明的概念里，可以确定一个或多个差值。优 选的是为整个块或宏块确定代表伪影的强度或存在可能性的单个值。
然而，本发明不局限于使用单个差值，可以使用两个以上差值。
第二步骤是伪影减少，即对于那些其中由差值表示的被测伪影超 过了阔值的块，向解码图像块施以垂直方向上的低通滤波。所述低通 滤波具有平滑效应，因此减少了伪影。从而第一步骤是伪影识别，第 二步骤是通过使用低通滤波器进行伪影减少。
如果差值达到阈值，则只施加低通滤波。因此避免了会不必要地 减少图像细节的不必要的低通滤波。
在本发明的实施例中，通过选择步骤来进行差值的确定，以选择 将要对其执行所述差值确定和低通滤波的块。
差值确定和低通滤波需要计算能力。低通滤波将造成一些细节的 损失。通过选择块，即标识那些其中最可能发生问题和/或最可能对图 像质量产生显著效应的块，并且对于其它未经差值确定和低通滤波的 块，可以避免细节的损失，同时也减少了所需要的计算能力并保证效 率。
在实施例中，基于块的平均亮度或平均色度执行所述选择。人眼 对于亮色最为敏感，并且对于肤色非常敏感。在该实施例中，关于是 否选择块的决定鉴于下述假设，即所述效应(虽然所述效应可能是明 显的)将在某些环境下和/或部分图像(例如脸)中最为恼人，并且在 其它环境下和/或部分图像(例如草场)中几乎不恼人。总体而言，对 于观察图像的整体质量最有可能不重要的那些块将根据差值确定和低 通滤波除去。
在其它实施例中，所述选择包括对相邻块执行一致性检查。 一致 性检测器检查所检测的斑马式图案是否限于所述块中，或者它是否沿 相邻块继续。存在于一些相邻块中并且类型也相同(例如相同平均灰 度值和灰度值的相同差)的图案可能指出例如栅栏的真实物体图案。
在另外的实施例中，所述选择步骤包括其中分析块的编码参数的 步骤。
在该实施例中，在选择步骤期间，分析编码参数，例如比特流报 头的特殊标签集合。如上所述，所述伪影来源于错误的帧/域编码决定。 这些报头存在于被编码的比特流中。报头中的数据指示编码器是否已 经做出错误的决定。当报头中的数据指示没有这种可能性时，没有理 由进行接下来的差值确定和低通滤波步骤，因为下面的步骤将需要计
算能力并且可能减少细节。当所述数据指示存在错误的帧/域编码决定 的可能性时，对块进行进一步处理。
可以将上面提到的各种选择步骤合并起来，以进一步减少所需的 计算能力，同时仍有效地减少伪影而不是过度平滑所述图像。
所述阈值可以是固定阔值，或者可以取决于块中包含的数据。块 中包含的数据可以是例如平均亮度。例如所述阈值取决于所有方向上 亮度的平均变化。如果亮度的平均变化在所有方向上为高，或者也就 是说存在噪声图像或具有许多细节的图像，在水平方向上的变化可能 也很大。在另一实施例中，将在1像素距离处的变化与两像素距离处 的变化进行比较。本发明试图消除的伪影显示出块内相邻线之间、奇 数线和偶数线之间的亮度和/或色度中的巨大变化，但在奇数线或偶数 线之间却没有或几乎没有任何变化。
本发明的第一方面提供一种用于减少解码图像中的压缩伪影的简 单而鲁棒的方法。
实验证明斑马式图案伪影被有效地减少，即使使用简单的算法对 其它图像特征也不会有过度的副作用。
所述显示设备、接收器和/或解码器、编码器或代码转换器，总之 根据本发明第 一 方面的任何设备包括根据本发明的第 一 方面用于执行 算法的减少器。
本发明可以各种方式实施，并由此根据所述实施可以各种设备实现。
在实施例中，本发明以视频后处理链实施，其中来自编码流的信 息不可用。也就是说，在本发明的所述实施例中使用的算法处理已经
解码的图像数据并且不需要任何编码参数。可能的应用是高端TV、多 媒体中心和任何其它视频处理设备，其中输入信号是解码视频序列。
本发明可以方法以及显示设备、接收器、代码转换器等等来进行 实施。
本发明还可以实施于编码器端。当实施于编码器端时，或者总之 在编码参数可用的任何点处，可以在编码器中使用附加算法以检查例 如其中已经或者可能已经执行了错误的帧/错误的域编码。
在编码端，本发明的该方面可以用于指示哪里对伪影的校正有用。 这可用于在已经编码的信号被发出之前对其校正。
本发明的第二方面是分析编码参数的方法，其中指示出编码器已 经对其执行帧或域编码的帧图中的块或宏块。
本发明的该方面可以例如用于后确认，以改变编码决定从而消除 问题，而不是如本发明在编码数据流情况下减少错误帧/域编码的副作用。
本发明的第二方面，分析编码参数以指示可能示出伪影是基于与
第一方面所基于的认识相同的认识的块，即这样的认识本编码标准 (例如MPEG)具有由于由编码器做出的错误的帧/域编码决定造成上述 伪影的可能性。所述的一些伪影减少方法可以执行于解码数据流，而 无需对编码和解码是如何进行的有任何了解。在这些方法和设备中， 分析解码图像数据流的所有块。通过分析报头(当它们可用时)，可 以指示其中可能发生伪影的块，以便伪影减少方法可以执行得更加经
济，因为不受伪影影响的块不需要经历任何伪影减少步骤。所述用于 分析编码参数的方法和相应的分析器以及任何包含分析器或使用或用 于编码参数分析方法的设备也具有新颖性和创造性，并旨在解决第一 步骤中相同的问题。所述分析方法还提供新颖的产品，即图像数据流 或包括图像数据流的信号，所述图像数据流或信号包括潜在受影响的 块的指示器和/或具有指示器的块和/或指示信号。
所述分析方法可以形成部分伪影减少方法，其中本发明的两方面 的情况被合并。
但是本发明的两方面可以单独使用。
本质上，第一方面(伪影减少之前的图案识别)是对问题的补救， 与可能造成问题的所使用的编码的实际诊断无关。第二方面(分析) 分析所述编码参数以标识可能有问题的块。由所述分析方法收集的信 息有用，或许该信息用于根据第一方面的方法中或者用于其它方法或 者仅仅被寄存。
根据第二方面的方法之后接着的是在编码器或解码器端的根据第 一方面的方法或者任何其它补救方法，或者可以简单地用于诊断目的， 例如找出可能有问题的块或者找出有问题块的比例。例如它可以用于 MPEG编码器的诊断。能够标识哪个MPEG编码器最可能产生伪影十分有 用，并且在开发MPEG编码器中的第一步骤不产生伪影。
将通过举例并参考附图解释更加详细地解释本发明的这些或其它
方面。


图1和2示意性地示出本发明旨在减少的伪影。 图3示出宏块的DCT编码。 图4示出运动预报。
图5示意性地示出根据本发明第一方面的方法。
图6示出根据本发明第一方面的方法的实施例。
图7和8示出根据本发明第一方面的其它实施例。
图9示出本发明的效果。
图IO本发明另一实施例。
图11示出根据本发明第二方面的方法。
图12示意性地示出根据本发明第二方面的方法。
图13示意性地示出根据本发明的显示设备。
所述附图未按照比例绘制。通常相同附图标记表示相同构件。
具体实施例方式
下面将参照附图更加全面地描述本发明的各个方面，附图中示出 本发明的优选实施例。然而，本发明可以各种不同形式实施而不应当 局限于这里列出的实施例；虽然提供这些实施例使得本说明书清楚明 了，本发明将完全覆盖对本领域技术人员来说的本发明的范围。通篇 相似标记表示相似元素。
压缩技术常常用于压缩数据流，即减少数据流中的数据量。特别 是，消费记录设备(DVD录像机、硬盘记录仪等等)使用数字压缩算法 来提供数字压缩流，例如MPEG2流。该压缩技术可能是损耗较小的技 术，但是通常在使用适当量的压缩时， 一些数据损耗被认为可以接受。 典型地，设置数据压缩技术以便将数据损耗保持为相对较小，从而在 解压缩显示图像中看不到太多明显的数据压缩效应。然而，尤其是高 压缩比，在解压缩图像中会出现图像伪影。这些伪影之一是斑马式图 案，其中图像中任何地方都会出现虚假的斑马式图案。至今这些虚假 的斑马式图案的性质和原因都是未知的。这些伪影会出现在图像的任 何地方，与是否存在边界特征和不存在可能交错误差的任何指示或者
与交错误差无关的图案或者任何其它已知造成压缩伪影的事实无关。
图1和2示意性地示出这些伪影。
附图以黑白示出，因为这对于专利申请人是强制的。基于块的垂 直条紋由箭头标识可见。在实际的彩色图像中，这样的条紋比黑白图 中要明显得多。这些条紋以块形式形成了斑马式图案。整个图像中都 可见这样的条紋。这些条紋看起来与图像中存在的边界或其它特征无 关，并且可以在不具有其它特征的区域中形成。在一些块中，条紋清 晰可见；在其它块中条紋却完全不存在。所述图案不限于那些在可能 有交错误差的情况下可以预见到有交错误差发生的区域。因此，检查 已知的伪影原因的人发现不了该已知的原因。本发明的一个方面在于 发明者已经认识到伪影源于迄今未知的原因。他们i^识到例如MPEG的 标准编码技术可能产生这些伪影，即使不存在所有其它已知的伪影原 因。该认识是本发明所立足的新颖认识。
例如MPEG的先进—见频压缩4支术使用基于块的处理。每个由8;f亍8 列像素矩阵构成的块被分别进行DCT转换和量化。根据MPEG标准，交 错的视频图可以被编码为帧或域图。在帧图中，帧和域DCT编码均可 以被使用
-在帧DCT编码的情况下，每个块由两个域的线交替地构成。
-在域DCT编码的情况下，每个块只由两个域中的一个的线所构成。
图3示出宏块的DCT编码。所述DCT编码可以是帧编码(图3的A 部分)或域编码(图3的B部分)。
MPEG编码器对每个宏块确定应该使用帧DCT还是域DCT。
运动预报也以两种不同模式执行域预报和/或帧预报。在第一种 情况下，通过使用来自 一个或多个之前已经解码的域的数据为每个域 单独进行预报。帧预报根据一个或多个之前已经解码的帧为该帧形成 预报。在域图中，所有预报是域预报。然而，在帧图中，可以使用域 预报或帧预报(根据宏块基础对宏块进行选择)。
图4示意性地示出帧运动预报和域运动预报。在帧预报(A，)中， 只有一个运动矢量M用于预报从参考帧R到预报帧P的运动。在域预 报中，为两个域分别使用两个运动矢量Ml和M2， 一个矢量用于一个域。 如图4的示例所示，这些运动矢量可以不同。
理想地，MPEG编解码器应当正确地确定使用帧处理还是域处理， 并对交错的素材施以域DCT和运动预报，和对累进的素材施以帧处理。 然而实际上，低成本(因此低质量)的MPEG编码器并不总是正确地做 出决定，尤其是对于包含交错膜素材的输入源。即使在高端MPEG编码 器中不正确的决定也时常发生。
如果MPEG编码器对于特殊宏块做出了有关使用帧模式还是域模式 的错误决定，则会出现图像伪影，所述伪影位于该宏块内。那些伪影 在低比特率编码时十分明显。图1和2示出该伪影的一些例子。可见， 所述伪影具有清楚的图案具有一个像素宽度的水平线，其位于该块 或宏块(4个块)内。本发明旨在减少这些伪影或者至少提供能够减少 这些伪影的方法。当为运动预报做出错误决定时出现相同或相似的伪 影。
图5示出根据本发明第一方面的方法。它还示意性地示出根据本 发明的减少器。输入帧的块或宏块位于对应于所分析方法的步骤1的 所述减少器的部分1中。在第一步骤1中，确定块或宏块中相邻线的 像素之间的差值。"差值"应当广义地理解为表示相邻线的像素之间 的亮度和/或色度差别的任何数字。下面将给出该差值的一些示例。在 比较器C中将所述差值与阈值进行比较。如果所述差值达到阈值，则 在低通滤波器中对所述块或宏块施以垂直方向上的低通滤波。如果所 述差值没有达到阈值，则不施加低通滤波。差值的确定和与阈值的比 较等同于对斑马式图案存在的检测。低通滤波仅施加于那些图案被检 测的块。因此所述方法包括基于块的图案检测，之后对于解码信号中 图案被检测的那些块进行低通滤波。产生解码数据流的输出帧。例如 该输出帧被发送至显示设备或存储在记录介质上。
图6示出本发明的实施例。在该实施例中，在步骤1的图案检测 之前在选择器3中执行选择步骤3。可以沿着不同的线执行所述选择。 所述选择旨在通过标识低通滤波对其无用或几乎无用的块来减少所需 计算能力和/或减少低通滤波的副作用。
在第一种实施例中，基于这样的认识执行所述选择，即人眼对于 图像内的某些颜色和/或某些区域较为敏感。从下面用于减少所需计算 的步骤中去掉人眼相对不敏感和/或无法引起注意的块。例如，颜色确 定可以用于块以确定块的平均颜色。对于某些颜色，例如鲜艳颜色，
所述块为步骤1产生输入，而对于其它颜色例如蓝(天空)和绿(草)，
所述块不为步骤1产生输入，并且绕过步骤1和2。观看者不会专注于 天空或草地。观看者还是会把注意力集中在屏幕的中间部分。因此， 屏幕边界的伪影比中央的更不显著。因此标准是图像中的位置。图像 的模糊部分比图像的焦点部分吸引更少的注意力。因此块所属的图像 部分的清晰度可以作为标准。
在第二种实施例中，存在有关数据流的编码的信息。在所述选择 步骤中，检查编码参数，例如通过分析编码数据流的图报头，以标识 可能包括伪影的块。
在本实施例中，在所述选择步骤3期间，分析编码参数，例如比 特流报头的特殊标签集合。如上所述，所述伪影来源于帧图的错误的 帧/域编码决定。报头中的数据指示编码器是否已经做出错误的决定。 当报头中的数据指示没有这种可能性时，没有理由进行接下来的差值 确定和低通滤波步骤，因为下面的步骤将只需要计算能力并且可能减 少细节而没有有益的效果。当所述数据指示存在错误的帧/域编码决定 的可能性时，对块进行进一步处理。该实施例可以用于其中编码信息 可用的所有其它情况和设备。下面将解释分析编码参数以指示可能 示出伪影的块形成在本发明的第二方面，这可以单独用于第一方面。
在第三种实施例中，对相邻块执行一致性检查。该比较在图案识 别步骤1之前执行，或者在图案识别步骤1中执行。检测器实施例检 查斑马式图案是局限于该块中还是沿着相邻块继续。存在于一些相邻 块中并且类型也相同(例如相同平均灰度值和相同灰度值的相同差) 的图案可能指出例如栅栏图像的真实图案。如果作为选择步骤3来执 行所述一致性检查，则可以从步骤1和2中去除这样的块，或者如果 在图案识别步骤l中执行所述一致性步骤，则不施加低通滤波2，不管 差值是否达到阈值。
图7和8示出本发明的实施例。
图7示出算法的块方案。它包括两个部分，由虚线内的区域l指 示的图案检测和由虚线2内的区域2指示的伪影减少。建立yescount 值，从而确定差值，即yescount。将其与阈值比较，在此情况下，阈 值为 3*nocount 。 如果戶斤述差值，艮卩yescount达至'J阈值，艮卩 yescount>3*nocount,贝'J施加^f氐通^i^皮2,如果5殳有达至'J,贝'J不施加
j氐通滤波。
在开始处，为输入帧执行块网格检测(BGD)以找到DCT块网格的 位置和尺寸。然而，为每个块检测是否存在伪影。这通过在滑动分析 窗口 ANW内检测特殊空间图案来实现。该分析窗口 ANW示于图8中。 通过滑动分析窗口 A冊，块中的所有像素被扫描并从块的左上角开始到 右下角结束进行分析。图8内被分析的窗口的中心是像素对Y3和Y4。 所述算法决定像素Y3和Y4之间的像素值的差delta是否最有可能是 物体边界或可能是伪影。这通过检测伪影图案(具有一个像素宽度的 水平线，其位于块或宏块(4个块)内)的存在即可实现。当决定所述 差最有可能是伪影时，yescount加一，如果决定所述差不可能是伪影 时，nocount加一。在开始扫描块或宏块时将yescount和nocouiit设 定为零。因此yescount为用于确定差值的确定器的输出，nocount是 用于确定阈值的确定器的输出，其中在该示例中用于差值和阈值的确 定器具有共用的元件。例如，以下列方式执行该图案检测技术
<formula>formula see original document page 15</formula>
这是示意性地示于图7中的该示例中所执行的算法。 在实验中，Tl为25， T2为5。
因此yescount是表示相邻线中有多少像素对显示了像素数据差 delta=ln —"，考虑到例如D24等等的其它像素差值，其指出了可能 存在斑马式图案。然后，在比较器C中将表示存在伪影的强度和可能 性的差值yescount与阈值(本示例中为3*nocount )进行比较。如果 差值yescount达到阈值3*nocount,则施加低通滤波。如果未达到， 则不施加l氏通滤波。
请注意，上述条件是图案检测机制的特殊示例。虽然实验已经显 示上述条件(根据经验发现的)提供良好的结果，但是本领域技术人 员会想到能提供类似结果的不同条件。因此，虽然十分有用，但是条 件(1) - (3)的特定描述不应当理解为限制本发明范围。所提出的算 法的图案检测步骤概括的思想是检测位于块内的、在该块内具有几乎 相同梯度的(交错的)水平线。所述图案检测步骤包括值确定步骤和 比较步骤。
在视频处理系统具有足够的计算和存储源的情况下，可以通过对 色度成分以及亮度成分施以上述方法来提高误差图案检测机制的鲁棒 性。
根据示例性算法的块方案，如果在当前分析窗口 ANW中检测到伪 影图案，J3'J yescount的值加一，否Ji!'J, nocount的值加一。此后，将 分析窗口转移一个像素，并对一个新像素对施以所述图案检测算法。 当块内的所有像素被扫描或分析时，通过比较yescount和nocount的 累积值，可以对该块中误差的存在做出决定。如果 yescount>k*nocount，则在该块中存在伪影。参数k调节检测的鲁棒 性。在本发明的实施例中，k=3。
如果在当前块中检测到伪影，则在步骤2中执行算法的下一步骤， 即去除伪影。在本发明的实施例中，该伪影减少通过垂直方向上(与 伪影的水平条紋相垂直)的简单低通滤波来实现。总之，自适应地选 择所述低通滤波的强度为所述误差的量级(例如水平条紋之间垂直梯 度的平均量级)和(所述条紋内的)水平方向上像素值的均匀性。在
此情况下，可以使用根据经验创建的LUT来定义或调节所述强度参数。 在实验中，已经使用具有固定参数的非自适应滤波
<formula>formula see original document page 17</formula>
通过采取一 系列实验，可以估计本发明的示例性实施例的效率。 实验中使用的是以低比特率编码的多于IO个的检测序列。主观地估计 出所述算法的效率。
图9示出由所提出的算法处理之前和之后的解码帧的示例，其中 "之前，，的图像示于图9的上部，"之后"的图像示于图9的下部。 在实验中，使用所述算法的简化版本，没有改变低通滤波。可见伪影 得到显著减少。
所提出的示例性算法有效地减少了伪影，并且同时保持了物体边 缘。由于分析窗口的小尺寸，算法的硬件执行只需要存储器的3行。
图IO示出本发明的另一实施例。如前图所示，所述算法包括伪影 检测步骤1和通过低通滤波的伪影减少步骤2。
在检测部分l，对潜在受影响的宏块(在前述步骤3中被检测)执 行空间分析，以便确认伪影的存在并选择那些伪影明显的宏块。
在所提出的算法的减少部分2期间，通过自适应1D空间低通滤波 去除所检测宏块中的伪影。
检测部分之前的是选择阶段3，其中分析了编码参数，例如使用对 编码视频比特流的序列报头和图报头的分析，以检测可能潜在地包含 这类伪影的块或宏块。进一步分析这样的块。对于序列报头和图报头 的分析表明不可能或者至少几乎不可能存在伪影的块不进行进一步的 分析，并且不进行低通滤波。
在本发明的优选实施例的选择步骤3期间，检查比特流报头的特 殊标签集合，其将指示所述编码器是否在帧图中作出了关于帧/域处理 应用的错误决定。在该选择步骤中，分析编码参数以指示潜在地受影 响的块。
例如检查下列编码参数
序列扩展报头中的o progressive — sequence (PrSe)标签--当设
定为"1"时，编码视频序列只包含累进的帧-图。如果该标签被设定
为"0",则所述编码视频序列可以包含帧-图和域-图，并且帧-图可
以是累进帧或交错帧。
图扩展才艮头中的o Picture — structure(PiSt)标签。如果该标签 被设定为11，则该图被编码为帧-图，如果该标签被设定为01或10， 则所述图#^编码为域-图。
o Frame-pred —frame —dct (fpfd)——如果该图扩展4艮头中的标签 被设定为"1"，则只有帧DCT和帧预报用于帧中所有宏块。否则，帧 DCT和预才艮以及域DCT和预4艮都用于帧中。
宏块模式报头中的o Frame-motion—type (fmt)标签——当被设定 为10时，所述宏块使用基于帧的预报。如果所述标签被设定为01,所 述宏块使用基于域的预报。
宏块模式报头中的o Dct-type(dt)标签指示所述宏块是帧DCT编 码的还是域DCT编码的。如果该标签被设定为"1"，则所述宏块是域 DCT编码的。
如果标签fpfd被设定为1，则从比特流中忽略标签fmt和dt，并 且由缺省的基于帧的DCT和预报来使用。
理想地，在由DVD录像机编码电影材料过程中，所述标签fpfd应 当被设定为1，然后在编码期间只施加基于帧的处理，并且因此没有如 上所述的帧/域错误发生。遗憾的是，情况不总是这样，通常所述标签 fpfd被设定为"0",并且之后即使在专业控制的DVD中编码器决定状 况也会被察觉，更不用说在低成本消费DVD录像机上记录的自制DVD 了。如果编码器为特殊宏块做出了错误的决定，则当所述序列作为初 始累进被显示的时候将发生伪影。
在本发明的优选实施例中，识别和选择易出现这种伪影(换句话 说，编码器已经做出错误决定)的宏块，以进一步处理。当上述报头 标签取下列值时宏块潜在地受到影响 { progressive—sequence (PrSe) == 0; Picture—structure (PiSt) ==11; Frame__pred—frame—dct (fpfd) ==0;
and
{ Frame—motion—type (fint) ==01;200780005438.7
说明书第15/19页
or
Dct一type (dt)= 1;
在处理的下一步骤中，对块或宏块(其被识别和选择为"潜在地
受到影响，，)施以空间分析。在该示例中通过对块内水平和垂直方向
上的像素对的平均梯度之间进行比较实现了所述分析。例如图8所示， 8x8块的平均垂直梯度
<formula>formula see original document page 19</formula>56
并且平均水平梯度
'■=i 乂-i
56
如果Gv〉k^Gh,我们假设8 x 8块内的伪影明显。 通常k-2。
因此在该示例中，差值为Gv，阈值为k*Gh。
这绝不仅仅是可能的比较；人们还可以例如计算平均两像素梯度 Gv2并将其与Gv比较
<formula>formula see original document page 19</formula>然后比较为Gv>k*Gv2。因此用于确定差值的确定器包括用于计算 Gv的计算器，用于确定阈值的确定器包括用于计算Gh或Gv2的计算器， 所述比较器比较Gv和k*Gh或k*Gv2。
在所述算法的伪影减少部分期间，对来自在步骤3中选择的并且 落在步骤l设置的条件(Gv〉kGh)下的块的所有像素施以ID自适应低 通滤波。所述低通滤波器在垂直方向上平滑了像素。在该示例中，滤 波器的强度取决于该块中平均水平梯度Gh的值少"=
其中yi,j是被滤波的输出像素，而f (Gh/k)代表随Gh增加而增加 并随k增加而降低的函数。请注意，当f(Gh/k)-2时，上述公式可以 与之前给出的简单非自适应滤波器相比较。该示例示出了本发明的优 选实施例，其中低通滤波的强度取决于块中包含的数据，在该示例中 取决于Gh的值。如果Gh较大，并且因数f (Gh/k)变得更大，则平滑效 应以及因此的低通滤波变得微弱。在该示例中，因此减少器包括另一 确定器，以确定取决于块中包含的数据的低通滤波的强度。所述另一 确定器包括Gh的确定器和用于解释滤波器的强度为Gh的函数的算法。
本发明的范围不由低通滤波的特殊方法所限制。本领域技术人员 会想到适用于伪影的局部空间活动和/或可见度的其它低通滤波器。
请注意，所述方法可以施加于整个图像或图像的一部分。在实施 例中，可以将本发明算法的不同版本施加于屏幕的不同部分。例如， 高能量版本可以施加于屏幕的中央部分，而比较简单的版本可施加于 屏幕不太重要的部分。
上述与步骤3相关的分析编码参数的方法在图10中被描述为伪影 减少方法中的第一步骤。所述伪影减少方法可以视为对错误的帧/域编 码造成的问题的补救。
分析编码参数以指示潜在受影响的块的方法可以单独和独立地使 用，并且其自身是本发明的一个方面。在本发明的框架中，"标识" 和"指示"相同并且包括在术语"指示"中。指示使得那些受到潜在 影响的块从未受到潜在影响的块中区分出来。所述分析方法形成诊断 工具以找出那些受伪影潜在影响的块。因此所述伪影减少方法和分析 编码参数的方法要解决相同的问题并且基于同样的认识。然而伪影减 少方法提供了减少所述问题，分析方法提供了对潜在受影响的块的标 识。两个方法可以单独也可合并使用。虽然针对本发明的这两个不同 方面的权利要求的范围不同，但是这两方面基于相同的认识，并且旨 在解决相同的问题并都具有新颖性和创造性。图ll示出用于减少其中 标识了编码参数的伪影的方法。图10和图11所示的方法之间的差别
在于图11中没有出现步骤1 (计算差值并将其与阈值比较)。通过分 析编码参数，指示受到潜在影响的块。未受到伪影影响的块不经历低 通滤波。已经被影响的块经历低通滤波。低通滤波具有对细节潜在减 少的缺点。因此在不了解编码参数，不检查伪影存在的前提下，对解 码数据流的所有块不加选择地进行低通滤波很有可能有百害而无一
利。因此在图5的方法中存在伪影检测步骤1。然而，如果指示出那些 受潜在影响的块，则有选择地进行低通滤波，即只对那些受伪影潜在 影响的块，因此伤害的程度大大降低。这会使得方法简化，其中所有 潜在受到影响的块被低通滤波，而无需之前的步骤来确定差值并将差 值与阈值比较。图11中示意性地示出这样的简化方法。虽然图11的 简化方法比图5所示的方法有些低效，但是因为图11中没有步骤1， 简化后的方法仍然比直接对所有块不加选择地进行低通滤波要好。
图12示意性地示出分析编码参数的方法。在分析器AN中分析所 述编码参数。如果所述编码参数指示潜在伪影，则指示器I与发现编 码参数的组合指示可能发生伪影的块或宏块相关联，即指示器指示已 经执行错误的帧/域编码的可能性。然后这样的块将经历伪影减少方 法，之前可以进行或不进行差值的确定。在本发明概念中，"相关联" 应理解为图像数据流和指示器之间存在链接。可以将所述指示器I插 入数据流，例如作为报头或标签。在这些实施例中，指示器I包含在 图像数据流中。因此这提供一种新产品，即图像数据流或包括图像数 据流的信号，所述信号包括指示有错误的帧/域编码的可能性的块或块 组的指示器I。指示器I也可以包括在与图像数据流分开但是可链接到 图像数据流的数据流中。例如可以是在实际的数据流之前或之后的短 信号，其中设有可能受影响的块或块组的列表。这样的图像数据流的 信号也提供了新颖的产品。伪影减少方法可以是上述的和请求保护的 伪影减少方法。然而，这对于分析方法并不是强制的。例如分析方法 可以用作诊断工具来评价编码器的性能。编码器产生的具有潜在问题 的块越多，将出现越多的伪影。因此所述分析方法可以用作提高编码 器性能的工具。此时不存在诊断工具。所述分析方法也可以用在编码 器或代码转换器中，以标识潜在受影响的块并重新编码这些块或替换 它们或产生其中指示了潜在受影响的块或宏块的图像数据流。
图13示出根据本发明的显示设备的示例。所述显示设备包括减少
器，在本例中其包括部分l (伪影检测)、2 (低通滤波)和部分3 (选 择)。所述显示设备包括接收器4，用于接收包括图像数据流信号的输 入信号5。所述输入信号可以包括已经解码的图像数据流5或编码的图 像数据流5，。信号被引导至输入6。如果接收到编码信号5，，则显示 设备包括用于解码输入的编码信号的解码器7。如果显示设备包括用于 解码输入的编码信号的解码器7，则将所述编码参数发送至比较部分3。 在解码期间，潜在受影响的块可以设有标签，以便在选择部分3中可 以标识这样的块。在显示屏幕8上显示输出。根据本发明的显示设备 可以是用于显示图像的任何设备，包括但不局限于TV设备、监视器、 PDA、移动电话。
简言之，可以将本发明描述为
标识迄今原因未知的图像伪影。例如MPEG编码器的编码器可以使 用两种图结构域图和帧图。对于帧图，可使用基于帧和域的DCT (以 及其它类型)的编码。对于是使用基于帧还是基于域的编码总是不能 做出正确的决定。在解码图像中，这导致图像伪影以条块可见。在本 发明的一个方面中，本发明通过分析块内容是否存在这种伪影并且如 果该分析证明存在这样的伪影则对块中的数据施加垂直低通滤波，来 减少这些伪影。在本发明的另一方面中，对于可能发生伪影的编码参 数的组合检查编码参数并且指示出这种块。本发明可以方法以及设备 例如接收器、编码器、解码器、显示设备等来实现。
本发明还可以用于根据本发明的方法或设备的任何计算机程序产 品来实现。计算机程序产品应当理解为在一系列装载步骤(包括中间 转换步骤，如转换为中间语言和最终的处理器语言)以将命令置于处 理器中之后使得通用或专用处理器能够执行本发明的任何特征功能的 命令集的物理实现。特别是，所述计算机程序产品可以实现为载体(例 如盘或磁带)上的数据、存储器中的数据、有线或无线网络连接上传 输的数据、或书面的程序代码。除了程序代码，程序所需的特征数据 也可以实施为计算机程序产品。
除了所述的存在于计算机程序产品中之外，运行所述方法所需的 一些步骤可以存在于处理器的功能中，例如数据输入和数据输出步骤。
本说明书中公开的算法成分实际上可以(全部或部分地)实现为 硬件(例如特殊应用IC的部分)或者在特殊数字信号处理器或通用处
理器上运行的软件等等。
在本发明的概念中，"比较器"、"确定器，，、"减少器"、"低 通滤波器"等等可以被广义地理解并且包括例如任何硬件、任何为执 行上述比较、确定、简化、低通滤波等等功能而设计的电路或子电路， 以及任何被设计或编程以执行根据本发明的各个方面的比较、确定、 简化、低通滤波等等操作的软件(计算机程序或子程序或计算机程序 集合、或程序代码)，以及任何单独的硬件和软件或其组合，而不局 限于给出的示例性实施例。 一个程序或算法可以组合一些功能，而且 一些功能可以共享一个或多个程序的公共部分。
应当注意，上述实施例表明不是要限制本发明，而是本领域技术 人员能够设计出许多替换实施例，而不脱离权利要求的范围。
在权利要求中，括号中的附图标记不应理解为对权利要求的限制。
词语"包括"不排除权利要求所列之外的其它元件或步骤。本发 明可以通过包括一些独特的元件的硬件实现，也可以通过适当地编程 的计算机实现。在设备权利要求中列举了一些装置，这些装置中的某 些可以由同一硬件实施。本发明可以通过合并上述各种不同的优选实 施例的特征而实现。
权利要求
1、一种处理压缩图像数据流的方法，该方法中减少了压缩伪影，其中对于解码图像块或解码图像块组，根据相邻线之间的像素数据在垂直方向上的差来确定至少一个差值(yescount，Gv)，并将所述差值与阈值(k*nocount，k*Gh)比较，其中在所述差值达到阈值的情况下，在垂直方向上对所述解码图像块或所述多个解码图像块施加低通滤波(2)。
2、 如权利要求1所迷的处理压缩图像数据流的方法，其中所述阈 值是固定值。
3、 如权利要求1所述的处理压缩图像数据流的方法，其中所述阈 值(hnocount， k*Gh )取决于所述块中包含的数据。
4、 如权利要求1所述的处理压缩图像数据流的方法，其中所述低 通滤波的强度取决于所述块中包含的数据。
5、 如权利要求l、 2、 3或4所述的方法，其中在确定所述差值之 前进行选择步骤(3)，以选择将执行差值确定(1)和低通滤波(2) 的块。
6、 如权利要求5所述的方法，其中基于所述块的平均亮度或平均颜色内容执行所述选择。
7、 如权利要求5所述的方法，其中所述选择包括对相邻块执行的 一致性检查。
8、 如权利要求5所述的方法，其中所述选择步骤包括分析所述块 的编码参数的步骤。
9、 如权利要求5所述的方法，其中分析比特流报头(PrSe, PiSt， fpfd， fmt， dt)。
10、 一种减少图像伪影的减少器，其中所述减少器包括根据相邻 线之间的像素数据在垂直方向上的差为一个或一组解码图像块确定至 少一个差值(yescount， Gv)的确定器，和用于比较所述至少一个差 值和阈值(k*nocount， k*Gh)的比较器(C)，和低通滤波器，其在 所述差值达到阈值时在垂直方向上对所述解码图像块或所述多个解码 图像块施加低通滤波(2)。
11、 如权利要求10所述的减少器，其中所述减少器包括另一确定 器，用于从所迷块中包含的数据中确定阈值(k*nocount， ki*Gh)。
12、 如权利要求10或11所述的减少器，其中所述减少器包括另 一确定器，用于根据所述块中包含的数据(Gh)确定低通滤波的强度。
13、 如权利要求10、 11或12所述的减少器，其中所述减少器包 括分析器，用于分析编码参数(PrSe， PiSt， fpfd， fmt， dt)。
14、 一种接收用于显示图像的压缩图像数据流的接收器(4)，包 括如权利要求10到13中任一所述的减少器。
15、 一种显示设备，包括接收用于在显示屏幕(8)上显示图像的 压缩图像数据流(5、 5，)的接收器(4)和如权利要求10到13中任一 所述的减少器。
16、 一种用于对压缩图像数据流进行代码转换的代码转换器，包 括如权利要求10到13中任一所述的减少器。
17、 一种用于分析编码图像数据流的编码参数的方法，其中指示 了帧图中编码器已经对其执行帧编码或域编码的块或宏块。
18、 如权利要求17所述的用于分析编码图像数据流的编码参数的 方法，其中分析了编码视频比特流的序列报头和图报头(PrSe， PiSt， fpfd, fmt， dt)。
19、 如权利要求17或18所述的用于分析编码图像数据流的编码 参数的方法，其中所述方法包括在该图像数据流中或者为该图像数据 流生成指示器(I)。
20、 一种用于分析编码图像数据流的编码参数的分析器(AN)， 所述分析器包括用于指示帧图中编码器已经对其执行帧编码或域编码 的块或宏块的装置。
21、 由计算机配置装载的计算机程序产品，包括指令，以当所述 计算机程序产品在计算机上运行时，为如权利要求1-9任一所述的方 法处理压缩数据流，所述计算机配置包括处理装置，所述处理装置包 括用于根据相邻线之间的像素数据在垂直方向上的差为一个或一组 解码图像块确定至少一个差值(yescount， Gv)的确定器，和用于比较所述差值和阈值(k*nocount， k*Gh )的比较器(C),和在所述差值达到阈值时在垂直方向上对所述解码图像块或所述图 像块组施加低通滤波的装置(2)。
22、 由计算机配置装栽的计算机程序产品，包括指令，以当所述 计算机程序产品在计算机上运行时，为如权利要求17-19任一所述的 方法处理压缩数据流，所述计算机配置包括处理装置，所述处理装置 包括分析器，用于分析编码图像数据流的编码参数，其中指示了在 帧图中编码器已经对其执行帧编码或域编码的块或宏块。
23、 包括图像数据流的信号，所述信号包括指示器I，其为块或块 组指示错误帧/域编码的可能性。
24、 用于图像数据流的信号，所述信号包括指示器I，其为块或块 组指示错误帧/域编码的可能性。
全文摘要
标识迄今原因未知的图像伪影。例如MPEG编码器的编码器可以使用两种图结构对于帧图，基于帧和域的DCT(以及其它类型)的编码均可使用。对于是使用基于帧还是域的编码总是不能做出正确的决定。在解码图像中，这导致图像伪影以条块可见。在本发明的一个方面中，本发明通过分析块内容是否存在伪影，并且如果分析证明存在这样的伪影则对块中的数据施加垂直低通滤波，来减少这些伪影。在本发明的另一方面中，对于可能发生伪影的编码参数的组合检查编码参数并且指示这样的块。本发明可以一种方法以及例如接收器、编码器、解码器、显示设备等的设备来实现。
文档编号G06T5/00GK101385046SQ200780005438
公开日2009年3月11日 申请日期2007年2月9日 优先权日2006年2月15日
发明者I·O·基伦科, R·J·范德夫卢滕 申请人:皇家飞利浦电子股份有限公司