用于基于像素的自适应滤波的自动参数估计的制作方法

专利名称：用于基于像素的自适应滤波的自动参数估计的制作方法
技术领域：
本公开涉及视频滤波。更具体地，至少一种实现方式涉及用于基 于像素的自适应空时滤波的自动参数估计。
背景技术：
减小视频噪声的滤波器被广泛应用于后期制作和视频压縮环境 中。前者往往要求滤波器保留尽可能多的细节，因此倾向于使用可能 导致图像上不均匀噪声去除的非常保守的设置。后者往往要求较高的 滤波强度(即使丢失一些细节)，这是因为其目的是要减小视频中的信 息量，从而提高压縮效率(即降低比特率)。各种应用设法实现不均匀 噪声去除和细节丢失之间的平衡。

发明内容
根据一个总体方面，访问用于对数字图像数据进行滤波的准则， 并确定用于对数字图像数据进行滤波的参数的值，所述值是基于所述 值是否导致数字图像中的至少一部分满足所述准则来确定的。
根据另一总体方面，使用滤波器对数字图像进行滤波，所述滤波 器包括参数，所述参数的值是基于所述值是否导致数字图像中的一部 分满足用户提供的准则来确定的。
在下面的附图和描述中，将阐述一个或更多实现方式的细节。即 使以一种特定方式来描述实现方式，也应当清楚，可以以各种方式配 置或实施该实现方式。例如，可以将实现方式执行为方法，或实施为 被配置以执行一组操作的设备或存储用于执行一组操作的指令的设 备。通过以下结合附图来考虑的详细描述和权利要求，其他的方面和 特征将变得显而易见。然而，应当理解，附图的目的只是示意，而不 是本原理的范围的限定。还应理解，这些图表不必需按比例绘制，除非特别指出，否则其仅意在从概念上举例说明特定的结构和过程。


图l是基于像素的自适应空间-时间视频噪声滤波系统的实现方式 的方框图。
图2是实现方式中由图1的源所提供的内容的方框图。
图3示出了图1中的处理设备的实现方式的方框图。
图4是示出了使用图1中的系统来执行的视频噪声滤波方法的实
现方式的流程图。
图5是用于确定良好候选像素的小块测量的实现方式的示意图。
图6是示出了空间候选像素的选择的实现方式示意图。
图7是示出了基于像素的自适应视频噪声滤波方法的实现方式的
流程图。
图8是示出了在像素p的空间滤波中的空间邻近候选像素的5x5方
格的实现方式的示意图。
图9是示出了自动阈值估计的实现方式的流程图。 图10是示出了自动阈值估计的另一实现方式的流程图。 图11是示出了自动阈值估计的又一实现方式的流程图。 图12是示出自动阈值估计的实现方式的流程图。 图13是图1的处理设备的实现方式的方框图。
具体实施例方式
例如，这里所描述的是一种视频滤波方法，解决与视频噪声去除 相关联的两个主要问题(a)内容细节的丢失和(b)滤波伪像(artifact), 即在如不均匀噪声去除之类的滤波过程中引入的伪像。现有的系统中， 像素级的空间和时间滤波之间缺乏交互，导致滤波强度在像素之间存 在差异，从而导致了由不均匀滤波引起的后滤波伪像的可能性。 一些 挑战包括，设计能够在噪声减少量和导致的图像质量损失之间提供良 好折衷的噪声减小滤波器，以及提供控制这种折衷的对用户友好的方 法。可以通过提供空间和时间滤波之间的显式交互来解决这些问题。 这种显式交互是通过在像素级组合空间和时间滤波来实现的，同时继 续对视频中的所有像素施加均匀量的噪声减小，并同时尽可能多地保 留细节。这是通过将每个像素与在时间和空间上预测的恒定数目的像 素进行平均来进行的。将每个像素与恒定数目的其他像素来进行平均， 在存在如高斯噪声之类的加性噪声的情况下可能特别有优势，在存在 其他类型噪声的情况下也同样适用。通过对视频中的所有像素施加均 匀量的噪声减小，减少或避免了后滤波伪像。因此，在像素级对空间 和时间滤波进行组合。相对于已知系统，这提供了显著的优势，已知 系统l)不存在像素级的空间和时间滤波的显式交互，或2)在像素级 进行空间或时间滤波的切换。
滤波的"质量"依赖于许多参数，具体地1)用于验证空间或
时间预测的候选像素的"良好性(goodness)"的阈值；2)从中获得 空间候选像素的空间邻近区域的大小(半径)；以及3)从中获得时间 候选像素的时间邻近区域的大小(半径)。 一个问题在于，这些阈值和 半径必须手动规定，用户必须使用费时的反复试验方法来获得产生良 好滤波质量的参数。例如，本原理通过提供一种基于更高等级用户规 范自动地估计这些参数的方法和系统来解决这一问题，所述更高等级 用户规范理解更加直观，并独立于内容进行处理。
根据实现方式，本原理的至少一个方法以迭代的方式工作(1) 允许用户输入两个简单输入；(2)创建相应的滤波器；(3)对一个或 多个数字图像应用该滤波器；(4)允许用户査看输出；以及(5)如果 用户不喜欢该输出，则重复步骤l-4，以使用户可以改变两个简单输入。 这样的系统向需要对数据进行滤波的用户提供了显著优势。如果系统 要求用户执行过多变量之间的折衷，则该系统对于用户来说变得复杂 而且费时。通过以少量输入变量为目标，并且以智能的方式选择这些 变量(如通过选择以已知和有用的方式进行交互的"强度"和"容限")， 提供了一种系统，允许用户更快速并容易地设计出适合于需要滤波的 数据的滤波器。
如上所述，两个输入是"强度"和"质量"(例如用于滤波的容限百分比)。如本公开所使用的，滤波"强度"规定执行噪声减小的程 度(即滤波器强度越高，噪声减小程度越高)；"质量"是指控制滤波 均匀性和细节丢失的容限度量(即容限越高，均匀性和细节丢失越低)。 根据另一实现方式，本原理能够允许用户提供一种输入(即"强 度"或"质量")。在这种实现方式中，基于针对所选输入的用户输入， (非用户所选的)其他输入将默认为预定值。响应于单个用户输入，
可以提供査找表(LUT)或其他存储数据库，该査找表或其他存储数 据提供预定值。例如，用户可以规定强度，容限可以默认为0%。
这里所述的至少一个实现方式提供了一种滤波器设计方法，该方 法自动估计滤波器参数，同时保持对这种滤波产生的强度/质量折衷的 对用户友好的控制。这是一种解决这里所述的至少一些技术问题的技
术方案。所提供的各种技术优势包括简化的滤波器产生、对强度/ 质量折衷的更精确控制、以及使用少量时间和处理来产生滤波器。
图l-8提供了根据本原理的一个方面的基于像素的自适应空间-时 间滤波器的描述。图9示出了根据本原理的自动阈值估计方法的实现方 式的流程图。例如，图9的方法允许针对图l-8中所述的示例性滤波处 理的相应低级参数进行估计。然而，本领域的技术人员将认识到，图9 的方法能够用于其他图像滤波环境和应用中，并显然不限于这里所公 开的示例性空间-时间滤波。
在图l-8所示的示例中，滤波"强度"典型地与用于对每个像素进 行滤波的候选像素的数目最相关，滤波"容限"可以规定滤波强度降 低的像素的最大百分比。图1给出了系统100的方框图。视频信息的源 102向处理设备104提供输入。处理设备104进行基于像素的自适应空间 -时间视频噪声滤波处理，并将结果输出给发射机和/或存储设备106以 进行发送或存储。在所示的实现方式中，显示器108从发射机106接收 噪声滤波后的视频信息，并进行操作以显示该视频信息。本领域技术 人员可以意识到，显示器108可以被其他设备所替代。例如，接收机， 如存储器，可以适于接收滤波后的视频，并可选地，将该视频传送给 其他视频处理设备。
图2示出了由源102提供给处理设备104的一些源内容200的示例示意图。这些内容是基于时间产生的，并且可能采取在特定时刻t的帧 和基于附近时刻(例如t-l， t+l)的帧的形式。每一帧包含像素集合，
其中，各像素使用其在帧中的空间位置(x， y)作为索引。
图3是处理设备104的实现方式300的方框图。处理设备300的输入 是源视频，输出是滤波后的视频。图3所示的实现方式可以对源视频中 的一个或多个像素进行各种处理，产生这些像素中的每个像素的替代 值(即滤波后的值)。将对其确定替代值的像素(或者换言之，正在被 滤波的像素)称为当前像素，从中提取出当前像素的帧称为当前帧。 对每一个当前像素，选择器110从一个或多个参考帧中选择候选像素集
合。在一种实现方式中，参考帧是当前帧周围的帧，也可以包含当前 帧本身。选择器110也可以选择当前像素。评估器112确定候选像素集
合中每个像素的良好性值或质量度量。根据各种实现方式，可以使用
以下方式来计算良好性值或质量度量，例如l)像素与所选候选像素 之间的色差；2)像素周围MxN块与候选像素周围MxN块之间的绝对差 的均值(MAD);或者3)与当前像素的距离。
集合控制单元114基于对评估器112的结果应用的一种或多种准 则来确定当前像素的对应像素集合。这些准则可以确定l)以预定顺 序来考虑，候选集合中的一个或多个像素是否应当包括在对应集合中； 和2)何时停止将候选集合中的像素包括在对应集合中。对于一种实现 方式，用于停止将候选集合中的像素包括在对应集合中的准则按优先 级顺序依次为A)对应集合中已经包括了预定数目的像素，或B)己经 考虑过了候选集合中的所有像素。确定单元116基于对应集合中的像素 的值来确定当前像素的替代值。
可选地，处理设备300中包括用户输入单元118，图3中使用虚线 框来表示用户输入单元118以指示它是可选的。举例来说，用户输入单 元118可以用于允许用户输入停止准则，如N值，其中N可以是当前像 素的对应像素集合中包括的像素数目。如图3所示，用户输入单元118 可以耦合至集合控制单元114，或者(直接或间接地)耦合至一个或多 个其他组件。在各种实现方式中，例如，N值可以固定在软件或硬件 中而不允许用户调整。图4示出了根据一种实现方式的处理过程的流程图400。访问402
源视频的目标数字图像并选择当前像素。本实现方式的源视频可能包 括一个或多个各种不同的视频源。对从目标图像中选择的至少一个像
素执行接下来的操作404-412。对所选的当前像素，从一个或多个参考 帧(可能包括或不包括当前帧)中选择404候选像素集合。 一旦选择了 候选像素集合，则计算每个候选像素的一个或多个良好性值(或质量 度量)(406)。此时，基于一个或多个准则来确定当前像素的对应像素 集合(408)。该准则可能包括例如良好性值是否满足阈值。操作408可 以按预定顺序来考虑候选集合中的一个或多个像素。
然后，确定是否满足停止准则(410)。再次说明，如上所述，停止 准则可以是例如A)对应集合中已经包括了预定数目的像素，或者B) 已经考虑过了候选集合中的所有像素。 一旦满足了该停止准则，则基 于对应集合中的像素的值来确定当前像素的替代值(412)。
参见图5，显示了两个相邻帧610和620，如图所示，其各自具有3x3 的像素小块630和640。按照一种实现方式，基于小块的"良好性值"测 量首先计算两个小块内对应像素的绝对差，然后对这些绝对差求平均 来形成绝对差的均值(MAD)。在这种实现方式中，如果这两个小块 中的像素之间的MAD小于预定阈值，则时间预测像素pred[j]被认为是 "良好"。本领域技术人员可以意识到，实际上，该阈值可能被分为两 个阈值， 一个针对像素的亮度分量的MSD， 一个针对像素的色度分量 的MAD。重要的是，应注意以下内容l)这些帧不必是相邻的(虽然 图5中所示的是相邻的)；以及2)这两帧中像素的(x， y)位置不必相同。
本领域技术人员知晓多种方式来选择小块和阈值。
图6是示出了帧710的示意图，帧710具有当前像素(x， y)和被选择
为"良好"的空间候选像素(即空间邻近区域中"通过"空间滤波的良 好性准则的像素)的像素集合720。例如， 一种判决准则是当前像素和 候选像素的值之间的差值，可以将该差值与阈值相比较。如果图5和图 6表示通过时间(图5)和空间(图6)域的良好性测试的像素集合，则 N等于7，反映了l个时间像素，5个空间像素和目标像素。
图7示出了根据一种实现方式的自适应空间-时间视频噪声滤波的过程500的流程图。为了对输入视频帧中的每个像素p进行滤波，过程 500的目标就是要找到N个"良好"候选像素，用于与p (在本实现方式 中包括其本身)的平均，其中N是贯穿滤波过程500的全局常数。将这 些"良好"候选像素放入平均值集合Ap—p, Cj; i=l,...,M}，其中M^N-1， 并且当有足够的"良好"候选像素不可用时允许1VKN-1。然后，该滤波 过程包括使用Ap中元素的平均值来替换p。注意，尽管实现方式并不 需要分别执行平均，但是这里使用的短语"平均像素"指的是分别对像 素的亮度和色度分量值(例如，Y， U和V)进行平均。对于确实要对 分量分别执行平均的实现方式，典型地或必要地，也要对分量分别执 行各种其他操作(或甚至整个过程)。
在过程500中，可以从时间或者空间域中选择N个"良好"候选像
素。按照一种实现方式，由于时间滤波模糊视觉细节的可能性较低， 因此首先在时间域中寻找N个"良好"候选像素。如图7所示，过程500 包括三个主要方面时间候选像素的选择550;空间候选像素的选择 560;以及通过对所选候选像素进行平均来进行滤波570。过程500使用 从时间和/或空间域中选择的候选像素对每一个像素进行滤波。这与各 种现有技术方法的方法相反，在现有技术方法中， 一次对整个帧进行 空间或时间滤波，并将结果进行组合来形成滤波后的帧。
参考图7所示的示例，时间候选像素的选择550首先包括估计像素 p从当前帧到n个参考帧的运动。如图所示，使用输入帧中的像素p来对 平均值集合Ap^p)进行初始化(502)。执行对参考帧j^,.，.，n的循环 (504)，并且根据参考帧j来产生基于运动的预测像素pred[j] (506)。此 后，依次将每一个时间预测的像素pred[j](从第j个参考帧起)考虑为 Ap的候选像素(508)。如果确定是"良好"预测像素(即符合质量度量准 则)，则将其添加至集合Ap(510)。在选择时间候选像素的过程中，如 果在512处i Ap I =N (即Ap中元素的数目等于N)，则寻找候选像素的 过程终止，并转移至滤波步骤570。
如果在从时间域中选择候选像素之后I Ap I <N，则对j的循环结 束(514)，并且开始在空间域中寻找候选像素。如图8所示， 一种可能 性是，考虑在p的bxb邻近区域中的所有像素。本领域技术人员知晓选
12择邻近区域大小的各种技术。在循环k-l,，..，m中，我们考虑空间邻近 像素(516)的顺序由候选像素与p的邻近性来确定。如果候选邻近像素 被确定为"良好"(518)，则将其添加至Ap。如果在扫描空间候选像素时 I Ap I =N(522)，或者已经扫描了所有候选像素，则我们继续至滤波步 骤570的处理。
最终，在滤波步骤570中，使用Ap中元素的平均值(526)来替代像 素p，该过程转移至要滤波的下一像素。替代平均的其他操作，或除平 均之外的其他操作也可以用于确定像素P的替代值。更一般地， 一种实 现方式可以基于Ap中的像素的值来确定替代值，包括但不限于这些值 的平均值。应当清楚，虽然对于目标数字图像中的每个像素，数值N 典型地保持为常数，但是，对于目标数字图像中的每个像素，N个像 素的相对位置可以改变。
图8示出了对当前像素p周围的候选像素集合的一种编号方式 800。这种编号方式800基于与当前像素p的空间距离，或与当前像素p 的空间邻近性来向邻近像素分配编号。标记为"l"的四个像素与p具有 相同距离，并且都是离p最近的。标记为"2"的四个像素与p具有相同距 离，并且都是离p第二近的。标记为"3"的四个像素与p具有相同距离， 并且都是离p第三近的。标记为"4"的四个像素与p具有相同距离，并且 都是离P第四近的。标记为"5"的四个像素与p具有相同距离，并且都是 离p第五近的。编号方式800可以用于确定在建立p的对应像素集合时先 测试哪些像素。例如， 一种实现方式是先考虑所有"l"像素，然后是所 有"2"像素，然后是所有"3"像素，然后是所有"4"像素，然后是所有"5" 像素，直到对应集合具有N个像素为止。这与如从左到右、从上到下 之类的光栅顺序来考虑所有像素相反。
图8中的"距离"方法也可以适用于其他帧内的时间候选像素。一种 实现方式使用"时间距离"而不是图8中的空间距离，在使用帧的实现方 式中，可以使用"帧距离"来替代"时间距离"。例如，对于帧j中的当 前像素p， 一种实现方式是首先考虑pred[j-l](对帧j-l中的p的预测)， 然后是pred[j+l]，然后是pred[j-2]，然后是pred[j+2]等等，以帧距离递 增的方式来进行。实现方式可以在考虑在时间域中对候选像素进行评估之前(或不 在时间域中对候选像素进行评估)，在空间域中对候选像素进行评估。 也可以采用其他域。这样的其他域可以包括例如变换域(例如傅里叶 域，小波域)，和从相同图像的分离的记录中获取的域。例如，在涉及 从胶片巻轴获取视频的一种实现方式中，从不同胶片巻轴数字化而得 到的相同视频中提取域。如果另一胶片巻轴具有与第一胶片巻轴相似 的胶片颗粒(更一般地而言是噪声)特性，则该其他胶片巻轴可能尤 其有用。
实现方式可以包括对各种源或输入中的一个或多个进行滤波，这 样的源例如包括视频或静止图像。
"N"的选择可以基于需要去除的噪声量。例如对不同的帧(例如， 可以对覆盖场景的给定帧序列来设置N)，对一帧内的不同区域，和对 不同的分量或分离(例如，亮度和色度可以有不同的"N"，或者如R、
G、 B或Y、 U、 V之类的不同颜色分离也可以有不同的"N"值)，"N" 可以变化。
此外，用户可以根据经验来选择N，在一种实现中，可以允许用 户使用用户接口来输入N值。该用户接口可能包括例如机械设备(例 如开关或者旋钮)、计算机设备(例如键盘或鼠标，可能与所选值的下 拉菜单或显示相结合)、或语音输入系统。
用户可以为对应像素集合的大小选择一个或多个值。例如，这一 个或多个值可以是具有封闭或开放端点的范围。示例包括(i)N加或 减X、 (ii)大于N、以及(iii)小于N，其中N和X都是固定的。在该大小被 选择为(或者硬编码为)"大于N"的各种实现方式中，只要对应集合 中有N个像素，则认为该对应集合已经完成。对于具有对应像素集合 中可以包括的像素数目的最大值的各种实现方式，用户可以选择(或 者系统可以硬编码)对应像素集合中可以包括的像素数目的预定最大 数目。
许多实现方式使用预定阈值来确定对应像素集合中要包括多少 像素。根据实现方式和预定阈值的使用，预定阈值可以涉及预定最小 或预定最大值。在各种实现方式中，预定阈值可以用作停止点。良好性或质量度量可以变化。此外，上述MAD可以用于空间域， 而上述的像素差值可以用于时间域。
实现方式不需要进行运动估计。例如在确定pred[j]时，这种实现 方式可以假设零运动。
根据另一实现方式，确定对应像素集合包括从参考图像集合中
的候选像素集合中选择像素；计算所选的候选像素的质量度量；如果 该质量度量满足一个或多个预定准则，则将该候选像素添加至对应像 素集合中；以及重复所述选择、计算和添加，直到满足一个或多个停 止准则为止。
根据各种实现方式，质量度量可以是例如l)像素与所选候选像 素之间的色差；2)像素周围Mx7V块与候选像素周围Mx7V块之间的绝对
差的均值；或者3)与当前像素的距离。
在另一实现方式中，计算替代值可以包括l)将对应像素集合中 的像素的值进行平均；和/或2)对应像素集合中像素的值的加权平均。 在这种实现方式中，基于每个像素的质量度量值，对对应像素集合中 的像素进行加权。确定单元执行的平均可以对像素的Y、 U和V值(或 其他颜色分离)分别进行。
在另一实现方式中，独立地对每个像素的每个颜色分量进行处 理，并将对应像素集合中像素数目用作停止准则。
在又一实现方式中， 一种用于对视频进行滤波的设备包括选择 器，用于为目标数字图像中的多个像素中的每个像素选择对应像素集 合中可能包括的像素；评估器，用于计算所选像素的良好性值；集合 控制单元，基于所计算的良好性值来为多个像素中至少一个像素确定 对应像素集合；确定单元，基于对应像素集合中的像素的值来确定多 个像素中的每个像素的对应替代值。
根据其他一些实现方式，所选的像素包含在一幅或多幅数字图像 中，所述一幅或多幅数字图像可能包括目标数字图像。集合控制单元 也可以基于预定准则来确定对应集合。用于集合控制单元的预定准则 包括以预定顺序来考虑，候选集合中的一个或多个像素是否应当包 括在对应集合中。此外，控制单元还包括用于停止像素处理的停止准则。在一种实现方式中，该停止准则包括确定对应集合中是否己经 包括了预定数目的像素。在另一实现方式中，停止准则包括确定是否 已经考虑过了候选集合中的所有像素。
在另一实现方式中，集合控制单元控制对应集合的大小，使得除 非在包括N个像素之前满足停止准则，否则每个对应集合包括N个像 素。在又一实现方式中， 一个对应集合(与一个像素相对应)中N个 像素的位置与另一对应集合(与另一像素相对应)中的N个像素的位 置不同。
集合控制单元对对应像素集合的选择可以包括多种域中的像素。 另外，例如，可以按距离螺旋式递增的顺序来进行像素选择。这个距 离可以是例如空间域中的空间距离和/或时间域中的距离，例如参考图 8所描述的顺序。
如本领域的技术人员将理解的是，图7中公幵的方法500已被证明
对去除噪声十分有效，同时保留细节并避免引入伪像。然而，这种方 法需要手动设置特定参数，如空间和时间邻近区域大小和用于验证候 选像素"良好性"的阈值。如上所述，对于没有经验的用户，这种手 动选择可能需要反复试验过程来获得产生期望的滤波"强度"和滤波 "质量"的参数值。此外，典型地，每次处理不同的剪辑时，甚至要 求有经验的用户手动地调整滤波设置，这是由于，根据剪辑的特性， 通常需要不同的滤波参数来实现相同的滤波"强度"和滤波"质量"。 本原理还提出了各种实现方式，以基于两种直观(高等级)的用
户规定的参数滤波"强度"和"质量"(即不充分滤波的容限)，来
自动估计用于验证良好性的阈值。滤波强度规定了要执行的噪声减小 的程度，而滤波质量控制滤波均匀性和细节丢失之间的平衡(即容限
越高，均匀性和细节丢失越低)。对于图l-8的滤波器实现方式，滤波 强度典型地与用于对每个像素进行滤波的候选像素数目N最相关，滤
波"质量"或容限可以规定，例如可以滤波强度可以减小(即不需要 实现该滤波强度)的像素的最大百分比。
例如，为了将自动阈值和半径估计引导向对期望的滤波行为的参 数进行估计，使用两个高等级参数。在以下的实现方式中，"强度"是
16指滤波强度，特别是在对每个像素进行滤波时要平均的候选像素的期 望数目，即N。对每个像素的越多候选像素求平均，则"强度"越大 或噪声去除越大。"质量"是指，不充分滤波的像素(即不具有至少N 个候选像素与其进行平均的像素)的可接受的百分比(即容限百分比
水平)，称作"a"。例如，01=5%表示应当尝试选择阈值，以使仅5%
的像素不充分滤波。容限越低促使阈值越高，从而以可能模糊细节为 代价来使更多像素充分滤波。通过允许更多像素被较少地滤波，较高 的容限通常更容易保持精细的细节(即一般不会那样严重地破坏精细 的细节)。
以下提供了用于估计空间和时间邻近区域大小的示例。本领域的 技术人员将认识到，在不背离本原理的精神的前提下，可以利用估计 空间和时间邻近区域大小的其他方法。
空间邻近区域大小估计
序列中的像素表示为p(x，y,t)，其中，x和y是空间坐标，t是帧(时 间)索引。像素p的空间邻近区域是在p周围方形窗口中所有像素的集 合。数学上，如下给出p(x，y,t)的空间邻近区域
ivf oo,少,o) = {+ " _y + 乂, 0"' = ± L…，土"; = ±1,…，士广}
r值称作邻近区域半径。则该邻近区域被称作p的r-邻近区域。
在示例性实现方式中，如下估计空间邻近区域的大小。给定滤波 强度N，选择最小正整数r，以使邻近区域包含至少2N个像素，即
》2W (其中，「.，表示向上取整运算符)。这确保了在邻近
min
1
区域中存在足够的候选像素，以从中选择N个"良好"的候选像素。 如果期望的亮度和色度滤波强度NY和Nc不同，则对应的半径iv和rc也 可以不同。注意，当"r"是整数时，不需要向上取整运算符。
在估计r时，不同的实现方式可以使用不同的限制，以允许更大的 窗口大小(3N、 4N等)，或更小的窗口大小(N，或甚至更小)。例如 当处理非常高分辨率的图像时，可以使用更大的窗口；例如，可以使 用更小的窗口以减小计算代价。时间邻近区域大小估计
可以以类似的方式来估计时间邻近区域的大小。在时刻t处的帧中 的像素P的时间邻近区域是时刻t周围的帧中位于相同位置的像素的集
合。数学上，如下给出p(x,y，t)的时间邻近区域
在示例性实现方式中，如下估计时间邻近区域的大小。给定滤波
强度N，选择最小正整数r，以使邻近区域至少包含N个像素，即 n^n「2r，2A^ (其中「.l表示向上取整操作符)。这确保了在邻近区域中
存在足够的候选像素，以从中选择N个"良好"的候选像素。注意， 当"r"是整数时，不需要向上取整操作符。
在空间邻近区域的情况下，在估计r时，不同的应用可以使用不同 的限制。当限定p的时间邻近区域时，还可以使用运动补偿的像素来代 替位于相同位置的像素。此外，在各种实现方式中，时间邻近区域包 括其他帧中位于相同位置的像素周围的像素。另一种实现方式使用多 种不同算法来估计运动，并且在时间邻近区域中包括所产生的各种运 动估计。
图9示出了方法900的流程图，方法900用于对期望的滤波行为的 参数进行自动估计。首先访问对数字图像数据进行滤波的准则(902)。 这里的准则是滤波器设计准则(例如"质量"禾B/或"强度")，通常以 直接用户输入的形式由用户提供。该用户输入可以是主动提供的，或 者在系统初始化时由系统向用户询问。
然而，准则的"访问"不仅来自用户输入，而且可选地由将值/ 变量返回的软件过程来提供，或者可以釆用从缓冲器或其他存储器位 置(根据应用，常驻或非常驻存储器)中检索准则的形式。"访问"是 较宽的术语，例如包括，各种方式的获得、检索、接收、操作或处理。
一旦访问了用于滤波的准则，系统确定用于对数字图像进行滤波 的参数值(例如阈值)(904)。这种确定是基于所确定的值是否导致 数字图像的至少 一 部分满足所访问的准则。图10示出了另一实现方式(方法1000)的流程图，方法1000用于 对期望的滤波行为的参数进行自动估计。首先，访问(1002)或提供 数字图像。对图像的像素值进行评估(1004)，并基于所述评估来选择 (1006)数字图像的一部分。 一旦选择了数字图像的一部分，则访问 用于对数字图像进行滤波的准则(1008)。根据先前的实现方式， 一旦 访问了准则，则确定用于对数字图像进行滤波的参数值(1010)。所确 定的值是使数字图像的所选部分满足所访问的准则的值。
图ll示出了另一实现方式(方法1100)的流程图，方法1100用于 对期望的滤波行为的参数进行自动估计。根据图10的实现方式，访问 数字图像(1102)，评估图像的像素值(1104)。基于所述评估来选择 数字图像的一部分(1106)。 一旦进行了选择，则访问用于对数字图像 数据进行滤波的一个或多个准则(1108)。一旦访问了一个或多个准则， 则确定用于滤波的参数值(1110)，所述确定是基于所述值是否将使 数字图像的所选部分满足一个或多个所访问的准则。然后，使用所确 定的参数值对图像进行滤波(.1112)。
根据一个实现方式，对每个颜色分量估计三个参数1)从中获 得空间候选像素的空间邻近区域(rs)的大小；2)从中获得时间候选 像素的时间邻近区域(rT)的大小；以及3)用于检验空间或时间预测 的候选像素的"良好性"的阈值(T)。在一个示例性实现方式中，联 合处理两个色度分量，总共要估计六个参数空间邻近区域的亮度和 色度邻近区域半径(rsY，rsc)，时间邻近区域的亮度和色度邻近区域半 径(rTy,rTc)，亮度和色度阈值(TY,Tc)。在这种情况下，针对亮度(Y) 和色度(U，V)分量分别估计参数。其他实现方式分别处理U、 V和Y， 产生九个参数。又一实现方式一起处理U、 V和Y，产生三个参数。
参考图12，图12示出了方法1200的流程图，方法1200用于对期望 的滤波行为的参数进行自动估计。通常将该方法分别应用于序列的亮 度和色度分量。对于本示例，假设对亮度分量进行操作。
以下描述提供了对方法1200的概括。为了确定亮度阈值，该实现 方式选择一组像素(典型地从包括目标数字图像在内的若干不同图 像)。可以从例如整个场景、视频的(例如)前十帧、或视频的每一百
19帧中的一帧中提取这组像素。优选地，所选像素具有非常类似的像素
值(例如蓝天)，所选的像素组被称作均质(homogeneous)区域。假 设均质区域中的像素表示目标数字图像，或者至少表示目标数字图像 中的噪声。因此，如果开发对该均质区域有效的阈值，则假设该阈值 对目标数字图像有效。对于该均质区域，在该区域中检查每个像素， 并且确定最小阈值，对于该阈值，该区域中不多于百分之"alpha"的 像素不能使至少"N"个像素满足该阈值。这就是说，区域中至少百 分之IOO-"alpha"的像素分别具有"N"个其他像素，所述至少百分 之IOO- "alpha"像素自身的像素值与这N个其他像素的像素值之间的 差值在阈值之内。 一旦确定了阈值(基于强度和质量的输入)，则滤波 器可以对实际目标数据进行操作。
再次参考方法1200，首先，接收(或更一般地，访问)视频帧。 根据该视频帧，检测BXB像素固定大小的至多M个均质块。均质块是 (在减去均值之后)仅包含要去除的噪声图案的块。可以从外部存储 源提供包括块大小B在内的均质性参数(1203)。检测均质块的一种方 式是，首先对序列应用光空间滤波器(例如平均滤波器)以去除一些 噪声。然后，扫描所有BXB块(例如无论是否重叠)，并保留方差小 于阈值Th画g的那些块。可以为系统预先设置值M、 B和Th,g。
作为示例，令集合H包含所检测的均质块中的所有像素。现在按 顺序考虑(1204)所有可能的阈值，u=l，...,256，其中，u是阈值的当 前值。一旦进行了考虑，则执行所有均质块中所有像素p的循环(1206)。 然后计算p与其r-邻近区域中的像素的绝对差(1208)。 r-邻近区域(空 间邻近区域)用于减小处理复杂度和时间。其他实现方式(或可选地) 还考虑时间邻近区域，但是这典型地需要估计运动，而估计运动可能 要求较多时间和处理器资源。
从外部源(如用户输入、或基于其他用户输入的计算机产生的输 入)可以提供空间邻近区域半径r (1209)。在一个实现方式中，如前 所述地计算邻近区域半径，然后将半径值输入阈值估计方法来产生相 应参数。当用户基于一些计算上的考虑来设置半径时，此后将半径输 入阈值估计过程。在本示例中，半径被示作方形(图8)，然而，本领域的技术人员将认识到，空间邻近区域的结构可以是除了方形以外的 其他形状。例如，空间邻近区域的结构可以是圆形邻近区域。相应地，
限定邻近区域大小的参数可以变化。对于每个像素peH，在操作1210
中，确定满足约束条件l 的邻近像素《e乂(W (即可用的
候选像素)的数目np，u (其中，下标Y是指像素的亮度或Y值)。然后循 环p结束(1212)。
在扫描所有像素peH之后，下一操作(1214)是确定(例如，通 过计算)H中不充分滤波(即具有小于N个可用候选像素)的像素p的 百分比y。 N是用于平均的候选像素的期望数目，并且可以由用户输入 来提供(1215)。在其他实现方式中，响应于其他用户输入(例如用户 可以输入较高用户等级格式的期望分辨率，例如720i、 1080i或1080p)， 可以自动产生用于平均的候选像素的期望数目N。作为示例， 一种方 法是使用用户设置和对应N之间的查找表(LUT)。在该示例实现方式 中，用户可以规定所使用的电影胶片，并且LUT可以提供适当的N以 减少胶片颗粒。
如果y^oc( 1216)，则过程1200终止，将亮度阈值Ty设置成u( 1218)。 否则，u增加l，并且在操作1204处，再次开始以相同的方式评估新阈 值u+l。如上所述，在操作1217处，不充分滤波的像素的可容许百分 比a是由用户输入的"质量"等级。
注意，过程1200产生一个或多个阈值。较早的实现方式规定使用 三种参数空间半径、时间半径和一个或多个阈值。如上所述，基于 N，在那些实现方式中计算两个半径。相应地，在执行过程1200之后， 所有参数可用于滤波器的设计和应用。
除了阈值约束条件的评估，针对色度分量的过程是相同的。这里，
如果存在至少N个邻近像素《eA^(/ )，则认为像素p充分滤波，从而P 的两个色度值的绝对差均小于u (即I
下标U和V是指像素的色度值(U和V)。在不同的实现方式中，独立地 处理每个色度分量。根据其他实现方式，通过独立地处理U和V分量，
21将色度阈值Tc分成两个阈值Tu和Tv。
注意，在一种实现方式中，将(例如)由过程1200确定的参数， 应用至滤波器，将该滤波器应用至目标数据。如果均质区域表示目标 数据，则期望能够满足强度和质量准则，但是这并不必需保证满足。 然而，其他实现方式确实保证这种满足，并修改参数以满足阈值。
图13示出了图1的处理设备104的实现方式1300的方框图。准则输 入接收机1302从用户输入设备1304接收用户规定的准则。准则输入接 收机1302被配置为访问准则，并可以包括例如被编程用于检索用户提 供的输入准则的处理器。用户输入设备1304可以是例如耦合至应用程 序的键盘或鼠标，应用程序允许用户通过使用键盘或鼠标来提供输入。
准则输入接收机1302向参数值确定单元1306发送源视频和接收 的规定准则。参数值确定单元1306基于接收的准则来确定(例如通过 计算) 一个或多个相应参数值，并输出所确定的应用于滤波器的参数 值。例如，参数值确定单元1306可以根据方法1200来进行操作，以确 定参数值。如过程1200中所讨论的， 一个参数值是阈值。
其他实现方式允许用户对Y、 U和/或V分量规定不同的准则。在 一种实现方式中，强度和质量准则对于亮度分量比色度分量更为严格。 应用还可以提供多于两个准则。
另外，实现方式例如通过确定视频中每个场景的不同参数，可以 设计针对输入视频各个部分的不同的滤波器(确定不同的参数)。由于 噪声和噪声百分比可以基于如强度之类的因素而变化，因此这是尤为 有用的。例如，胶片颗粒和摄像机噪声典型地基于强度而变化。此外， 典型地，与高或低的强度相反，人眼在中等强度下观察到更多噪声。
本领域的技术人员将认识到，可以在视频传送系统的编码器或解 码器侧实现图13的处理器配置和本原理的对应方法。在一种实现方式 中，在编码器侧，滤波器参数与视频一起发送，以使解码器可以在无 需包括用于确定滤波器参数的处理能力的情况下，对接收的数据进行 滤波。在一种实现方式中，在解码器侧，视频源是接收到的视频传送 (没有预先确定的滤波器参数)。在又一实现方式中，在编码器侧确定 滤波器参数，在编码、分发、传送和/或存储之前，在编码器侧应用滤波器来减小噪声(例如由摄像机镜头上的灰尘导致的斑点)。此外，或 可选地，可以在解码器侧确定滤波器参数，并且可以在解码器侧应用 滤波器。
以上描述的实现方式包括例如各种系统和处理过程。实现方式可 以包括被配置为执行一个或多个过程的一个或多个设备。设备可以包 括例如离散的或集成的硬件、固件和软件。设备可以包括例如处理器， 一般将其称为处理设备，包括例如微处理器、集成电路或可编程逻 辑设备。
设备也可以包括一个或多个计算机可读介质，所述介质具有用于 执行一个或多个过程的指令。这种计算机可读介质可以包括例如存 储设备，如硬盘、光盘、随机存取存储器("RAM")或只读存储器
("ROM")。计算机可读介质还可以包括例如编码或传输指令的格式
化电磁波。例如，指令可以存在于硬件、固件、软件或电磁波中。指 令可以在例如操作系统、独立应用程序或两者的结合中找到。因此，
处理器的特征可以在于例如被配置为执行过程的设备和包括具有用 于执行过程的指令的计算机可读介质的设备。
对于本领域的技术人员显而易见的是，实现方式还可以产生被格 式化以携带信息的信号，例如，可以对该信息进行存储或发送。例如，
该信息可以包括用于执行方法(例如过程1200)的指令，或由所述实 现方式之一产生的数据(例如由过程1200确定的一个或多个参数)。
可以以例如方法或过程、设备、或软件程序来实现这里所述的实 现方式。即使仅以单一实现式的情况进行讨论(例如仅作为方法进行 讨论)，然而，所讨论的特征的实现方式还可以以其他形式(例如设备 或程序)来实现。
应当理解，可以以各种不同形式的硬件、软件、固件、专用处理
器或其结合来实现本原理。很多实现使用了硬件和软件的结合。此外， 软件可以被实现为程序存储设备上明确实现的应用程序。应用程序可 以被加载至包括任何适当架构的机器上并由该机器来执行。可以在拥
有如一个或多个中央处理单元(CPU)、随机存取存储器(RAM)和 输入/输出(I/O)接口之类的硬件的计算机平台上实现该机器。计算机平台也可以包括操作系统和微指令代码。此处描述的各种过程和功 能可以是在操作系统上执行的微指令代码的一部分或应用程序的一部 分(或其结合)。另外，各种其他外围设备可以连接到该计算机平台， 如额外的数据存储设备和打印设备。
还应理解，由于附图中描述的一些组成系统的组件和方法步骤优 选地以软件来实现，因此系统组件(或处理步骤)之间的实际联系可 能根据对本发明进行编程的方式而不同。由于这里的教导，相关领域 中的普通技术人员能够能够想到本原理的这些和类似实现方式或配 置。
尽管已经说明、描述并指出了应用至特定实现方式的基本的新颖 特征，但是，可以理解的是，本领域技术人员可以对所描述方法和所 示设备的形式、细节和操作进行各种省略、替换和改变。例如，很清 楚，以实质上相同的方法来执行实质上相同的功能以实现相同结果的 元件和/或方法操作的所有组合，都包含在本原理的范围之内。此外， 应当认识到，与本原理的任何公开的形式或实现方式相结合来说明和/ 或描述的结构和/或元件和/或方法步骤， 一般可以在任何其他公开、 描述或建议的形式或实现方式中使用。此外，不同实现方式中的元件 可以组合、补充、修改或去除，以产生其他实现方式。相应地，其他 实现方式落入所附权利要求的范围内。
权利要求
1、一种方法，包括访问(902)用于对数字图像数据进行滤波的准则；以及确定(904)用于对数字图像数据进行滤波的参数的值，所述值是基于所述值是否导致数字图像的至少一部分满足所述准则来确定的。
2、 如权利要求l所述的方法，其中，确定所述值包括确定导致 数字图像的所述部分中的像素满足所述准则的值。
3、 如权利要求l所述的方法，其中，所述准则与用于对数字图像 数据进行滤波的滤波器的一个或多个性能特性的度量相关。
4、 如权利要求3所述的方法，其中，所述性能特性与滤波器强度、 滤波器质量和滤波器复杂度中的一项或多项相关。
5、 如权利要求l所述的方法，其中，访问准则包括从用户接收 准则。
6、 如权利要求l所述的方法，其中，通过以下步骤来确定数字图 像的所述部分访问数字图像；评估所访问的数字图像的像素值；以及 基于所述评估，从所访问的数字图像中选择所述部分。
7、 如权利要求6所述的方法，其中，所述评估像素值包括确定 所访问的数字图像的所述部分的均质性度量。
8、 如权利要求6所述的方法，其中，所述评估像素值包括确定 一个或多个像素块的方差，产生一个或多个方差，所述选择所述部分包括将一个或多个方差与阈值进行比较；基于所述比较来选择所述一个或多个像素块中的至少一个；以及 选择包括一个或多个所选的块中的像素在内的部分。
9、 如权利要求l所述的方法，还包括访问用于对数字图像数据 进行滤波的第二准则，其中所述准则指示对像素的滤波器强度，所述第二准则指示具有由所述准则指示的滤波器强度的像素的 百分比，以及所述确定所述值基于所述值是否导致数字图像的所述部分满足 所述准则和所述第二准则中的至少一个。
10、 如权利要求9所述的方法，其中，所述确定所述值还包括 基于空间邻近区域的大小是否允许满足准则来确定空间邻近区域的大 小。
11、 如权利要求9所述的方法，其中，所述确定所述值还包括 基于时间邻近区域的大小是否允许满足准则来确定时间邻近区域的大 小。
12、 如权利要求9所述的方法，其中，所述确定所述值还包括 基于空间邻近区域的大小和时间邻近区域的大小是否一起允许满足准 则来确定空间邻近区域的大小和时间邻近区域的大小。
13、 如权利要求9所述的方法，其中，所述确定所述值还包括 针对所述部分，确定像素差阈值的值，以使数字图像的所述部分满足所述准则和所述第二准则。
14、 如权利要求9所述的方法，其中，所述准则指示了要与给定像素进行平均的像素的数目。
15、 如权利要求l所述的方法，其中，所述参数与预测的候选像素的良好性度量的阈值相关。
16、 如权利要求15所述的方法，其中，预测的候选像素的良好性 度量基于至少一个当前像素与至少一个预测的候选像素之间的差值。
17、 一种设备，包括处理器，被配置为接收数字图像数据，所述处理器还包括准则输入接收机(1302)，被配置为访问用于对数字图像数 据进行滤波的至少一个准则；以及参数确定单元(1306)，用于确定用于对数字图像数据进行 滤波的参数值，所述参数值是基于所述参数值是否导致数字图像 的至少一部分满足所述至少一个准则来确定的。
18、 如权利要求17所述的设备，其中，所述参数确定单元被配置 为确定导致数字图像的所述部分中的像素满足所述至少一个准则的参 数值。
19、 如权利要求17所述的设备，其中所述至少一个准则包括第一准则，指示滤波器强度；以及第二 准则，指示具有由第一准则指示的滤波器强度的像素的百分比，以及所述参数确定单元基于所述参数值是否导致数字图像的至少一 部分满足所述第一准则和所述第二准则中的至少一个来确定所述参数 值。
20、 如权利要求17所述的设备，其中，所确定的用于滤波的参数值包括空间邻近区域的大小、时间邻近区域的大小和用于验证预测的 候选像素良好性的阈值中的至少 一 项。
21、 如权利要求17所述的设备，其中，将所述处理器集成入编码 器中，并将所确定的参数与数字图像数据一起发送。
22、 如权利要求17所述的设备，其中，将所述处理器集成入解码 器中，并对接收的数字图像数据执行参数确定。
23、 一种设备，包括用于访问用于对数字图像数据进行滤波的准则的装置(1302);以及用于确定用于对数字图像数据进行滤波的参数的值的装置 (1304)，所述值是基于所述值是否导致数字图像的一部分满足所述准则来确定的。
24、 一种程序存储设备，其上有形地实现有应用程序，所述应用 程序包括用于至少执行以下步骤的指令访问(902)用于对数字图像数据进行滤波的准则；以及确定(904)用于对数字图像数据进行滤波的参数的值，所述值是基于所述值是否导致数字图像的至少一部分满足所述准则来确定的。
25、 如权利要求24所述的程序存储设备，其中，所述应用程序还 包括用于至少执行以下步骤的指令访问数字图像；评估所访问数字图像的像素值；以及 基于所述评估，从所访问的数字图像中选择所述部分， 其中，确定所述值包括基于所述值是否导致所访问的数字图像的 所选部分满足所述准则来确定所述值。
26、 一种方法，包括使用滤波器对数字图像进行滤波(1112)，所述滤波器包括参数， 所述参数的值是基于所述值是否导致数字图像的一部分满足用户提供 的准则来确定的。
全文摘要
本发明提供了一种特定的自动参数估计方法和设备，根据一个或多个用户控制的高等级滤波参数来对低等级滤波参数进行估计。所述高等级滤波参数是强度和质量，其中，强度指示了执行噪声减小的程度；质量指示了控制滤波均匀性和细节丢失之间平衡的容限。所估计的低等级滤波参数包括从中选择候选像素的空间邻近区域和/或时间邻近区域的大小、以及用于验证空间或时间预测的候选像素的“良好性”的阈值。更具体地，访问(902)用于对数字图像数据进行滤波的准则；以及确定(904)用于对数字图像数据进行滤波的参数的值，所述值是基于所述值是否导致数字图像的至少一部分满足所述准则来确定的。
文档编号G06T5/00GK101536031SQ200780035539
公开日2009年9月16日 申请日期2007年6月25日 优先权日2006年9月29日
发明者吉恩·拉什, 锡塔拉姆·伯哈加瓦西 申请人:汤姆森许可贸易公司