专利名称：像素处理的制作方法
技术领域：
本发明涉及一种用于对图像的像素进行处理的方法和系统。
背景技术：
在几乎所有现代电视中，峰化技术用于增强所显示的画面。这意味着在亮度通道 中通过使用峰化或峰化电路(例如，亮度瞬变增强技术)来对边缘进行锐化。通过这样的 技术，通常使边缘附近的黑色部分的颜色更黑，使白色部分的颜色更白。因此，画面看起来 更锐化并更鲜明。以适合于各种不同图像的方式的这种技术的正确应用在技术上是非常复 杂的。例如，国际专利申请公开WO 01/67392公开了一种用于提高视频图像的锐化度的 系统和方法。在该文献中，公开了一种用于对视频图像中的边缘进行锐化的装置。该装置 包括1)第一电路，用于确定与第一边缘相关联的第一像素的第一亮度值和与第一边缘相 关联的第二像素的第二亮度值，其中，第一和第二像素是邻近像素；2)第二电路，用于确定 位于第一和第二像素之间的第一子像素的位置，其中，第一子像素位置近似位于第一边缘 的中心处；3)第三电路，用于增加位于第一边缘中心的第一侧上的第二子像素的亮度值； 以及4)第四电路，用于减小位于第一边缘中心中与第一侧相对的第二侧上的第三子像素 的亮度值。该文献说明了如何将峰化应用于图像中的像素。然而，所有已知的技术都不足 够灵活，即，众所周知，当处理完全不同的图像时，将始终存在不正确的边缘增强的可能性， 这是由于个别技术仅倾向于针对特定类型的图像进行优化。
发明内容
因此，本发明的目的是在现有技术的基础上进行改进。根据本发明的第一方面，提供了一种用于对图像的像素进行处理的方法，包括确 定图像的同态程度最高的区域，根据确定的区域的内容计算阈值，根据计算的阈值选择图 像中的像素，以及向所选像素应用增益。根据本发明的第二方面，提供了一种用于对图像的像素进行处理的系统，包括接 收器，被布置为接收图像；以及处理器，被布置为确定图像的同态程度最高的区域，以根据 确定的区域的内容计算阈值、根据计算的阈值选择图像中的像素、以及向所选像素应用增
■、Λ
frff. ο根据本发明的第三方面，提供了一种用于对图像的像素进行处理的计算机可读介 质上的计算机程序产品，所述产品包括进行以下操作的指令用于确定图像的同态程度最 高的区域、根据确定的区域的内容计算阈值、根据计算的阈值选择图像中的像素、以及向所 选像素应用增益。由于本发明的这些方面，能够提供一种自适应峰化方法，该方法基于图像的内容 对图像中的像素进行处理。动态地设置反映图像内容的阈值(并针对图像流中的每幅图像 可以对该阈值进行重置)，并且这将引起用于峰化的像素选择，峰化将提供与该图像的查看者感知的图像质量有关的良好最后结果，但是还将适合于各种源图像。根据本发明的第四方面，提供了一种用于对图像的像素进行处理的方法，包括计算阈值、根据计算的阈值来选择图像中的像素、根据图像的内容来计算增益、以及将所述增 益应用于所选像素。根据本发明的第五方面，提供了一种用于对图像的像素进行处理的系统，包括接 收器，被布置为接收图像；以及处理器，被布置为计算阈值、根据计算的阈值来选择图像中 的像素、根据图像的内容来计算增益、以及将所述增益应用于所选像素。根据本发明的第六方面，提供了一种计算机可读介质上用于对图像的像素进行处 理的计算机程序产品，所述产品包括用于进行以下操作的指令计算阈值、根据计算的阈值 来选择图像中的像素、根据图像的内容来计算增益、以及将所述增益应用于所选像素。由于本发明的这些方面，还能够提供一种基于图像内容设置图像中的像素的增益 的自适应峰化方法。应用于图像的像素的增益是动态设置的(并且将针对图像流中的每幅 图像而重置)，该增益反映了图像的内容，并且这可以引起用于峰化的像素选择，峰化将提 供与图像的查看者感知的图像质量有关的良好最后结果，而且还将适合于广泛的源图像。有利地，根据图像的内容来计算增益的步骤包括计算等于比计算的阈值高的过 渡的归一化累积直方图的值。计算的阈值用于确定向图像中哪个像素应用峰化。该阈值还 可以用于确定实际应用于单独像素的增益的等级，这可以在增益的公式中使用，再次使用 增益意味着在图像上执行的峰化更适合于该图像的内容。优选地，根据图像的内容来计算增益的步骤包括计算特定像素的增益，该增益等 于图像的最大灰度级(g)乘以计算的值(Hha)乘以特定像素的滤波器的输出。产生增益值 的该公式的使用对将峰化应用到图像内的所选像素传递了一致的性能。理想地，确定图像的同态程度最高的区域的步骤包括根据预定算法将图像分割 成较小的图段、以及确定每个图段的同态值，并且确定每个图段的同态值的步骤包括确定 相应段中的像素的变化。确定同态程度最高的区域的图像的分割是简单并有效的方法，用 于传递关于图像内的内容的判定。该算法可以基于特定图段内的像素之间的变化来非常快 速地确定图像内同态程度最高的区域。
参照附图，现在仅通过示例描述本发明的实施例，在附图中图1是峰化过程的示意图，图2是在峰化过程中使用的增益的示意图，图3是自适应峰化过程的示意图，图4是示出了像素之间边缘的图像的示意图，图5是应用于图像的分割过程的示意图，图6是两幅图像的图，图7是用于对图像中的像素进行处理的系统的示意图，图8是图像区域的归一化累积直方图，图9是图像的归一化累积直方图，以及图10是示出了根据图9的直方图计算的峰化增益的图。
具体实施例方式峰化的使用是公知的图像改进之一。峰化的使用通过使图像内的图像边缘更强烈 来改进图像边缘。图1示出了实现峰化的经典方法。将输入信号10馈送至高通滤波器12 和加法器14，该输入信号10是图像内的分量。高通滤波器(HPF) 12移除除了高频分量16 以外的所有分量。查找表(LUT) 18对这些分量进行修改，查找表(LUT) 18有效地将预定的 增益20应用于高频分量16。LUT 18的输出由信号22代表，信号22是增益20乘以HPF 12 的输出。将该输出22作为第二输入馈送至加法器14，加法器14对该输出22和原始输入信 号10求和，以产生最终输出信号24。将图1所示的过程应用于图像内的那些像素，针对该 图像确定需要的峰化，以提高该图像内边缘的锐化度。文献中的许多工作集中于高通滤波器12的设计方面。例如，C.Hentschel 禾口 D. La Hei 的 文 章"Effective peaking filter and itsimplementation on a programmable architecture"(公布于 ConsumerElectronics, IEEE Transactions on Volume 47中，发表于2001年2月1日33页至39页)是这种高通滤波器12的设计 的示例。在 M. A. Badamchizadeh 和 A. Aghagolzadeh 的题为"Comparative study of unsharp maskingmethods for image enhancement" (Image and Graphics, 2004, Proceedings of Third International Conference, 2004 年 12 月 18 至 20 日，27 页至 30 页)的文章中，作者给出了不同高通滤波方法的比较。然而，在使增益适于图像的内容方面所做的工作还不够。增益的良好选择将考虑 以下几点避免噪声和编码伪像放大，应当将较高的峰化增益分配至属于纹理的边缘，并且 避免信号失真，信号失真将伴随较强烈边缘一同发生，并且当边缘分离两个同态区域时该 信号失真是令人烦恼的。在动态峰化方法中，例如，G. J.MVervoort.的"Real Timeenhancement with TriMedia of decoded MPEG video”(Nat. Lab TechnicalNote 2001/559，发表于 02 年 2 月)中公开的方法，在LUT中以统计方式设置增益，该LUT决不会根据图像内容调整增益。 在 M. C. Q. Farias, F. Oberti,禾口 I. E. J. Heynderickx 的文章"Perceptual Analysis of sharpnessEnhanced video Algorithms"(Nat. Lab Technical Note ra-TN-2003/00433，发 表于2003年6月)中，为了最小化通过8X8块计算的度量，选择增益值，最小化过程需要 多次迭代，并且基于块的计算不会考虑图像的全局特性(例如，噪声、纹理和伪像)。在本发明中，提出根据图像性质(例如该图像是否是有噪声的、编码伪像的，是否 包含许多文理或更多平坦区域)来调整增益。从而要解决的问题是如何执行应用于图像内 的像素的峰化，使其自适应于图像内容，以便仅对那些应当在图像内进行峰化的像素进行 峰化。有利地，不需要手动改变峰化过程中应用的增益。均自动进行应用峰化的像素选择 和所应用的峰化等级。本发明的本质特征是一种对图像的像素进行处理的方法，该方法包括确定图像 的同态程度最高的区域、根据确定的区域的内容来计算阈值、根据计算的阈值来选择图像 中的像素、以及向所选像素应用增益。有利地，该方法还包括根据图像的内容来计算增益。作为自适应峰化的新峰化算法使用两个主要构思。第一构思是使用统计分割来设 置阈值‘‘th”。在图2中示出了该阈值26。不对图像中值在‘‘th”之下的那些边缘进行峰化。动态确定该阈值并针对每幅图像而改变。第二构思是使用边缘的直方图的均衡来为值 在“th”之上的边缘设置增益，该增益是图28中的曲线。图2的查找表定义了在接收到的 图像上发生的处理。仅对根据阈值26选择的那些像素应用峰化，并且通过增益28确定峰 化的程度。以下详细讨论阈值26的计算，但是根据图像的内容选择阈值26的计算，并且随 着应用峰化的每幅新图像，不断改变该阈值。图3概述了一般的自适应峰化过程。对视频序列的当前图像310进行处理，以计 算图像内过渡312的直方图。与上述并行地，在步骤316对图像进行分割以计算“th”。由 于图像噪声和性质没有突然改变，不必针对每个帧更新阈值。因此，能够配置过程，使得每 χ个帧(多个帧)仅对“th”更新一次。根据系统的处理能力，值χ应当是固定的。通过使 用“th”和当前图像内过渡的直方图，在步骤314对峰化增益进行更新。一旦对峰化增益进 行了更新，在步骤318将该峰化增益应用于当前图像，最终的结果是峰化的图像320。当接收到要应用峰化的图像时，需要对要在峰化过程中使用的阈值进行计算。为 了实现上述要求，需要确定图像的同态程度最高的区域，这可以通过根据预定算法将图像 分割成较小图段来完成。确定每个图段的同态值包括确定相应图段中像素的变化。有效地，该过程使用接收到的图像的分割来设置阈值“th”。这通过使用分割算法 来实现。图4示出了由像素32组成的图像30。分割算法实现如下(a)首先，对像素32之间的所有边缘(沿着所有四个方向)进行计算，然后从低到 高排序。图4示出了如何相对于用于组成图像30的4X4像素阵列来计算该步骤的示例。 将理解，实际上，图像30的分辨率将是非常高的，并将包括更大数目的像素。本发明描述的 峰化过程与图像30的大小无关。边缘与4连通中的像素对(Pi，Pi’ )相对应。该边缘的值是两个像素(Pi，Pi’ ) 之间的绝对差。对图像30中的所有边缘进行排序，使得它们以值递增。对于一般情况，考 虑大小为的图像。图像内边缘的数目等于Ne = w*(h-l)+h*(w-l)。创建表“T[Ne]”。 每个边缘具有标识符(来标识图像30内两个像素32之间的每个边缘)和值。在“T[] ”中 从标识符的边缘的低到高值对边缘的标识符进行排序。因此在“Τ
”中，存储了具有最低 值的边缘的标识符。在“T[l]”中，存储了具有相等或下个更大值的边缘的标识符等等，直 到对图像内的所有边缘进行处理为止。“T[Ne]”存储了边缘的最大值。在图4的示例中，在图像30中存在24个不同的边缘，并且这些边缘位于表中从1 至24的位置，其中，条目1存储具有最低值的边缘的标识符以及该边缘的值(该值是组成 相应边缘的两个像素32之间的差值)。在表的剩余部分中对剩余边缘进行排序至条目24。(b)遵照图象在中边缘的排序，下个步骤是执行合并。遵照排序，执行如下所示的 算法For i = 0 to i = Ne.{l-Edge_Identifier = T[i],2-Compute(PI,P2) :the two pixels connected bythe edge_Identifier byEdge_Identifier.3-R1 = FIND(Pl) :Rlis the label of the region to which belongsPL4-R2 = FIND(P2) :R2is the label of the region to which belongs P2.5-if(Criterion(Rl, R2) = true)then UNION(Rl，Rl)else do nothing.}算法中的第五语句意味着，如果两个区域Rl和R2的平均亮度低于阈值(该
阈值是两个区域Rl、R2的两个基数m和N2的函数)，则将Rl和R2合并到一个区域
中。Rl是像素Pl所属区域的标签，R2是像素P2所属区域的标签。FIND⑵是发现像
素P所属区域的代表的函数。UNI0N(R1，R2)是使两个标签相等的函数，从而两个像素
(Rl, R2)属于相同区域。UNION和FIND函数是在图像分割算法中使用的经典算法(见，
例如，C. Fiorio 禾口 J. Gustedt，“Two linear time Union-Find strategiesfor image
processing^Theoretical Computer Science on Volume 154，1996 165 页至 181 页)。算
法的第五语句中的函数定义如下
--2 ( 1 1 ) Criterion^,R2) = (Ri-R1 <S* —+ —其中，艮，运分别是Rl和R2的颜色平均，S是用户设置的参数，以便调整分割的粗 糙度。当S较大时，对图像进行欠分割。当S较小时对图像进行过分割。为了实现良好平 衡，能够将该值设置为S = g2(其中，g是图像的最大灰度级=255)。在已经完成从i = O 到Ne的循环之后，剩下若干区域，其中每个区域包含多个像素。这些像素不必要具有相同亮度。图5概述了在分割期间发生的过程。在左侧，对像素的边缘进行计算，然后在中间 所示出在表中进行排序。该表从边缘的低到高进行排序，在这种情况下，第6边缘具有O值 (位于边缘6任一侧上的两个像素之间的差值)，继续进行排序，直到具有最大差值的边缘。 一旦产生了该表，则上述分割算法对该表进行操作以将图像分割成分离的区域。在该示例 中，该算法将图像分成原始图像内的四个不同区域。这仅时说明分割算法的可能输出的示 例。一旦已经完成了分割，则峰化过程中的下个步骤是设置阈值th，通过使用分割的 结果来实现阈值th的设置。阈值th是针对整个图像而计算的阈值，而不是针对图像内的 任何单独区域计算的阈值。通过考虑图像内的同态程度最高的区域来计算该阈值。在分割 步骤之后，在变化的情况下，峰化过程提取Rh(图像中的同态程度最高的区域)。区域R内 的变量θ κ是其中，I RI、Y[p]、Y5分别是区域R的基数、像素ρ的亮度值、以及区域R内的亮度 平均。然后计算Hh内的过渡的累积直方图Ha (如利用以上指代的Hentschel滤波器对这样 的过渡进行计算)。然后阈值th是验证以下不等式的过渡值α Rj-I ^ Ha [th] < α Rh其中，α是该同态区域内像素数目的百分比。通过将α设置为0.7获得良好结^ ο
一旦已经确定了该阈值th，该阈值用于选择应用峰化的那些像素。采用以下方式 来计算应用的增益的程度。对于高于th的过渡，采用以下方式来应用峰化。首先对图像进 行解析，并计算Hha，其中，Hha是高于th的过渡的归一化累积直方图，是由图像的大小归一 化的。然后峰化操作为<formula>formula see original document page 9</formula>
其中，Y[p]、Yenh[p]和HPF[p]分别是位置p = (x，y)处的原始亮度值、增强亮度 值以及Hentschel滤波器的结果。本发明的主要应用是电视和视频系统中的图像增强，并且具体地在缩放操作之后。增益的设置意味着，将向包含具有相同值但以不同频率(过渡在图像中出现的次 数)的过渡的两幅图像应用不同的增益。例如，在图6a中，第一图像在其中部具有一个列 过渡，在图6b中，第二图像具有5个列过渡。在图6b中所示的第二图像中，在图像中部的 过渡与图6a的第一图像中的过渡相同。所有现有峰化算法将以完全相同的方式来增强图像(针对图像6a和6b)中部的 过渡。但本发明的峰化过程将不这样做，因为峰化增益取决于作为整体的图像内的过渡频 率。通过将第一图像的中部增强之后的像素值与第二图像中部的像素值进行比较，能够示 出已经应用于相同位置中的相同边缘的不同增益。图7示出了用于对图像30 (或图像序列)的像素进行处理的系统34的示例。系 统34包括被布置为接收图像30的接收器36、处理器38、以及显示驱动器40。显示驱动器 40的输出用于驱动显示设备42。处理器38被布置为确定图像30的同态程度最高的区域， 以根据确定的区域的内容来计算阈值(th)、根据计算的阈值(th)来选择图像中的像素、以 及向所选像素应用增益。这样，执行具有两个主要部分的自适应峰化过程。首先，根据图像 30的内容设置阈值th，这确定将对图像内的哪个像素进行峰化。其次，对应用于选择进行 峰化的那些像素的增益，通过图像的内容再次确定峰化的量。图8、9和10示出了根据图3所示的过程从如图7的系统执行的峰化过程中产生 的一些数据。被处理为应用峰化增益的每幅图像30经历两个部分分割以找到图像的同态 程度最高的区域，该同态程度最高的区域然后用于确定阈值th，阈值th确定应用峰化的像 素；以及根据图像30的内容来设置要应用的增益。图8示出了来图像30的同态程度最高 的区域的归一化累积直方图，该直方图然后可以使用在噪声阈值确定中。图9示出了与图 像30相对应的归一化累积直方图，该直方图用于计算峰化增益。在图10中示出了从图9 的归一化累积直方图中导出的该增益等级。
权利要求
一种对图像(30)的像素(32)进行处理的方法，包括确定图像(30)的同态程度最高的区域，根据确定的区域的内容来计算阈值(th)，根据计算的阈值(th)来选择图像(30)中的像素(32)，以及向选择的像素(32)应用增益。
2.根据权利要求1所述的方法，还包括根据图像(30)的内容来计算增益。
3.根据权利要求2所述的方法，其中，根据图像(30)的内容来计算增益的步骤包括 计算等于比计算的阈值(th)高的过渡的归一化累积直方图的值(Hha)。
4.根据权利要求3所述的方法，其中，根据图像(30)的内容来计算增益的步骤包括 计算特定像素(32)的增益，所述增益等于图像(30)的最大灰度级(g)乘以计算的值(Hha) 乘以特定像素(32)的滤波器的输出。
5.根据前述权利要求中任一项所述的方法，其中，确定图像(30)的同态程度最高的区 域的步骤包括根据预定算法将图像(30)分割成较小图段，以及确定每个图段的同态值。
6.根据权利要求5所述的方法，其中，确定每个图段的同态值的步骤包括确定相应图 段中像素的变化。
7.一种对图像(30)的像素(32)进行处理的系统，包括 接收器(36)，用于接收图像(30)，以及处理器(38)，用于确定图像(30)的同态程度最高的区域、根据确定的区域来计算阈值 (th)、根据计算的阈值(th)来选择图像(30)中的像素(32)、以及向选择的像素(32)应用增益。
8.根据权利要求7所述的系统，其中，所述处理器(38)还根据图像(30)的内容来计算增 ο
9.根据权利要求8所述的系统，其中，当根据图像(30)的内容来计算增益时，所述处理 器(38)计算等于比计算的阈值(th)高的过渡的归一化累积直方图的值(Hha)。
10.根据权利要求9所述的系统，其中，当根据图像(30)的内容来计算增益时，所述处 理器(38)计算特定像素(32)的增益，所述增益等于图像(30)的最大灰度级(g)乘以计算 的值(Hha)乘以特定像素(32)的滤波器的输出。
11.根据权利要求7至10中任一项所述的系统，其中，当确定图像(30)的同态程度最 高的区域时，所述处理器(38)根据预定算法将图像(30)分割成较小图段，以及确定每个图 段的同态性值。
12.根据权利要求11所述的系统，其中，当确定每个图段的同态值时，所述处理器(38) 确定相应图段中像素的变化。
13.一种用于对图像(30)的像素(32)进行处理的计算机可读介质上的计算机程序产 品，所述产品包括用于以下操作的指令确定图像(30)的同态程度最高的区域， 根据确定的区域的内容来计算阈值(th)， 根据计算的阈值(th)来选择图像(30)中的像素(32)，以及 向选择的像素(32)应用增益。
14.根据权利要求13所述的计算机程序产品，还包括用于根据图像(30)的内容来计算增益的指令。
15.根据权利要求14所述的计算机程序产品，其中，根据图像(30)的内容来计算增益 包括用于计算等于比计算的阈值(th)高的过渡的归一化累积直方图的值(Hha)的指令。
16.根据权利要求15所述的计算机程序产品，其中，根据图像(30)的内容来计算增益 包括用于计算特定像素(32)的增益的指令，所述增益等于图像(30)的最大灰度级(g)乘 以计算的值(Hha)乘以特定像素(32)的滤波器的输出。
17.根据权利要求13至16中任一项所述的计算机程序产品，其中，确定图像(30)的同 态程度最高的区域包括用于，根据预定算法将图像(30)分割成较小图段以及确定每个图 段的同态值的指令。
18.根据权利要求17所述的计算机程序产品，确定每个图段的同态值包括用于确定 相应图段中像素的变化的指令。
19.一种对图像(30)的像素(32)进行处理的方法，包括计算阈值(th)，根据计算的阈值(th)来选择图像(30)中的像素(32)，根据图像(30)的内容计算增益，以及向选择的像素(32)应用增益。
20.一种对图像(30)的像素(32)进行处理的系统，包括接收器(36)，用于接收图像(30)，以及处理器(38)，用于计算阈值(th)、根据计算的阈值(th)来选择图像(30)中的像素 (32)、根据图像(30)的内容来计算增益、以及向选择的像素(32)应用增益。
21.一种用于对图像(30)的像素(32)进行处理的计算机可读介质上的计算机程序产 品，所述产品包括用于以下操作的指令计算阈值(th)，根据计算的阈值(th)来选择图像(30)中的像素(32)，根据图像(30)的内容来计算增益，以及向选择的像素(32)应用增益。
全文摘要
本发明提供了一种对图像的像素进行处理的方法，包括确定图像的同态程度最高的区域，根据确定的区域的内容来计算阈值(th)，根据计算的阈值(th)来选择图像中的像素，以及向选择的像素应用增益。该方法还包括根据图像的内容来计算增益。
文档编号H04N5/14GK101809988SQ200880109618
公开日2010年8月18日 申请日期2008年10月1日 优先权日2007年10月1日
发明者斯蒂芬妮·让-贝松, 穆罕默德·哈桑尼, 马克·安德烈·乔治·迪朗东 申请人:Nxp股份有限公司