专利名称：图像和视频的亮度、颜色和对比度的联合增强的制作方法
技术领域：
本发明涉及图像和视频的亮度、颜色和对比度的联合增强。
背景技术：
本发明主要涉及在视频处理流水线中处理视频。 使用视频处理流水线来处理来自诸如电视调谐器、机顶盒或例如光盘驱动器之类 的媒体播放器的视频源的视频流或静止图像。可使用视频处理流水线来改进接收的音频和 视频。视频处理流水线也可以增强所接收视频的颜色和对比度。
发明内容
本发明提供一种方法，包括一次性执行亮度、颜色和对比度增强视频处理。
本发明还提供一种设备，包括并行执行局部对比度增强、全局亮度调节和饱和度 增强的单元；以及组合所述局部对比度增强、所述全局亮度调节和所述饱和度增强的结果 的组合器。
图1是根据一个实施例的视频处理流水线的图示； 图2是根据一个实施例的颜色和对比度增强单元的示意图示； 图3是用于图7中示出的图像的累积分布函数图； 图4是用于图7中示出的图像的强度查找表； 图5是用于图8中示出的图像的累积分布函数图； 图6是用于图8中示出的图像的强度查找表； 图7是与图3和4结合使用的测试图像； 图8是与图5和6结合使用的测试图像； 图9是根据一个实施例的用于饱和度增强的流程图；以及 图10是根据一个实施例的具有-0. 15的饱和度提升(boost)的饱和度查找表的 图。
具体实施例方式
参见图l，视频处理流水线100可用于多种应用中，包括个人计算机、机顶盒、电视 接收器或媒体播放器。视频源102可以是例如调谐器、DVD盘播放器或机顶盒，这只是举几 个例子。图l显示视频流水线的典型组成部分，不一定是适当排序的，排序取决于内容、需 求、以及所使用的具体算法。 在一个实施例中，视频源102将隔行视频提供到降噪和滤波单元104。块104在从 视频源102提供的数字信号上执行降噪滤波。在一个实施例中，去隔行模块106将隔行视 频转换为逐行扫描视频。
3
颜色和对比度增强108负责增强颜色和对比度。在一些实施例中，可以"一次性"
完成颜色和对比度增强，这意味着不必调节颜色或对比度中的第一个然后去调节颜色或对
比度中的第二个，之后返回并再次调节第一个以解决第二个中的改变。颜色/对比度增强
的位置发生变化，并且已知以与锐度增强相互作用(对比度影响锐度的感知)。 锐度增强单元110可以实现图像锐度增强。縮放单元112可以调整图像大小以用
于在显示器114上显示。 参见图2，颜色和对比度增强单元108可以一次性增强接收的视频的颜色和对比 度。在一个实施例中，单元108可以首先转换到合适的颜色空间，如块12中所指示的。对 于视频流，输入的颜色空间通常是YCbCr，并且对于静止图像，RGB颜色空间是常见的。
实现颜色增强算法的颜色空间可在感知的色调方面是一致的，使得增强的颜色在 色调中不改变。在一些实施例中，彩色的颜色的亮度预测没有特别大的色调或亮度调制依 赖性。颜色空间可以具有XYZ(或某个其它的基本颜色描述)和颜色空间维之间的可逆的 函数映射。此外，颜色空间可以是相对的(具有沿着一维的中性轴)的三维空间。
在某些情况下，变换为线性颜色空间和从线性颜色空间变换可在计算上是不昂贵 的。 一个合适的颜色空间是IPT颜色空间。IPT中的"I"是与强度松散相关的，"P"是红-绿 维，以及黄-蓝维是由字母"T"指示的。IPT颜色空间线性地对恒定的感知色调建模。
输入图像不太可能在IPT颜色空间中。因此，颜色空间变换可能是必需的。利用 D65的发光体，将标准RGB(或sRGB)转换为用于19312°标准观察者的CIEXYZ。等式1显 示从XYZ到IPT的转换(sRGB是伽马校正的RGB ;因此伽马校正被构建到此算法中)
<formula>formula see original document page 4</formula> 如果输入图像在YCbCr空间中，可以使用附加的步骤来转换到RGB。
根据一个实施例，然后IPT空间中的颜色数据可以经受并行的局部对比度增强 (如块16中所指示的)、全局亮度调节或对比度增强(如块14中所指示的)、以及色度或饱 和度增强(如块18中所指示的)。然后可以在20中组合并行的结果、一次性增强和调节；对于I的增强值出自于来自局部对比度增强的AI、亮度校正之后的新的I，并且P和T分 量来自色度增强块。然后可以将产生的IPT输出转换回它的原始颜色空间，如块22中所指 示的。 在一些实施例中，颜色和对比度增强单元108可以是自动的且与图像内容或颜色 无关。单元108也可以集成颜色和对比度增强功能性。在一些实施例中，单元108可以提 高整体饱和度而维持原始色调。有利的是，单元108使非彩色的颜色未改变。有利的是，单 元108不增加已经足够饱和的颜色的饱和度，并且因此减少感知的锐度丢失和不合需要的 颜色增强。此外，在一些实施例中，单元108可不产生色域外的颜色或颜色伪像(例如斑点 (blotchiness))。最后，在一些实施例中，单元108对于在常规帧速率操作的视频处理链可 以是足够快的。 单元108可以在软件、硬件或固件中实现。软件实现可包括存储在计算机可读媒 体上的计算机可执行指令。计算机可读媒体可以是半导体、磁的或光的存储装置。
在典型的图像增强操作中，增加饱和度可能会导致色域外的或不许可的颜色。随 着颜色的饱和度增加，亮度自动下降。相反地，降低亮度引起增加的饱和度的感知。因此， 在具有正常曝光的典型图像中，在增加饱和度之前可以降低整体亮度。 然而，如果开始时图像大部分是黑色(由于欠饱和度或由于该图像的高动态范围 (这同时意味着该图像的一部分是相当亮的))，则在能获得任何感知的颜色增强之前可增 加亮度。在此情况下，饱和度增强可高于正常水平以抵消由于亮度的增加而引起的感知的 饱和度损失的影响。因此，做出关于图像是否需要被变暗或变亮、以及达到什么程度的决 定。这可以通过全局亮度调节14来实现。 可以使用查找表(LUT)来执行全局亮度调节14。像素强度曲线是低于较低阈值 (例如O. 1)并高于较高阀值(例如0.9)的具有单位斜率的直线。因此在一个实施例中，不 改变小于所述较低阀值和大于所述较高阀值的像素强度。这些阈值是参数化的，并且可以 用作用户控制。 在这些阈值之间，强度被非线性地调节，例如根据等式2 :
WGC=Ii， Ii《I涵
I。UT—GC = I厂P sin (Ji *I》， ILowTH《Ii《IHighTH
I。UT—GC = I" Ii > IHighTH (2) 其中Ii和I。UT—ec是输入和输出强度，以及贝塔(beta)参数(P )确定调节的量并 且取决于整体图像特性，如下所述。正贝塔值使图像变暗以及负贝塔值使图像变亮。使用 正弦函数来提供单峰的、对称的增强曲线。可以使用其它类似的数学函数，并且甚至可以应 用S形曲线来实现相当于直方图均衡的功能，其可以被构建到块中。然而，亮度调节块的一 个目标是提供以下选项以协作地使饱和度增强更有效的方式来增加亮度(例如，使颜色 变亮给出用于增加的饱和度的更多空间，使颜色变暗提高色彩度而无需太多饱和度增强)。
在一个实施例中，使用对应于0. 5的累积分布函数(CDF)的图像强度来确定图像 是否应该被变暗或变亮。CDF的0.5点指示在其之下发现50X像素的亮度。累积分布函数 绘制通常由直方图描绘的相同强度信息。然而，累积分布函数和直方图之间的区别在于在 累积分布函数中，强度值是从左至右求和的。典型地，累积分布函数按照垂直轴上的百分数 和水平轴上的强度或其它单元来显示相对频率。
如果对于0. 5CDF值的图像强度位于预定义的低CDF阈值之下(例如0. 1，意味着像素的50%是在或低于最大亮度/强度的0.1%)，则可使图像变亮到最大级别(例如13=-0. 15)。如果这个强度位于预定义的高CDF阈值(例如0. 9)之上，则可使所述图像变暗到最大级别(例如P = 0. 15)。当强度位于中间时，可通过线性插值计算13 。 一旦已经计算出13 ，则在全局亮度调节公式(2)的计算中使用13 。 |3也被用于色度增强块18中。
P的计算涉及计算经验CDF，在0. 2、0. 5、和0. 8 (L20， L50， 180)的CDF值查找强度I，以及应用下列计算方法。如果50%的像素强度值(L50)位于低阈值之下(paramLowThresCDF50)，则使图像变亮到最大以及P被设置为等于paramBetaMax。否则，如果50%的像素强度大于高阈值(paramHighThresCDF50)，则使图像变暗到最大以及P被设置为等于paramBetaMax。如果％贝塔(％ beta)位于-betaMax和betaMax之间，则贝塔计算为-betaMax禾口 betaMax之间的线性插值{((2*abs (paramBetaMax) * (L50-paramLowThresCDF50))/(paramHighThresCDF50-paramlxiwThresCDF50))}-paramBetaMax ;。
为确保变暗或变亮不引起图像的一些部分被剪切，可以检查两个附加条件。第一附加条件核实当贝塔小于0并且L80大于或等于paramThresCDF80时不应用亮度校正；即如果P < 0&&(L80 >= paramLowThresCDF80)，则P = 0。所述第二条件核实当贝塔大于0并且L20小于或等于paramThresCDF20时不应用亮度校正；即如果P >0&&(L20< =paramThresCDF20)，贝U P = 0。 典型地，paramLowThresCDF50是0. 1，具有典型范围0. 1到0. 3， paramBetaMax是0. 15，具有典型范围0. 1到0. 3， paramHighThresCDF50是0. 9，具有典型范围0. 6到0. 9。如果CDF中的顶部20%像素强度位于paramThresCDF80 (其是0. 8)之上，则图像不应被变亮。如果贝塔大于0并且L20小于或等于paramThresCDF20 (其是0. 2)，即，如果CDF中的底部20%像素强度位于paramThresCDF20之下，则图像不应被变暗。 图3中，示出需要最大量变亮的图像的CDF。对于这个图像，对应于0. 5的CDF的强度只有O. 107，其意味着50%的图像像素具有低于0. 107的强度。图4中示出用于那个图像的P = -0. 15的强度查找表的图。 在图5中示出的适当曝光的图像中，对应于0.5的CDF的强度是0.56。通过线性插值，发现P的值是0.02。这导致图像的轻微变暗，正如从图6中的强度查找表所显见的。
局部对比度增强16基于每个像素强度和在支持的适当选择的区域(例如对于标准清晰度图像是5x5，可使大小和平均值计算适应大小和分辨率)上计算的局部平均值之间的差的放大。 可以使用5x5低通求平均值滤波器来获得原始强度图像的滤波版本。将指数应用于原始和滤波的强度数据的差，同时保持差的符号(sgn)。该运算由等式3示出，其中Ii是
输入强度，并且参数q)确定局部增强的量<formula>formula see original document page 6</formula> 其中I。UT—K是输出强度而Ip是低通滤波值。该运算保持差的符号，并且9是可调节到最大为 15%的局部增益。局部增益cp也可以是特定亮度或每个像素的函数。 一个实施例可使用固定值和剪切保护机制来避免生成不正确的I值，如为亮度调节所做的，因此没有修改接近范围末端的值。
最后，通过在组合器20(图2)中对这两个效果求和，获得从全局亮度调节和局部对比度增强产生的输出强度，如等式4所示
I0UT — I。ut_gc+Iout_lc (4) 其中I。UT—k是添加到I。UT—ec的输出(全局亮度调节的输出)的A I值。
可以通过用饱和度增强因子(例如在1. 0禾P 1. 4之间)乘以P禾P T来实现饱和度增强18。该饱和度因子被应用于在末端具有平滑滚降(smoothrolloff)的范围(例如在0. 1和0. 9之间)，因此它不会产生带状伪像(突然的饱和度跳跃(saturation jump))。[OOSO] 如果像素的色度(饱和度)低于最小(min)阈值(非彩色的)或高于最大(max)阈值(已经饱和)，让饱和度不改变。否则，非线性地增加饱和度值(使用与亮度调节的LUT相似的查找LUT)。该饱和度增加具有20%的峰值(对于高度变亮的图像可以使用高达40%的最大值)，具有平滑滚降在0. 1和0. 9饱和度(因此它们保持未被修改并且不会生成非法值)——使用LUT来实现，如下将解释的。如果亮度增益贝塔大于或等于用于全局亮度调节的最大贝塔值paramBetaMax(如之前说明的，其是O. 15)的0. 75，则应用40%的最大峰值饱和度。在IPT空间中，色度是PVr2的平方根。
块34的输出是根据贝塔的值增强了饱和度的图像。
根据贝塔的值，饱和度使用最大提升或适度的提升值 如果((m_Beta < 0) && (abs (m_Beta) > = 0. 75*m_BetaMax))，则以最大提升计算LUT。否则，以正常提升计算LUT。饱和度LUT实现形式为Boost化in(JiWi)的函数。100点LUT可用于一些实施例中，对于其底部和顶部部分是线性的，并且使用两个阈值(例如0. 1和0. 9)来设置。图10中示出用于-0. 15的提升的曲线。 在图9中，接收IPT的P和T平面，如块24中所指示的。色度值计算为^/尸2+T2(块26)，并且从LUT取增强值。如果色度大于较高阈值或低于较低阈值(菱形28)，则不改变色度(块30)。否则，增强因子是原始色度和LUT值。然后，使用增强因子来计算新P和T值，以节省从增强的色度值对P和T的相反计算，如块32中所指示的。
与全局亮度调节相似，可以通过查找表来实现饱和度增强。查找表的使用避免了硬的阈值以及与它们相关联的伪像问题。如果像素的色度低于低阈值(例如O. l)，则颜色很可能是非彩色的并使它不改变。此外，如果像素的色度高于高阈值(例如O. 9)，则颜色已经是相当饱和的，因此也不改变。在这些阈值之间的颜色以非线性方式增加，导致查找表与图4和6中示出的那些非常相似。 如果图像是被显著变亮的，则感知的饱和度降低。在此情况下，实际的饱和度增强需要更高，以抵消这个影响。在一个实施例中，饱和度中的增加是20% ，对于显著被变亮的图像，该增加是40%。如果在等式2中的参数13是负的，具有等于或大于最大可允许的13 (例如O. 15)的75%的绝对值，则图像被假定为被显著变亮的，并因此可使用较高饱和度增强因子。 在一些实施例中，可以并行和一次性地实现对于颜色和对比度增强的集成方法。
本文所述的视频处理技术可在各种硬件架构中实现。例如，可以将视频处理功能性集成在芯片组内。备选地，可使用分立的视频处理器。作为另一个实施例，可以通过包括多核处理器的通用处理器来实现视频处理功能。 贯穿本说明书对"一个实施例"或"实施例"的引述指的是结合所述实施例描述的特定特征、结构或特性包括在本发明内涵盖的至少一个实现中。因此，短语"一个实施例"或"在一个实施例中"的出现未必是指同一实施例。此外，所述特定特征、结构、或特性可以用示出的特定实施例以外的其它合适的形式来设立，并且所有此类形式可以被涵盖在本申请的权利要求内。 虽然已经相对于有限数量的实施例描述了本发明，但本领域技术人员将由此明白多种修改和变化。所附权利要求旨在覆盖属于本发明的实质精神和范围的所有这些修改和变化。
权利要求
一种方法，包括一次性执行亮度、颜色和对比度增强视频处理。
2. 如权利要求1所述的方法，包括并行地执行全局亮度调节、局部对比度增强和饱和 度增强。
3. 如权利要求2所述的方法，包括将全局亮度调节、局部对比度增强和饱和度增强的 结果相加。
4. 如权利要求3所述的方法，包括将饱和度增强链接到亮度增强，以便亮度增强可提 高饱和度增强的范围并因此提高图像的感知色彩度。
5. 如权利要求4所述的方法，包括使用亮度增强增益来确定饱和度增强函数的形状。
6. 如权利要求1所述的方法，包括在执行颜色和对比度增强之前将接收的视频信号的 颜色空间转换到IPT颜色空间。
7. 如权利要求1所述的方法，包括同时执行颜色增强和饱和度增强。
8. 如权利要求5所述的方法，其中执行全局亮度调节包括只改变高于较低阈值和低于 较高阈值的像素强度。
9. 如权利要求8所述的方法，包括非线性地调节所述强度。
10. 如权利要求9所述的方法，包括使用查找表来调节强度。
11. 如权利要求8所述的方法，包括确定强度是否位于相对于预定义累积分布函数阈 值处，并且使位于所述预定义累积分布函数阈值之下的图像变亮到最大级别。
12. 如权利要求11所述的方法，包括使位于预定义累积分布函数阈值之上的那些强度 级别变暗到最大级别。
13. 如权利要求12所述的方法，包括通过不变亮或不变暗在所述累积分布函数中某个 像素强度之外的图像来防止在变暗或变亮的过程中的图像的剪切。
14. 如权利要求13所述的方法，包括使用低通求平均值滤波来获得原始强度图像的滤 波版本以及将指数应用到所述原始和滤波强度数据的差。
15. 如权利要求14所述的方法，包括非线性地放大像素值和局部平均值之间的局部偏 差，从而增加图像细节的局部对比度和感知锐度。
16. 如权利要求8所述的方法，包括使用查找表来执行饱和度增强。
17. 如权利要求15所述的方法包括，如果像素的色度低于较低阈值，使像素颜色不变。
18. —种设备，包括并行执行局部对比度增强、全局亮度调节和饱和度增强的单元；以及 组合所述局部对比度增强、所述全局亮度调节和所述饱和度增强的结果的组合器。
19. 如权利要求18所述的设备，包括将输入颜色空间转换到IPT颜色空间的第一装置。
20. 如权利要求19所述的设备，包括将来自所述组合步骤的组合输出从所述IPT颜色 空间转换到原始颜色空间的第二装置。
全文摘要
本发明名称为“图像和视频的亮度、颜色和对比度的联合增强”。在一些实施例中，可以一次性完成颜色和对比度增强视频处理，而不是调节颜色和对比度增强中的一个，然后调节另一个，之后由于第二个调节而又返回第一个来重新调节。在一些实施例中，可以同时和并行执行全局亮度调节、局部对比度增强和饱和度增强。在没有改变原始拍摄中预期的亮度条件的情况下，对于主要暗的或主要亮的图像，亮度调节提高细节的可见性，并被用于增强饱和度增强/颜色的范围。并行执行局部对比度增强提高了对象和纹理的视觉清晰度，并因此提高了局部对比度和感知锐度。
文档编号H04N5/14GK101715141SQ200910222699
公开日2010年5月26日 申请日期2009年9月30日 优先权日2008年9月30日
发明者A·萨卡, J·卡维德斯, M·苏贝达 申请人:英特尔公司