亮度校正的制作方法

专利名称：亮度校正的制作方法
技术领域：
本发明一般涉及图像处理，尤其涉及亮度校正。
(2)背景技术当拍摄一个场景时，从场景里的物体散发出来的光线被记录在胶片上，诸如常规胶片或数字胶片。因此，摄影术涉及对这些光线的记录。与在充足的照明条件下拍摄的照片相比较，当照明条件不合适时(例如，当在低照度下摄影时)，照片缺乏某些场景信息。
在昏暗的照明条件下拍摄令人满意的照片在历史上已经造成一个非常困难的问题。图像往往模糊或曝光不足。曝光不足通常是由于胶片没有在充足的光照下曝光。通过使胶片曝光较长时间，例如，通过使用较低的快门速度来保持快门开启较长时间，可以在某种程度上校正曝光不足。然而，较低的快门速度会导致模糊。当使用一台手持式照相机时(例如，不使用三脚架)，模糊问题加剧了，部分地因为在快门开启期间所增加的移动。也可能是由于在快门开启期间场景里的物体移动而出现模糊。
几种普通的解决方案包括使用闪光灯(通过引进额外的照明来补偿低照度)和使用较高ISO(由国际标准化组织制定的前缀)的胶片。
使用闪光受到多种因素的限制。例如，闪光灯只能在相对较短的距离内使用。同时，闪光灯可能导致色彩的变化，产生场景的不准确表示。多重闪光灯(例如，带遥控激活的)可以用于提高闪光摄影的结果，但在场景的周围布置多个闪光灯并非总是可行的(例如，户外摄影或临时通知的抓拍)。
较高ISO的胶片也受到多种因素的限制。在传统摄影中，胶片通常只能每次更换一卷。因此，当一台照相机装入较高ISO的胶片时(例如，适用于弱照明条件)，如果不限制摄影师的选择(例如，在这样的条件下必须以较高的快门速度拍摄照片，以免曝光过度)，照相机就不能用于正常的照明条件。在数字摄影中，较高ISO设置的性能完全依赖于照相机的传感器，传感器在不同的照相机之间可以显著不同。而且，一个甚至更严重的缺点是由于使用较高ISO而导致的相对较多的噪声。
当前有一些用于提高模糊图像的质量的技术，例如，由于使用了高于安全快门速度的曝光时间所产生的模糊图像。通常，安全快门速度是不低于镜头焦距倒数的速度。这些技术可以粗略地分类为过程中方法和过程后方法，这些方法限制由诸如长曝光时间、照相机抖动或物体移动等引起的运动模糊。
过程中方法是主要基于硬件的技术，其中通过照相机抖动补偿获得镜头的稳定性。或者，高速数字照相机(例如那些具有互补金属氧化物半导体(CMOS)传感器的数字照相机)可以在正常的曝光时间内执行高速帧捕捉，其考虑到了多重基于图像的运动模糊恢复。如果给定合理的曝光时间，过程中技术可以产生相对清晰和鲜艳的图像。然而，这些技术需要特别设计的硬件设备。
另一方面，过程后方法总体上可以视作运动去模糊技术。其中，广泛地采用盲解卷积来提升单个模糊图像，这可以在关于点散布函数(PSF)的不同假设下应用。或者，在比较普遍的情况下，不同模糊方向的多幅图像或一个图像序列可以用于估计PSF。在这两种情况下，由于在空间坐标和时间坐标中进行图像的离散化和量化，因此不能可靠地估计PSF，这就导致产生不如地面实况图像(ground truth image)(是指用三脚架上的照相机拍摄的图像或正确曝光的静态场景)的结果。也已经提出了由一个主要(高空间分辨率)探测器和一个次要(高时间分辨率)探测器组成的混合成像系统。次要探测器提供更精确的运动信息以估计PSF。因此，甚至可以在长曝光下使去模糊成为可能。然而，该技术需要额外的硬件支持，而且去模糊的图像在观感细节上仍然不如地面实况好。
因此，现有的解决办法无法提供足够的图像质量。
(3)发明内容揭示用于改进模糊或曝光不足的图像(例如，由于照相机抖动、在昏暗的照明条件下拍摄或高速运动场景的图像)的质量的技术。
在所描述的一种实现中，一种方法包括提供相同场景的两幅图像。该方法确定两幅图像的空间相干性和色彩统计。所确定的色彩统计和空间相干性被用于增强两幅图像的其中之一。
在所描述的另一个实现中，一种方法包括提供场景曝光不足的图像和相同场景的模糊图像。该方法确定两幅图像的空间相干性和色彩统计。通过利用色彩统计和空间相干性，增强曝光不足的图像。
(4)


参照附图详细描述本发明。附图中，附图标记最左边的数字标识该附图标记首次出现的附图编号。在不同图中使用相同的附图标记表示是相似的或相同的项目。
图1和图2例示在昏暗的照明条件下对相同场景拍摄的两幅图像。
图3例示一幅应用了亮度校正的示例性的高质量图像。
图4例示一种亮度校正的示例性方法。
图5例示一种可以用于亮度校正的色彩直方图均衡的示例性方法。
图6A示出原始图像的均匀区域，而图6B示出运动模糊时所拍摄的相同区域。
图7A和图7B例示沿一个方向的像素色彩曲线。
图8例示一种可以用于亮度校正的示例性的空间区域匹配方法。
图9例示将图2的图像样本分割为多个区域。
图10例示一幅由侵蚀图9中的图像的区域而得到的示例性中间图像。
图11将所选择的图9和图10的区域中心例示为点。
图12例示一个曝光不足的图像的样本输入。
图13例示一幅由对图12的图像应用亮度校正而得到的示例性图像。
图14例示一个对图12的图像应用色彩传递(colour transfer)技术而得到的示例性结果。
图15例示一个对图12的图像应用自适应直方图均衡而得到的示例性结果。
图16例示一个对图12的图像应用2.5的伽玛校正(Gamma Correction)而得到的示例性结果。
图17例示一个在图像编辑程序中对图12的图像应用曲线调整而得到的示例性结果。
图18-21例示在此所描述的各种方法以最佳方式融合不同曝光时间的两幅输入图像的色彩信息的能力。
图22-24例示场景里的物体运动所引起的运动模糊的实验结果。
图25-28示出与高对比度场景实现有关的样本图像。
图29例示一种示例性的数字照相机配置，用于一次进行可以用于提供亮度校正的多重拍摄。
图30例示一种通过软件控制照相机曝光的示例性方法。
图31例示一个可以用于实现在此所描述的技术的一般计算机环境。
(5)具体实施方式
下文描述用于提高模糊或曝光不足的图像(例如，由于昏暗的照明条件、高速运动场景的存在或照相机抖动)的质量的技术。以不同曝光间隔拍摄相同场景的两张照片。因此，一幅图像可能曝光不足，而另一幅可能模糊。使用这两幅图像中的信息来提供该场景的没有明显模糊或黑暗的高质量图像。例如，两个照片可以在一个短间隔里拍摄，以保证图像中心不会显著移动或限制由场景里的物体移动或照相机运动引起的运动影响。这些技术可以容易地扩展到处理高对比度场景以展现饱和区域中的精确细节(正如将参照图22-25所讨论的那样)。
此外，这些技术中有一些可以直接结合到一台数字照相机中。例如，数字照相机可以配置成在拍摄两张照片时保持其快门开启(正如将参照图29-30所进一步讨论的那样)。
纵览图1和图2例示在昏暗的照明条件下对相同场景拍摄的两幅图像。正如所例示的那样，图1的图像(IL)曝光不足，而图2的图像(IH)模糊。图1和图2的图像有不同的曝光间隔。正如所例示的那样，图1的图像(IL)有比图2的图像更长的曝光时间。在此所讨论的技术可以利用图1和图2中示出的图像来构造一幅如图3所示的高质量图像(IC)。
图像获取在一个实现中，为利用所捕捉图像的曝光时间和模糊度之间的折中方案，使用具有下述曝光设置的相同捕捉设备(例如，一台照相机)拍摄两幅输入图像
·一幅图像(例如，图1的IL)以约等于安全快门速度的曝光时间拍摄，产生一幅曝光不足的图像，图像中运动模糊大大减少。因为这幅图像(IL)太暗，图像的色彩是不可接受的。
·另一幅图像(例如，图2的IH)是一幅在延长了的曝光时间下得到的图像。这幅图像的色彩和亮度是可以接受的。然而，由于照相机抖动或场景里的移动物体，这幅图像产生运动模糊。
在有可能存在场景(或场景里的物体)移动和/或捕捉设备(例如，一台不用三脚架的手持式照相机)移动的情况下，这两张照片可在一个短间隔里拍摄。如果保持尽可能短的时滞，两幅图像之间的差异被最小化和/或每个像素位置的区域匹配被最大化。
亮度校正图4例示亮度校正的示例性方法400。在提供相同场景的两幅图像(402)之后，正如参照图1-2(例如，IL和IH)所讨论的那样，确定图像的色彩统计(404)和空间相干性(406)(正如将在下面类似标题的节中更详细地描述的那样)。正如参照图1-2所描述的那样，IL和IH是相同场景的不同曝光间隔的两幅图像。因此，它们不但通过色彩统计联系起来，而且还通过相应的空间相干性联系起来。
色彩统计和空间相干性信息被用于(408)在色彩空间中增强曝光不足的图像(例如，图1的IL)，以提供正常曝光的高质量图像(例如，图3的IC)。更具体地，步骤408在一个实现中利用色彩映射法。色彩映射受到从曝光不足图像所确定的空间细节的约束，因此不同于先前的纯粹色彩传递技术并且是对该技术的改进。正如下面将进一步更详细地讨论的那样，通过适当地用公式来表示色彩统计和空间约束，并将它们纳入贝叶斯定理(Bayesian)框架中，极大后验(MAP)解提供色彩空间中的在增强像素色彩的同时也保留结构细节的最佳色彩映射函数。
此外，方法400可以并且是在统一框架中同时处理照相机抖动和物体移动。而且，也可以处理物体拓扑的改变或物体形变，这对大多数去模糊方法来说是困难的，因为物体的不同部分有不同的PSF。此外，通过些微地修改一个拘束(正如将在“高对比度场景中的色彩统计”中进一步讨论的那样)，可以将方法400扩展到处理高对比度场景并产生具有在加亮或饱和区域中所捕捉的精确细节的图像。
IL和IH之间的关系正如参照图1-2所描述的那样，IL和IH是相同场景的不同曝光间隔的两幅图像。因此，它们不但通过色彩统计联系起来，而且还通过相应的空间相干性联系起来。它们的关系可以转化为用于在贝叶斯定理(Bayesian)框架中推导色彩映射函数的约束。
在一个实现中，可以将曝光不足的图像IL视为正常曝光的图像IH在时间坐标中的一个感测分量。这使得在曝光时间期间对照相机或场景(或场景的物体)移动合理地进行建模并约束下一节中将进一步描述的映射过程成为可能。
色彩统计在RGB(红、绿和蓝)色彩空间中，常常可以通过色彩直方图的形状来展现重要的色彩统计。一个直方图通常是使用长方形或条形的频率分布表示，长方形或条形的宽度代表分类间隔，而其面积与相应的频率成比例。因此，直方图可以用于建立IL和IH之间的引申联系(explicate connection)。而且，由于高辐照度产生较亮的像素，IL和IH中的色彩统计可以根据像素亮度值从低到高的顺序匹配。因此，可以修改IL的直方图(hIL)以使得g(hIL)≈hIH---(1)]]>方程(1)中，g(·)是在直方图中的每个色值上执行的转换函数，hIH为IH的直方图。估算g(·)的普通方法是通常根据目的曲线修改图像动态范围和对比度的自适应直方图均衡。
然而，直方图均衡在一些情况中不能得到令人满意的结果。更具体地，每个通道中量子化的256(单字节精度)种色彩可能不足以对模型直方图形状的多样性进行精确建模。
图5例示可以用于亮度校正的色彩直方图均衡的示例性方法500。更具体地，方法500可以用于最佳地估算转换函数。首先，来自RGB空间的图像被传递到基于感知的色彩空间lαβ(502)中，其中l为非彩色通道，α和β包含色度值。这样，图像被转换到一个更离散化的具有已知荧光色度的空间中。
新色彩空间中的色彩分配被聚类(clustered)为65536(双字节精度)部分(504)。然后，在新色彩空间中执行直方图均衡(506)。直方图均衡(506)的结果传递回RGB空间(508)。
通过执行两幅图像(例如，图1-2)的经转换的直方图均衡，这两幅图像可以在它们的色彩空间中完全地联系起来。然而，色彩统计主要依赖于照相机的图像质量。例如，如果较暗的图像包括很多的噪声，就需要首先处理被污染的信息(例如，通过对图像进行滤波处理)。
空间约束上述色彩统计不考虑IL和IH之间的任何时间相干性。然而，因为这两幅图像拍摄的是相同场景，在IL和IH之间有一个强空间约束。
在某一区域包含相似色彩像素的情形中，图6A示出原始图像的均匀区域，而图6B示出运动模糊时所拍摄的相同区域。诸点602标记诸区域中心。图7A和图7B的相应曲线例示沿一个方向的像素色彩。从图6A、图6B、图7A和图7B中可以观察到，如果区域面积足够大且均匀，近区域中心的色彩较少受到模糊的影响。另外，区域中色彩的一致性允许匹配中央像素色彩。
图8例示一种可以用于亮度校正的示例性的空间区域匹配方法。方法800可以用于选择IL和IH中的匹配种子。模糊图像(例如，图2的IH)被分割为多个区域，以使得每个区域Rm(IH)包含相似的色彩(802)。图9示出对图2的样本分割。
为了根据均匀性和大小对区域进行排序，侵蚀(erode)每个区域Rm(IH)(804)，并确定完全地侵蚀每个区域及其区域中心的迭代次数(806)，区域中心是在每个区域的侵蚀过程中的最后少数像素。在一个实现中可以对每个区域Rm(IH)执行相同的形态侵蚀操作。图10例示一幅由侵蚀图9的图像中的区域而得到的示例性的中间图像。
以降序排序迭代次数，并选择前M个区域作为区域匹配的最可能的候选(808)。其结果是，选择这些区域中心的位置作为匹配位置。从图像IH和IL中，选择匹配位置中的像素对{cLm，cHm}(810)，并计算每个cm的值，作为附近像素色彩的高斯平均(812)，附近像素中方差与迭代次数成比例。图11将所选择诸区域中心例示为圆点(1102)。正如所例示的那样，诸圆点(1102)位于最大且最均匀M个区域。
匹配过程(800)暗示，理想的色彩映射函数应该能够将IL中的一些匹配种子色彩转换为IH中的那些色彩。在下一节中，描述了贝叶斯定理(Bayesian)框架，其中将两个约束(色彩和空间)纳入考虑，以推导约束映射函数。
约束映射函数色彩映射函数可以定义为f(li)＝li′在此li和li′分别为两个集里的色值。因此，通过将f(·)应用到曝光不足的图像IL来构造所得到的图像ICIC(x，y)＝f(IL(x，y))，其中Ik(x，y)为图像Ik中的像素值。注意，f(·)的形式受到IL和IH的约束。
在贝叶斯定理(Bayesian)框架中，给定来自IL和IH的观察，最大化后验概率(MAP)以推导出f*。
f*=argmaxfp(f|IL,IH)---(2)]]>在先前的节中，观察到IL和IH之间有两种类型的联系。一种是可以分别由IL和IH的两个直方图hIL和hIH描述的色彩统计。另一种是可以由IL和IH之间的M个相应的匹配色彩种子{cLm，cHm}m＝1M表示的区域匹配约束。可以将这些关系视为约束，方程(2)可以改写为f*=argmaxfp(f|hIL,hIH,{cLm,cHm}m=1M)]]>=argmaxfp(hIL,hIH,{cLm,cHm}m-1M|f)p(f)---(3)]]>下面的节中定义似然函数p(hIL，hIH，{cLm，cHm}m＝1M|f)和先验函数p(f)。
似然函数由于是在一个离散色彩空间中执行的全局匹配，f由一系列离散值f＝{f1，f2，...，fi，...，fN}近似得到，其中N为色彩空间中面元的总数。因此，方程(3)可以根据独立恒等分布(IID)假设进行分解p(hIL,hIH,{cLm,cHm}m-1M|f)=Πi=1Np(g(li),{cL-1,cH-1}|fi)---(4)]]>在方程(4)中，g(li)是在色值li下将hIL转换为hIH的函数。cL-i是在色彩种子组{cLm}m＝1M中与li最接近的色彩，cH-i是色彩种子对中cL-i的相应色彩。
根据先前的节中的分析，g(li)和{cL-i，cH-i}是每个fi的两个约束因子。应该在映射函数上维护它们的特性。因此，可以平衡这两个约束，而且似然函数可以建模为p(g(li),{cL-1,cH-1}|fi)∝exp(-||fi-ag(li)+(1-α)cL-i||22σI2)---(5)]]>在方程(5)中，标度α对两个约束进行加权，σI2是对两种约束的不确定性进行建模的方差。当值α增大时，匹配种子对的置信度下降。α与下述因素有关·距离‖li-cL-i‖。大的距离意味着弱的区域匹配约束，这使得α接近1。
因此，α与这个距离成反比。
·匹配色彩对{cL-i，cH-i}中相应的不确定性。正如先前的节中所描述的那样，匹配区域的尺寸越大，从匹配区域中心得到的匹配色彩的置信度就越大。因此，不确定性σc可以定义为与每个匹配色彩的区域大小成比例。组合这两个因素，α可以定义为α=exp(σc2||li-cL-i||22β2)---(6)]]>在方程(6)中，β是控制α的影响的标度参数。
先验函数作为先验函数，单调约束可以强加于f(·)，这维持了IL的结构细节。此外，为避免邻近色彩的色彩映射突变，要求在一个实现中f(·)的形状是平滑的。在另一个实现中，f的二阶导数可以最小化为p(f)∝exp(-12σf2∫(f′′)2)]]>∝cxp(-12σf2Σi(fi-1-2fi+fi+1)2)---(7)]]>
在方程(7)中，σf2是控制f的平滑度的方差。
映射解联合方程(4)的对数似然函数和方程(7)的对数先验函数，优化问题可以通过最小化下述对数后验函数来解决E(f)=-Σilogp(g(li),{cL-i,cH-i}|fi)-logp(f)---(8)]]>在方程(8)中，E(f)是一个二次目标函数。因此，全局最佳映射函数f(·)可以通过奇异值分解(SVD)获得。尽管单调约束没有明确地强加于方程(7)，但平滑度约束足以在一个实现中构造最终的单调f。
其他样本结果将在此所描述的技术应用到困难情况中以显示该方式的有效性。把结果分类成下列不同的组图12例示一个曝光不足的样本图像输入；图13例示一幅由对图12的图像应用本发明的亮度校正而得到的示例性图像；图14例示一个应用色彩传递技术而得到的示例性结果；图15例示一个由自适应直方图均衡得到的示例性结果；图16例示一个应用2.5的伽玛校正(Gamma Correction)而得到的示例性结果；图17例示一个在照片编辑程序中应用曲线调整所得到的示例性结果。正如所看到的那样，通过使用在此所描述的约束，可以获得更好的视觉质量和更多的细节(即图13)。
同时，在一个实现中，在此所描述的两个约束(空间和色彩)都是有益的。它们在两个不同的方面优化解。因此，这些约束的组合和平衡可以保证在此在一个实现中所描述的方法的视觉正确性。
由手持式照相机引起的运动模糊图18-21的岩石例子例示在此所描述方法以最佳方式组合两幅输入图像(即图18和图19)的色彩信息的能力。在每个图的左下部示出每幅图像的直方图。不同于其他去模糊方法，在此所得到的边缘是鲜艳和清晰的。两幅输入图像分别以1/40秒和1/3秒的快门速度拍摄。图20和图21分别是经过色彩映射的图像(IC)和地面实况及其相应直方图。地面实况图像(图21)使用三脚架拍摄。注意，图20和图21中的两幅图像在视觉上和统计上都是接近的。
由物体移动引起的运动模糊在一个实现中，在此所讨论的技术可以容易地解决物体运动或形变的问题(例如，如果在正常的曝光间隔中物体移动太快)。图22-24例示实验的结果。正如所例示的那样，放大图23和24的一些部分以便于参考。输入的正常曝光图像局部模糊(图23)，即，PSF在整个图像上没有均匀表示，这容易造成解卷积方法的失效。使用在此所讨论的技术(以及图22曝光不足的图像)，可以经过四个步骤减小照相机快门速度。结果，可以产生大大减少了模糊效应的高质量图像(IC)(图24)。
高对比度场景中的色彩统计图像是高对比度场景时，IH中的亮区将会变得饱和。直方图均衡忠实地将色彩从IL传递到IH，包括饱和区域，这不但降低了亮区的空间细节，而且还在图像色彩空间中产生突变。
为了解决这个问题，可以修改在前面的诸节中所描述的色彩映射函数g(·)以覆盖一个较大的范围。在一个实现中，色彩传递技术可以用于在高对比度情况下提高图像质量。该技术也在一幅图像直方图上操作，通过为每个通道匹配平均偏差和标准偏差，将色彩从源图像传递到目标图像。由于该过程是一个高斯匹配，因此不限制所传递的色彩的最大值。
在一个实现中，使用IH中的所有非饱和像素来进行到IL的色彩传递。在应用色彩传递技术之后，IL的映射结果超出了色彩深度(即，高于255)，而且将饱和像素扩展为较大的色值。因此，构造出一幅较高范围的图像以展现亮区和暗区中的细节。
与这样的实现相关联的图像范例在图25-28中示出。正如所例示的那样，放大图25-28的一些部分以便于参考。图25和图26例示输入图像(分别为IH和IL)。通过将g(·)设置为原始直方图均衡函数来重建图27的图像。图28是一个通过将g(·)修改为使用色彩传递方法而得到的具有增强色彩和细节的结果。同时也执行色调映射，以给出在图28所例示的图像。
硬件实现一种硬件实现可以包括一台连接到通用计算机的数字照相机。以不同的快门速度捕捉两幅图像(正如参照图1和图2所讨论的那样)可以由计算机上相应的照相机软件控制。这个装置可以将摄影师从在两次拍摄之间手动改变照相机参数中解放出来，使得摄影师可以将注意力集中在拍摄最好的照片上。或者，软件可以实现在照相机之内(或在一个附属于照相机的存储器设备如闪速存储器内实现)。结合进照相机的功能性可以实现为软件、硬件、固件或它们的组合。
一些照相机已经包括曝光托架(例如，佳能G型数字照相机和部分尼康(Nikon)Coolpix型数字照相机)，这些照相机只需按一次快门按钮就能以不同的快门速度拍摄多张照片。然而，使用现有的内置于照相机的功能性有一些限制。即，它不能在手动模式中操作，而且快门速度的差异也受到限制。
图29例示一个示例性的数字照相机配置2900，用于一次进行可以用于提供亮度校正的多重拍摄。照相机可以是一台独立照相机，也可以是一台整合到另一个设备(如个人数字助理、蜂窝式移动电话等)的照相机。配置2900包括一个曝露在光线下的快门2902。当快门2902开启时(例如，一旦按下照相机上的一个按钮)，快门2902将光线传递到传感器2904(例如，互补型金属氧化半导体(CMOS)或电荷耦合器件(CCD))。通过按一次快门按钮，照相机可以拍摄两张照片。然后，正如在此所讨论的那样，可以对照片应用亮度校正。
在一个实现中，快门2902的存在可以是可任选的。例如，传感器2904可以在需要时激活(例如，电动)而不需要物理隔板(如快门2902)。而且，更为简化的装置(如一个传感器盖)可以用于保护传感器2904免受环境因素的影响(例如，强烈的阳光、灰尘、水、潮湿等等)正如图29所例示的那样，图2906表明被传感器2904捕捉到的光子能量是如何随着时间的过去而增加的。例如，在时刻T1，在昏暗的照明条件下传感器图像可能曝光不足(正如参照图1所讨论的那样)。在时刻T2(例如，在时刻T1后的1/2秒)，传感器图像可能模糊(例如，由照相机、场景里的物体等引起的运动)，正如参照图2所讨论的那样。这一曝光差异可以用于一个实现中，以提供软件曝光(而不是机械的曝光机构)，正如将参照图30所进一步讨论的那样。
在一个实现中，执行亮度校正的软件可以通过通用计算机提供(正如参照图31所讨论的那样)。计算机可以直接耦合到照相机，或者，照相机的存储卡可以在稍后连接到计算机以使得图像可以用于处理。或者，软件可以在照相机里实现(或在一个附属于照相机的存储器设备如闪速存储器里实现)。而且，整合到照相机的功能性可以实现为软件、硬件、固件或它们的组合。
软件曝光实现图30例示通过软件控制照相机曝光的示例性方法3000。方法3000可以实现为数字照相机里的软件、硬件、固件或它们的组合，正如参照图29所讨论的那样。
一旦接收到一个捕捉图像的命令(3002)，例如，通过按下一台独立数字照相机或一台整合到另一个设备(如个人数字助理、蜂窝式移动电话等)的照相机上的一个按钮，照相机快门(例如，2902)就开启(3004)。第一幅图像可以在时刻T1捕捉(3006)。时间T1可以是参照图29的曲线图2906所讨论的时刻。因此，第一幅图像可能曝光不足(例如，图1的IL)。
不关闭快门，在时刻T2捕捉第二幅图像(3008)。时刻T2可以是参照图29的曲线图2906所讨论的时刻。因此，第二幅图像可模糊(例如，图2的IH)。
然后，正如在此所讨论的那样，对所捕捉的图像应用亮度校正(3010)，以提供高质量图像(例如，图3的IC)。
因此，当快门保持开启时，依照方法3000，曝光不足的图像和模糊的图像都被捕捉。这样的实现可以保证对任何运动(例如，来自照相机或场景里的物体的运动)加以限制。
一般计算机环境图31例示一个可以用于实现在此所描述的技术的一般计算机环境。例如，计算机环境3100可以用于运行控制图像捕捉设备(如照相机)的软件程序。计算环境3100仅仅是计算环境的一个例子，并不暗示对计算机和网络体系结构的使用范围或功能性的任何限制。计算机环境3100也不应该被解释为具有对在示例性计算机环境3100中所例示的任何组件或它们的组合的任何依赖或要求。
计算机环境3100包括一个计算机3102形式的通用计算设备。计算机3102的组件可以包括但不限于一个或多个处理器或处理单元3104(可任选地，包括一个密码处理器或共用处理器)、系统存储器3106、将包括处理器3104在内的各种系统组件耦合到系统存储器3106的系统总线3108。
系统总线3108代表包括使用各种总线体系结构的存储器总线或存储器控制器、外围设备总线、加速图形接口和处理器或本地总线在内的几种总线结构类型中的一种或多种。作为例子，这些体系结构包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线、也被称作Mezzanine总线的外设部件互联(PCI)总线。
计算机3102通常包括各种计算机可读介质。这样的介质可以是能够由计算机3102存取的任何可用介质，包括易失性和非易失性的介质、可移动和不可移动的介质。
系统存储器3106包括易失性存储器形式的计算机可读介质如随机存取存储器(RAM)3110，和/或非易失性形式的计算机可读介质如只读存储器(ROM)3112。基本输入/输出系统(BIOS)3114存储在ROM 3112中，它包含帮助在计算机3102内的部件之间传输信息的基本例程，比如在启动过程中。RAM 3110通常包含处理单元3104可以即时存取的和/或目前在操作的数据和/或程序模块。
计算机3102也可以包括其他可移动/不可移动、易失性/非易失性的计算机存储介质。作为例子，图31例示了从不可移动的非易失性磁介质中读取和向其中写入的硬盘驱动器3116(未示出)、从可移动的非易失性磁盘3120(例如，一个“软盘”)中读取和向其中写入的磁盘驱动器3118以及从诸如CD-ROM、DVD-ROM其他光介质那样的可移动的非易失性光盘3124中读取和/或向其中写入的光盘驱动器3122。硬盘驱动器3116、磁盘驱动器3118和光盘驱动器3122各自通过一个或多个数据介质接口3121连接到系统总线3108。或者，硬盘驱动器3116、磁盘驱动器3118和光盘驱动器3122可以通过一个或多个接口(未示出)连接到系统总线3108。
磁盘驱动器及其相关联的计算机可读介质为计算机3102提供了计算机可读指令、数据结构、程序模块和其他数据的非易失性存储。尽管例子例示了硬盘3116、可移动磁盘3120和可移动光盘3124，但也需要认识到，其他类型的可以存储计算机可存取数据的计算机可读介质，诸如磁带盒或其他磁存储设备、闪速存储卡、CD-ROM、数字通用盘(DVD)或其他光存储器、随机存取存储器(RAM)、只读存储器(ROM)、电可擦可编程序只读存储器(EEPROM)等等，也可以用于实现示例性的计算系统和环境。
任意数量的程序模块可以存储在硬盘3116、磁盘3120、光盘3124、ROM3112和/或RAM 3110中，包括——作为例子——操作系统3126、一个或多个应用程序3128、其他程序模块3130和程序数据3132。此类操作系统3126、一个或多个应用程序3128、其他程序模块3130和程序数据3132(或它们的某种组合)中的每一个可以实现支持分布式文件系统的常驻组件的全部或部分。
用户可以通过输入设备如键盘3134和定位设备3136(例如，“鼠标”)往计算机系统3102里输入命令和信息。其他输入设备3138(未具体示出)可以包括麦克风、操纵杆、游戏垫、圆盘式卫星天线、串行端口、扫描仪等等。
这些和其他输入设备通过耦合到系统总线3104的输入/输出接口3140连接到处理单元3108，但也可以通过其他接口和总线结构如并行端口、游戏端口或通用串行总线(USB)连接。USB端口可以用于将一台照相机或一个闪速存储卡读卡器(正如参照图29所讨论的那样)连接到计算机环境3100。
监视器3142或其他类型的显示设备也可以通过接口如视频适配器3144连接到系统总线3108上。除了监视器3142之外，其他外围输出设备可以包括各种可以通过输入/输出接口3140连接到计算机3102的组件，如扬声器(未示出)和打印机3146。
计算机3102可以在使用到一个或多个远程计算机如远程计算设备3148的逻辑连接的网络化环境中操作。作为例子，远程计算设备3148可以是个人计算机、便携式计算机、服务器、路由器、网络计算机、对等设备或其他公共网络节点、游戏控制台等等。远程计算设备3148例示为一个便携式计算机，它可以包括在此所描述的与计算机系统3102相关的许多或所有的要素和特征。
计算机3102和远程计算机3148之间的逻辑连接被描述为局域网(LAN)3150和通用广域网(WAN)3152。这类网络环境常见于办公室、企业范围的计算机网络、企业内部互联网和因特网。
当在LAN网络环境中实现时，计算机3102通过网络接口或适配器3154连接到局域网3150上。当在WAN网络环境中实现时，计算机3102通常包括调制解调器3156或其他用于在广域网3152上建立通信的方法。可以内置于或外置于计算机的调制解调器3156可以通过输入/输出接口3140或其他适当的装置连接到系统总线3108。应该明白，所例示的网络连接是示例性的，也可以使用在计算机3102和3148之间建立(诸)通信链路的其他方法。
在网络化的环境中，如用计算环境3100所例示的网络化的环境，与计算机3102有关的所描述的程序模块或其中的部分，可以存储在一个远程存储设备内。作为例子，远程应用程序3158驻留于远程计算机3148的存储设备中。
尽管认识到应用程序和其他可执行的程序组件如操作系统，在不同的时刻驻留于计算设备3102的不同存储组件中，并由计算机的(诸)数据处理器执行，但为了进行阐述，此类程序和组件在此被例示成离散的块。
各种组件和技术可以在计算机可执行指令的一般上下文如程序模块中描述，由一个或多个计算机或其他设备执行。一般地，程序模块包括完成特定的任务或实现特定的抽象数据类型的例程、程序、对象、数据结构等等。通常，程序模块的功能性可以根据各种实现中的需要进行组合或分配。
这些模块和技术的一个实现可以被储存在或传输到计算机可读介质的某种形式。计算机可读介质可以是能够由计算机存取的任何可用介质。作为例子而非限制，计算机可读介质可以包括“计算机存储介质”和“通信介质”。
“计算机存储介质”包括在任何存储信息如计算机可读指令、数据结构、程序模块或其他数据的方法和技术中实现的易失性和非易失性的、可移动的和不可移动的介质。计算机存储介质包括但不局限于RAM、ROM、EEPROM、闪速存储器或者其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光学存储器、磁带盒、磁带、磁盘存储器或其他磁存储设备、或任何其他能够用于存储或者传递所需信息并且能够由计算机存取的介质。
“通信介质”一般以已调制的数据信号如载波或其他传输机制的形式包括计算机可读指令、数据结构、程序模块或其他数据。通信介质也包括任何信息传递介质。术语“已调制的数据信号”是指以在该信号中编码信息的方式来设置或改变其一个或多个特性的信号。作为例子而非限制，通信媒质包括有线介质如有线网络或有线直接连接，以及无线介质如声音、射频、红外和其他无线介质。以上任何介质的组合也应该被包括在计算机可读介质的范围之内。
结论尽管已经用结构特征和/或方法动作特异性的语言对本发明进行了描述，但应该明白，由所附权利要求书定义的本发明，并非仅仅局限于所描述的具体特征或动作。相反，具体的特征和动作只是作为实现所要求的发明的示例性形式而被揭示的。例如，在此所讨论的亮度校正技术可以容易地被应用到非彩色图像(例如，灰度图像)中。
权利要求
1.一种亮度校正的方法，包括提供相同场景的两幅图像；确定所述两幅图像的空间相干性和色彩统计；以及利用所确定的色彩统计和空间相干性增强所述两幅图像中的一幅。
2.如权利要求1所述的方法，其特征在于，所述两幅图像是在昏暗的照明条件下拍摄的。
3.如权利要求1所述的方法，其特征在于，所述两幅图像的其中之一曝光不足。
4.如权利要求1所述的方法，其特征在于，所述两幅图像的其中之一模糊。
5.如权利要求1所述的方法，其特征在于，增强所述两幅图像中的曝光不足者。
6.如权利要求1所述的方法，其特征在于，所述两幅图像由色彩统计和空间相干性联系起来。
7.如权利要求1所述的方法，其特征在于，进一步包括将所述两幅图像下载到一台通用计算机，所述通用计算机增强所述两幅图像的其中之一。
8.如权利要求1所述的方法，进一步包括将所述两幅图像下载到一态通用计算机，所述通用计算机确定色彩统计和空间相干性中的一个或多个。
9.如权利要求1所述的方法，其特征在于，进一步包括修改所述两幅图像的色彩映射函数，以覆盖高对比度场景的相对较大的范围。
10.如权利要求1所述的方法，其特征在于，进一步包括利用色彩直方图均衡确定所述色彩统计。
11.如权利要求1所述的方法，进一步包括利用色彩直方图均衡确定色彩统计，其中，所述色彩直方图均衡包括将所述两幅图像传递到一个基于感知的色彩空间；在所述基于感知的色彩空间中聚类色彩分配；在所述基于感知的色彩空间中执行直方图均衡；以及将直方图均衡的结果传递到一个红-绿-蓝空间中。
12.如权利要求1所述的方法，其特征在于，进一步包括利用空间区域匹配确定空间相干性。
13.如权利要求1所述的方法，进一步包括利用空间区域匹配确定空间相干性，其中，所述空间区域匹配包括将所述两幅图像中的模糊者分割为多个色彩类似的区域；侵蚀每一个所述区域；确定迭代以完全地侵蚀每个所述区域的次数；确定每个所述区域的区域中心；以降序排序迭代次数；从匹配位置的所述两幅图像中选择像素对；以及计算每一个所选择的像素的邻域值。
14.如权利要求1所述的方法，其特征在于，进一步包括使用一台数字照相机的曝光托架部件提供所述两幅图像。
15.如权利要求1所述的方法，其特征在于，所述方法由一台数字照相机执行。
16.存储计算机可执行指令的一个或多个计算机可读介质，当执行所述计算机可执行指令时，执行如权利要求1所述的方法，其中，所述一个或多个计算机可读介质结合在一台数字照相机中。
17.一种亮度校正的方法，包括提供一个场景的一幅曝光不足的图像；提供相同场景的一幅模糊的图像；确定所述两幅图像的空间相干性和色彩统计；以及利用所确定的色彩统计和空间相干性增强所述两幅图像的其中之一。
18.如权利要求17所述的方法，其特征在于，所述两幅图像是在昏暗的照明条件下拍摄的。
19.如权利要求17所述的方法，其特征在于，所述两幅图像是在一个短间隔中连续地拍摄的。
20.如权利要求17所述的方法，其特征在于，进一步包括利用色彩直方图均衡确定所述色彩统计。
21.如权利要求17所述的方法，进一步包括利用色彩直方图均衡确定色彩统计，其中，所述色彩直方图均衡包括将所述两幅图像传递到一个基于感知的色彩空间；在所述基于感知的空间中聚类色彩分配；在所述基于感知的空间中执行直方图均衡；以及将直方图均衡的结果传递到一个红-绿-蓝空间中。
22.如权利要求17所述的方法，其特征在于，进一步包括利用空间区域匹配确定空间相干性。
23.如权利要求17所述的方法，进一步包括利用空间区域匹配确定空间相干性，其中，所述空间区域匹配包括将所述两幅图像中的模糊者分割为多个色彩类似的区域；侵蚀每一个所述区域；确定迭代以完全地侵蚀每一个所述区域的次数；确定每一个所述区域的区域中心；以降序排序迭代次数；从匹配位置的所述两幅图像中选择像素对；以及计算每一个所选择的像素的邻域值。
24.存储计算机可执行指令的一个或多个计算机可读介质，当执行所述计算机可执行指令时，执行如权利要求17所述的方法。
25.一种被配置成执行如权利要求17所述的方法的数字照相机。
26.其中存储有指令的一个或多个计算机可读介质，当执行所述指令时，指示机器执行以下动作提供相同场景的两幅图像；确定所述两幅图像的空间相干性和色彩统计；以及利用所确定的色彩统计和空间相干性增强所述两幅图像的其中之一。
27.如权利要求26所述的计算机可读的介质，其特征在于，所述动作进一步包括修改所述两幅图像的色彩映射函数，以覆盖高对比度场景的相对较大的范围。
28.如权利要求26所述的计算机可读的介质，其特征在于，所述动作进一步包括利用色彩直方图均衡确定所述色彩统计。
29.如权利要求26所述的计算机可读介质，其中所述动作进一步包括利用色彩直方图均衡确定所述色彩统计，其中，所述色彩直方图均衡包括将所述两幅图像传递到一个基于感知的色彩空间；在所述基于感知的空间中聚类色彩分配；在所述基于感知的空间中执行直方图均衡；以及将直方图均衡的结果传递到一个红-绿-蓝空间中。
30.如权利要求26所述的计算机可读的介质，其特征在于，所述动作进一步包括利用空间区域匹配确定空间相干性。
31.如权利要求26所述的计算机可读介质，其中所述动作进一步包括利用空间区域匹配确定空间相干性，其中，所述空间区域匹配包括将所述两幅图像中的模糊者分割为多个色彩近似的区域；侵蚀每一个所述区域；确定迭代以完全地侵蚀每一个所述区域的次数；确定每一个所述区域的区域中心；以降序排序迭代次数；从匹配位置的所述两幅图像中选择像素对；以及计算每一个所选择的像素的邻域值。
32.其中存储有指令的一个或多个计算机可读介质，当执行所述指令时，指示机器执行以下动作提供一个场景的一幅曝光不足的图像；提供相同场景的一幅模糊的图像；确定所述两幅图像的空间相干性和色彩统计；以及利用所确定的色彩统计和空间相干性增强所述两幅图像的其中之一。
33.如权利要求32所述的计算机可读介质，其特征在于，所述动作进一步包括利用色彩直方图均衡确定所述色彩统计。
34.如权利要求32所述的计算机可读介质，其中所述动作进一步包括利用色彩直方图均衡确定所述色彩统计，其中，所述色彩直方图均衡包括将所述两幅图像传递到一个基于感知的色彩空间；在所述基于感知的空间中聚类色彩分配；在所述基于感知的空间中执行直方图均衡；以及将直方图均衡的结果传递到一个红-绿-蓝空间中。
35.如权利要求32所述的计算机可读的介质，其特征在于，所述动作进一步包括利用空间区域匹配确定空间相干性。
36.如权利要求32所述的计算机可读介质，其中所述动作进一步包括利用空间区域匹配确定空间相干性，其中，所述空间区域匹配包括将所述两幅图像中的模糊者分割为多个色彩近似的区域；侵蚀每一个所述区域；确定要进行迭代以完全地侵蚀每一个所述区域的次数；确定每一个所述区域的区域中心；以降序排序迭代次数；从匹配位置的所述两幅图像中选择像素对；以及计算每一个所选择的像素的邻域值。
37.一种装置，包括用于提供相同场景的两幅图像的装置；用于确定所述两幅图像的空间相干性和色彩统计的装置；以及用于利用所确定的色彩统计和空间相干性增强所述两幅图像的其中之一的装置。
38.如权利要求37所述的装置，其特征在于，进一步包括用于修改所述两幅图像的色彩映射函数以覆盖高对比度场景的相对较大的范围的装置。
39.如权利要求37所述的装置，其特征在于，进一步包括用于利用色彩直方图均衡确定所述色彩统计的装置。
40.如权利要求37所述的装置，其特征在于，进一步包括用于利用空间区域匹配确定空间相干性的装置。
全文摘要
揭示了提高模糊或曝光不足的图像的质量的技术。在一个所描述的实现中，一种方法包括提供相同场景的两幅图像。该方法确定两幅图像的空间相干性和色彩统计。所确定的色彩统计和空间相干性被用于增强两幅图像的其中之一。
文档编号G06T5/50GK1677442SQ200510064929
公开日2005年10月5日 申请日期2005年4月1日 优先权日2004年4月1日
发明者沈向洋, 孙剑, 贾佳亚 申请人:微软公司