专利名称：用于数字图像的自动化校正的系统和方法
技术领域：
本发明的诸实施例涉及数字图像的校正，尤其涉及数字摄影术领域中的曝光校正和色彩平衡校正。
背景技术：
存在许多图像中光照水平需要调节的情形，诸如当曝光或色彩平衡需要校正时。在常规摄影显影技术中，校正通过调整放大器上的过滤量或通过增减曝光时间在暗室中完成。这两种技术都执行线性光调整。每当光线或时间倍增时，图像所有点上的曝光无论每一点上的强度如何都倍增。
晒印或胶卷对以上校正技术的响应不是线性的。相反，该响应具有相当复杂的‘S’形特征曲线。在具有最多细节的图像区域或总体强度范围的中央部分中，响应与图像强度的对数成比例。对于每个曝光的加倍，强度中出现恒定的阶跃方式增量。因此，对于其中每个灰色块表示其相邻区域强度加倍的阶跃图，每个步骤变化看起来是相对于其相邻区域的均匀强度增量。
数码相机的校正特征也具有非线性响应。然而，通常数码相机在传感器动态范围内具有物理限制，它使得该特征曲线通常与常规胶卷的‘S’形曲线(对数线性)不同。该非线性响应在数码相机以图像文件(例如jpeg或tiff)产生的或来自原始图像处理器输出的最终图像中进行编码。尽管原始数据反映了来自传感器的直接输出，并因此固有地是线性的，常规照相机或原始处理软件更改该输出以在查看器和编辑器使用的色彩空间中产生非线性响应。不幸地是，编辑器和查看器中提供的工具并没有考虑到该非线性响应，因而在大多数情形中导致较差的色彩和曝光调整。响应曲线非线性的简单‘γ’模型导致较差的近似性，并难以适用于对色彩或曝光作出准确的、并且视觉上可接受的调整。
此外，当前用于数码相机的诸如在来自Adobe系统公司Adobe Photoshop软件中所使用的图像校正技术基于特定的照相机特征，从而不能普遍地用于所有数码相机。因此需要一种能够对任何数码相机产生的图像作图像校正的技术。
对于曝光，图8示出了曝光不足图像的测试图。图8的测试图表示由一个或两个光圈f数刻度不足曝光的图像。光圈的f数刻度比数指示了镜头或光圈孔径的相对尺寸。该数值通过用其有效孔径来除镜头的焦距f而获取。在常规系列中，每个数值表示允许前一孔径一半光的孔径。图8所示的测试图可具有例如在f/5.6上曝光不足的两个光圈的f数刻度。图9的测试图示出了在f/2.8曝光上的正常曝光图像。比较两个测试图，可看到灰色块的强度从图8到图9的变化。
如果使用诸如Adobe Photoshop曲线工具画出灰色块的相关象素强度，该关系在图6示出的屏幕截图600中被示为是非线性的。绘制过程需要对每个被绘制点的测量。屏幕截图600示出了非线性图604，其中示出了x轴608上的曝光不足值，以及y轴606上的正常曝光值。所示曲线是一查找表格并可对每个RGB通道创建，从而整个图像可被变换成准确的查找值。Photoshop曲线工具示出了对4x(2光圈刻度)曝光不足的响应校正。图8中曝光不足图像的灰色值将映射成在图9中示出的正确曝光值。如上所述，使用现有工具，图6所示的关系仅可通过详细并艰苦的测量来获取。
在Adobe Photoshop和其它编辑器中用于曝光不足校正的一现有途径是端点白层校正(White Level Correction)。图10示出了由该技术产生一测试图。该过程导致了与图6中实际曝光变化之间的测量值很不相同的映射。相反，该关系如图7所示大体上线性化。图7的屏幕截图700示出了包括x轴708上曝光不足值以及y轴706上校正值的曲线图704。如图10所示，端点白层校正的典型产物包括严格饱和以及高对比度的产生，这成了尝试校正的副作用。
除了曝光校正外，其中常常实现图像校正的另一区域是色彩平衡。用于在数码相机中获取最优化色彩平衡的常用技术是白色平衡技术。使用白色平衡，可在图像中选择诸如云或白色衬衣的一中性色块或中性色块的某些近似。然后调整各个通道的色彩曝光(RGB或CMY中的通道增益)，以便使中性色块显现中性色。
该技术遭受若干缺点。例如，单个白色点将不能提供对所有中性色彩最优化校正。图11示出了使用带有日光设置的钨光灯获取的不正确白色平衡。图12示出了通过获得一灰色点校正(最下面一行上左起第三)对图像中每个彩色通道调整增益以校正彩色色调(colorcast)的结果。高亮具有蓝色色调(参见左下角白色块)而暗区则转换为红色。
通过使用通过已测得照相机特征获取的各个通道曝光曲线，可获取类似于图6曲线的曲线及更好的结果，如图13所示。然而，如上所示，该过程是艰苦的，并需要多次单独测量。
如以上图9和图13所示的经校正图像是使用Adobe Photoshop手动校正的。该技术在许多已知灰色值存在时是成功的。然而，即使该技术是成功的，它仍然是费力的，且在缺少可供参照的中性色块时常常是不可能的。
解决该问题的一种方法是要用在倍增光线意味着倍增强度的线性空间中的数据，或光线强度的每次倍增导致象素值的恒定增长的对数空间中的数据进行工作。类似Adobe RAW、Phase One Raw产品的原始文件程序以及诸如Nikon Cpture的独立硬件供应商(IHV)专用原始编辑器将使得线性空间中的调整能便于简单增益。然而，因为在大多数图像编辑器可打开图像时通常数码相机已经将图像映射到非线性色彩空间，该技术在图像一旦由照相机转换成诸如sRGB的可视色彩空间时就不可行了。
实际上，需要一种技术用以基于照相机非线性的模型来获取类似于图6所示的映射。此外，需要一种解决方案，它应用到所有数码相机中，并在照相机的动态范围内是准确的。
发明内容
本发明的诸实施例涉及一种用于校正由数字图像捕捉装置所捕捉图像的方法。该方法包括基于采样点计算所需校正值的对数，以及基于输入象素强度计算照度对数的近似值。该方法还包括基于校正值对数和照度的近似对数来计算目标象素的强度值。此外，该方法包括提供用于校正图像以对应于目标象素强度值的图像校正工具。
在本发明的另一方面，提供一种用于校正由数字图像捕捉装置所捕捉图像的方法。该方法包括结合表示任意数字图像捕捉装置特征的常数，并基于所结合常数和输入象素强度值计算照度对数的近似值。该方法还包括使用照度对数的近似值、所需校正值、以及所结合常数来确定目标象素强度。任意图像捕捉装置的常数导致同一的目标象素强度。该方法还包括提供图像校正工具，以便将图像调整到目标象素强度。
在又一方面，提供用于校正图像的图像校正系统。该系统包括用以基于一采样输入点来计算所需校正值的校正值校正组件，以及用以基于象素强度和选定常数确定照度对数的照度对数计算组件近似。该系统还包括目标象素的对数强度计算组件，用于确定目标象素强度以便基于校正值计算、照度对数近似计算、以及选定常数来校正图像。无论负责捕捉图像的数字图像捕捉装置的常数如何，这些计算的本质导致一致的目标象素强度值。
本发明参照附图在下面详述，其中图1是根据本发明一实施例示出一系统纵览的框图；图2是根据本发明一实施例示出图像校正模块各组件的框图；图3是其中可实现本发明诸实施例的计算机化环境的框图；图4是根据本发明一实施例示出一增益控制映射的框图；图5是根据本发明一实施例示出用于图像校正的过程的流程图；图6示出了显示校正曝光不足图像的示例映射的屏幕截图；图7示出了显示端点白层校正曲线示例的屏幕截图；图8示出了一曝光不足图像；图9示出了使用图6曲线对图8曝光不足图像的映射；图10示出了使用端点完成的曝光调整；图11示出了不正确的白色平衡；图12示出了基于增益的色彩平衡；以及图13示出了使用已测量照相机特征进行的图像校正。
具体实施例方式
I.系统纵览本发明诸实施例包括一种方法和系统，用于对数字图像执行图像校正以便增加数字图像显示的准确性。图像校正的类型可包括曝光校正和白色平衡校正。提供了能够校正来自非线性数据形式图像的图像校正模块10。图像校正模块10可被结合到计算系统或数码相机中。
图1示出了一实施例，其中图像校正模块10可被结合到计算系统100中。计算系统100可经网络300与诸如数码相机的数字成像装置200通信。然而网络的存在是可任选的，因为数字成像装置200可直接连接到计算系统100。另外，计算系统100和数字成像装置200可完全不相连。相反，诸如闪存RAM的图像存储装置可用以将图像从数字成像装置200传送到计算系统100。此外，如上所述，图像校正模块10可被直接结合到数字成像装置200中。
图像校正模块10基于处理任意输入/输出标度点的算法进行操作。例如，图像校正模块可取一色彩温度偏移或白色点采样和目标，并产生用于整个图像的校正曲线。图像校正模块的操作将结合本发明的方法在下面作进一步描述。
图2还根据本发明一实施例示出了图像校正模块10的更多细节。图像校正模块还包括校正值计算组件20、照度对数计算组件40、以及目标象素的对数强度计算组件60。这些组件的每一个还将参照本发明的方法在下面进行描述。
II.示例性操作环境图3示出了可在其上实现图像校正模块10的适当计算系统环境100的示例。该计算系统环境100仅是适当计算环境的一个示例，并非旨在提出对本发明使用或功能性范围作任何限制。计算环境100也不应被解释为对示例性操作环境100中所示的任一组件或其组合有任何依赖性或任何需求。
本发明可以计算机可执行指令的一般上下文进行说明，诸如由计算机执行的程序模块。一般而言，程序模块包括执行具体任务或实现具体抽象数据结构的例程、程序、对象、组件、数据结构等等。此外，本领域技术人员将理解，本发明也可在很多其它通用或专用计算系统配置中使用，包括手持式装置、多处理器系统、基于微处理器或可编程消费品电器、迷你计算机、大型机等等。本发明还可在任务由经通信网络连接的远程处理设备执行的分布式计算环境中实践。在分布式计算环境中，程序模块可置于包括存储器存储装置的本地和远程计算机存储介质中。
参照图3，实现本发明的示例性系统包括以计算机110形式的通用计算设备，包括，处理单元120、系统存储器130以及把包括系统存储器在内的各种系统组件耦合到处理单元120的系统总线121。
计算机110通常包括各种计算机可读介质。作为示例，而非限制，计算机可读介质可包括计算机存储介质和通信介质。系统存储器130包括诸如只读存储器(ROM)131和随机存取存储器(RAM)132的易失性和/或非易失性存储器形式的计算机可读介质。包含有助于计算机110如起动时在元件间传送信息的基本例程的基本输入/输出系统(BIOS)133通常存储在ROM 131中。RAM 132通常包含可被处理单元120立即访问和/或当时正被操作的数据和/或程序模块。作为示例，而非限制，图3示出了操作系统134、应用程序135、其它程序模块136、和程序数据137。
计算机110还可包括其它可移动/不可移动、易失性/非易失性计算机存储介质。作为示例，图3图示了读取和写入不可移动、非易失性磁性介质的硬盘驱动器141，读取和写入可移动、非易失性磁盘152的磁盘驱动器151，读取和写入可移动、非易失性光盘156，诸如CD-ROM或其它光学介质的光盘驱动器155。其它也用在示例性计算环境中的可移动/不可移动、易失性/非易失性计算机存储介质包括，但不限于，如磁带盒、闪存卡、数字化多功能盘、数字化录像带、固态RAM、固态ROM等等。硬盘驱动器141通常通过诸如接口140的不可移动存储器接口与系统总线121连接，而磁盘驱动器151和光盘驱动器155通常通过诸如接口150的可移动存储器接口与系统总线121连接。
如上所述并如图3所示的盘驱动器及其相关联的计算机存储介质为计算机110提供计算机可读指令、数据结构、程序模块、和其它数据的存储。在图3中，例如，硬盘驱动器141被示为存储操作系统144、应用程序145、其它程序模块146、和程序数据147。注意这些组件可以与操作系统134、应用程序135、其它程序模块136、和程序数据137相同或不同。在此给予操作系统144、应用程序145、其它程序模块146、和程序数据147的数字不同至少说明他们是不同的副本。用户可通过输入装置如键盘162、和诸如鼠标、跟踪球或触摸板等定位装置161向计算机110输入命令和信息。其它输入装置(未示出)可包括话筒、游戏杆、游戏垫、卫星接收器、扫描仪等等。这些和其它输入设备常常通过与系统总线耦合的用户输入接口160与处理单元120相连，但也可通过诸如并行端口、游戏端口或通用串行总线(USB)的其它接口连接。监视器191或其它类型的显示设备也可通过诸如视频接口190的接口与系统总线121相连。除了监视器，计算机还可包括诸如扬声器197和打印机196的其它输出设备，它们通过输出外围接口195相连。
计算机110可以在使用与一台或多台远程计算机，诸如远程计算机180的逻辑连接的网络化环境中运行。远程计算机180可以是个人计算机、服务器、路由器、网络PC、对等装置或其它公共网络节点，而且通常包括上述与个人计算机110相关的许多或全部组件，尽管在图3中仅图示了存储器存储设备181。图3中所描绘的逻辑连接包括局域网(LAN)171和广域网(WAN)173，但也可包括其它网络。
当用于LAN网络化环境中时，计算机110通过网络接口或适配器170与局域网171连接。当用于WAN网络化环境中时，计算机110通常包括调制解调器172或其它用于在广域网173，诸如因特网中建立通信的装置。可以是内置式或外置式的调制解调器172与系统总线121通过用户输入接口160或其它适当机制连接。在网络化环境中，与计算机110相关的程序模块或其一部分可存储在远程存储器存储装置中。作为示例，而非限制，图3示出了驻留于远程计算机180中的远程应用程序185。应当理解，所示网络连接是示例性的，且其它用于在计算机间建立通信连接的技术也可以使用。
尽管未示出计算机110的许多其它内部组件，本领域技术人员将理解，这些组件和相互连接是众所周知的。因此，有关计算机110内部结构的附加细节无需与本发明一起揭示。
III.本发明的系统和方法如上所述，图1和2示出了用于校正数字图像的图像校正模块10。图像校正模块10能够为曝光校正而执行整体增益校正，并能够为色彩白点校正而校正单个通道增益。图像校正模块10通过考虑从线性到非线性空间的正向和逆向变换，来作这些校正。
如上所述，胶卷在曲线的低曝光‘脚’处具有线性响应特征，而在中央响应区域则具有近似对数响应特征。数码相机具有极相似的响应特征。许多数码相机的测试显示可使用二次形式准确模拟响应，其中D是象素强度而LogI是照度的对数。
D＝a(LogI)2+bLogI+c(1)符号a、b和c表示通常每个数码相机的专用常数。等式(1)的二次对数关系具有极类似于大多数传感器范围上胶卷特征的形式。该关系仅在强度达到其最大值时有较大偏离。在此区域中，胶卷特征曲线逐渐停止。相反，数字传感器的转换通常会更突变。该更为突变的响应特征通常导致数码相机在明亮区域内捕捉最小细节的倾向。因而，尽管该技术近似于胶卷特征，该复制并不准确。
以上等式(1)中的LogI可通过使用二次根解来计算LogI=-b±b2-4a(c-D)2a---(2)]]>等式(2)可由图像校正模块10的照度对数计算组件40用来计算对Logl的近似。因而，给出以上等式的任意照相机特征系数a、b、和c，图像校正模块10可实现目标象素对数的强度计算组件60以计算目标曲线，其中画出由D’表示的目标象素值相对于输入象素值。可创建所有可能D值的曲线。通常D值范围为0～255。也可利用其它值。
图4示出了通过映射到LogI域进行对每个采样点D的增益控制的实施例。作为预备步骤，计算校正值LogM。取了采样点之后，系统在240上使用等式(2)作了D到LogI的变换。在210把预先计算的校正量LogM添加到LogI上。在240使用等式(1)执行LogI到D的转换。通过该技术，获取了诸如在230上示出的映射。该过程可对多个输入采样点重复。
通常每个照相机都具有很不相同的特征系数a、b和c以最好地近似其响应曲线。然而，上述计算组件已证明是系数无关的。对系数a、b和c的非零选择都产生完全一样的结果。系统可实现诸如Nikon D100的任意照相机的值，并得到所有照相机的正确曲线。该系统可使用对a、b和c的任意(非零)设置，并精确地获得相同的曲线值。
图5是示出根据本发明一实施例用于校正图像的过程的流程图。在步骤A，图像校正模块10可计算LogM，它是所需校正量的对数(对于基数为10的对数计算，如果增益M＝10，则LogM＝1)。在对数计算中使用的基数是任意的，且可使用任何基数。用于获取校正值LogM的方法要具有单个采样输入/输出对以计算增益，诸如图像上的白点采样或在层次设置控制中的白点限制。LogM增益计算可通过使用以下等式(3)来完成LogM＝LogI(Dout)-LogI(Din)(3)在步骤B中，照度对数计算组件40使用以上等式(2)基于任意象素强度输入(D)来计算对数强度(LogI)的近似。
在步骤C，系统将LogM添加到LogI。在步骤D，目标象素的对数强度计算组件60从以上等式(1)计算目标D’(D的经校正映射)。以上提供的等式(1)的一般形式可被重写为D′＝a(LogI+LogM)2+b(LogI+LogM)+c以执行该步骤。
在步骤E中，系统判断是否可用新的候选象素值，并返回到步骤B以对每个可用候选象素值重复步骤B、C和D。
使用上述技术，可基于每条曲线一个标度点来计算标度。随后，对每个RGB通道可创建一查找表格或曲线。因而，可将整个图像变换为正确象素值。
翻译成LogI空间并返回的过程对几乎所有数码相机提供了良好的近似。尽管系数在照相机之间有变化，通过等式(1)获取的校正完全不随这些系数变化。照相机特征曲线的简单计算模型允许对数-强度空间中的校正计算，并得到非线性图像空间中的准确映射。该计算的典型结果是结果不随计算机模型参数的变化而变化。因此，这种转换对于大范围的照相机是可操作的。
总之，在原始(线性)空间或对数-强度空间中工作对获取良好的色彩和曝光校正是重要的，但需要传感器特征的准确模型并因此要与制造商规范有强的耦合。在sRGB或其它非线性色彩空间中工作是方便的并得到广泛应用的，但这些空间并未使它们有助于准确的色彩或曝光校正。因而，从非线性空间映射回对数强度空间、应用校正并映射回各结果的当前提议过程以稳健、准确、以及极一般的方式解决了该问题，该方式获得了两个模型的最佳准确度和一般性特征，并规避了它们的缺点。
尽管已在此详细示出并描述了本发明的特定实施例，应理解可对本发明作各种改变和更改，而不背离本发明的范围和内容。在此所述的诸实施例在所有方面都是说明性而非限制性的。关于本发明而不背离其范围的可选实施例对本领域技术人员而言变得显然。
从前述可见，本发明是适于实现上述结果和对象、以及对该系统和方法显然并固有的其它优点的。可以理解，某些特征和子组合是有用的，并可不参照其它特征和子组合采用。这是预期的，并在所附权利要求书的范围内。
权利要求
1.一种用于校正由数字图像捕捉装置所捕捉图像的方法，其特征在于，所述方法包括基于采样点计算所需校正值的对数；基于一输入象素强度计算照度对数的近似值；基于所述校正值的对数以及所述照度对数的近似值来计算一目标象素强度值；以及提供图像校正工具用于校正所述图像以对应于所述目标象素的强度值。
2.如权利要求1所述的方法，其特征在于，计算所述所需校正值的对数包括根据所述等式LogM＝LogI(Dout)-LogI(Din)计算LogM，其中LogI(Din)和LogI(Dout)基于采样值。
3.如权利要求1所述的方法，其特征在于，计算所述照度对数的近似值包括根据以下等式来计算LogI，其中D是象素强度，而a、b和c是来自图像捕捉装置的任意常数。LogI=-b±b2-4a(c-D)2a]]>
4.如权利要求3所述的方法，其特征在于，计算一目标象素强度值包括实现所述等式D′＝a(logI)2+bLogI+c，其中D’是所述目标象素的强度值。
5.如权利要求4所述的方法，其特征在于，还包括对a、b和c的任意非零值计算同一目标象素的强度值。
6.一种存储计算机可执行指令的计算机可读介质，其特征在于，所述指令执行权利要求1所述方法的计算步骤。
7.一种用于校正由数字图像捕捉装置所捕捉图像的方法，其特征在于，所述方法包括结合表示一任意数字图像捕捉装置的特征的常数；基于所述结合常数和输入象素强度值，计算照度对数的近似值；使用所述照度对数的近似值、所需校正值、以及所述结合常数来确定一目标象素强度，其中任何图像捕捉装置的常数导致同一目标象素强度；以及提供图像校正工具以便将所述图像调整为所述目标象素强度。
8.如权利要求7所述的方法，其特征在于，还包括对任意非零结合常数确定同一目标象素强度。
9.如权利要求7所述的方法，其特征在于，还包括基于至少一个选定采样点计算所需校正值的对数。
10.如权利要求9所述的方法，其特征在于，计算所述所需校正值的对数包括根据所述等式LogM＝LogI(Dout)-LogI(Din)计算LogM，其中LogI(Din)和LogI(Dout)基于采样值。
11.如权利要求7所述的方法，其特征在于，计算所述照度对数的近似值包括根据以下等式来计算LogI，其中D是象素强度，而a、b和c是来自图像捕捉装置的任意常数。LogI=-b±b2-4a(c-D)2a]]>
12.如权利要求7所述的方法，其特征在于，计算一目标象素强度值包括实现所述等式D′＝a(LogI)2+bLogI+c，其中D’是所述目标象素的强度值。
13.一种存储计算机可执行指令的计算机可读介质，其特征在于，所述指令执行权利要求7所述的方法。
14.一种用于校正图像的图像校正系统，其特征在于，所述系统包括校正值计算组件，用于基于一采样输入点计算所需校正值；照度对数计算组件，用于基于象素强度和选定常数确定所述照度对数的近似值；目标象素对数强度计算组件，用于确定目标象素强度以便基于所述校正值计算、所述照度对数的近似值计算以及所述选定常数来校正所述图像。
15.如权利要求14所述的方法，其特征在于，所述校正值计算组件根据所述等式LogM＝LogI(Dout)-LogI(Din)来计算所需校正值对数的LogM，其中LogI(Din)和LogI(Dout)基于采样值。
16.如权利要求14所述的方法，其特征在于，所述照度对数包括根据以下等式来计算LogI照度对数，其中D是象素强度，而a、b和c是图像捕捉装置特定的常数。LogI=-b±b2-4a(c-D)2a]]>
17.如权利要求16所述的方法，其特征在于，所述目标象素对数强度计算组件使用所述等式D′＝a(logI)2+bLogI+c计算目标强度值，其中D’是所述目标象素的强度值。
18.如权利要求17所述的方法，其特征在于，所述目标象素对数强度计算组件对a、b和c的任意非零值计算目标象素强度的同一值。
全文摘要
提供一种系统和方法用于校正由数字图像捕捉装置所捕捉的图像。该方法包括基于采样点和该点的目标值计算所需校正值的对数，以及基于输入象素强度计算照度对数的近似值。该方法还包括基于校正值对数和照度对数的近似对数来计算任何目标象素的强度值。图像校正工具校正图像以与目标象素强度值相对应。可使用该技术来校正任何图像的增益，且例如可校正曝光或色彩平衡缺陷。无论图像捕捉装置如何该技术都能提供极好的结果。
文档编号H04N1/60GK1713690SQ20051006889
公开日2005年12月28日 申请日期2005年5月13日 优先权日2004年6月15日
发明者S·J·怀特 申请人:微软公司