单图像晕映纠正的制作方法

专利名称：单图像晕映纠正的制作方法
单图像晕映纠正
祖旦 冃足
晕映指的是亮度从图像中心开始衰减的现象，并且是摄影学中普遍存在的 伪像。尽管可能不会令低级的普通观看者感到讨厌，但是它会显著削弱依赖于 精确的强度数据来分析场景的计算机视觉算法。晕映失真可能特别地带来破坏 的应用包括诸如通过着色成形、如对象识别等基于外观的技术以及图像镶嵌等 测光方法。
若干机制可能是造成晕映效应的原因。某些原因是因照相机镜头的光学特 性引起的，其中一个最主要的特性是离轴照明衰退，即cos"去则。这些都会造
成因在从离光轴越来越大的角度观看时镜头的縮短而导致的晕映。晕映的其它 来源是自然中的几何结构。例如，以倾斜的角度到达光轴的光可能会被视场光 阑或眼镜框所部分地阻挡。
为确定图像中的晕映效应，最直截了当的方法涉及完整地捕捉由统一视场 区域扫描的图像，使得亮度变化只能归因于晕映。在这一校正图像中，强度与 光轴上的像素之比描述了晕映函数。然而，由于不均匀的照明以及照相机倾斜， 用于此方式的合适的成像条件的产生可能是有挑战性的，并且晕映测量仅对由 相同照相机设置下的照相机捕捉的图像有效。此外，校正图像只能在照相机在
手边时才能记录；因此，这一方法不能纠正由未知照相机捕捉的图像，诸如从 网上下载的图像。
晕映函数或者可以从带有任意静态场景的重叠视图的图像序列中计算。在 这一方法中，首先确定重叠图像区域中的点对应性。由于一给定场景点在每一 图像中具有不同的位置，因此其亮度可通过晕映来不同地衰减。从来自所有对
应性的累计衰减信息中，可以在没有对场景的假设的情况下准确地恢复晕映函 数。
这些先前的方法或者需要重叠图像的集合，或者需要校正场景的图像。然 而，通常在实践中，仅有任意场景的单个图像可用。先前的技术从具有相同场景辐射度但亮度衰减不同的像素中获得用于晕映纠正的信息。对于单个任意的 输入图像，该信息的获得变得具有挑战性，因为很难标识出具有相同的场景辐 射度但晕映衰减略微不同的像素。
概述
本发明涉及一种用于仅使用一图像来纠正该图像内的晕映的系统和过程。 为最大化对图像中可用信息的使用，该技术从纹理化和未纹理化区域两者中提 取晕映信息。在从给定区域提取晕映信息时，利用了物理晕映特性来减少纹理 和其它强度变化源的影响。来自不同图像区域的晕映信息也用于确保跨各区域 的一致性。结果，标识了适用于晕映函数估算的大图像区域。为了抵抗分段上 的晕映的不利影响，本系统和过程相对于对晕映函数的逐渐细化的估算来对图 像迭代地进行重新分段。另外，以增强可靠晕映数据的收集的方式来使用分段 比例的空间变化。
一般而言，本发明的晕映纠正系统和过程涉及首先使用产生可靠段的空间 变化的分段比例来对一输入图像进行分段，其中该可靠段展示出与规定的物理 晕映特性相一致且符合在其它段中观察到的晕映的晕映。然后使用可靠段对该 输入图像估算一晕映函数，该晕映函数定义了对每一像素的纠正的强度。该最 后计算的晕映函数估算被应用于输入图像的每一像素以产生当前细化图像。使 用当前细化图像代替输入图像来重复分段和晕映函数估算，并且将所得的估算 应用于输入图像来产生新的当前细化图像。这继续到确定晕映函数估算已收 敛。此时，随后产生的当前细化图像被指定为最终的经晕映纠正的图像。
对输入图像或当前细化图像的分段在本发明的系统和过程的一个实施例 中是通过首先以规定的初始分段比例对图像分段来实现的。然后，对于每一段， 计算代表所考虑的段展示出与物理晕映特性的一致性以及符合在其它段中观 察到的晕映的程度的可靠性因子。另外，确定所考虑的段的可靠性因子是否超 过指示对晕映估算可接受的段的规定的可靠性阈值。只要该可靠性因子没有超 过该可靠性阈值，就以递增的更精细的分段比例对所考虑的段递归地分段，直 到每一所得的更小的段具有超过该可靠性阈值的可靠性因子，或变为小于规定
的最小段大小。被确定为具有超过可靠性阈值的可靠性因子并且至少与最小段
大小一样大的那些段被指定为可靠段。
对所考虑的段递推地分段的一种方式涉及使用比最后在该段上用于产生 多个更小的段的分段比例更精细的分段比例来划分该段。对于所产生的每一更 小的段，计算其可靠性因子，并且确定该因子是否超过可靠性阈值。只要所考 虑的更小的段的可靠性因子没有超过可靠性阈值，就确定该更小的段的大小是 否小于规定的最小段大小。如果所考虑的段超过最小段大小，则对该段重复上 述过程。
注意，尽管在背景一节中描述的现有晕映纠正方案中的上述限制可以通过 根据本发明的系统和方法的一个特定实现来解决，但是本发明的系统和过程决 不限于仅仅解决上述任一个或全部缺点的实现。相反，如可以从以下描述中显 而易见的，本发明的系统和过程具有广泛得多的应用。
还应当注意，提供本概述以便用简化的形式介绍将在以下详细描述中进一 步描述的一些概念。本概述并不旨在确定所要求保护的主题的关键特征或必要 特征，也不旨在用于帮助确定所要求保护的主题的范围。除了以上描述的好处 之外，当结合附图考虑时，本发明的其它优点将从以下详细描述中变得清楚。


阅读以下描述、所附权利要求书和附图，本发明的具体特征、方面和优点
将得到更好的理解，附图中
图1是描绘构成用于实现本发明的示例性系统的通用计算设备的图示。 图2是图解了根据本发明的仅使用图像本身来纠正图像中的晕映的一般
化过程的流程图。
图3是示出与Kang-Weiss晕映模型倾斜因子相关联的几何结构的图示。 图4是描绘了构成根据本发明的晕映纠正系统的一个实施例的计算机程 序模块的图示。
图5A-B是图解了代表实现图4的晕映纠正系统的一种方式的用于纠正图 像中的晕映的过程的延续流程图。
详细描述
在以下本发明的各实施例的描述中，参考了附图，附图形成了本发明的一 部分，并且作为说明在其中示出了可实现本发明的具体实施例。可以理解，可 以利用其它实施例，并且可以作出结构上的改变而不脱离本发明的范围。
1.0 计算环境
在提供对本发明各实施例的描述之前，将描述其中可实现本发明的各部分
的合适的计算环境的简要、概括描述。图1示出了合适的计算系统环境100的
一个示例。计算系统环境ioo仅为合适的计算环境的一个示例，并非对本发明
的使用范围或功能提出任何局限。也不应将计算环境IOO解释为对示例性操作 环境100中示出的任一组件或其组合具有任何依赖或需求。
本发明可以使用众多其它通用或专用计算系统环境或配置来操作。适用于 本发明的众所周知的计算系统、环境和/或配置的示例包括但不限于，个人计算 机、服务器计算机、手持式或膝上型设备、多处理器系统、基于微处理器的系
统、机顶盒、可编程消费者电子设备、网络PC、小型机、大型计算机、包括
任一上述系统或设备的分布式计算环境等等。
本发明可在诸如程序模块等由计算机执行的计算机可执行指令的一般上 下文环境中描述。 一般而言，程序模块包括执行特定的任务或实现特定的抽象 数据类型的例程、程序、对象、组件、数据结构等等。本发明也可以在其中任 务由通过通信网络链接的远程处理设备来执行的分布式计算环境中实践。在分 布式计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机
存储介质中。
参考图1，用于实现本发明的示例性系统包括计算机110形式的通用计算 设备。计算机110的组件可包括但不限于，处理单元120、系统存储器130以 及将包括系统存储器130的各类系统组件耦合至处理单元120的系统总线121 。 系统总线121可以是若干种总线结构的任一种，包括存储器总线或存储器控制 器、外围总线以及使用各类总线体系结构的任一种的局部总线。作为示例而非 局限，这类体系结构包括工业标准体系结构(ISA)总线、微通道体系结构 (MCA)总线、增强型ISA (EISA)总线、视频电子技术标准协会(VESA) 局部总线以及外围部件互连(PCI)总线(也称为小背板(Mezzanine)总线)。
计算机110通常包括各种计算机可读介质。计算机可读介质可以是可由计
算机110访问的任一可用介质，包括易失性和非易失性介质、可移动和不可移
动介质。作为示例而非局限，计算机可读介质包括计算机存储介质和通信介质。 计算机存储介质包括以用于储存诸如计算机可读指令、数据结构、程序模块或
其它数据等信息的任一方法或技术实现的易失性和非易失性，可移动和不可移
动介质。计算机存储介质包括但不限于，RAM、 ROM、 EEPROM、闪存或其 它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁 带、磁盘存储或其它磁存储设备、或可以用来储存所期望的信息并可由计算机 110访问的任一其它介质。通信介质通常以诸如载波或其它传输机制等己调制 数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并包括任 一信息传送介质。术语"已调制数据信号"指以对信号中的信息进行编码的方 式设置或改变其一个或多个特征的信号。作为示例而非局限，通信介质包括有 线介质，如有线网络或直接连线连接，以及无线介质，如声学、RF、红外和其 它无线介质。上述任一的组合也应当包括在计算机可读介质的范围之内。
系统存储器130包括易失性和/或非易失性存储器形式的计算机存储介质， 如只读存储器(ROM) 131和随机存取存储器(RAM) 132。基本输入/输出系 统133 (BIOS)包括如在启动时帮助在计算机110内的元件之间传输信息的基 本例程，它通常储存在ROM131中。RAM132通常包含处理单元120立即可 访问和/或当前正在操作的数据和/或程序模块。作为示例而非局限，图1示出 了操作系统134、应用程序135、其它程序模块136和程序数据137。
计算机110也可包括其它可移动/不可移动、易失性/非易失性计算机存储 介质。仅作示例，图l示出了对不可移动、非易失性磁介质进行读写的硬盘驱 动器141，对可移动、非易失性磁盘152进行读写的磁盘驱动器151，以及对 可移动、非易失性光盘156，如CDROM或其它光介质进行读写的光盘驱动器 155。可以在示例性操作环境中使用的其它可移动/不可移动、易失性/非易失性 计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、
固态RAM、固态ROM等等。硬盘驱动器141通常通过不可移动存储器接口， 如接口 140连接到系统总线121，磁盘驱动器151和光盘驱动器155通常通过 可移动存储器接口，如接口 150连接到系统总线121。
上文讨论并在图1示出的驱动器及其关联的计算机存储介质为计算机no
提供了计算机可读指令、数据结构、程序模块和其它数据的存储。例如，在图
1中，示出硬盘驱动器141储存操作系统144、应用程序145、其它程序模块 146和程序数据147。注意，这些组件可以与操作系统134、应用程序135、其 它程序模块136和程序数据137相同，也可以与它们不同。这里对操作系统144、 应用程序145、其它程序模块146和程序数据147给予不同的标号来说明至少 它们是不同的副本。用户可以通过输入设备，如键盘162和定位设备161 (通 常指鼠标、跟踪球或触摸垫)向计算机110输入命令和信息。其它输入设备(未 示出)可包括话筒、操纵杆、游戏垫、圆盘式卫星天线、扫描仪等等。这些和 其它输入设备通常通过耦合至系统总线的用户输入接口 160连接至处理单元 120，但是也可以通过其它接口和总线结构连接，如并行端口、游戏端口或通 用串行总线(USB)。监视器191或其它类型的显示设备也通过接口，如视频 接口 190连接至系统总线121。除监视器之外，计算机也可包括其它外围输出 设备，如扬声器197和打印机196，它们通过输出外围接口 195连接。能够捕 捉图像序列193的照相机192 (诸如数字/电子照相机或摄像机，或胶片/照片 扫描仪)也可作为对个人计算机110的输入设备来包括。此外，尽管仅描绘了 一个照相机，但是可以包括多个照相机作为对个人计算机110的输入设备。来 自一个或多个照相机的图像193经由适当的照相机接口 194输入到计算机110 中。该接口 194连接到系统总线121，由此允许将图像路由到并储存在RAMB2 或与计算机110相关联的其它数据存储设备之一中。然而，注意，图像数据也 可以从上述计算机可读介质中的任一个输入到计算机110中而无需使用照相机 192。
计算机110可以使用到一个或多个远程计算机，如远程计算机180的逻辑 连接在网络化环境中操作。远程计算机180可以是个人计算机、服务器、路由 器、网络PC、对等设备或其它常见的网络节点，并通常包括许多或所有相对 于计算机110所描述的元件，尽管在图1中仅示出了存储器存储设备181。图 1描述的逻辑连接包括局域网(LAN) 171和广域网(WAN) 173，但也可包 括其它网络。这类网络环境常见于办公室、企业范围计算机网络、内联网以及 因特网。当在LAN网络环境中使用时，计算机110通过网络接口或适配器170连 接至LAN 171。当在WAN网络环境中使用时，计算机110通常包括调制解调 器172或用于通过WAN 173，如因特网建立通信的其它装置。调制解调器172 可以是内置或外置的，它通过用户输入接口 160或其它适当的机制连接至系统 总线121。在网络化环境中，相对于计算机IIO所描述的程序模块或其部分可 储存在远程存储器存储设备中。作为示例而非局限，图1示出远程应用程序185 驻留在存储器设备181上。可以理解，示出的网络连接是示例性的，也可以使 用在计算机之间建立通信链路的其它手段。
现在已经讨论了示例性操作环境，本说明书部分的其余部分将专用于实施 本发明的程序模块的描述。
2.0 单图像晕映纠正系统和过程
本发明的仅使用图像本身来纠正图像中的晕映的基于计算机的系统和过 程一般以下如图2的高级流程图中所示的处理动作来实现。首先，使用产生可 靠段的空间变化的分段比例来对输入图像进行分段(处理动作200)。在本发 明的晕映纠正系统上下文中，如果一个段展示出与规定的物理晕映特性一致的 晕映并且如果它符合在其它段中观察到的晕映，则该段被认为是可靠的。然后 使用可靠段对输入图像估算一晕映函数，该晕映函数定义了对每一像素的纠正 的强度(处理动作202)。将最后计算的晕映函数估算应用于输入图像的每一 像素以产生当前细化图像(处理动作204)。使用当前细化图像代替输入图像 来重复分段和晕映函数估算动作，并且将所得的估算应用于输入图像来产生新 的当前细化图像(处理动作206)。这继续到确定了晕映函数估算已收敛(处 理动作208)。此时，最后产生的当前细化图像被指定为最终的经晕映纠正的 图像(处理动作210)。
以下各节中将提供对每一上述处理动作的描述以及该系统和过程的基础。
2.1 晕映模型
大多数用于晕映纠正的方法使用了参数晕映模型来简化估算并最小化图 像噪声的影响。通常使用的是诸如多项式函数和双曲余弦函数等经验模型。基
于物理考虑的现有模型包括解决了离轴照明和光路阻挡的模型，以及另外结合
了基于场景的倾斜效应的Kand和Weiss模型。倾斜描述了一场景区域内因与 照相机的距离差而导致的强度变化，即，由于照明的平方反比定律，较接近的 点表现得较亮。尽管对于成像系统并不是固有的，但是因倾斜所导致的强度衰 减效应在单图像晕映估算中必须解决。除了具有物理上有意义的参数之外，物 理模型的一个重要特性是其高度结构化且受约束的形式在数据是稀疏和/或含 噪声的时候有助于估算。在此工作中，对可能有不同色彩的多个表面使用最初 为恒定反照率的单个平坦表面设计的Kang-Weiss模型的扩展。另外，将几何 晕映的线性模型推广到多项式形式。
2.2Kang-Weiss模型
考虑具有零扭斜、宽高比l以及在图像中心处的图像坐标为(w, v)=(0; 0) 的主点的图像。在Kang-Weiss晕映模型中，亮度比是按照离轴照明因子^、 几何因子G和倾斜因子r来描述的。对于在(",，v,)处、距离图像中心r,的像素 /，晕映函数p被表达为
<formula>formula see original document page 15</formula>(1)
其中
<formula>formula see original document page 15</formula>(2)
7V是图像中的像素数，/是照相机的有效焦距，而cd表示几何晕映因子中
的系数。倾斜参数7和T分别描述了围绕与光轴平行的轴的平坦场景表面的旋
转角度，以及围绕该旋转平面的x轴的旋转角度，如图3所示。
等式(1)中的模型伊可被分解成照相机的全局晕映函数"和场景中的局
部倾斜效应r。注意，<9是旋转对称的；由此，它可被指定为离图像中心的径 向距离r,的1D函数。
2.3 扩展的晕映模型
在一个任意输入图像中，可存在具有不同局部倾斜因子的众多段。为了解
决图像中的多个表面，采用了 Kang-Weiss模型的扩展，其中不同的图像段可 具有不同的倾斜角。等式(2)的倾斜因子被修改成
<formula>formula see original document page 16</formula> (3)
其中s,索引了包含像素z'的段。
线性几何因子也被扩展为更一般的多项式形式
<formula>formula see original document page 16</formula>4)
其中p表示可以根据所需精度任意地设置的多项式阶数。该推广的表示提 供了对实际观察到的几何晕映效应的更接近的拟合。与使用多项式作为总晕映 模型形成对比，仅用多项式来表示几何分量允许总体模型明确地解决局部倾斜 效应和全局离轴照明。
2.4 晕映能量函数
设段^的场景辐射度/,通过其与中心像素的场景辐射度/()之比;^来表达， 即/,=人/()。给定具有不同场景辐射度的M个段的图像，晕映解可以被公式
化为以下能量函数的最小值
似w,
<formula>formula see original document page 16</formula> , (5)
其中/索引了段s中的A^个像素，z,是晕映的图像中的像素值，而w,是
分配给像素/的权重。在彩色图像中，z表示RGB矢量。为便于解释，此处z
被表示为单个色通道，并且总能量是从单独的色彩分量中求平均而得的。
在此能量函数中，要估算的参数是离轴分量中的焦距/、几何因子的《系 数、倾斜角L和A、中心像素的场景辐射度/o、以及每一段的辐射度比4。在
处理多个图像段时，该能量函数的最小值可以被直观地视为同时解出了给出各
段之间的晕映衰减的平滑对齐的局部段参数/,、 L和A，同时优化了基础的全 局晕映参数/, q, %。有了估算的参数，经晕映纠正的图像因此由z,/《给出。注意，局部倾斜因子被保留在经纠正的图像中，以便不会产生看上去不自 然的结果。
尽管典型的图像要比在此公式中考虑的统一平坦表面复杂得多，但是稍后 将描述如何可将图像中的晕映数据从诸如纹理等其它强度变化中分离出来，以 及如何设置权重W来允许对此能量函数的稳健的使用。
2.5 晕映纠正
本发明的用于纠正图像中的晕映的基于计算机的系统的一个实施例基于 图4所示的程序模块。在每一迭代中，输入图像首先使用分段模块400来以粗 略的比例分段，并且对每一段，经由可靠性模块402来计算用于晕映估算的段 数据的可靠性度量。对于展示出与物理晕映特性以及与其它段的更大的一致性 的段，由模块402分配一更高的可靠性因子。低可靠性因子可以指示具有多个 不同表面的段，因此这些段由分段模块400以递增的更精细比例递归地分段， 直到更小的段的可靠性因子超过一阈值或段的大小变得可忽略。有了此分段方 法，分段比例以便于收集晕映数据的方式在空间上变化。
在空间自适应分段之后，具有高可靠性因子的段由晕映估算模块404用于 估算晕映函数参数。由于前导段可能会因晕映的存在而被破坏，因此该过程的 后续迭代从由晕映纠正模块406使用当前晕映估算纠正的细化图像中重新计算 分段边界。较好的分段结果得到改进的晕映估算，并且重复这些迭代，直到估 算收敛。在收敛时，由晕映纠正模块406向输入图像应用最后计算的晕映函数 来产生最终的经晕映纠正的图像。
实现上述系统的一种方式在图5A-B的处理流程图中略述。首先，在处理 动作500处，输入要纠正的图像。该输入图像(或者如果存在，则是当前细化 图像)然后以对当前分段等级规定的分段比例来分段(处理动作502)，并且 选择所得的图像段中与当前分段等级相关联的先前未选中的段(处理动作 504)。最初,当前分段等级是第一级。分段等级的重要性不久将会变得清楚。 另外，如上所述，对于每一相继的分段等级，分段比例变得更精细。接着确定 所选段的大小(例如，按照段中的像素数来测量)是否小于规定的最小段大小 (处理动作506)。如果否，则在处理动作508中为每一所选段计算一可靠性因子。如上所述，该可靠性因子表示该段展示出的与物理晕映特性的一致性以 及符合在其它段中观察到的晕映的程度。接着确定该可靠性因子是否超过规定
的可靠性阈值(处理动作510)。如上所述，该阈值指示了一个段对于晕映估
算目的是否是可接受的。如果确定可靠性因子未超过可靠性阈值，则将分段等
级递增1 (处理动作512)，并使用递增的分段比例来对所选段分段(处理动 作513)。然后适当地执行处理动作502到518。以此方式，使用分配给新分 段等级的更精细的分段比例来划分了所选的段，得到两个或更多更小的段。
然而，如果在处理动作506确定所选段的大小要小于最小段大小，或者在 处理动作510确定可靠性因子的确超过了可靠性阈值，则确定在当前分段等级 中是否还剩下任何先前未选择的段(处理动作514)。如果是，则适当地重复 处理动作504到518以考虑当前等级中的其它段。然而，如果在当前分段等级 中没有剩余先前未选择的段，则确定在当前等级之前是否有分段等级(处理动 作516)。如果有，则将分段等级递减1 (处理动作518)，并且从处理动作 514开始适当地重复处理动作502到518，如图5A所示。
然而，如果在处理动作516中确定在当前等级之前没有分段等级，则该过 程继续到仅使用被确定为具有超过可靠性阈值的可靠性因子且至少与最小段 大小一样大的段来为图像计算当前晕映函数估算(处理动作520)。如上所述， 该晕映函数为输入图像的每一像素定义了经纠正的强度。然后将当前晕映函数 估算应用于输入图像的每一像素以产生当前细化图像(处理动作522)。接着， 确定是否计算了多于一个晕映函数估算(处理动作524)。如果是，则确定当 前晕映函数估算是否收敛(处理动作526)。如上所述，如果晕映函数估算在 最后一次迭代中没有改变大于规定的量，则该晕映函数估算已收敛。如果确定 晕映函数估算已收敛，则将当前细化图像指定为最终的经晕映纠正的图像(处 理动作528)，并且该过程结束。然而，如果在处理动作524中确定尚未计算 多于一个晕映函数估算，或者如果在处理动作526中确定当前晕映函数估算未 收敛，则对纠正过程的每一相继的迭代适当地重复处理动作502到528，直到 晕映函数估算收敛。
现在将在以下各节中更详细描述该晕映纠正系统和过程的主要组件。2.5.1基于晕映的图像分段
为获得关于晕映估算的信息，需要在输入图像中标识具有相同场景辐射度 的像素。本发明的系统和过程用对现有分段方法的独特的改编来解决了这一问 题。为便于定位可靠的晕映数据，分段比例在图像上空间地变化，并且随着晕 映函数估算被细化，分段上的不利晕映效应也逐渐减小。
2.5丄1 比例的空间变化
如果具有相同的场景辐射度的像素集横跨较宽范围的晕映衰减，则其提供
更有价值的信息。在分段的上下文中，较大的段因此是较佳的。尽管可用粗略 的分段比例来获得相对较大的段，但是这些段中的大部分对于晕映估算可能是 不可靠的，因为它们可能包含多个表面或可能包括具有非均匀照明的区域。为 了从不可靠段中获得有用的数据，本发明的系统和过程将其递归地分段成更小
的段，这些段可能包括用于晕映估算的更好的数据。这一递归分段继续直到段 具有高可靠性权重或根据一阈值(诸如在测试实施例中使用的225个像素)变
得大小可忽略。大小非常小的段一般包含无关紧要的晕映衰减变化，并且包括 这样的段将使优化过程有偏差。
在递归分段过程中，使用了精细度递增的分段比例。对于诸如平均值移动 和段竞争等方法，分段比例是由每一特征类中的变化上的参数来控制的，其中
特征可以简单地是像素强度或色彩。采用这些方法，可以通过用减小的参数值 对各段进行分段来获得对低权重段的更精细划分。在诸如图形切断(graph cut) 和Blobworld等其它技术中，分段程度是根据图像中给定数量的特征类来设置 的。存在设置类数的各种方式，包括用户指定、数据群集、以及最小描述长度 准则。对于递归分段，由于每一段属于一特定类，因此可通过用指定为2的特 征类数量对段进行分段来获得对段的更精细划分。
采用这一一般的改编，分段比例以被设计成最大化晕映数据的质量的方式 在图像上变化。在测试实施例中，对于由6个色彩/纹理属性组成的每像素特征 矢量，采用图形切断分段。色彩分量是RGB值，并且局部纹理描述符是极性、 各向异性和归 一化的纹理对比度。
2.5丄2 解决晕映
由于晕映衰减的变化，相同场景辐射度的两个像素可能展示出明显不同的 图像强度。在分段中，这一晕映的结果是同质场景区域可被划分成单独的图像 段。晕映也会导致同质的图像区域由于更大径向距离处更低的对比度而被一起 分段。为了在晕映估算中有更好的稳定性，应最小化分段上的晕映效应。
为了解决分段中的晕映效应，在每次迭代后，在后一迭代期间解决分段中 的估算的晕映函数。具体地，使用用当前估算的参数计算的经晕映纠正的图像 来代替原始输入图像以确定分段边界。经纠正的图像仅用于分段目的，并且原 始图像中的色彩仍用于晕映估算。
当分段随着减少的晕映效应而改进时，所估算的晕映函数也被逐渐细化。 重复该过程，直到接连的迭代中晕映函数之差落在规定阈值之下，其中该差被
^=*》|州 |. (6)
9(0表示迭代^中的全局晕映函数，并且径向距离r是以A个均匀的间隔 来采样的。在测试实施例中，A被设为IOO。
2.5.2段加权
为指导基于晕映的分段过程并促进稳健的晕映估算，评估每一图像段中的 数据的可靠性并将其用作段权重。如果一个段展示出与物理晕映特性的一致性 并符合在该图像的别处观察到的晕映，则该段被认为是可靠的。
最初，没有晕映估算是已知的，因此在第一次迭代中根据段数据可如何精 确地由基于物理的晕映模型来表示来测量可靠性。对于一给定段，类似于2.5.3 节所描述的技术来计算晕映函数的估算《9'，并且计算段s的加权为
<formula>formula see original document page 20</formula>(7)
每一像素被分配其段的权重。
段中纹理的存在并不排除它具有高权重。与通常展示高频变化的纹理形成 对比，晕映是其波长在图像宽度的数量级上的低频现象。这一频率特性的差异 允许在许多纹理化段中辨别出晕映效应。
在每次迭代的结束，确定晕映函数的估算，并将其用作下一迭代中的》'。 当逐渐细化晕映参数时，所计算的权重将更精确地反映出段数据的质量。在段 中的纹理或遮蔽一致地逼近晕映的特性的情况下，如果该晕映与在图像的其它 部分中观察到的晕映不一致，则可对其分配低权重。
2.5.3晕映估算
对于段集合，许多未知的参数创建一复杂的解空间。为了简化优化，在估 算晕映函数之前使用逐步的方法来初始化参数。在第一步中，对每一段确定相 对场景辐射度人的初始值，而不考虑晕映和倾斜参数。对于在同一半径r处但
来自不同段的像素/和力其晕映衰减应当是相等的，因此其图像值z,和》应 当仅在场景辐射度上有差异。基于此特性，通过最小化以下函数来初始化相对 场景辐射度值
, 7 、2
、4 4 ,
4值通过等式系V^;
J, 、乂
=0上的奇异值分解(SVD)在最小平方的意义
上求解，其中^和1是未知的。为加速该函数的最小化，给定半径处且在同
一段内的一组像素可以用具有该组的平均色彩的单个像素来表示。
有了4的初始值，第二步初始化参数/、 /o以及Cd, %，其中; 是在等
式4的几何因子中使用的多项式阶数。忽略局部倾斜因子，这用以下能量函数 来计算
. (8)
该函数通过从tl到递增地增加多项式阶数，并使用先前计算的多项
式系数W, c^作为初始值来递归地求解。在测试实施例中，采用了严4的 多项式阶数。
在第三步中，通过以固定到其初始值的其它参数来优化等式5中的能量函 数来估算局部倾斜参数L、 A。在此初始化阶段之后，所有参数在等式5中被 联合优化以最终估算晕映函数。等式5和等式8的优化使用
Levenberg-Marquardt技术来i十算。
尽管以对结构特征和/或方法动作专用的语言描述了本主题，但是可以理 解，所附权利要求书中所定义的主题并不一定要限于以上所述的具体特征或动 作。相反，上述具体特征和动作是作为实现权利要求书的示例形式而公开的。
权利要求
1.一种用于纠正输入图像中的晕映的计算机实现的过程，包括使用计算机来执行以下处理动作使用在空间上变化的分段比例来对所述输入图像进行分段，这产生展示出与规定的物理晕映特性相一致的且符合在其它段中观察到的晕映的晕映的多个可靠段(200)；使用所述可靠段来估算所述输入图像的晕映函数，所述晕映函数定义了每一像素的经纠正的强度(202)；向所述输入图像的每一像素应用最后计算的晕映函数，以产生当前细化图像(204)；使用所述当前细化图像替代所述输入图像来重复所述分段动作，并使用所述输入图像来重复所述估算和应用处理动作以产生新的当前细化图像(206)，直到确定所述晕映函数估算已收敛(208)；以及当确定所述晕映函数估算已收敛时，将最后产生的当前细化图像指定为最终的经晕映纠正的图像(210)。
2. 如权利要求1所述的过程，其特征在于，所述对输入图像分段或对当 前细化图像分段的处理动作包括以下动作以规定的初始分段比例对所述图像分段； 对每一段，计算表示所述段展示出与物理晕映特性的一致性以及符合其它段中 观察到的晕映的程度的可靠性因子，确定所述可靠性因子是否超过指示所述段对于晕映估算是接受的规 定的可靠性阈值，以及当所述可靠性因子不超过所述可靠性阈值时，以精细度递增的分段比 例对所考虑的段递归地分段，直到每一所得的较小的段具有超过所述可靠 性阈值的可靠性因子或者变得小于规定的最小段大小；以及 将被确定为具有超过所述可靠性阈值的可靠性因子且至少与所述最小段 大小一样大的那些段指定为可靠段。
3. 如权利要求2所述的过程，其特征在于，所述对所考虑的段递归地分段的处理动作包括以下动作(a) 使用比在所考虑的段上最后采用的分段比例更精细的分段比例来对所 述段分段以产生多个更小的段；(b) 对于所产生的每一更小的段，计算其可靠性因子并确定所述因子是否 超过所述可靠性阈值；(c) 当所考虑的更小的段的可靠性因子不超过所述可靠性阈值时，确定所 述较小的段的大小是否小于规定的最小段大小；以及(d) 当所考虑的较小的段超过所述最小段大小时，对该较小的段重复处理 动作(a)到(d)。
4. 如权利要求3所述的过程，其特征在于，所述对输入图像分段、对当 前细化图像分段以及对任一段分段的处理动作包括采用其中每像素特征矢量 由六个色彩/纹理属性组成的图形切断分段技术的动作。
5. 如权利要求4所述的过程，其特征在于，所述每像素特征矢量的色彩 属性是RGB值。
6. 如权利要求4所述的过程，其特征在于，所述每像素特征矢量的纹理 属性是极性、各向异性和归一化的纹理对比度。
7. 如权利要求2所述的过程，其特征在于，所述估算输入图像的晕映函 数的处理动作包括估算一函数，对所述图像的每一像素，该函数估算仅随所述 像素离图像中心的径向距离变化的全局晕映、以及由所述像素描绘的表面相对 于光轴和图像平面的倾斜所引起的晕映两者。
8. 如权利要求7所述的过程，其特征在于，所述估算全局晕映对所述图像的像素的效应的处理动作包括计算像素G)的离轴照明因子(A)和几何因子(G,)的乘积，其中4=7~~^~~^，其中。是像素!'离图像中心的径向距(l + "//)2)离，而/是捕捉所述图像的照相机的有效焦距，并且其中《=(1-cv;-…-cyf)，其中/7表示规定的多项式阶数，而Cd...p表示几何系数。
9. 如权利要求7所述的过程，其特征在于，所述估算因由所述像素所描 述的表面的倾斜引起的晕映的效果的处理动作包括对像素(/)计算倾斜因子 <formula>formula see original document page 4</formula>其中^索引了包含像素/的图像段，",和v,是像素/的图像坐标，/是捕捉所述图像的照相机的有效焦距，；^,是表示在包含像素/的段中所描绘的平坦场景表面围绕平行于光轴的轴的旋转角度 的第一倾斜参数，而是表示在包含像素/的段中所描绘的平坦场景表面相对于所述图像平面的旋转角度的第二倾斜参数。
10. 如权利要求2所述的过程，其特征在于，所述估算输入图像的晕映函数的处理动作包括以下动作最小化被定义为<formula>formula see original document page 4</formula>的能量函数ce)，其中m表示图像段s的总数，M表示段^中的像素/的总数，w,表示为包含像素/的段s计算的可靠性因子，；i,是段s的场景辐射度/,与中心像素的场景辐射度/。之比， 7;表示因由像素/描绘的表面相对于光轴和图像平面的倾斜所引起的晕映，《是最后计算的晕映函数估算中归因于忽略了在离图像中心为径向距离r的像素 /处的晕映上的任何局部倾斜效应的全局倾斜效应的部分，而z,是像素/的像素值；以及定义所估算的晕映函数，使得每一像素/的经纠正的强度由z,/^给出。
11. 如权利要求10所述的过程，其特征在于，所述输入图像是彩色图像， 并且像素/的像素值z,表示RGB矢量。
12. 如权利要求2所述的过程，其特征在于，所述计算一个段的可靠性因子的处理动作包括计算所述因子(w》为^ = +6印{-|;|卜-^^的处理动作，其中/索引了段s中的M个像素，《是最后计算的晕映函数估算中归因于忽略了离图像中心为径向距离r的像素/处的晕映上的任何局部倾斜效应的全 局晕映效应的部分，z,是像素；的像素值，4是段5的场景辐射度/,与中心像素的场景辐射度/。之比，而r,表示因由像素/描绘的表面相对于光轴和图像平面的倾斜所引起的晕映。
13. 如权利要求10所述的过程，其特征在于，所述输入图像是彩色图像， 并且像素/的像素值z,表示RGB矢量。
14. 如权利要求l所述的过程，其特征在于，所述确定晕映函数估算是否已收敛的处理动作包括确定最后计算的晕映函数估算在与倒数第二个计算的 晕映函数估算相比时是否改变了大于规定的量的动作。
15. 如权利要求14所述的过程，其特征在于，所述确定最后计算的晕映 函数估算在与倒数第二个计算的晕映函数估算相比时是否改变了大于规定的 量的处理动作包括计算最后计算的晕映函数估算与倒数第二个计算的晕映函 数估算之差(A 9)为A^士2II《(0-A(M)I的动作，其中碎)是最后计算的晕映函数估算中归因于忽略了晕映上的任何局部倾斜效应的全局晕映效应的部分，>9(/-1)是倒数第二个计算的晕映函数估算中归因于忽略了晕映上的任何 局部倾斜效应的全局晕映效应的部分，而径向距离r是以A个规定的均匀间隔 来采样的。
16. —种用于纠正输入图像中的晕映的计算机实现的过程，包括使用计算 机来执行以下处理动作使用在空间上变化的分段比例来对所述输入图像分段，这产生展示出与规 定的物理晕映特性相一致的、且符合在其它段中观察到的晕映的晕映的多个段(200);使用被确定为具有超过一可靠性阈值的可靠性因子且至少与最小段大小 一样大的段来估算所述输入图像的晕映函数，所述晕映函数定义了每一像素的经纠正的强度(520);向所述输入图像的每一像素应用最后计算的晕映函数估算，以产生当前细化图像(522);确定是否己经估算了多于一个晕映函数(524);当已经估算了多于一个晕映函数时，确定最后计算的晕映函数估算在与最 后第二个计算的晕映函数估算相比是否改变了大于规定的量(526);当确定尚未估算多于一个晕映函数，或已经估算了一个晕映函数但是最后 计算的晕映函数估算已经改变了大于规定的量时，使用所述空间上变化的分段比例来对当前细化图像分段(200)，并重复所述估算、应用、第一确定和第 二确定处理动作；以及当确定己经估算了多于一个晕映函数，并且最后计算的晕映函数估算没有 改变大于规定的量时，将最后产生的细化图像指定为最终的经晕映纠正的图像 (528)。
17. 如权利要求16所述的过程，其特征在于，所述对输入图像分段的处 理动作包括以下动作(a) 从一初始分段比例开始，以规定的当前分段比例来对所述输入图像分段；(b) 选择所得的段中与所述当前分段比例相关联的先前未选择的段；(c) 确定所选择的段的大小是否小于规定的最小段大小；(d) 当所考虑的段不小于所述规定的最小段大小时，(dl)计算表示所述段展示出与规定的物理晕映特性的一致性以及符 合在其它段中观察到的晕映的程度的可靠性因子，(d2)确定所述可靠性因子是否超过表明所述段对晕映估算是可接受 的规定的可靠性阈值，以及(d3)当所述可靠性因子不超过所述可靠性阈值时，(i) 将所述分段比例递增一个等级，其中每一接连的分段等级代 表用于形成所选择的段的更精细的分段比例，(ii) 使用所述递增的分段比例来对所选择的段分段，以及 (m)适当地重复处理动作(b)到(d);以及(e) 当所考虑的段小于所述规定的最小段大小，或者它不小于该最小段大 小但所述可靠性因子超过所述可靠性阈值时，(el)确定是否有与所述当前段比例相关联的任何先前未选择的段，(e2)当有与所述当前分段比例相关联的先前未选择的段时，适当地 重复处理动作(b)到(d)，(e3)当没有与所述当前分段比例相关联的先前未选择的段时，确定 在当前等级之前是否还有分段等级，(e4)当在当前等级之前有分段等级时，将所述分段等级递减一个单 位并适当地重复处理动作(el)到(e4)，以及(e5)当在当前分段等级之前没有分段等级时，认为所述输入图像的 分段完成。
18. 如权利要求16所述的过程，其特征在于，所述对当前细化图像分段的处理动作包括以下动作(a) 从一初始分段比例开始，以规定的当前分段比例对所述当前细化图像 分段；(b) 选择所得的段中与所述当前分段比例相关联的先前未选择的段；(c) 确定所选择的段的大小是否小于规定的最小段大小；(d) 当所考虑的段不小于所述规定的最小段大小时，(dl)计算表示所述段展示出与规定的物理晕映特性的一致性以及符 合在其它段中观察到的晕映的程度的可靠性因子，(d2)确定所述可靠性因子是否超过表明所述段对晕映估算是可接受 的规定的可靠性阈值，以及(d3)当所述可靠性因子不超过所述可靠性阈值时，(i) 将所述分段比例递增一个等级，其中每一接连的分段等级代 表用于形成所选择的段的更精细的分段比例，(ii) 使用所述递增的分段比例来对所选择的段分段，以及(iii) 适当地重复处理动作(b)到(d);以及(e) 当所考虑的段小于所述规定的最小段大小，或者它不小于该最小段大 小但所述可靠性因子超过所述可靠性阈值时，(el)确定是否有与所述当前段比例相关联的任何先前未选择的段，(e2)当有与所述当前分段比例相关联的先前未选择的段时，适当地 重复处理动作(b)到(d)，(e3)当没有与所述当前分段比例相关联的先前未选择的段时，确定 在当前等级之前是否还有分段等级，(e4)当在当前等级之前有分段等级时，将所述分段等级递减一个单 位并适当地重复处理动作(el)到(e4)，以及(e5)当在当前分段等级之前没有分段等级时，认为所述当前细化图 像的分段完成。
全文摘要
提出了一种用于确定图像的晕映函数并使用该函数来纠正晕映的系统和过程。该图像可以是任何任意图像，并且不需要任何其它图像。该系统和过程被设计成处理纹理化和未纹理化段两者以最大化对可用信息的使用。为了从图像中提取晕映信息，采用了定位具有可靠数据的图像段的分段技术用于晕映估算。在每一图像段内，该系统和过程利用了晕映的频率特性和物理特性来将其与其它强度变化源区分。从段获得的晕映数据根据所提出的可靠性度量来加权以提升估算的稳健性。
文档编号H04N5/217GK101341733SQ200680048132
公开日2009年1月7日 申请日期2006年12月20日 优先权日2005年12月23日
发明者B·郭, S·B·康, S·林, Y·郑 申请人:微软公司