专利名称：使用色彩先验的图像解卷积的制作方法
使用色彩先验的图像解卷积
背景技术：
摄影中的常见问题是图像模糊，这可以由长曝光时间期间的照相机晃动、主题移 动、低光设置中对大光圈的使用、或有限的照相机分辨率的组合引起。不管原因是什么，图 像模糊通常是不期望的。随着数码摄影的出现，减小或校正图像中的模糊变得可能。图1示出了模糊的图 像，该模糊的图像遭受去模糊过程以产生去模糊的图像102。各种方法已被用于找出去模糊 的图像，诸如图像102。某些方法已尝试修改如何捕捉图像。某些方法已使用并且添加多个 图像的信息来减小模糊。使用了升采样算法从有限的照相机分辨率减少模糊。还使用了从 单个图像确定的模糊核。还探究了非盲解卷积，但成功有限。非盲图像解卷积涉及从被模糊和噪声破坏的输入图像中恢复尖锐的图像，其中模 糊是真(不模糊的)图像与已知噪声级的已知核的卷积的乘积。用于去模糊的先前解卷积 方法常常限于特殊应用，且对任意图像常常并不有效，并且有时生成诸如鸣震等不需要的 伪像。某些方法已使用从自然图像统计导出的图像先验。其他的方法已使用图切割来减小 过度平滑。用多个模糊和能量最小化的解卷积也已被使用。以下描述的技术涉及使用解卷积来有效且可靠地对图像去模糊。
发明内容
以下概述仅是为了介绍在以下详细描述中讨论的某些概念而包括的。本概述并不 是全面的，并且不旨在描绘所要求保护的主题的范围，该范围由所附的权利要求书来阐明。所描述的是用于图像解卷积来对给定模糊核的图像去模糊的技术。从要去模糊的 图像导出的本地化的色彩统计在解卷积期间用作先验约束。像素的色彩被公式化为像素的 邻域内两个最普遍的色彩的线性组合。对图像中的许多或所有像素可重复这一过程。像素 的线性组合用作对模糊的图像解卷积的二色先验。二色先验响应于图像的内容，并且它可 将边缘锐度从边缘强度分离。许多附带特征将参考以下的详细描述并结合附图考虑以在下文解释。
根据附图阅读以下详细描述，将更好地理解本发明，其中在所附描述中使用相同 的附图标记来指代相同的部分。图1示出了模糊的图像，该模糊的图像遭受去模糊过程以产生去模糊的图像。图2示出了用于使用二色模型来去模糊的通用过程。图3示出了从尖锐像素的色彩值到由二色即P(基色)和S(合成色)以及混和值 α定义的(3D)线的垂直距离d上的先验。图4示出了用于找出和使用二色P和S的过程。图5示出了计算设备。
具体实施例方式概览以下描述从用于去模糊的解卷积理论和模型的某些讨论开始。接下来描述图像先 验，之后是对梯度先验和色彩先验的讨论。这之后是对色彩模型以及如何使用它们来找出 要用作色彩先验的色彩的讨论。鉴于以下对照片图像和结果图像模型的一般观察，可以更好地理解本文描述的技 术细节。全局地，大多数图像具有相对有限的不同色彩集。此外，图像中大多数的小邻域或 局部可通过甚至更小的色彩集来描述，甚至常常像两个色彩一样少也将足以。要去模糊的 图像可被模型化为每一像素两个颜色的线性组合(即，每一像素都是对于不同像素而变化 的两个色彩的线性组合)。换言之，图像可以被认为按照两个色彩层的变化且混和的参数 (即，阿尔法)来逐个像素地混和。两个色彩层可以是分段平滑，但它们之间的混和参数可 改变。混和参数中的改变可解决图像中的纹理像素和尖锐边缘，并且假定图像的构成色彩 平滑地变化。这一分段平滑的二色模型可模型化强边缘，降低图像中的噪声，并且导致非常 合理的去模糊的图像。这一色彩模型如何被用在解卷积以供去模糊将在进一步的解释中变 得显而易见。解卷积图像解卷积是从模糊的输入图像恢复尖锐图像的过程，其中假定图像的模糊是用 已知模糊核对图像解卷积的结果，并且其中噪声级是已知的。模糊核通常是二维图像或数 字阵列，当用所需尖锐/真图像来卷积时(在图像的像素上来重复乘法和求和步骤)产生 看到的或成像的什么。模糊核可以是偏移不变的。图像解卷积可使用贝叶斯框架以及其他 方式来公式化，贝叶斯框架使用最大后验(MAP)估计技术来求解。在用于解卷积的MAP估 计中，使用给定的所观测的模糊的图像B、模糊核K以及图像形成模型来寻求对模糊的图像 的尖锐图像I (模糊的图像的理论上不模糊的版本)最有可能的估计。这使用贝叶斯的规 则来表达为后验的概率分布上的最大化。结果表达为负对数似然性之和的最小化P(I I B) = P (B 11) P (I)/P (B)(1)
argmax P(I\B) = argmin I ~[L(B\I) + L(I)J. (2)
II解卷积的问题现在减少到定义对数似然性项。给定图像形成模型，用加性高斯白 噪声处理B=I K+ N,(3)其中N Ν( ο 2)，“数据”对数似然性是L(B\J) = -\\B-I KW2Zo2.(4)剩余对数似然性项的L(I)形式取决于所使用的图像先验。图像先验描述了(作 为概率分布)在世界中看到特定图像的可能性(即，是“真实的”)。例如，包括纯粹随机像 素的图像是高度不可能的。许多常用的先验鼓励局部平滑，即，惩罚相邻像素之间的差异。 在我们的工作中，我们使用来自二色模型中像素的色彩的偏差作为对其可能性的测量。图像先验如早先所讨论的，当对图像解卷积时，数据似然性是固有地有歧义，即，存在将进行模糊以匹配所观测的模糊的图像的许多可能的“尖锐”图像，并且模糊越多，歧义范围则 越大。图像先验被用于帮助消除这些方案的歧义。图像先验可被认为尖锐图像必须满足的 一个或多个约束。一种方法是假定尖锐图像是平滑的或分段平滑的，从而得到图像梯度上 的先验。尽管梯度先验已被使用一段时间，但将简要地解释梯度先验以提供图像先验是什 么以及如何使用它的示例。色彩先验将稍后解释。梯度先验可通过假定图像从马尔可夫随机场(MRF)过程中形成来获得图像先验，并且由此 各个像素的值有条件地依赖于各个像素的局部邻域(例如，像素的4个直接邻居)内的像 素值。如果希望图像被局部地平滑，则MFR特性可使用平滑度先验来加强，这惩罚较大图 像梯度(陡峭变化)并且由此偏置像素来采取与它们的邻居相似的值丄印=-^ll VIW2, 其中λ是控制平滑度惩罚的权重的正则化参数。这一类型的先验消除了该方案的歧义， 但可导致过度平滑的方案。(乙贝= _Α|| 7/||巧中的幂.8可减少这一问题(见A. Levin 等；“(来自具有编码的孔径的常规照相机的图像和深度)Image and depth from a conventionalcamera with a coded aperture" ；SIGGRAPH' 07 :ACM SIGGRAPH 2007 i^^；； ACM出版社)。在此情况下，惩罚函数不再是二次的，并且最小化使用迭代的再加权最小平 方来执行。如上所述，使用梯度先验的解卷积有若干缺点。对于不同程度，梯度先验实际上是 “平滑度先验”；驱使去模糊的图像朝向平面图像的惩罚函数。尖锐边缘的去模糊不是很好。 同样，如果存在显著的图像噪声，则来自噪声的边缘往往被不正确地保留为纹理化噪声。色彩先验无论是自然、人物或人造对象的大多数照片都全局地包括相对有限的色彩集。艮口， 照片中色彩的数量相对于人类可辨别的色彩而言是较少的。此外，按照小子图像(或局部 邻域)来考虑图像，可按甚至更小的色彩级在局部级来描述图像。通常，少至两个色彩的混 合可合理地描述小局部邻域内的图像数据(见E.Bennett等；“Video and image Bayesian demosaicing with a two color imag印rior (用二色图像先验的视频和图像贝叶斯去镶 嵌)，，；计算机视觉第九次欧洲会议(ECCV 2006)，卷1 ；2006年5月；Springer-Verlag ；以 及 C. Liu 等；“Automatic estimation and removal of noise from a single image (自 动估计和从单个图像中去除噪声)”;关于图案分析和机器智能的IEEE会报，2007)。例如， 像素的色彩可被描述为其局部邻域中两个主导色彩的线性组合(或其平均)。图像解卷积 的先验可从这些特性中导出。具体地，可以找出其中每一像素包括从少数量的全局的不同 色彩中得到的两个色彩的线性混合的图像，使得当用已知模糊核来对图像卷积时它最匹配 模糊的输入图像。图2示出了用于使用二色模型来去模糊的通用过程。模糊的图像130和 模糊核132被接收132。二色模型从模糊的图像130来计算138。模糊的图像和二色模型 被用作先验来对模糊的图像解卷积以便产生去模糊的图像；模糊的图像130的模拟但带有 较少模糊。模糊核132可通过各种已知测量来获得。例如，见2008年6月20日提交的题 为“模糊估计”美国专利申请_/_，_。返回到二色模型，该模型假定任何像素的色彩可被表示为两个色彩的线性组合， 其中这些颜色是分段平滑的，并且可从局部特性(像素的邻域的特性)中导出I= α Ρ+(1-α )S (5)
其中P和S分别是基色和次色，并且α是线性混合参数。为记号方便，基色Pi被 分配给位于最接近于像素i的色彩Ii的色彩。某些像素可仅通过单个色彩来描述，在该情 况下Pi = Si。二色模型作为用于解卷积的图像先验可具有若干好处。给定像素的两个色彩，未 知空间从三维(RGB)降低到一个(α)。参数α提供参数化边缘的替换方案，其中边缘尖锐 度从边缘强度中被分离-单个像素在α中从α = 1到α = 0的过渡指示步骤边缘(与 次色像素邻接的基色)，而不管边缘的强度。由此，边缘的强度可以用α上的先验来控制， 而使用P和S上单独的先验来维护局部平滑度。二色模型还可捕捉局部色彩统计，这可在 解卷积期间提供约束。这些约束帮助减小“条边缘”周围的过度平滑和高频纹理。使用二 色先验可按不依赖于边缘的大小的方式来惩罚尖锐边缘上的(可能的方案的)平滑边缘。此外，如果这样的边缘与局部色彩统计更一致，则二色模型可能导致较高强度的 边缘。二色模型从局部图像统计中构建，并且估计每一像素周围的邻域中两个主色。像素 的基色和次色可通过在每一像素周围的局部邻域中使用稳健的期望值最大化(EM)聚类算 法来估计。如果局部方差比像素的噪声方差σ 2低，则该像素通过一个色彩(P或S)来模 型化，否则它被标记为二色像素。如果使用这一方法，则为每一像素存储二进制变量或指示 一个或两个色彩的位。为应用以上讨论的二色先验模型的概念，以下该色彩先验的公式可以是L(I) = - Aj |l-[aP+(l-a)S] M θ-λ2ρ (a) (6)其中P和S是基色和次色，a (此处也被成为阿尔法)是混合参数，并且θ从.8 到2起到良好的作用。图3示出了从尖锐像素的色彩值到由二色即P(基色)和S(次色) 以及混和值α定义的(3D)线的垂直距离d上的先验。第二先验是在α分布上，即，沿P 和S之间的线的归一化距离。等式(6)的第一可能性项最小化恢复的强度I和定义二色模 型的空间的线之间的距离。项ρ (α)实施了 α上的先验。使用了早先提到的超拉普拉斯算符导出的范数，因 为从图像到它的二色模型估计的残留还可以是零峰值的分布。下一段描述求解这些色彩的 一种方式。关于实施阿尔法上的先验的惩罚(色彩之间的混和)的阿尔法先验(P (a)), 该阿尔法先验可从如beta(i3)分布之类的导出。接近0或1的阿尔法在0_1之间的一值 上是优选的，该值偏爱用尖锐边缘来求解。一般地，对于每一像素，P和S在解卷积之前被求解。图4示出了用于找出和使用 二色P和S的过程。过程在模糊的图像中的像素上迭代160(见Bennett等；“Video and Image Bayesian Demosaicing with a Two Color Image Prior (用二色图像先验的视步页禾口 图像贝叶斯去镶嵌)"ECCV(I) 2006 :508-521)。对于当前像素，该过程在该像素的局部邻域 中找出162两个主色(基色P和次色幻。该像素被表达为基色和次色的线性组合。线性组 合随后被用作先验以便使用模糊核对图像解卷积。在别处详细描述的K均值过程可被用于 找出162主色P和S。对于图像的给定像素，存在以像素为中心的5x5窗口(可使用不同的 窗口大小)。对于所有25个像素，目标是找出两个色彩聚类(使用K = 2的K均值，意味着 两个聚类)。即，存在两个色彩分布(色彩平均组)，P—个，S—个。为初始化聚类，随机地 挑选25个中的两个像素。25个像素中的其他像素被分配给其平均色彩最接近于该像素的 聚类。一旦已经分配所有的像素，则色彩均值基于它们的成员像素来重新估计。重复该过程来将像素移动到现在它们可能更接近的聚类。重复该过程直到聚类均值收敛。尽管这可足以对于每一像素找出P和S，但使用期望最大化以便进一步通过将像 素与每一聚类的平均色彩成比例地分配给聚类来细化P和S也是可能的。可执行若干迭代。 这可增加计算成本并且提高准确度。总而言之，对于图像的像素的P和S值可使用K均值 和可能的期望最大化的几个迭代来找出。还注意，对于某些实现，仅省略显著地偏离像素被 分配到的聚类的均值的这些像素可能是有帮助的。还可使用用于找出P和S的其他方法。对于解卷积，值得注意的是使用二色先验 来约束求解，这可被执行而不管先验色彩是如何计算的。某些可能的杂项变形如下。为减少图像的底图或过度锐化，阿尔法先验可被用于 对惩罚函数的中值进行加权或形成惩罚函数的中值以便随着边缘强度而变化或靠近边缘 (即，如果它们接近于阿尔法值0或1则允许部分的阿尔法)。对超分辨率的网格解卷积并 且随后将降采样返回到原始分辨率也可以减少底图/过度锐化的影响。对于色彩模型，聚 类可通过空间信息来全局地加权。例如，如果观测到在图像中的任何地方物理上红色不与 蓝色邻接，则即使像素可被解释在红色和蓝色之间的线上，但鉴于全局信息这仍然可被阻 止。色彩模型可不同地对待亮度改变和色度改变。色度改变在真实图像中更可能是尖锐的， 而由于在平滑表面上的着色，亮度改变由于光照的低频改变而可以是缓慢的。白点估计可 被用于帮助从色度改变中消除着色改变。多缩放定向的过滤器可被用于对边缘定向正则化。对于某些图像，这可以保留边 缘连续性。在等照度线平滑度上的先前工作可被用于沿边缘的方向而非跨边缘地进行平滑。结论以上解释的是用于对图像去模糊的技术。这些技术可在诸如图5中示出的一个或 多个计算设备上实现。计算设备250可具有CPU和存储，并且可将视频输出提供给显示器 252。计算设备250可经由网络进行通信。以上讨论的方法的实施例和特征都可用储存在 易失性或非易失性计算机或设备可读介质(例如，计算设备250的存储)中的信息的形式 来实现。这被认为至少包括诸如光学存储(例如，⑶-ROM)、磁介质、闪速ROM、或存储数字 信息的任何现有或未来装置等介质。所存储的信息可采用机器可执行指令(例如，经编译 的可执行二进制代码)、源代码、字节代码、或任何其它可用于允许或配置计算机设备来执 行上述各实施例的信息的形式。这还被认为至少包括诸如RAM和/或在程序的执行期间存 储诸如CPU指令等信息以实现一实施例的虚拟存储器等易失性存储器，以及存储允许程序 或可执行代码被加载、可能被编译或解释、和执行的信息的非易失性介质。实施例和特征可 在任何类型的计算设备上执行，这些计算设备包括便携设备、数码相机、工作站、服务器、移 动无线设备等。
权利要求
1.一种使用解卷积来对模糊的数字图像(100)去模糊的设备实现的(250)方法，所述 方法包括计算模糊的图像的局部二色模型(138)，所述二色模型将图像的像素模型化为两个色 彩的相应的局部组合(150、162、164)；通过使用二色模型作为先验来约束解卷积用模糊核对图像解卷积(166)来生成对应 于所述模糊的图像的去模糊的图像(102)。
2.如权利要求1所述的设备实现的方法，其特征在于，所述二色模型通过计算所述模 糊的图像的像素的局部邻域中的像素的色彩统计来获得(162)。
3.如权利要求2所述的设备实现的方法，其特征在于，对应于模糊的图像的给定像素 的两个色彩包括基色和次色(150、162)，所述基色和次色包括所述给定像素的局部邻域的 主色。
4.如权利要求3所述的设备实现的方法，其特征在于，所述给定像素的两个色彩在统 计上从给定像素的邻域中对应的像素聚类中导出。
5.如权利要求1所述的设备实现的方法，其特征在于，所述二色模型通过将图像的像 素表示为从所述模糊的图像中导出的两个色彩的相应的线性组合来对图像模型化。
6.一种或多种存储使设备能够执行一种过程O50)的信息的计算机可读介质，所述过 程包括接收输入图像(100、134)，并且从所述输入图像中导出色彩对(138)，所述色彩对中的 每一个包括基色和次色，其中不同的色彩对与图像的不同像素相对应；对于图像的像素，将像素表示为所述像素的对应的基色和次色的线性组合(164)；以及通过当对所述输入图像进行解卷积时使用所述线性组合作为色彩先验来约束尖锐图 像(164、166)，来用模糊核对所述输入图像解卷积(140)以产生尖锐图像(102)。
7.根据权利要求6所述的一种或多种可读存储介质，其特征在于，所述解卷积是使用 已知模糊核来执行的。
8.根据权利要求7所述的一种或多种可读存储介质，其特征在于，所述解卷积包括最 大后验(MAP)估计技术来找出所述输入图像的尖锐图像的最有可能的估计。
9.根据权利要求8所述的一种或多种可读存储介质，其特征在于，像素的线性组合包 括阿尔法混和函数(150)。
10.根据权利要求6所述的一种或多种可读存储介质，其特征在于，像素根据其与所述 像素的基色和次色之间的线的距离(150)在所述解卷积中被惩罚。
11.一种包括被配置成使CPU执行一种过程的CPU和存储的设备，所述过程包括 接收第一图像(102)，并且通过分析所述第一图像中像素的局部邻域来计算(138)所述第一图像的色彩模型(16 ；以及当用模糊核对所述第一图像解卷积时使用所述色彩模型作为先验(166)来产生对所 述输入图像的去模糊的图像模拟(102)。
12.根据权利要求11所述的设备，其特征在于，所述先验包括概率分布函数。
13.根据权利要求11所述的设备，其特征在于，所述过程还包括使用局部定向的过滤 器来正则化所述第一图像中的边缘定向。
14.根据权利要求11所述的设备，其特征在于，所述模型将所述第一图像的给定像 素模型化为从所述给定像素的局部邻域中的像素的色彩值中导出的两个色彩的线性组合 (164)。
15.根据权利要求11所述的设备，其特征在于，所述色彩模型通过以下方式计算的恢 复所述第一图像的全局色彩集，并且对于所述第一图像中像素集中的每一像素，用全局集 中其线性组合最匹配所述像素的色彩的色彩中的两个来模型化所述像素。
全文摘要
所描述的是用于图像解卷积来对给定模糊核的图像去模糊的技术。从要去模糊的图像导出的本地化的色彩统计在解卷积期间用作先验约束。像素的色彩被公式化为像素的邻域内两个最普遍的色彩的线性组合。对图像中的许多或所有像素可重复这一过程。像素的线性组合用作对模糊的图像解卷积的二色先验。二色先验响应于图像的内容，并且它可将边缘锐度从边缘强度分离。
文档编号G06T5/00GK102132319SQ200980134126
公开日2011年7月20日 申请日期2009年6月12日 优先权日2008年6月26日
发明者C·L·泽特尼克, N·乔希, R·泽里斯基 申请人:微软公司