专利名称：从图像中去除模糊的方法以及在其上记录该方法的记录介质的制作方法
技术领域：
本发明涉及图像处理方法，尤其涉及一种通过仅使用一个图像来去除图像的模糊的方法以及在其上记录该方法的记录介质，通过采用该方法能够快速且有效地消除模糊。
背景技术：
在使用图像捕获设备获取图像的过程中经常会出现模糊现象，并且其是降低图像质量的原因。为了在光线不足的环境(诸如黑暗的屋子内或晚上的户外)中使用诸如相机之类的设备来获取图像，光线充足对于获取清晰的图像而言是必需的。为了获得充足的光线，图像传感器必须长时间地暴露于光照中。然而，长时间的曝光会因图像传感器抖动而导致所获取的图像变得模糊。虽然已经对模糊现象的消除进行了大量的研究，但是仍然很难从图像中消除模糊。这是因为从图像中估计并消除模糊需要比给定信息更多的新信息。为了解决该问题，传统的解决方案使用若干个图像，需要诸如传感器曝光时间这样的额外信息，或者采用有限的模糊形状(诸如局限于可由二维矢量来表示的线性运动的模糊形状)。Ytizhakey 等人(YTIZHZKEY，Y.、MOR, I. A.禾Π Κ0ΡΕΙΚΑ, N. S.，1998，Direct Method For Restoration of Motion-blurred Images, Journal of Opt. Soc. Am. A. 15,6, 1512-1519)基于图像各向同性的假设来对可由二维矢量表示的模糊进行估计。Rav-Acha 禾口 Peleg(RAV-ACHA，A.禾口 PELEG，S. ,2005, Two Motion-blurred Images Are Better Than One, Pattern Recognition Letters 26，311-317)提出了一种通过使用两个模糊图像来估计模糊的方法。Yuan 等人(YUAN, L.、SUN, J.、QUAN, L.和 SHUM, H. Y.，2007，Image Deblurring With Blurred/Noisy Image Pairs, ACM Trans. Graphics 26,3,1)提出了一种通过使用有噪非模糊图像和模糊图像来估计并消除模糊的方法。Money 和 Kang(MONEY，J. H.和 KANG，S. H.，2008，Total Variation Minimizing Blind Deconvolution with Shock Filter Reference,Image and Vision Computing 26, 2,302-314)提出了一种通过将冲击滤波应用于模糊图像以恢复锐边并之后使用该锐边来估计高斯模糊和能够用2D矢量表示的模糊的方法。近年来，已经引入了从一个图像来估计一般模糊(general blur)(其能够通过使用少量的参数来表示)而非运动模糊并且消除一般模糊的方法。Fergus等人(FERGUS， R.、SINGH, B.、HERTZMANN，Α.、ROWELS,S. Τ.和 FREEMAN, W.，2006，Removing Camera Shake From A Single Photograph, ACM Trans. Graphics 25,787-794)提出了一种通过使用通用图像的统计特性来估计模糊的方法。Jia(JIA，J.，2007，Single Image Motion Deblurring Using Transparency, In Proc. CVPR 2007，1-8)提出了一种通过使用 alpha matte 机制来找到图像中模糊出现区域上的信息并且之后去除图像的模糊的方法。然而，在由Fergus等人提出的方法中很难获得良好的效果，并且该方法因复杂的统计模型而花费许多时间，而对于由Jia提出的方法，为了获得满意的结果必须获得良好的不光滑性，因为该方法高度依赖于alpha matte机制。Shan 等人(SHAN, Q.、JIA, J.和 AGARffALA, Α.，2008，High-Quality Motion Deblurring From A Single Image, ACM Trans. Graphics 27，73)提出了一种通过建议由 Fergus等人提出的通用图像的统计特性为能够容易计算的形式并使用该统计特性来估计和消除模糊的方法。然而，该方法是不实际的，因为需要几分钟到大约几十分钟或者更多的处理时间来处理一个图像。
发明内容
技术问题因此，提供了本发明的示例性实施例，以本质上解决因现有技术的局限性和缺点导致的一个或多个问题。本发明的示例性实施例提供了一种去除图像的模糊的方法以及在其上记录该方法的介质。技术方案在示例性实施例中，用于去除图像的模糊的方法包括接收模糊图像；根据该模糊图像来估计非模糊图像的图像估计步骤；根据所述模糊图像和所估计的非模糊图像来估计模糊信息的模糊信息估计步骤；以及基于所述模糊图像和所估计的模糊信息来去除模糊图像的模糊的去模糊步骤。这里，迭代地执行图像估计步骤和模糊信息估计步骤。图像估计步骤可以包括预测模糊图像的梯度信息的梯度信息预测步骤；以及基于所估计的模糊信息和模糊图像来执行第一去卷积的第一去卷积步骤。梯度信息预测步骤可以包括将双边滤波应用于模糊图像；将冲击滤波应用于双边滤波的图像；计算冲击滤波的图像的梯度图(gradient map)；以及将阈值应用于所计算出的梯度图。将阈值应用于计算出的梯度图可以包括基于所计算出的梯度的方向和大小来创建柱状图(histogram)；将一梯度的大小设置为阈值，所述梯度能够包括的像素是与所创建的柱状图中包括的每个方向相对应的所述模糊信息的垂直和水平大小的最大值的预定倍或更多倍；以及将所设置的阈值应用于梯度图以截取(truncate)所述梯度。将所设置的阈值应用于梯度图以截取所述梯度可以包括将小于所述阈值的梯度设置为0。模糊信息估计步骤可以包括基于模糊图像和截取的梯度来估计模糊信息。模糊信息估计步骤可以包括通过使用仅包括图像导数而没有像素值的能量函数(energy function)来估计模糊信息。当改变模糊图像和所估计的非模糊图像的分辨率时，可以迭代地执行所述图像估计步骤和所述模糊信息估计步骤。在示例性实施例中，提供了一种在其上记录有指令的程序的记录介质。所述程序执行接收模糊图像；根据该模糊图像来估计非模糊图像的图像估计步骤；根据所述模糊图像和所估计的非模糊图像来估计模糊信息的模糊信息估计步骤；以及基于所述模糊图像和所估计的模糊信息来去除模糊图像的模糊的去模糊步骤。这里，迭代地执行所述图像估计步骤和所述模糊信息估计步骤。有益效果通过采用去除图像的模糊的方法，能够容易且快速地去除一个图像的模糊并且能够改善图像的质量。
图1是根据本发明示例性实施例的用于去除图像的模糊的方法的流程图；图2示出了根据图1中的根据本发明示例性实施例的去除图像的模糊的方法中的多次迭代得到的去模糊图像；图3是图1中的预测步骤的流程图；图4示出了在根据本发明示例性实施例的去除图像的模糊的方法中以不同尺度估计的核；图5示出了根据本发明示例性实施例的估计模糊核的方法的模糊核估计收敛速度与估计模糊核的传统方法的模糊核估计的收敛速度之间的比较；图6示出了根据本发明示例性实施例的模糊核估计的精度；图7示出了通过使用根据本发明示例性实施例的估计图像模糊的方法去模糊后的图像；图8示出了通过使用根据本发明示例性实施例的估计图像模糊的方法去除模糊后的实际图像；图9示出了图8中所示的去除图像的模糊所用的处理时间。
具体实施例方式因此，示例性实施例能够进行各种修改和替换，在附图中通过示例的方式示出了它们的实施例并且将在本文对它们进行详细描述。然而，应当理解，并不意欲将示例性实施例限制到所公开的特定形式，相反地，示例性实施例将覆盖落入本发明范围内的所有修改、 等价形式和替代。在整个附图中，类似的标号指代类似的元件。应当理解，虽然术语“第一”、“第二”等可以在本文中用于描述各种元件，但是这些元件并不受这些术语的限制。这些术语仅用于将一个元件与另一元件相区分。例如，在不背离示例性实施例的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。如本文所使用的，术语“和/或”包括一个或多个相关所列条目的任何和所有组合。应当理解，当某个元件被称为“连接到”或“耦合到”另一元件时，其可以直接地连接到或耦合到另一元件或者可以存在着介于其间的元件。相反地，当某个元件被称为“直接连接到”或“直接耦合到”另一元件时，不存在介于其间的元件。本文所用的术语仅用于描述特定的实施例，并且不意欲限制示例性实施例。如本文所使用的，单数形式的“一”、“一个”和“所述”也希望包括复数形式，除非上下文中清楚指明并非如此。还应当理解，当在本文中使用时，术语“包含(comprise)”、“包含 (comprising) ”、“包括(include) ”和/或“包括(including) ”说明了所述特征、整数、步骤、操作、元件和/或部件的存在，但是并不排除一个或多个其他特征、整数、步骤、操作、元件、部件和/或它们的集合的存在或增加。除非另有定义，否则本文使用的所有术语(包括技术术语或科技术语)具有本领域技术人员所理解的含义。除非明确定义，否则通常在字典中定义的术语应当被解释为具有与相关方案的上下文相关的意思，而不应当被解释为具有异常或过度形式的意思。下文中，将参考附图来更详细地描述本发明的优选示例性实施例。通常，运动模糊可以用公式1来表示B = K*L+N公式 1其中，B指的是模糊图像，K指的是指示图像的模糊信息的运动模糊核(blur kernel)或点分布函数(PSF)，以及L指的是潜像(latent image)(例如，强非模糊图像)。 而且，N指的是在图像捕获过程中引入的未知噪声，以及*指的是卷积运算符。为了公式1的盲去卷积(blind deconvolution)，必须在迭代过程中对L和K进行优化。而且，可以使用公式2和公式3来估计潜像和模糊核L' = argminl{ Il B — K*L Il+pl(L)}公式 2K' = argminK{ 11 B_K*L Il +Pk(K) }公式 3其中，Il B_K*L Il指的是数据拟合项(data fitting term)，P l和P κ指的是正则 Jpi (regularization term)。迭代地优化意欲逐步改善模糊核K的精度。通过对最终的模糊核K和给定的模糊图像B执行去卷积运算，可获得最终的去模糊图像。在迭代优化期间估计的潜像对最终的去模糊图像没有直接影响，但对运动模糊核K的改善是有直接影响的，这样潜像就对最终的去模糊图像具有间接的影响。潜像估计的迭代优化过程使得能够从潜像中恢复锐边并且在平滑区域中获得噪声降低特性，其用来估计更准确的运动模糊核。即使当假设给定图像包括恒定模糊时，也能够在锐边周围获得更准确的运动模糊核。例如，在具有恒定强度的区域中不能估计运动模糊核，但是由于自然图像通常包括锐边，所以可以通过在潜像估计过程中恢复的边缘来有效地预测运动模糊核。在普通的自然图像中，平滑区域比锐边区域占据了更大的空间，因此抑制平滑区域中的噪声是至关重要的。平滑区域中未被抑制的噪声可以很大地影响公式3中的数据拟合项，这降低了从锐边中估计模糊核的精度。在求解公式2的过程中，用于恢复锐边并抑制噪声的传统方法使用一种复杂计算的非线性优化。而且，使用公式3来估计模糊核的传统方法需要对大量的矩阵和矢量进行运算。因此，用于迭代地执行盲去卷积以估计潜像和模糊核的传统方法的缺点是计算量大。为了克服上述传统方法的缺点，根据本发明示例性实施例的去除图像的模糊的方法通过降低估计潜像和模糊核过程中的计算量来提供快速盲去卷积。在根据本发明示例性实施例的去除图像的模糊的方法中，假设潜像包括足够的锐边以提高潜像的估计速度，并且通过使用图像滤波器来恢复锐边，并且使用噪声抑制特性而不是对公式2中具有高计算复杂性的非线性正则项进行优化。而且，模糊核估计过程通过排除像素值而提高了公式3的数值优化过程的速度。在根据本发明示例性实施例的去除图像的模糊的方法中，潜像估计过程包括两个步骤简单去卷积和预测。在简单去卷积步骤中，给定模糊图像B和模糊核K，通过使用具有高斯先验 (gaussian prior)的简单且快速去卷积来首先消除模糊以估计潜像L。潜像L包括因高斯先验的特性导致的平滑边缘和平滑区域中的噪声。
在预测潜像L的步骤中，使用图像滤波器来恢复锐边并消除噪声，以获得具有改善精度的估计的潜像L’。这里，在使用潜像来估计模糊核时，将潜像的平滑区域的锐边和被抑制的噪声用作关键特性，以便所估计的潜像L’能够提供高质量的潜像来准确估计模糊核，即使在简单去卷积降低了图像质量的情况下。模糊核估计步骤使用共轭梯度(CG)来求解公式3。而且，在求解公式3时，对能量函数执行若干次梯度计算。由于梯度计算涉及大矩阵和矢量乘法，因此其非常复杂。通过使用快速傅里叶变换能够改善与卷积运算相关联的乘法的计算速度。然而，有必要在顺序执行快速傅里叶变换中适当地调整妨碍了快速傅里叶变换的直接级联的图像边界。通过公式3能够大大地降低图像边界调整的次数和快速傅里叶变换的次数，以获得仅具有图像导数的能量函数。而且，该能量函数改善了共轭梯度(CG)的处理速度，向从公式3推导出的计算系统提供了具有小条件数(condition number)的良好条件(well condition)，并改善了收敛速度。图1是根据本发明示例性实施例的去除图像的模糊的方法的流程图。参照图1，首先提供模糊图像(步骤110)。迭代循环的初始阶段是预测步骤120，其在提供模糊图像时，提供潜像L的初始值，以估计模糊核。在该预测步骤中，计算潜像L的X方向和y方向上的梯度图{Px，Py}，以根据该潜像来预测显著边缘，其中，在该潜像中的噪声在平滑区域得到抑制。在步骤120到步骤150的迭代中，将由前一迭代中的去卷积步骤获得的估计潜像 L(虽然其并不是初始输入)输入到所述预测步骤中。模糊核估计步骤130通过使用经步骤120中的计算所预测的梯度图{Px，Py}以及模糊图像B来估计模糊核K。在去卷积步骤140中，模糊核K和模糊图像B用来估计潜像L。这里，估计潜像L 是下一迭代中的预测步骤120的输入。在根据本发明示例性实施例的去除图像的模糊的方法中，迭代地执行步骤120和步骤130以更有效地估计模糊核K和潜像L，从而改善估计精度。在根据本发明示例性实施例的去除图像的模糊的方法中，在迭代过程中使用模糊图像B和潜像L的灰度级(grayscale version)来更新模糊核K和潜像L的精度。在通过迭代获得最终的模糊核K之后，对最终的模糊核K和模糊图像B的每个彩色通路(color channel)执行最终的去卷积，以获得最终的去模糊图像(步骤150)。图2示出了根据图1所示的根据本发明示例性实施例的去除图像的模糊的方法中的多次迭代得到的去模糊图像。图2(a)示出了原始的模糊图像，图2(b)示出了根据本发明示例性实施例的最终的去模糊图像。图2 (c)到图2 (e)分别示出了迭代地执行图1中的步骤120到步骤140 —次、三次和五次的结果，即包括预测的梯度图lPx，Py}和估计的模糊核的去卷积结果。在图2中， 使用Poisson重建来使预测的梯度图{Px，Py}可视化。
如图2所示，在根据本发明示例性实施例的去除图像的模糊的方法中，随着图1中步骤120到步骤140的迭代次数的增加(图2 (e)中的第5次迭代)，能够更准确地估计潜像并且可以基于估计的潜像来预测更准确的模糊核。更准确估计的模糊核可以用来获得最终的去模糊图像(b)。现在将更详细地描述根据本发明示例性实施例的去除模糊图像的方法。首先，在图1的预测步骤120中，通过仅留下潜像L中的显著边缘并将其他区域的梯度设置为0来估计图像梯度图{Px，Py}。无论估计的模糊核如何，梯度0的卷积总是为 0，以便仅显著边缘才影响模糊核估计步骤130中的模糊核优化。预测步骤使用冲击滤波器(shock filter)来恢复强边缘。冲击滤波器是通过从模糊图像中恢复锐边来增强图像特征的有效工具。冲击滤波器可以用公式4来表示It+1 = It-Sign ( Δ It) || V It || dt公式 4其中，It指的是t时刻的图像，Δ It和▽ It分别指的是It的拉普拉斯运算和It的梯度。而且，dt指的是单一展开(single evolution)的时间步长。图3是图1中的预测步骤的流程图。参照图3，所述预测步骤可以包括应用双边滤波(bilateral filtering)、应用冲击滤波和应用梯度阈值。首先，应用双边滤波来抑制可能出现在所估计的当前潜像L中的噪声和小的细节 (步骤121)。这里，双边滤波能够支持的图像大小可以固定为例如，5X5。然后，应用冲击滤波来恢复所估计的潜像L中的锐边(步骤12 。在作为冲击滤波得到的图像的潜像L’中，边缘的对比度得到了改善但噪声增加了。为了消除噪声，计算潜像L’的梯度图{^工 氏丄'}(步骤125)并且将阈值应用于所计算出的梯度图来截取(truncate)所述梯度(步骤127)。被截取的梯度图{Px，Py} 成为预测步骤的最终输出。这里，例如可以通过将小于阈值的梯度设置为0来截取所述梯度。通过将梯度的方向分成预定角度(例如45° )的间隔、根据每个方向(其中， 180°与360°之间的角度被看作是仅符号不同但大小相等的方向的角度)的梯度大小来创建柱状图、以及将能够包括同每个方向的模糊核的垂直和水平大小的最大值的预定倍 (例如，两倍)或更多倍一样多的像素的梯度的大小设置为所述阈值，来获得用于截取所述梯度的阈值。在去卷积步骤140中，基于给定的模糊核K和所提供的模糊图像B来估计潜像L。 这里，使用能量函数来估计潜像L。可以用公式5来表示能量函数
权利要求
1.一种去除图像的模糊的方法，包括 接收模糊图像；图像估计步骤，其根据所述模糊图像来估计非模糊图像；模糊信息估计步骤，其根据所述模糊图像和所估计的非模糊图像来估计模糊信息；以及去除模糊步骤，其基于所述模糊图像和所估计的模糊信息来去除所述模糊图像的模糊，其中，迭代地执行所述图像估计步骤和所述模糊信息估计步骤。
2.根据权利要求1所述的方法，其中，所述图像估计步骤包括 梯度信息预测步骤，其预测所述模糊图像的梯度信息；以及第一去卷积步骤，其基于所估计的模糊信息和所述模糊图像来执行第一去卷积。
3.根据权利要求2所述的方法，其中，所述梯度信息预测步骤包括 将双边滤波应用于所述模糊图像；将冲击滤波应用于所述双边滤波的图像； 对所述冲击滤波的图像计算梯度图；以及将阈值应用于所计算出的梯度图。
4.根据权利要求3所述的方法，其中，将所述阈值应用于所计算出的梯度图包括 基于所计算出的梯度的方向和大小来创建柱状图；将一梯度的大小设置为阈值，所述梯度能够包括的像素是与所创建的柱状图中包括的每个方向相对应的所述模糊信息的垂直和水平大小的最大值的预定倍或更多倍；以及将所设置的阈值应用于所述梯度图以截取所述梯度。
5.根据权利要求4所述的方法，其中，将所设置的阈值应用于所述梯度图以截取所述梯度包括将小于所述阈值的梯度设置为0。
6.根据权利要求4所述的方法，其中，所述模糊信息估计步骤包括基于所述模糊图像和截取的梯度来估计所述模糊信息。
7.根据权利要求4所述的方法，其中，所述模糊信息估计步骤包括通过使用仅包括图像导数而不包括像素值的能量函数来估计所述模糊信息。
8.根据权利要求1所述的方法，其中，当改变所述模糊图像和所估计的非模糊图像的分辨率时，迭代地执行所述图像估计步骤和所述模糊信息估计步骤。
9.一种在其上记录有指令的程序的记录介质，其中，所述程序被有形地体现，并且能够由用于去除模糊图像的模糊的数字处理装置读取并执行，所述程序执行以下步骤接收模糊图像；图像估计步骤，其根据所述模糊图像来估计非模糊图像；模糊信息估计步骤，其根据所述模糊图像和所估计的非模糊图像来估计模糊信息；以及去模糊步骤，其基于所述模糊图像和所估计的模糊信息来去除所述模糊图像的模糊， 其中，迭代地执行所述图像估计步骤和所述模糊信息估计步骤。
全文摘要
公开了一种用于迅速地从图像中去除模糊的方法。该方法能够快速地从图像中去除模糊并改善图像质量。该方法包括接收模糊图像的步骤；基于模糊图像来估计非模糊图像的图像估计步骤；根据模糊图像和非模糊图像来估计模糊信息的模糊信息估计步骤；以及基于模糊图像和所估计的模糊信息来从模糊图像中去除模糊的模糊去除步骤，其中迭代地执行图像估计步骤和模糊信息估计步骤。因此，本发明能够快速地去除包括在图像中的模糊，并且能够通过有效地去除模糊来改善图像质量。
文档编号H04N5/21GK102326379SQ200980155499
公开日2012年1月18日 申请日期2009年10月12日 优先权日2008年12月31日
发明者李承勇, 赵城显 申请人:浦项工科大学校产学协力团