基于图像中亮条纹信息的图像去模糊方法
【专利摘要】本发明公布了一种基于图像中亮条纹信息的图像去模糊方法，利用运动模糊图像中存在的亮条纹，得到模糊核的形状信息，通过结合图像和所述模糊核对图像复原进行约束，得到准确的模糊核和高质量的复原图像；具体包括：选取包含最优亮条纹的最优图像块；提取得到模糊核形状信息；进行模糊核估计，得到最终的模糊核；进行非盲反卷积，还原得到清晰复原图像，作为最终的去模糊图像。本发明建立了一个实际拍摄的包含亮条纹的模糊图像测试集，采用本发明技术方案，能够得到准确的模糊核和高质量的复原图像，在图像处理领域应用价值高。
【专利说明】
基于图像中亮条纹信息的图像去模糊方法
技术领域
[0001] 本发明属于图像处理技术领域，涉及图像增强处理方法，尤其涉及一种基于图像 中亮条纹信息的图像去模糊方法，利用模糊图像中的亮条纹对图像去运动模糊，复原得到 一张高质量的图像。
【背景技术】
[0002] 由于相机和拍摄场景之间的相对运动，获取到的图像常常存在一定程度的运动模 糊。图像退化的模型可以表示为如下的卷积过程
[0003] / = L?k + N (式 1)
[0004] 其中，I是获取到的模糊图像，L是清晰图像，k是模糊核（即点扩散函数），N是图像 获取设备的噪声，?表示卷积运算。在（1)中，已知量只有模糊图像I，所以单张图片盲反卷 积求解L的过程是一个高度病态的问题。
[0005] 当有光源或者反光物体(如水面，金属，玻璃等)存在时，这些高亮度的点便会在照 片上形成亮条纹，严重影响了图像的质量。存在亮条纹的模糊图像是运动模糊图像的一种 特殊情况，在这种情况下，如果点光源或者反光点的亮度非常高，超过成像设备中的传感器 的阈值，在成像平面上形成饱和像素，每个传感器的响应都等于传感器的饱和响应，即式2:
[0006] ki = k2 =…=kw=…kn=传感器的饱和响应，（式2)
[0007] 此时模糊模型不符合等式1的线性卷积模型，因此不能用卷积表示。饱和目标点在 成像平面上沿相机的运动轨迹形成亮条纹。亮条纹与背景区域的对比度较大，有明显的边 缘，而这些强边缘会影响到用于估计模糊核的边缘图，导致模糊核估计不准确。但是，亮条 纹也为模糊核的估计提供了有用的信息。
[0008] 单张图片去模糊获得了越来越多的研究者的关注，并且取得了巨大的进步。由于 已知信息只有一张模糊图像，我们要得到的是模糊核和未知的清晰图像，因此利用模糊核 的特征如稀疏性，以及自然图像的统计特征如梯度分布等对未知的图像进行约束可以得到 模糊核和中间图像，同时，这些约束可以避免求解陷入局部最小值，保证模糊核的稀疏性， 减小复原出的图像的噪声。在文献[1]中，Fergus等人第一次将模糊核看作一个函数，用基 于变分贝叶斯的方法，并将自然图像梯度的长尾分布模型表示为高斯混合模型，用集成学 习的方法估计出模糊核，但是此方法较复杂，对图像的处理过程非常慢。在文献[2]中， Krishnan等人假设L的梯度服从超拉普拉斯分布，取得了高质量的复原图像，超拉普拉斯约 束项作为一个有效的约束条件被广泛应用于后来的去模糊工作中。
[0009] 目前国内外对于包含亮条纹的模糊图像去模糊的研究成果比较少。虽然亮条纹包 含了许多有用信息，如模糊核的形状信息，但是大多数去模糊算法都没有对这些信息进行 有效利用。在文献[3]中，Hua和Low手动选取亮条纹区域，并用其对模糊核进行约束，但是人 工选取的图像块不一定是适合约束模糊核的图像区域，并且与人的经验有密切关系。在文 献[4]中记载了，Hu等人提出了利用亮条纹信息对夜景模糊图像去模糊的算法，自动选取最 优亮条纹图像块，并结合其它图像先验项进行模糊核估计，但是，此方法经常会出现误检和 漏检的情况。由于饱和像素破坏了线性卷积模型，所以传统的反卷积算法对此类图片复原 并不适用。针对这一问题，文献[5]中，Whyte等人建立了一个正演模型来消除饱和像素产生 的振铃效应。文献[6]记载了 Cho等人去除饱和像素，用非饱和像素来进行反卷积操作。 [0010]综上所述可知，单张图像去运动模糊已受到广泛关注，已有大量的去运动模糊算 法涌现，具有重要的应用价值。而存在亮条纹的模糊图像提供了模糊核信息，目前尚缺乏能 够充分提取模糊图像中的亮条纹信息，并利用此信息进行模糊核估计对图像去运动模糊， 从而复原得到一张高质量的图像的方法。
[0011] 引用文献：
[0012] [1]R.Fergus ,B·Singh,and A·Hertzmann，"Removing camera shake from a single photographACM Trans .Graph, vol. 25 ,pp. 787-794,2006
[0013] [2]D.Krishnan and R.Fergus ,uFast image deconvolution using hyper-laplacian priors，"in NIPS，2009，pp.l57_170
[0014] [3]B.-S.Hua and K·-L·Low·"Interactive motion deblurring using light streaks，"In ICIP，pp.1553-1556,2011.
[0015] [4]Z. Hu ,S.Cho,and J·Wang·"Deblurring low-light images with light streaks"，In CVPR，pp.3382-3389,2014.
[0016] [5]0.ffhyte,J.Sivic,and A.Zisserman,aDeblurring shaken and partially saturated images"，In ICCV Workshops,ρρ.745-752,2011.
[0017] [6]S.Cho,J. Wang ,and S·Lee·"Handling outliers in non-blind image deconvolution，"In ICCV，pp.495_502,2011·
[0018] [7]X.Zhang,R.Wang,and Y.Tian.uImage deblurring using robust sparsity priors"，in ICIP，pages 138_142,2015.
[0019] [8]Q.Shan，J.Jia，and A.Agarwala，"High-quality motion deblurring from a single image，"ACM Trans.Graph，vol·27(3)，pp·73，2008·
[0020] [9]L. Xu ,S. Zheng, and J·Jia，"Unnatural lOsparse representation for natural image deblurring in CVPR, 2013 ,pp. 1107-1114.
【发明内容】
[0021] 为了克服上述现有技术的不足，本发明提供一种基于图像中亮条纹信息的图像去 模糊方法，利用运动模糊图像中存在的亮条纹，得到模糊核的形状信息，并结合自然图像和 模糊核的其它先验项对图像复原进行约束，以得到准确的模糊核和高质量的复原图像。
[0022] 本发明针对包含亮条纹的模糊图片提出了一种鲁棒的去模糊技术。该技术主要包 括亮条纹图像块选取、模糊核估计和图像复原三部分。在亮条纹图像块选取方面，本发明提 出了最优亮条纹选取方法，手动选取包含亮条纹的图像块;然后从最优亮条纹中经过骨化 及形态学运算等过程提取出模糊核的形状信息，并与自然图像和模糊核的先验知识结合起 来对清晰图像和模糊核进行约束，通过迭代计算估计出模糊核;最后采用一种可以处理饱 和像素的非盲反卷积方法还原出最终的锐利图像。
[0023]本发明提供的技术方案是：
[0024] -种基于图像中亮条纹信息的图像去模糊方法，利用运动模糊图像中存在的亮条 纹，得到模糊核的形状信息，通过结合图像和所述模糊核对图像复原进行约束，得到准确的 模糊核和高质量的复原图像;包括如下步骤：
[0025] 1)选取包含最优亮条纹的最优图像块；
[0026] 2)针对包含最优亮条纹的最优图像块，提取得到模糊核形状信息;包括如下步骤：
[0027] 21)设置一个亮度阈值；
[0028] 22)将亮度小于所述亮度阈值的像素的亮度设为0,将最优亮条纹的中心点调节到 最优图像块的中心位置；
[0029] 23)将所有亮度小于及等于0的像素的亮度设为0,大于0像素的亮度设为1，将最优 图像块转换成为一个二值图像；
[0030] 24)将所述二值图像进行骨化操作(可使用MATLAB中的bwmorph函数实现此操作）， 得到单像素宽度的二值图，即拍摄设备的运动轨迹，也就是模糊核的形状；
[0031] 为了对模糊核的形状进行约束，最后将单像素宽度的二值图进行膨胀操作(可使 用MATLAB中的imdilate实现此操作），膨胀模型是半径为模糊核短边的1/5大小的圆盘模 型，将得到的结果(单像素宽度的运动轨迹膨胀后的结果)用矩阵T表示。
[0032] 3)模糊核估计：用步骤2)得到的模糊核形状信息与稀疏先验项结合对模糊核进行 约束，通过迭代计算中间图和模糊核，得到最终的模糊核;包括如下步骤：
[0033] 31)首先建立图像金字塔，输入图像为原始的模糊图像I;并将模糊核k初始化为一 个5X5大小的矩阵，其为在骨化之后的矩阵下采样得到的；以上一层图像中得到的模糊核 经上采样作为当前迭代过程的初始模糊核；
[0034]模糊核估计的模型为式3:
[0035]
[0036]
[0037]其中，〇表示Hadamard乘积；γ，λ#Ρλ2是权重系数;J是全1矩阵;T是单像素宽度的 运动轨迹膨胀后的结果;第一项lli雜-/II!是数值保真项，符合模糊图像退化模型;第二项 yliw」|?对清晰图像的全局约束项，使得复原出来的清晰图像的梯度统计分布服从"重尾模 型"，其中，〇<α<1，本实施例中α = 〇.6;第三项1 ||M。/c ||_利用掩膜Μ对模糊核的形状进行 约束，使模糊核的形状尽量趋近于亮条纹的形状;第四项λ2| |k| |:是稀疏约束项；
[0038] 32)通过求解最优化能量方程(式3)，迭代计算L和k，估计出最终的模糊核。
[0039] 可通过以下步骤求解最优化能量方程(式3):
[0040] 321)在方程(式3)中，当k为已知时(将模糊核k初始化为一个5X5大小的矩阵），方 程(式3)简化为：
[0041 ]
(Λ4)
[0042] 322)然后将L作为已知量，计算k，
[0043]
(式.5)
[0044] 然而我们无法直接求解这个复杂方程。
[0045] 323)因此，我们引入一个替代量w，替换(式5)中的Mok，得到如下方程：
[0046](式 6)
[0047] 然后迗代求觯k和w。
[0048] 首先，将w作为已知量，求解k:
[0049]
(式 7)
[0050] 利用迭代加权最小二乘法（Iteratively reweighted least squares，IRLS)可以 求解出k。然后，将k作为已知量，求解w:
[0051 ] (式 8)
[0052]
[0053] (式.9).
[0054] 本发明实施例中，设定迭代次数为20，经过20次迭代式5和式8，得到k;
[0055] 324)然后多次迭代(本实施例中，迭代次数设为5次)计算式4和式5,求得最终的模 糊核k。
[0056] 4)非盲反卷积:通过非盲复原算法还原得到清晰复原图像，作为最终的去模糊图 像。
[0057] 本发明米用Cho等人在文献6(S.Cho，J.Wang,and S.Lee. "Handling outliers in non-blind image deconvolution，"In ICCV,2011)提出的非盲复原算法，还原清晰图像。 所述非盲复原算法将饱和像素点和噪声视为奇异点，将奇异像素点和其它像素点分别进行 处理，用期望最大化(Expectation-Maximization，EM)算法迭代地优化异常值(饱和像素） 和复原图像，最终得到高质量的复原图像。
[0058]与现有技术相比，本发明的有益效果是：
[0059] 本发明提供一种基于图像中亮条纹信息的图像去模糊方法，利用运动模糊图像中 存在的亮条纹，得到模糊核的形状信息，并结合自然图像和模糊核的其它先验项对图像复 原进行约束，以得到准确的模糊核和高质量的复原图像。本发明具有以下优点：
[0060] ( - )本发明提出了最优亮条纹选取方法，手动选取包含最优亮条纹的图像块。
[0061] (二)本发明提出了一个模糊核形状提取方法，可以从包含最优亮条纹的图像块中 提取到形状信息，然后用其与其它先验项对模糊核进行约束，估计出准确的模糊核。
[0062] (三)本发明建立了一个实际拍摄的包含亮条纹的模糊图像测试集，用于对去模糊 算法进行测试。针对该模糊图像测试集，采用本发明提供的基于图像中亮条纹信息的图像 去模糊方法，能够得到准确的模糊核和高质量的复原图像，在图像处理领域应用价值高。
【附图说明】
[0063] 图1是本发明提供的针对存在亮条纹的图像的图像去模糊方法的流程框图。
[0064] 图2是本发明实施例中对模糊核形状信息进行提取过程中的截图；
[0065] 其中，（a)为模糊图像，（b)为选取出的包含亮条纹的图像块，（c)为骨化之后的结 果，（d)为膨胀之后的结果，（e)为估计出的模糊核。
[0066] 图3是本发明实施例中对低光照图像亮条纹形状提取的截图；
[0067] 其中，图像中间矩形框中为选取出的最优亮条纹图像块，左上角矩形框中为最优 亮条纹图像块的放大图像，右上角矩形框中为提取出的亮条纹形状图。
[0068]图4是本发明实施例中对正常光照亮条纹形状进行提取过程中的截图；
[0069]其中，左上角矩形框中为选取出的亮条纹图像块，右上角矩形框中为提取出的亮 条纹形状图。
[0070] 图5是本发明实施例中采用的人工模糊图像测试数据集的部分图片。
[0071] 图6是本发明实施例中分别采用现有方法和本发明提供方法得到的模糊核估计和 复原结果，对比了模糊核估计的准确性；
[0072] 其中，（a)为模糊图像；（b)(c)(d)的左上角是各算法估计出的模糊核；图（b)为 Zhang等人采用方法(文献[7])得到的模糊核估计和复原结果；图（c)为Hu等人采用方法[4] 得到的模糊核估计和复原结果;图（d)为本发明提供方法得到的模糊核估计和复原结果。
[0073] 图7是本发明实施例中分别采用现有方法和本发明提供方法得到的模糊核估计和 复原结果，表示了模糊核形状约束项AJM。/f||i对模糊核估计的影响；
[0074] 图中（b)(c)的左上角为估计出的模糊核；图（a)为模糊图像，图（b)为Zhang等人
[7]的模糊核估计和复原结果，图（c)为本发明的模糊核估计和复原结果。
[0075] 图8是本发明实施例中分别采用现有方法和本发明提供方法得到的对实际图像进 行去模糊得到的效果对比图；
[0076]其中，（a)为待处理的模糊图像；（b)为Hu等人采用方法[4]得到的去模糊结果；（c) 为Xu等人采用方法（文献[8])得到的去模糊结果；（d)为本发明提供方法得到的去模糊结 果；（b)、（c)、（d)中图片的左上角矩形框内是各方法估计出的模糊核。
[0077] 图9是本发明实施例对实际图像去模糊效果对比图；
[0078] 其中，（a)为模糊图像；（b)为Hu等人[4]的去模糊结果；（c)为Xu等人[8]的去模糊 结果；（d)为本发明提供方法得到的结果.，图片左上角矩形框内是各算法估计出的模糊核。
[0079] 图10是本发明实施例对本发明建立的实际图像数据集进行去模糊处理的效果对 比图；
[0080] 其中，（al)~（cl)是模糊图像，（a2)~（c2)是采用文献[3]方法的去模糊结果； (a3)~(c3)是采用文献[4]方法的去模糊结果，（a4)~(c4)是采用文献[7]方法的去模糊结 果；（a5)~(c5)是本发明提供方法的去模糊结果。
[0081] 图11本发明实施例对本发明建立的实际图像数据集进行去模糊处理的效果对比 图；
[0082] 其中，（al)~(a4)为模糊图像；（bl)~(b4)为Hua等[3]方法的结果；（cl)~(c4)为 Hu等人[4]采用方法的结果；（dl)~(d4)为本发明提供方法的去模糊结果。
【具体实施方式】
[0083] 下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范 围。
[0084] 本发明提供一种基于图像中亮条纹信息的图像去模糊方法，该方法利用运动模糊 图像中存在的亮条纹，得到模糊核的形状信息，并结合自然图像和模糊核的其它先验项对 图像复原进行约束，以得到准确的模糊核和高质量的复原图像。
[0085] 本发明实施例针对待处理的模糊图像，通过执行以下步骤进行图像的去运动模 糊，得到最终的去模糊图像;操作过程如图1所示，包括如下步骤：
[0086] 第一步:手动选取包含最优亮条纹的图像块；
[0087] 本发明实施例通过手动选取得到满足如下条件的包含最优亮条纹的最优图像块：
[0088]( - )亮条纹的亮度要远大于其邻近区域的亮度；
[0089]邻近区域即指周围像素点。本发明具体实施中，选取的图像块中亮条纹由亮度为 亮度大于此图像块亮度最大值的70%的像素点组成;例如，图3中的矩形框内就是选取出的 最优亮条纹图像块。
[0090] (二)亮条纹在图像块中是稀疏分布，即亮条纹宽度比较小；
[0091] 宽度比较小是相对于图像中其他高亮度条纹而言的，在本发明实验中，对于800 X 600大小的图片，亮条纹设定为5个像素宽度。
[0092](三)每个图像块(image patch)中有且只有一条亮条纹；
[0093]图像块是图像中的一个矩形区域，其中包含了整条亮条纹;例如图3矩形框内就是 选取出的最优亮条纹图像块；
[0094]根据以上这三个特性，我们可以找到多个包含亮条纹的图像块，然后从中选取最 优图像块。最优的亮条纹还需符合以下几个条件：
[0095] (四）亮条纹的形状要与图像中其他多数亮条纹的形状相似，这是为了避免将亮条 纹和条形的发光体区(光源或者反光体)混淆，避免将发光体误认为亮条纹；
[0096] (五）图像块背景部分的亮度相对较低；即在符合前4个条件的所有图像块中选择 背景亮度最低的一个或者几个图像块；
[0097] (六)图像块中除了亮条纹没有其他与亮条纹亮度相近的结构信息。
[0098]其他亮度较高的结构包括:高亮度的发光体、一个图像块包含的多条亮条纹、显著 的图像边缘等结构。
[0099] 通过以上这些条件，可手动选取得到最优亮条纹图像块。
[0100] 第二步:模糊核形状信息提取。模糊核可以分为形状和亮度。根据第一步提到的最 优亮条纹选出包含亮条纹的图像块，如图2(b)所示;然后设置一个阈值，将亮度小于这个阈 值的像素的像素值设为〇,并将亮条纹的中心点调节到图像块的中心位置;接下来把所有小 于〇的像素值设为〇,大于〇像素值设为1，此时这个图像块成为了一个二值图像;将此二值图 进行骨化操作(可使用MATLAB中的bwmorph函数实现此操作），得到图2(c)所示的单像素宽 度的二值图，这就是我们要得到的拍摄设备运动轨迹，也就是模糊核的形状;为了对模糊核 的形状进行约束，最后将图2(c)进行膨胀操作（可使用MATLAB中的imdilate实现此操作）， 膨胀模型为半径模糊核短边的1/5大小的圆盘模型，得到的结果如图2(d)所示，此矩阵用T 表不。
[0101] 图3是从输入的模糊图像中选取亮条纹图像块以及从亮条纹中提取的模糊核形状 结果图，可以看出右上角的模糊核形状和亮条纹的形状是一致的。与Hu等人采用方法不同 的是，对于图4所示的模糊图像，其中并不存在饱和的亮条纹，但是仍然存在矩形框中的亮 度高于背景区域的条纹，记录了拍摄设备的运动轨迹。用本发明提出的模糊核形状提取方 法也可以得到模糊核的形状信息，如图4右上角所示。
[0102] 第三步:模糊核估计。用第二步得到的形状信息与稀疏先验项结合对模糊核进行 约束，通过迭代计算中间图和模糊核得到最终的模糊核。
[0103] 首先建立图像金字塔，输入图像为原始的模糊图像I;并初始化模糊核k，将模糊核 k初始化为一个5X5大小的矩阵，其为骨化之后的矩阵（图2(c)所示）下采样得到的。。图像 金字塔中，每一层计算出的模糊核和中间图都经过上采样作为下一个精细层的模糊核和中 间图的初始值。
[0104] 模糊核估计的模型为：
[0105]
[0106]
[0107]其中，〇表示Hadamard乘积，γ，λ#Ρλ2是权重系数，J是全1矩阵，T是单像素宽度的 运动轨迹膨胀后的结果;第一项11/-/||_是数值保真项，符合模糊图像退化模型;第二项 Fimmr对清晰图像的全局约束项，使得复原出来的清晰图像的梯度统计分布服从"重尾模 型"，其中，〇<α<1，本实施例中α = 〇.6;第三项AIIΜ。fcII_利用掩膜Μ对模糊核的形状进行 约束，使模糊核的形状尽量趋近于亮条纹的形状;第四项λ 2| |k| |:是稀疏约束项。
[0108] 通过求解最优化能量方程(4.1 )，迭代计算L和k，估计出最终的模糊核。
[0109] 在方程(3)中，若k已知(将模糊核k初始化为一个5X5大小的矩阵，其为骨化之后 的矩阵（图2(c)所示)下采样得到的），则方程(3)简化为：
[0110]
(Λ4)
[0111] 然后将L作为已知量，计算k，
[0112]
(式 5)
[0113]然而我们无法直接求解这个复杂方程。因此，我们引入一个替代量w，替换(5)中的 Mok，得到如下方程：
[0114]
(式 6)
[0115] 然后迭代求解k和w。
[0116] 首先，将w作为已知量，求解k，
[0117]
(式 7)
[0118]利用迭代加权最小二乘法（Iteratively reweighted least squares，IRLS)可以 求解出k。然后，将k作为已知量，求解w，
[0119] (式 8)
[0120]
[0121] (式 9)
[0122] 设定迭代次数为20,经过20次迭代式（5)和式(8)，得到k，然后迭代5次计算式(4) 和式(5)求得最终的模糊核k。
[0123] 第四步：非盲反卷积。本发明采用(：11〇等人在文献6(5.(：11 〇，了.如1^，&11(15.1^6. "Handling outliers in non-blind image deconvolution，" In ICCV，2011)提出的非盲 复原算法，还原清晰图像。Cho等人将饱和像素点和噪声视为奇异点，将奇异像素点和其它 像素点分别进行处理。用期望最大化(Expectation-Maximization，EM)算法迭代地优化异 常值(饱和像素)和复原图像。最终得到高质量的复原图像。
[0124] 经过以上四个步骤后，就得到了最终的去模糊图像。
[0125] 为了检验本发明的有效性，本发明建立了包含亮条纹的实际拍摄的模糊图像测试 集，然后在此数据集上对本发明提出的去模糊算法进行测试，同时与目前常用的去模糊算 法进行了对比实验。
[0126] 用于进行主观测试的数据集一共包含25张不同场景下由数码相机或者手机拍摄 的模糊程度不同的图片。每张图像中都包含一条或多条高亮度的亮条纹。此测试集中的部 分图片如图5所不。
[0127] 在本发明建立的实际拍摄的模糊图像集上进行实验，直观地与其他算法的复原图 像的模糊程度、噪声、振铃等进行比较。在与其他算法对比时，我们将其他算法中的可调参 数调到最优。
[0128] 图6比较了 Hu等人[4]和Zhang等人[7]与本文的模糊核估计结果，如图片左上角所 示。本发明技术与Zhang等人[7]模糊核估计算法最大的区别就是利用亮条纹对模糊核进行 形状约束，比较图6(b)和(d)可以看出，本章算法的模糊核形状与图中亮条纹形状更相近， 还原出的图像更锐利，且包含更少的振铃。与6(c)相比，虽然图（c)的模糊核形状更接近圣 诞树上的亮条纹，但是与本章的复原结果相比却明显的振铃，这是由于本发明结合亮条纹 信息和其他先验知识在模糊核估计过程中进行迭代计算，在每次迭代过程中都对模糊核进 行修正，以达到最优估计结果。图7中，将Zhang等人[7]算法与本发明技术比较。本发明与 Zhang等人[7]在模糊核估计方法的区别主要是本算法用亮条纹提取出的形状信息在模糊 核估计过程中对模糊核进行形状约束，即利用了约束项AllMc/cIt可以看到，Zhang等人 [7]估计出的模糊核和实际模糊核差距较大，还原出的图像仍然是非常模糊的，而本发明算 法估计的模糊核形状准确，复原图像质量明显提高。
[0129] 图8和图9是本章算法与目前流行的几种算法对实际拍摄的包含亮条纹的模糊图 片的去模糊效果的对比图，其中（a)为模糊图像，（b)为Hu等人[4]的去模糊结果，（c)是Xu等 人[9]的去模糊结果，（d)是本章算法的结果，图片左上角矩形框内是各算法估计出来的模 糊核。图8中的矩形框内是手动选取出来的最优亮条纹图像块，Hu等人[4]和Xu等人[9]估计 出的模糊核和实际模糊核的形状相差很大，几乎没有去模糊效果，而本发明估计的模糊核 形状与亮条纹形状一致，从最终的复原图像中可以清晰识别出人的面孔。
[0130] 图10中的图像是针对包含亮条纹图像去模糊的工作中常用的进行主观测试的图 片。其中，第一排是模糊图像，第二排是Him和Low的去模糊结果，第三排是Hu等人的去模糊 结果，第四排是Zhang等人的去模糊结果，最后一排是本章算法的结果。可以看到，Zhang等 人的算法对这三张存在亮条纹的图像几乎没有去模糊效果，Hua和Low以及Hu等人虽然使模 糊图片变得锐利，但是存在严重的振铃效应，而本章算法得到的锐利图像清晰且相比之下 振铃较少，并且可以将亮条纹还原出点光源原本的形状。
[0131]此外，我们在自己建立的实际模糊数据集上对本章算法以及Hua和Low和Hu等人进 行测试，如图11所示。总体看来，Him和Low复原的图像振铃和噪声比较严重，Hu等人的振铃 较严重，对有些图像会产生过增强的效果，而本发明噪声和振铃较少，复原图像相对清晰。 [0132]需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技 术人员可以理解:在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是 可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求 书界定的范围为准。
【主权项】
1. 一种基于图像中亮条纹信息的图像去模糊方法，利用运动模糊图像中存在的亮条 纹，得到模糊核的形状信息，通过结合图像和所述模糊核对图像复原进行约束，得到准确的 模糊核和高质量的复原图像;包括如下步骤： 1) 选取包含最优亮条纹的最优图像块； 2) 针对包含最优亮条纹的最优图像块，提取得到模糊核形状信息； 3) 进行模糊核估计：用步骤2)得到的模糊核形状信息与稀疏先验项结合对模糊核进行 约束，通过迭代计算中间图和模糊核，得到最终的模糊核； 4) 进行非盲反卷积:通过非盲复原算法还原得到清晰复原图像，作为最终的去模糊图 像。2. 如权利要求1所述基于图像中亮条纹信息的图像去模糊方法，其特征是，步骤2)所述 提取得到模糊核形状信息，具体包括如下步骤： 21) 设置一个亮度阔值； 22) 将亮度小于所述设置的亮度阔值的像素的值设为0,将所述最优亮条纹的中屯、点调 节到所述最优图像块的中屯、位置； 23) 将所有亮度小于等于0的像素的值均设为0,亮度大于0的像素的值均设为1，将最优 图像块转换成为一个单像素宽度的二值图像； 24) 将所述二值图像进行骨化操作，得到单像素宽度的二值图，表示拍摄设备的运动轨 迹，作为模糊核的形状。3. 如权利要求2所述基于图像中亮条纹信息的图像去模糊方法，其特征是，步骤24)所 述骨化操作使用MATLAB中的bwmo巧h函数实现。4. 如权利要求1所述基于图像中亮条纹信息的图像去模糊方法，其特征是，在步骤3)之 前对模糊核的形状进行约束，具体将所述单像素宽度的二值图进行膨胀操作，膨胀模型是 半径为模糊核短边的大小的圆盘模型，得到单像素宽度的运动轨迹膨胀后的结果，表示 为矩阵T。5. 如权利要求4所述基于图像中亮条纹信息的图像去模糊方法，其特征是，所述膨胀操 作使用MATLAB中的imdilate实现。6. 如权利要求1所述基于图像中亮条纹信息的图像去模糊方法，其特征是，步骤3)所述 模糊核估计具体包括如下步骤： 31)建立图像金字塔，输入图像为原始的模糊图像，记为I;模糊核记为k，将模糊核k初 始化为一个5X5大小的矩阵；W上一层图像中得到的模糊核经上采样作为当前迭代过程的 初始模糊核;将最优化能量方程式3作为模糊核估计的模型，通过所述模糊核估计的模型进 行模糊核估计：其中，0表示化damard乘积；丫，λι和λ2是权重系数;J是全1矩阵;T是单像素宽度的运动 轨迹膨胀后的结果；第一项"If是数值保真项，符合模糊图像退化模型；第二项 Klivyr对清晰图像的全局约束项，使得复原出来的清晰图像的梯度统计分布服从"重尾模 型"，其中，0<〇<1;第；项11誇。/?:||谢用掩膜1对模糊核的形状进行约束，使模糊核的形 状尽量趋近于亮条纹的形状;第四项λ2 Μ k Μ1是稀疏约束项； 32)通过求解最优化能量方程式3，迭代计算L和k，估计出最终的模糊核； 具体通过W下步骤求解式3: 321)在式3中，当k为已知时，将模糊核k初始化为一个5X5大小的矩阵，式3简化为式4:迭代求解方程式6,得到k和W; 324)设定迭代次数，经过多次迭代计算式4和式5,求得最终的模糊核k。7. 如权利要求6所述基于图像中亮条纹信息的图像去模糊方法，其特征是，所述迭代求 解方程式6，得到k和W;具体包括如下步骤： 首先，将W作为已知量，通过式7利用迭代加权最小二乘法求解出k:所述迭代的次数设为20。8. 如权利要求1所述基于图像中亮条纹信息的图像去模糊方法，其特征是，步骤4)所述 非盲反卷积具体义用文献6(S.畑o,J.Wang,and S丄ee.巧andling outliers in non- blind image deconvolution," In ICCV,2011)记载的非盲复原算法，还原清晰图像，得到 高质量的复原图像。9. 如权利要求1所述基于图像中亮条纹信息的图像去模糊方法，其特征是，步骤1)所述 选取包含最优亮条纹的最优图像块具体采用手动选取方法，所述包含最优亮条纹的最优图 像块满足如下条件： (一) 所述最优亮条纹由亮度为所述最优图像块中亮度大于像素亮度最大值的70%的 像素点组成； (二) 所述最优亮条纹在图像块中稀疏分布； (Ξ)每个最优图像块中有且只有一条最优亮条纹； (四） 所述最优亮条纹的形状要与图像中其他多数亮条纹的形状相似，避免所述最优亮 条纹和条形发光体区混淆； (五) 选择满足上述条件（一）~（四）的所有图像块中背景亮度最低的一个或多个图像 块，作为最优图像块； (六) 所述最优图像块中除了亮条纹没有其他与亮条纹亮度相近的结构，所述其他结构 包括:高亮度的发光体、一个图像块包含的多条亮条纹和显著的图像边缘结构中的一种或 多种。
【文档编号】G06T5/00GK105976332SQ201610284962
【公开日】2016年9月28日
【申请日】2016年5月3日
【发明人】王荣刚, 张欣欣, 王振宇, 高文
【申请人】北京大学深圳研究生院