一种基于局部约束的图像盲去模糊方法
【专利摘要】本发明属于图像处理技术领域，具体涉及一种基于局部约束的图像盲去模糊方法，包括以下步骤：1】字典训练；2】预处理；3】模糊核估计；4】图片恢复。本发明克服了以往方法中盲去卷积过程会破坏原始像素间的结构关联的问题，提高了图像恢复的效果。
【专利说明】
一种基于局部约束的图像盲去模糊方法
技术领域
[0001] 本发明属于图像处理技术领域，具体涉及一种模糊图像的恢复方法，可用于多媒 体处理，航天航空信息处理，军事侦察以及公共安全管理等领域。
【背景技术】
[0002] 图像在人类社会中有着重要影响，其在生产生活，科学研究，军事国防等各个方面 都有着重要运用。比如，摄影爱好者相机下的照片，城市街道里为预防犯罪事件而安装的视 频监控系统，医院里医生为病人做超声检测获取的图像，科研工作者采用的电子显微镜获 取的原子尺度的成像，航空拍摄侦查获取的目标图像，遥感卫星获取的超高分辨率的地面 地形图等。然而，现实中有许多原因会使图像变得模糊不清，如成像时相机与被拍摄对象的 相对运动，失焦，大气湍流效应等。正是由于图像在国民生产生活，科研，军事国防有着广泛 而重要的运用，去除图像模糊，快速恢复出清晰的图像具有非常重要的意义与应用价值。图 像模糊的过程可以简略表示为y = k*x+n，k为模糊核，由模糊类型与大小决定，η为噪声，X 为清晰原图，y为模糊图片，*表示卷积操作。图像的盲去模糊方法利用单张模糊图片y估 计出模糊核k，并最终恢复出清晰图像X。由于所知信息较少，图像的盲去模糊是一个十分 病态而富有挑战的问题。
[0003] 目前，图像的盲去模糊方法主要分为两大类：
[0004] 一是加入一些先验知识，如正则化项和凸集，这种方法致力于在目标式中对变 量进行正则化，提高结果的稳定性。L. I. Rudin等人在文献"L. I. Rudin，S. Osher，and E.Fatemi. Nonlinear total variation based noise removal algorithms. Physica D:Nonlinear Phenomena :259 - 268, 1992" 中提出了全变差正则化（Total Variation regularization)，这一方法基于这样的原则：具有过度的细节甚至虚假细节的信号有着较 高的全变差（Total Variation)，因此这些信号的绝对梯度的积分比较高。这就是说降低信 号的全变差可以移除不需要的细节并保留重要的细节如边界等，以此恢复出原始信号。正 则化的方法可以减轻盲去卷积问题的病态性，减弱噪声的影响，得到一个较为精确的近似 解，但是可能会带来过平滑的结果，模糊图片的恢复效果不佳。
[0005] 二是基于先验模型的贝叶斯范式。这种方法的核心思想是利用贝叶斯模 型，计算未知量的后验分布，并利用后验分布估计出清晰原图与模糊核。U. Schmidt 等人在 文南犬 "U.Schmidt，Κ·Schelten, and S. Roth. Bayesian deblurring with integrated noise estimation. IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，pages 2625-2632,2011"中提出了一种整合的贝叶斯框架，将去模糊 过程与噪声估计相统一。然而，贝叶斯方法在大多数情况下都是一个后验概率的最大化问 题，这一框架已经被证明并不适合盲去卷积问题，所以图像恢复效果也不够好。
【发明内容】
[0006] 针对【背景技术】中提到的问题，本发明提供一种基于局部约束的图像盲去模糊的方 法，提高了图像去模糊的效果。
[0007] 本发明的技术解决方案是：
[0008] -种基于局部约束的图像盲去模糊方法，其特殊之处在于：包括以下步骤：
[0009] 1】字典训练：
[0010] 1.1】读入待处理的模糊图片，若是彩色图片则先将其转成灰度图片，然后将其转 化成指定维数的矩阵；
[0011] 1.2】设定训练参数后开始训练模糊图片的矩阵，得到模糊图片的过完备字典D; 所述训练参数包括字典大小、训练初始值和训练方式；
[0012] 2】预处理：
[0013] 2. 1】读入待处理的模糊图片，若是彩色图片则先将其转成灰度图片；
[0014] 2. 2】设定截取窗口 [a b c d]，以图片的左上角为原点截取一个图片块；其中，a 和c用于控制截取高度，b和d用于控制截取宽度；a小于c，b小于d，截取窗口的大小小于 图片的大小；使用梯度算子提取图片块的梯度特征；
[0015] 2. 3】设定循环迭代次数和最终模糊核的大小K*K，K为奇数；
[0016] 3】模糊核估计：
[0017] 3. 1】设定模糊核k的初始值，其大小为η*η，η为奇数；清晰原图X由步骤2. 2】中 截取的图片块初始化得到；稀疏系数α由X = Da初始化得到；
[0018] 3. 2】单独一层的模糊核的估计求解：
[0019] 包含三个变量k、a和X的完整的目标式为：
[0020]
(1)
[0021] 其中山=exp(dist(x ;，D)/〇 )，dist(Xi，D) = [distUp D!)，…，distUp DJ] T，dist为欧氏距离；σ为常数，用于调节权值衰减速度；λ 2为常数，用于调节约束大 小，使结果保持稳定；
[0022] 采用以下迭代策略：固定三个变量k、a和X中的两个，以第三个变量为未知变量， 去除此时目标式中与未知变量无关的项，将公式（1)分别简化分割为三个子目标式：
[0026] 分别求出三个变量，如此往复，迭代设定的循环迭代次数后，完成本层下的模糊核 k的估计；
[0027] 3. 3】模糊核向下一层扩展变大：
[0028] 将η扩大VI倍后加1取整得到M，若Μ不是奇数则再加1得到N ;
[0029] 将步骤3. 2】得到的模糊核k采用双线性插值法扩充至Ν*Ν后作为当前模糊核k 的初始值；
[0030] 3.4】若~小于1(，执行步骤3.1】-3.3】；
[0031] 若N大于等于K，则以当前模糊核k作为最终模糊核；
[0032] 4】图片恢复：
[0033] 利用步骤3. 4】中得到的模糊核k，采用非盲去卷积方法得到最终的图像去模糊结 果；所述非盲去卷积方法的目标式为：
[0034]
[0035] 其4
λ为常数，用于调节第一项重建误差的影 响；s为常数，用于调节后两项对y的约束程度；y为模糊图片，X为所求的清晰原图；
[0036] 若模糊图片是彩色图像，则对彩色图片的三个通道均采用非盲去卷积方法进行处 理，将三个通道的结果组合后得到最终的图像去模糊结果。
[0037] 上述步骤1】中的字典训练方法为K-SVD算法。
[0038] 上述步骤1. 1】中的矩阵的转化方式为：
[0039] 将所述灰度图片分割成N个4*4大小的小块，将每一个小块拉成16*1的列矩阵后 再组成一个16*N大小的矩阵。
[0040] 上述步骤1. 2】中的字典大小设定为16*1024,训练初始值设定为输入矩阵本身。
[0041] 上述步骤2. 2】中的梯度算子为dx = [-1 1 ;0 0]和dy = [-1 0 ;1 0]。
[0042] 上述步骤3. 1】中的η取值为3。
[0043] 上述步骤3. 2】中的〇取值为5 ;所述步骤4】中的λ取值为3000, s取值为0. 8。
[0044] 本发明的有益效果：
[0045] 本发明克服了以往方法中盲去卷积过程会破坏原始像素间的结构关联的问题，提 高了图像恢复的效果。
【附图说明】
[0046] 图1为本发明基于局部约束的图像盲去模糊方法流程图。
【具体实施方式】
[0047] 参照图1，本发明实现的步骤如下：
[0048] 步骤1，字典训练阶段，用K-SVD方法训练出模糊图片的过完备字典D。
[0049] (la)读入待处理的模糊图片，若是彩色图片先将它转成灰度图片，然后将它分割 成一个个4*4大小的小块，将每一个小块拉成16*1的列矩阵，假设最终有N个小块，将这里 的N个小块组成一个16*N大小的矩阵。
[0050] (lb)按照K-SVD训练方法的要求，设定合适的训练参数，如字典大小，这里设为 16*1024,训练初始值设为输入矩阵本身，训练方式等。然后开始训练，并保存得到的训练字 典D 〇
[0051] 步骤2,预处理阶段，选择合适的部分做模糊核估计的数据，并设置好估计过程的 参数，初始化一部分变量。
[0052] (2a)读入待处理的模糊图片，若是彩色图片先将它转成灰度图片。设定一个截取 窗口 [a b c d]，从图片的左上角为原点，a和c控制截取的高度（a须小于c)，b和d控制 截取的宽度（b须小于d)，截取大小不能超过图片的大小，然后用梯度算子dx = [-1 1 ;0 0]，dy= [-1 0;1 0]，提取图片块梯度特征。
[0053] (2b)设置好估计过程的参数，设定循环迭代的次数，最终模糊核的大小，设定其他 参数的初始大小。
[0054] (2c)然后初始化几个变量，模糊核k的初始大小设为3*3,初始值为[0. 50. 5 0 ;0 0 0 ;0 0 0];清晰原图X用步骤（2a)中模糊的图片块初始化；稀疏系数α用X = D α初 始化得到。
[0055] 步骤3,模糊核估计阶段。
[0056] 已知过完备字典D，初始化的变量k，a，X，采用交替迭代的策略，估计每一层的模 糊核，最后估计出最终层的模糊核即为所求。
[0057] (3a)单独一层的模糊核的估计求解过程。
[0058] 完整目标式如下，有三个变量：
[0059]
[0060] 其中山=exp(dist(x ;，D)/〇 )，dist(Xi，D) = [distUp D!)，…，distUp DJ] T
[0061] dist指的是欧氏距离，σ为系数常数。
[0062] 如上所述，将目标式分割成三个子目标式，对应三个问题：
[0063]
[0064]
[0065]
[0066] 采用交替迭代的策略，固定其中的两个变量（如X与α )，以第三个变量为未知变 量（如k)，去除此时目标式中与未知变量的项（如，去除目标式中不含未知量k的项：第二 和第四项），简化目标式，如此往复，迭代若干次，完成本层下的模糊核k的估计。
[0067] (3b)模糊核向下一层扩展，变大。
[0068] 将得到的k采用双线性插值法扩充至原来k大小的^/1倍并取整（k的大小取整数 并为奇数），这里的取整是进1取整，比如3*3扩充成：3\G=4 24，:进1取整为5,并检验5 是不是奇数，因为每一层的大小要为奇数，若不是则再加1变成奇数。然后将这个5*5的模 糊核作为新层下的k的初始值，继续进行步骤（3a)中的交替迭代，估计新层的模糊核，如此 往复进行下去直至k的大小增大为初始设定的大小为止。针对这里的取整过程，举例如下：
[0069] 最终大小设为11*11，
[0070] 第一层：3*3 ;
[0071] 第二层：3V'I=4.242,进1取整为5,为奇数，则大小为5*5 ;
[0072] 第三层：5VI二7.07,进1取整为8, 8不是奇数，加1，则大小为9*9 ;
[0073] 第四层：9λ/^=12.72,超出11，已是最后一层，大小就是11*11。
[0074] (3c)模糊核完成多层次的估计，大小扩充至指定的大小后，即得到最终的模糊核， 同时将它保存下来，模糊核k的估计完成。
[0075] 步骤4,最终图片恢复阶段。
[0076] (4a)利用步骤（3)中已经估计出来的模糊核k，采用一种非盲去卷积的方法，估计 得到最终的图像去模糊的结果。所用非盲去卷积方法的目标式如下：
[0077]
[0078] 其4
λ为常数，用于调节第一项重建误差的影 响；s为常数，用于调节后两项对y的约束程度；y为模糊图片，X为所求的清晰原图。若模 糊图片是彩色图像，则需要对彩色图片的三个通道都采用非盲去卷积处理，将三个通道的 结果组合起来得到最终的图像去模糊的结果。
[0079] (4b)以两种评价指标即SS頂和PSNR，与其他方法作比较。
[0080] 将得到的结果采用有参考的方法，计算得到它的SS頂与PSNR值，并将这些值与其 他方法得到的结果的SS頂与PSNR值相比较，记录并绘制表格做出比较。
[0081] 本发明的效果可以通过以下实验做进一步的说明。
[0082] 1.仿真条件
[0083] 本发明是在中央处理器为 Intel(R)Core i3-3240 3. 4GHZ、内存 4G、WIND0WS 7 操 作系统上，运用MATLAB 2011a软件进行的仿真。
[0084] 实验中使用的图像数据为 Berkeley Segmentation Database (http://www. eec s. berkeley. edu/Research/Pro jects/CS/vision/grouping/segbench).选择其中 40 张图 片并用大小为7,11，15,19模糊核模糊，并叠加随机白噪声。
[0085] 2.仿真内容
[0086] 首先，选择部分图片，完成本发明的实验，证明其具有较好的去模糊能力。为了证 明算法的有效性，综合考虑算法的流行性、親新性，我们选取了 Shan，Krishnan和Xu的方法 进行比较。其中 Shan 的方法是在文献"Q. Shan, J. Jia, A. Agarwala, High-quality motion deblurring from a single image. ACM Transactions on Graphics 27 (3) : 73, 2008'，中 提出的。Krishnan 的方'法是在文南犬"D. Krishnan, R. Fergus, Fast image deconvolution using hyper-laplacian priors. Advances in Neural Information Processing Systems，pages 1033 - 1041，2009" 中作了详细说明。Xu 的方法在文献"L. Xu, S. Zheng, J. Jia.Unnatural LOsparse representation for natural image deblurring. IEEE International Conference Image Processing, pages 1107 - 1114, 2013'，中提出。
[0087] 从中选择部分图片，用本发明提出的方法与其他三种对比方法对这些图片进行去 模糊操作，并将恢复得到的结果用有参考的图像质量评价指标SSIM与PSNR进行比较，比较 结果如表1与表2所示。
[0088] 表1.三种对比方法与本发明恢复结果的SS頂值。
[0089]
[0090] 表2.三种对比方法与本发明恢复结果的PSNR值。
[0091]
[0092] 从表1与表2中可以看出本发明的模糊恢复结果比其他三种方法的恢复结果的 SS頂与PSNR中都要较好一点，因为本发明克服了以往方法没有考虑的去卷积过程对原始 像素之间关联的破坏这一缺陷，这也从而证明了本发明的优势。
【主权项】
1. 一种基于局部约束的图像盲去模糊方法，其特征在于：包括W下步骤： 1】字典训练： 1.1】读入待处理的模糊图片，若是彩色图片则先将其转成灰度图片，然后将其转化成 指定维数的矩阵； 1.2】设定训练参数后开始训练模糊图片的矩阵，得到模糊图片的过完备字典D ;所述 训练参数包括字典大小、训练初始值和训练方式； 2】预处理： 2. 1】读入待处理的模糊图片，若是彩色图片则先将其转成灰度图片； 2. 2】设定截取窗口 [a b C d]，W图片的左上角为原点截取一个图片块；其中，a和C 用于控制截取高度，b和d用于控制截取宽度；a小于c，b小于d，截取窗口的大小小于图片 的大小；使用梯度算子提取图片块的梯度特征； 2. 3】设定循环迭代次数和最终模糊核的大小K*K，K为奇数； 3】模糊核估计： 3. 1】设定模糊核k的初始值，其大小为n*n，n为奇数；清晰原图X由步骤2. 2】中截取 的图片块初始化得到；稀疏系数a由X = Da初始化得到； 3. 2】单独一层的模糊核的估计求解： 包含S个变景k、a和X的完整的目标式为：(1 ) 其中山二 exp (dist (X i，D) / O )，dist Ui, D) = [dist Ui,化），...，dist Ui, Dm) ]T，dist 为欧氏距离；O为常数，用于调节权值衰减速度；A I和A 2为常数，用于调节约束大小，使 结果保持稳定； 采用W下迭代策略：固定=个变量k、a和X中的两个，W第=个变量为未知变量，去除 此时目标式中与未知变量无关的项，将公式（1)分别简化分割为=个子目标式：(13) 分别求出=个变量，如此往复，迭代设定的循环迭代次数后，完成本层下的模糊核k的 估计； 3. 3】模糊核向下一层扩展变大： 将n扩大^/^<倍后加1取整得到M，若M不是奇数则再加1得到N ; 将步骤3. 2】得到的模糊核k采用双线性插值法扩充至N*N后作为当前模糊核k的初 始值； 3. 4】若N小于K，执行步骤3. 1】-3. 3】； 若N大于等于K，则W当前模糊核k作为最终模糊核； 4】图片恢复： 利用步骤3. 4】中得到的模糊核k，采用非盲去卷积方法得到最终的图像去模糊结果； 所述非盲去卷积方法的目标式为：(，用于调节第一项重建误差的影响；S 为常数，用于调节后两项对y的约束程度；y为模糊图片，X为所求的清晰原图； 若模糊图片是彩色图像，则对彩色图片的S个通道均采用非盲去卷积方法进行处理， 将=个通道的结果组合后得到最终的图像去模糊结果。2. 根据权利要求1所述的基于局部约束的图像盲去模糊方法，其特征在于：所述步骤 1】中的字典训练方法为K-SVD算法。3. 根据权利要求1或2所述的基于局部约束的图像盲去模糊方法，其特征在于：所述 步骤1. 1】中的矩阵的转化方式为： 将所述灰度图片分割成N个4*4大小的小块，将每一个小块拉成16*1的列矩阵后再组 成一个16*N大小的矩阵。4. 根据权利要求3所述的基于局部约束的图像盲去模糊方法，其特征在于： 所述步骤1. 2】中的字典大小设定为16*1024,训练初始值设定为输入矩阵本身。5. 根据权利要求4所述的基于局部约束的图像盲去模糊方法，其特征在于：所述步骤 2. 2】中的梯度算子为dx = [-11 ;00]和dy = [-10 ;10]。6. 根据权利要求5所述的基于局部约束的图像盲去模糊方法，其特征在于：所述步骤 3. 1】中的n取值为3。7. 根据权利要求6所述的基于局部约束的图像盲去模糊方法，其特征在于：所述步骤 3. 2】中的O取值为5 ;所述步骤4】中的A取值为3000, S取值为0. 8。
【文档编号】G06T5/00GK106033595SQ201510112076
【公开日】2016年10月19日
【申请日】2015年3月13日
【发明人】李学龙, 卢孝强, 张琦
【申请人】中国科学院西安光学精密机械研究所