一种快速数字成像模糊鉴别与复原图像质量评估方法
【专利摘要】一种快速数字成像模糊鉴别与复原图像质量评估方法，本发明涉及模糊鉴别与复原图像质量评估方法。本发明是要解决现有方法实时性能差，不能对模糊图像和清晰图像进行有效鉴别，不能对图像复原结果进行有效评价，模糊复原处理后输出结果不稳定的问题，该方法是通过1获得梯度图像G(i,j)；2计算平均灰度梯度值；3获得梯度图像的统计分布信息；4对BIM进行阈值判定；5得到复原图像；6生成参考图像F1和D1；7计算参考图像和待评价图像的亮度相似度、对比度相似度和结构相似度；8计算g(F(i,j),F1)和g(D(i,j),D1)；9得到无参考图像评价指标；10对无参考图像评价指标进行判断；等步骤实现的。本发明应用于模糊鉴别与复原图像质量评估领域。
【专利说明】一种快速数字成像模糊鉴别与复原图像质量评估方法
【技术领域】
[0001] 本发明涉及图像质量评估领域，特别涉及模糊鉴别与复原图像质量评估领域。
【背景技术】
[0002] 在数码相机成像时，镜头和成像场景之间的相对运动或者镜头散焦均会导致采集 到的图像或视频模糊，造成图像的对比度降低、边缘和内部细节信息减弱，影响图像质量， 使得视觉直观以及数字图像信息处理系统难以准确地检测出图像中的感兴趣区域，严重影 响对所获取的图像和视频信息的分析和理解。一般通过数字模糊图像复原系统可以在一定 程度上改善图像质量，恢复出一部分边缘和图像内部细节信息。但在很多情况下，受制于图 像先验信息的缺乏以及复原算法的缺陷，这种复原过程可能产生更多如振铃效应等的人工 痕迹，导致经过数字复原处理后的图像质量甚至不如未处理的图像。因此，对于一个具有真 正实用性的数字图像复原系统，在对成像模糊图像进行数字复原前后，必须实施两个关键 性的处理环节，即对获取的图像是否存在成像模糊进行鉴别，同时在对模糊图像进行复原 处理后进行图像质量评价，确保图像复原以后得到质量更好的图像或视频。前述两个信息 处理环节能否有效工作对于数字成像模糊复原方法能否真正应用实际系统具有重要作用， 在民用智能视频监控系统、智能交通管理系统等以及军事应用中如成像侦察系统、空间光 学遥感和导弹成像制导领域中都具有重要的应用价值。
[0003] 在现有的数字图像模糊复原系统以及正在研究的图像模糊复原方法中，几乎都没 有模糊鉴别这一步骤，通常都是直接对图像进行复原，这样会存在如下两个问题：
[0004] 1)在实时视频处理中，每一帧的图像受帧率限制只有极短的处理时间，民用领域 一般帧率在20?30之间，即每帧只有30?50ms的处理时间，而军用领域帧率为50?60， 每帧只有15?20ms的处理时间。而现有的复原算法大多采用迭代的方式进行，实时性差， 即使优化得较好的复原算法对同样尺寸的视频每帧的处理时间也接近40ms，实际应用中图 像模糊复原一般只是作为预处理环节，在每一帧图像的处理时间中还要进行如目标检测、 识别、跟踪等任务，如果进行模糊鉴别则可以将图像模糊的复原时间用于后续任务，更利于 实时视频处理任务的实现（而不是提高单帧处理速度），如果不加判别就对图像进行处理 将会造成计算资源的极大浪费，很难达到实时性要求。
[0005] 2)在实际的视频处理中，并非每一帧图像都是模糊的，对于清晰图像，如果进行模 糊复原处理，反而会引入如振铃效应等部分人工痕迹，处理后的图像帧质量相对于未处理 时反而下降，严重影响模糊复原系统的有效性和可靠性。
[0006] 在图像模糊复原过后，为了评价复原算法效果，需要对复原图像进行质量评估，从 而确保得到质量提高的复原图像。由于没有清晰图像作为参考图像，只能进行无参考图像 质量评价。目前无参考图像质量评价主要有两类方法，一是简单的计算图像的梯度信息，如 梯度幅值、边缘宽度、边缘锐度等，这类指标由于没有综合考虑图像亮度、对比度等因素，评 价结果比较片面，特别是对复原图像的振铃效应很难识别；二是采用学习机制，通过大量的 样本进行训练，得出评价结果，由于样本不可能包括所有情况，这种方法的性能取决于样本 大大小，一旦样本较少就会出现数据欠拟合的情况，如果训练中对分类精度要求较高则会 出现数据的过拟合，不管出现那种情况，都会导致图像评价结果不准确，模糊复原处理后输 出结果不稳定，不能用于实际系统。
[0007] 中国专利CN101996406A提出了一种基于结构清晰度的指标来进行无参考质量评 价，这种指标是在结构相似度指标上进行改进，结构相似度是一种全参考图像质量评价指 标，通过计算两幅图像在亮度、对比度和结构度三个方面的信息对两幅图像的相似度进行 衡量，如果其中一幅图像为清晰图像，则可得出另一幅图像的评价质量，但这种指标没有考 虑梯度信息，无法用于模糊图像的质量评价。该专利通过计算梯度图像的结构相似度来刻 画边缘的影响，但由于三项指标均用的梯度图像，反映的是梯度图像相似信息，并不能很好 的评价原图像的相似性，也就得不到一个客观的评价结果。
[0008] -种典型的无参考图像质量评价指标为平均灰度梯度GMG(GrayMean Gradients)，这种方法通过计算灰度图像的平均梯度值作为衡量图像质量的标准，这种方 法计算指标单一，没有考虑图像的亮度、对比度等信息，也没有考虑像素之间的相关性。另 夕卜，当图像中出现人工痕迹如振铃效应等情况时，会导致图像的平均梯度变大，而事实是图 像质量下降，也就得不到一个客观的评价结果，GMG指标不能处理这类在模糊复原中经常遇 到的情况。
【发明内容】
[0009] 本发明的目的是为了解决目前现有方法实时性能差，不能对模糊图像和清晰图像 进行有效鉴别，不能对图像复原结果进行有效评价，模糊复原处理后输出结果不稳定的问 题，而提出一种快速数字成像模糊鉴别与复原图像质量评估方法。
[0010] 上述的发明目的是通过以下技术方案实现的：
[0011] 步骤一：输入灰度模糊图像F(i，j)，获得灰度模糊图像F(i，j)的尺寸MXN，计算 灰灰度模糊图像F(i，j)的水平梯度图像&(1，j)和垂直梯度图像和Gy(i，j)，从而获得梯 度图像G(i，j);其中，M为图像的宽度，N为图像的高度；
[0012] 步骤二：计算图像F(i，j)的平均灰度梯度值GMG;
[0013] 步骤三：计算梯度图像G(i，j)的直方图h，通过对直方图h进行遍历，获得梯度图 像的统计分布信息NGN;
[0014] 步骤四：根据步骤二及步骤三得到的GMG和NGN进行乘积运算，得到综合的模糊鉴 别指标BIM;对得到的BIM进行阈值判定，如果BIM大于预定的阈值T，则判定为清晰图像直 接输出；如果小于预定的阈值T，则将F(i，j)转入步骤五；其中，阈值T根据对清晰图 像和模糊图像统计分析得到；
[0015] 步骤五：对灰度模糊图像F(i，j)采用典型的图像盲复原算法进行复原操作，得到 复原图像D(i，j);
[0016] 步骤六：使用大小为mXm，方差为〇 2的高斯模糊核对灰度模糊图像F(i，j)和复 原图像D(i，j)进行二次模糊生成F(i，j)的参考图像F1和D(i，j)的参考图像D1 ;其中， 二次模糊使用高斯模糊，m为模糊核的尺寸；
[0017] 步骤七：根据F(i，j)、FI、D(i，j)和D1计算参考图像和待评价图像的亮度相似 度、对比度相似度和结构相似度；其中，待评价图像为F(i，j)和D(i，j);参考图像为F1和 D1 ;参考图像和待评价图像的亮度相似度包括l(F(i，j)，Fl)和l(D(i，j)，Dl);参考图像和 待评价图像的对比度相似度c(F(i，j)，Fl)和c(D(i，j)，Dl);参考图像和待评价图像的结 构相似度s(F(i，j)，Fl)和s(D(i，j)，Dl) ;l(F(i，j)，Fl)为两幅图像F(i，j)和F1 的亮度 相似度、l〇(i，j)，Dl)为两幅图像D(i，j)和D1的亮度相似度、c(F(i，j)，Fl)为两幅图像 F(i，j)和F1的对比度相似度；c(D(i，j)，Dl)为两幅图像D(i，j)和D1的对比度相似度； s(F(i，j)，Fl)为两幅图像F(i，j)和F1的结构相似度；s(D(i，j)，Dl)为两幅图像D(i，j) 和D1的结构相似度；
[0018] 步骤八：分别计算参考图像和待评价图像的梯度图像gF，gF1，gD，gD1，利用梯度图像 分别计算两幅图像的梯度相似度g(F(i，j)，Fl)和g(D(i，j)，Dl);其中，gFSF(i，j)的梯度 图像，gF1为FI的梯度图像，gD为D(i，j)的梯度图像；gD1为D1的梯度图像；g(F(i，j)，Fl) 为两幅图像F(i，j)和F1梯度相似度；g(D(i，j)，Dl)为两幅图像D(i，j)和D1的梯度相似 度；
[0019] 步骤九：根据参考图像和待评价图像的亮度相似度、对比度相似度、结构相似度 和梯度相似度计算改进的结构相似度指标ISSIM，将改进的结构相似度指标ISSIM分块求 得M个ISSIM指标再取其平均值得到MISSM，根据MISSIM计算得到无参考图像评价指标 INRSS;其中，得到的MISS頂具体包括MISSM(F(i，j)，Fl)和MISSM(D(i，j)，Dl);改进的 结构相似度指标ISSIM包括两幅图像F(i，j)和F1的梯度相似度指标ISSIM(F(i，j)，FI) 和两幅图像〇(1，」）和01的梯度相似度指标155頂(0(1，」)，01);
[0020] 所述的改进的结构相似度指标ISSIM的计算公式为：
[0021] ISSIM(F(i,j),Fl) = [l(F(i,j),FI) ]a[c(F(i,j),FI) ] 0[s(F(i,j),Fl)] ￥[g(F(i,j),Fl)]A ；
[0022] ISSIM(D(i,j),Dl) = [l(D(i,j),Dl) ]a[c(D(i,j),Dl) ] 0[s(D(i,j),Dl)] ￥[g(D(i,j),Dl)]A
[0023] 其中，a, @ ,y，X为各项权重；
[0024] 步骤十：根据步骤九得到的无参考图像评价指标INRSS进行判断，INRSSDINRSS2 则说明质量没有改善，则模糊复原系统输出灰度模糊图像F(i，j)，否则说明图像质量得到 改善输出复原图像D(i，j);其中，
【权利要求】
1. 一种快速数字成像模糊鉴别与复原图像质量评估方法，其特征在于：一种快速数字 成像模糊鉴别与复原图像质量评估方法具体是按以下步骤进行的： 步骤一：输入灰度模糊图像F(i，j)，获得灰度模糊图像F(i，j)的尺寸MXN，计算灰灰 度模糊图像F(i，j)的水平梯度图像Gx(i，j)和垂直梯度图像和Gy(i，j)，从而获得梯度图 像G(i，j);其中，M为图像的宽度，N为图像的高度； 步骤二：计算图像F(i，j)的平均灰度梯度值GMG; 步骤三：计算梯度图像G(i，j)的直方图h，通过对直方图h进行遍历，获得梯度图像的 统计分布信息NGN; 步骤四：根据步骤二及步骤三得到的GMG和NGN进行乘积运算，得到综合的模糊鉴别指 标BIM;对得到的BIM进行阈值判定，如果BIM大于预定的阈值T，则判定为清晰图像直接输 出；如果BIM小于预定的阈值T，则将F(i，j)转入步骤五；其中，阈值T根据对清晰图像和 模糊图像统计分析得到； 步骤五：对灰度模糊图像F(i，j)采用典型的图像盲复原算法进行复原操作，得到复原 图像D(i,j); 步骤六：使用大小为mXm，方差为〇 2的高斯模糊核对灰度模糊图像F(i，j)和复原图 像D(i，j)进行二次模糊生成F(i，j)的参考图像F1和D(i，j)的参考图像D1;其中，二次 模糊使用高斯模糊，m为模糊核的尺寸； 步骤七：根据F(i，j)、FI、D(i，j)和D1计算参考图像和待评价图像的亮度相似度、对 比度相似度和结构相似度；其中，待评价图像为F(i，j)和D(i，j);参考图像为F1和D1 ; 参考图像和待评价图像的亮度相似度包括l(F(i，j)，Fl)和l(D(i，j)，Dl);参考图像和待 评价图像的对比度相似度c(F(i，j)，F1)和c(D(i，j)，D1);参考图像和待评价图像的结构 相似度s(F(i，j)，Fl)和s(D(i，j)，Dl) ;l(F(i，j)，Fl)为两幅图像F(i，j)和F1 的亮度相 似度、l〇(i，j)，Dl)为两幅图像D(i，j)和D1的亮度相似度、c(F(i，j)，Fl)为两幅图像 F(i，j)和F1的对比度相似度；c(D(i，j)，Dl)为两幅图像D(i，j)和D1的对比度相似度； s(F(i，j)，Fl)为两幅图像F(i，j)和F1的结构相似度；s(D(i，j)，Dl)为两幅图像D(i，j) 和D1的结构相似度； 步骤八：分别计算参考图像和待评价图像的梯度图像gF，gF1，gD，gD1，利用梯度图像分别 计算两幅图像的梯度相似度g(F(i，j)，Fl)和g(D(i，j)，Dl);其中，gFSF(i，j)的梯度图 像，gF1为F1的梯度图像，gD为D(i，j)的梯度图像；gD1为D1的梯度图像；g(F(i，j)，Fl)为 两幅图像F(i，j)和F1梯度相似度；g(D(i，j)，Dl)为两幅图像D(i，j)和D1的梯度相似度； 步骤九：根据参考图像和待评价图像的亮度相似度、对比度相似度、结构相似度和梯度 相似度计算改进的结构相似度指标ISSIM，将改进的结构相似度指标ISSIM分块求得M个 ISS頂指标再取其平均值得到MISSIM，根据MISS頂计算得到无参考图像评价指标INRSS; 其中，得到的MISSM具体包括MISSM(F(i，j)，Fl)和MISSM(D(i，j)，Dl);改进的结构相 似度指标ISSIM包括两幅图像F(i，j)和F1的梯度相似度指标ISSIM(F(i，j)，Fl)和两幅 图像〇(1，」）和01的梯度相似度指标155頂(0(1，」)，01);所述的改进的结构相似度指标 ISSIM的计算公式为： ISSIM(F(i,j),FI)=[1 (F(i,j),FI)]a [c(F(i,j),FI)]0[s(F(i,j),FI)] ￥[g(F(i,j),Fl)]A； ISSIM(D(i,j),Dl) = [l(D(i,j),Dl)]a [c(D(i,j),Dl)] 0 [s(D(i,j),Dl)] ￥[g(D(i,j),Dl)]A 其中，a, 0y,X为各项权重； 步骤十：根据步骤九得到的无参考图像评价指标INRSS进行判断，INRSSDINRSS2则说 明质量没有改善，则模糊复原系统输出灰度模糊图像F(i，j)，否则说明图像质量得到改善 输出复原图像D(i，j);其中，
；即完成了一种快速数字成像 模糊鉴别与复原图像质量评估方法。
2. 根据权利要求1所述一种快速数字成像模糊鉴别与复原图像质量评估方法，其特征 在于：步骤一中获得梯度图像G(i，j)，计算公式如下：
，其中，i，j分别为图像像素点对应的横、纵坐标值。
3. 根据权利要求1所述一种快速数字成像模糊鉴别与复原图像质量评估方法，其特征 在于：步骤二中计算图像F(i，j)的平均灰度梯度值GMG公式如下：
其中，M灰度模糊图像F(i，j)长度，N灰度模糊图像F(i，j)的宽度。
4. 根据权利要求1所述一种快速数字成像模糊鉴别与复原图像质量评估方法，其特征 在于：步骤三中获得h中的非零灰度等级数NGN，计算公式如下： h=hist(G(i,j)) NGN=num(hi^ 0) 式中，hist表示直方图运算；hi为h中第i个灰度级对应的像素数。
5. 根据权利要求1所述一种快速数字成像模糊鉴别与复原图像质量评估方法，其特征 在于：步骤五中对灰度模糊图像F(i，j)采用典型的图像盲复原算法采用全变分正则化方 法进行盲复原，其复原目标函数如下：
其中，k为未知模糊核，f为未知清晰图像，?为卷积运算，X，f为可调参数，GXS 水平梯度图像，Gy为垂直梯度图像，通过交替求解上述复原目标函数即可最终的复原图像D(i，j)。
6. 根据权利要求1所述一种快速数字成像模糊鉴别与复原图像质量评估方法，其特征 在于：步骤七中计算参考图像和待评价图像的亮度相似度、对比度相似度和结构相似度的 具体过程为： 分别对F(i，j)、FI、D(i，j)和D1 计算亮度相似度 1 (F(i，j)，FI)，1(D(i，j)，D1)、对比 度相似度c(F(i，j)，FI)，c(D(i，j)，Dl)和结构相似度s(F(i，j)，FI)，s(D(i，j)，Dl)，计算 公式如下：
其中，UFSF(i，j)图像灰度值的均值，yF1SFl图像灰度值的均值，为D(i，j)图 像灰度值的均值，UD1为Dl图像灰度值的均值，〇F为F(i，j)图像灰度值的的方差，〇 F1为 F1图像灰度值的的方差，〇DSD(i，j)图像灰度值的的方差，〇D1为D1图像灰度值的的方 差，〇FF1为F(i，j)和F1图像的灰度值的协方差，〇DD1为D(i，j)图像和D1图像灰度值的 协方差，C: =(klXL)，C2= (k2XL)，kl= 0.01,k2 = 0? 03，L为像素灰度级。
7. 根据权利要求1所述一种快速数字成像模糊鉴别与复原图像质量评估方法，其特征 在于：步骤八中分别计算参考图像和待评价图像的梯度图像gF，gF1，gD，gD1，利用梯度图像分 别计算两幅图像的梯度相似度g(F(i，j)，Fl)和g(D(i，j)，Dl)具体过程为： 分别对F(i,j)，F1和D(i,j)，Dl计算梯度图像gF,gF1,gD,gD1，再计算梯度图像gF，gFi，gD，gDi的梯度相似度，计算公式如下：
其中，C4 = (k4XL)2,k4 = 0? 03,L为像素灰度级，C4为一常数。
8. 根据权利要求1所述一种快速数字成像模糊鉴别与复原图像质量评估方法，其特征 在于：步骤九中根据MISSIM计算得到无参考图像评价指标INRSS相关计算公式如下： (1)将图像分为M块分别得到其ISSIM指标；求得平均值MSSIM，即采用下式计算：
匕为灰度模糊图像F(i，j)中第i个子图像，Di复原后的图像D(i，j)中第i个子图像；Fli为参考图像F1中第i个子图像；Dh参考图像D1中第i个子图像； (2)获得改进的无参考评价指标INRSS，计算公式如下：INRSS1 =l-MISSM(F(i，j)，Fl)。 INRSS2 =l-MISSM(D(i，j)，Dl)。
【文档编号】G06T7/00GK104408707SQ201410592425
【公开日】2015年3月11日 申请日期:2014年10月28日 优先权日:2014年10月28日
【发明者】遆晓光, 尹磊 申请人:哈尔滨工业大学