基于空域和时域联合滤波的多帧数字图像去噪方法
【专利摘要】本发明公开了一种基于空域和时域联合滤波的多帧数字图像去噪方法。其方案是：输入低光照环境下采集的同一场景的多帧数字图像；选取多帧图像中最清晰的一张作为基准图像；对多帧数字图像进行全局和局部配准；以基准图像为参考，在空域和时间域中建立与基准图像中局部区域相似的相似组，并采用相似组对基准图像中的局部区域进行协同滤波；利用滤波后图像中的亮度信息以及像素分布信息，对滤波后图像依次进行颜色校正和对比度增强，得到去噪后的图像。本发明能有效抑制数字图像中的噪声和运动模糊等因素对于图像质量的影响，并在抑制噪声的同时有效的保留图像中的细节纹理，可用于提高低光照环境下数字图像采集设备中的图像质量。
【专利说明】基于空域和时域联合滤波的多帧数字图像去噪方法
【技术领域】
[0001]本发明属于图像处理【技术领域】，特别是涉及图像去噪方法，可用于消费类数字图像采集设备、医学影像、天文影像以及环境变化评估等领域的数字图像预处理。
【背景技术】
[0002]图像去噪是图像处理领域的一个热点问题，也是一个极具挑战的研究方向。图像中的噪声会阻碍人们对图像内容的理解，采用图像去噪可以有效的抑制图像中噪声对图像质量的影响，提高人们对图像内容的认知程度，以便对图像作进一步的处理。
[0003]根据数字图像的特点及其统计特性，多年来已经有很多学者提出了多种不同的去噪算法，按照其实现方法大致可以分为空域和频域两类，且其中大多都是基于图像局部信息的平滑处理。基于图像局部信息的平滑处理会使图像丢失很多细节信息，去噪效果十分不理想。2005年A.Buades，B.Coll等人对双边滤波去噪算法进行了改进，提出了一种非局部均值滤波的去噪方法。该方法打破了以往采用的图像空间域中“局部平滑”的思想，转而利用自然图像中广泛存在的“非局部”的空域相似性，通过在整幅图像中搜索相似块进行加权平均，以达到抑制噪声的效果。2007年,K.Dabov, Alessandro Foi等人在非局部均值图像去噪方法的基础上，提出一种块匹配三维协同滤波的去噪方法。该方法结合了图像空域的非局部相似性和频域中的稀疏性，在获取空域相似块的基础上，对多个空域相似块构成的分组在频域中进行三维协同滤波，可以在有效抑制图像噪声的同时尽可能的保留图像中的细节信息，是目前公认的性能较好的图像去噪方法。然而，对于单帧的图像去噪问题而言，在未知噪声统计特性的前提下从噪声图像中恢复出原始的无噪声目标图像，必须在一定的约束条件之下才可以获得近似的最优解。已有的方法大都将对图像中噪声的统计特性进行理想的先验性假设作为求解近似最优解的约束条件，由于与实际数字图像采集设备所获取的自然场景图像中的噪声统计特性存在较大差异，因而去噪效果并不理想。
[0004]相比于单帧图像，使用针对同一场景的多帧图像可以提供更为丰富的时域信息，进而为图像去噪研究提供了新的思路。对于低光照环境下基于多帧的图像去噪，为了避免由于长时间曝光所导致的各帧图像中的运动模糊，要求所采集的针对同一场景的多帧图像必须是在较短的曝光时间内获取的，而较短的曝光时间势必会由于进光量减少导致图像中的噪声强度显著增强。这种情况下，如何有效的利用多帧图像中的空域和时域相似性来抑制噪声的影响，是一项非常复杂而又富有挑战性的工作。此外，由于拍摄者手部的抖动所造成的多帧图像之间存在相对位移，以及场景中的局部运动所导致的图像局部模糊，都为使用多帧图像去噪设置了障碍。直接将已有的用于单帧的图像去噪方法扩展到多帧图像去噪，由于没有充分利用多帧图像所提供的丰富的时域信息，同时不能很好的解决上述的多帧图像之间的相对位移和场景中局部运动对图像质量造成的影响，因而很难获得理想的去噪效果。
【发明内容】
[0005]本发明的目的在于针对上述已有技术的不足，提出一种基于空域和时域联合滤波的多帧数字图像去噪方法，在抑制噪声的同时消除低光照环境下多帧图像之间的相对位移和场景中局部运动所导致的图像模糊，提高图像的去噪效果，增强图像的主观质量。
[0006]本发明目的技术方案是:通过对低光照环境下采集的多帧图像进行全局和局部配准，分析和判别场景中的局部运动区域，利用局部运动区域的清晰度测度和多帧图像的时域相关性消除运动模糊；结合多帧图像的空域和时域相似性对图像进行空域和时域的融合滤波，抑制图像中的噪声；结合场景的亮度特性对去噪图像进行颜色校正和进行对比度增强，实现多帧图像去噪。其实现步骤包括如下:
[0007](I)输入N帧低光照环境下采集的针对同一场景的自然图像Zi, i=l, 2,…，N ;
[0008](2)计算各帧图像的平均水平梯度g h和平均垂直梯度€ ,，将g h与G之和作
为图像清晰度测度Gi，选取Gi最大的一帧，作为参考图像％，I≤R≤N，并将该参考图像的清晰度测度记为Gmax ；
[0009](3)计算各帧图像相对于参考图像Zr的全局运动矢量Vi ;
[0010](4)计算各帧图像清晰度测度Gi与参考图像清晰度测度Gmax的比值Ri，将Ri大于阈值0.99所对应的第i帧图像记为候选参考图像V，计算各帧图像相对于该候选参考图
像V的候选全局运动矢量
[0011](5)计算全局运动矢量Vi和候选全局运动矢量0的测度，并依据该测度从参考图像％和候选参考图像Zy中选取基准图像并将该基准图像毛对应的全局运动矢量作为基准全局运动矢量R ；
[0012](6)将输入的各帧图像都划分成大小相同的J个搜索块，利用上述基准全局运动矢量^，计算各帧图像中每个搜索块相对于基准图像毛中对应搜索块的局部运动矢量Vij, I < i < N 且 i 关 S，I < j < J ;
[0013](7)将各帧图像中的每个搜索块都划分为大小相同的Q个融合块，使用步骤(6)中所得局部运动矢量Vi，在基准图像&中找出与各帧图像中的每个融合块所对应的基准融合块，选取各帧图像中与同一基准融合块对应的融合块构成时域融合块组；
[0014](8)分别计算每个时域融合块组中每个融合块与其对应基准融合块的像素差值，并将这些像素差值的平均值作为该时域融合块组中每个融合块与其对应基准融合块的时域相似性测度δ iJk, I≤i≤N且i关s，l≤j≤J，1≤k≤Q;
[0015](9)依据步骤(8)中所得的时域相似性测度δ u k，计算时域滤波权值ω。k:.1 K」」和16
【权利要求】
1.一种基于空域和时域联合滤波的多帧数字图像去噪方法，包括如下步骤: (1)输入N帧低光照环境下采集的针对同一场景的自然图像Zi,i=l, 2，…，N ; (2)计算各帧图像的平均水平梯度和平均垂直梯度I,,，将与I,之和作为图像清晰度测度Gi，选取Gi最大的一帧，作为参考图像％，I < r < N，并将该参考图像的清晰度测度记为Gmax ； (3)计算各帧图像相对于参考图像％的全局运动矢量Vi； (4)计算各帧图像清晰度测度Gi与参考图像清晰度测度Gmax的比值Ri，将Ri大于阈值0.99所对应的第i帧图像记为候选参考图像Zr，，计算各帧图像相对于该候选参考图像Zr的候选全局运动矢量； (5)计算全局运动矢量Vi和候选全局运动矢量K的测度，并依据该测度从参考图像％和候选参考图像V中选取基准图像毛，1^.V，并将该基准图像I对应的全局运动矢量作为基准全局运动矢量「 (6)将输入的各帧图像都划分成大小相同的J个搜索块，利用上述基准全局运动矢量I计算各帧图像中每个搜索块相对于基准图像中对应搜索块的局部运动矢量Vij, 1≤ i ≤ N 且 i = S，1 ≤ j ≤J ; (7)将各帧图像中的每个搜索块都划分为大小相同的Q个融合块，使用步骤(6)中所得局部运动矢量Vu，在基准图像&中找出与各帧图像中的每个融合块所对应的基准融合块，选取各帧图像中与同一基准融合块对应的融合块构成时域融合块组； (8)分别计算每个时域融合块组中每个融合块与其对应基准融合块的像素差值，并将这些像素差值的平均值作为该时域融合块组中每个融合块与其对应基准融合块的时域相似性测度S iJk, 1≤ i ≤ N 且 i = S，1 ≤ j ≤J，K≤Q; (9)依据步骤(8)中所得的时域相似性测度δu k，计算时域融合滤波权值coijk:
2.根据权利要求1中所述的基于空域和时域联合滤波的多帧数字图像去噪方法，其中步骤(2)所述的计算各帧图像的平均水平梯度和平均垂直梯度，利用如下公式计算:
3.根据权利要求1中所述的基于空域和时域联合滤波的多帧数字图像去噪方法，其中步骤(3)所述的计算各帧图像相对于参考图像％的全局运动矢量Vi，按照如下步骤进行: (3.1)对输入的N帧图像Zi, i=l, 2，…，N进行M级下采样，记Zi的各级下采样图像分别为Znl」，记参考图像Zr的各级下采样图像为Zni r，I ^ m ^ M ; (3.2)使用输入图像Zi的第M级下采样图像ZM i相对于参考图像Zr的第M级下采样图像ZM—r进行全图运动搜索，选取使均方误差最小的运动矢量作为下采样图像Zsu相对于参考图像％的下采样图像Zm-的第M级全局运动矢量VM i ; (3.3)以第M级全局运动矢量Vsu所指向的参考图像Zr的第M-1级下采样图像Zsh r中的像素位置为中心，使用输入图像Zi的第M-1级下采样图像zM i相对于所述中心的3X3像素大小邻域内进行运动搜索，选取使均方误差最小的运动矢量对第M级全局运动矢量Vmi修正，作为下采样图像Zm-U相对于参考图像Zr的下采样图像Ziw i的第M-1级全局运动矢量 VM-Li ； (3.4)依照步骤(3.3)对全局运动矢量Vm」进行逐级修正，直至获得输入图像Zi相对于参考图像％的全局运动矢量\。
4.根据权利要求1中所述的基于空域和时域联合滤波的多帧数字图像去噪方法，其中步骤(5)所述的选取基准图像&和基准全局运动矢量6，按照如下步骤进行: (5.1)计算各帧图像清晰度测度Gi与参考图像清晰度测度Gmax的比值Ri,与阈值0.875相比较，若满足:
Ri<0.875， 则判定该比值Ri对应的第i帧图像Zi为模糊图像，并从输入的N帧图像中剔除该比值Ri对应的第i帧图像，保留剩余图像用于后续处理，记剩余图像的帧数为N’ ； (5.2)根据全局运动矢量Vi的水平分量Vi h与垂直分量Vi v，计算全局运动矢量测度Sr: 根据候选全局运动矢量^的水平分量< 和垂直分量匕,，计算全局运动矢量测度Sf: (5.3)比较全局运动矢量测度&和Sp若满足条件:
Sr〈Sr’+25，则选取候选参考图像V为基准图像毛，并选取与Zf对应的全局运动矢量^作为基准全局运动矢量^，否则选取参考图像Zr为基准图像I，并选取与Zr对应的全局运动矢量Vi作为基准全局运动矢量6。
5.根据权利要求1中所述的基于空域和时域联合滤波的多帧数字图像去噪方法，其中步骤(6)所述计算各帧图像中每个搜索块相对于基准图像4中对应搜索块的局部运动矢量Vi j,按照如下步骤进行: (6.1)将输入的N帧图像Zi，i=l，2，…，N都划分成大小相同的J个搜索块，记第i帧输入图像Zi的第j个搜索块为Bu，记基准图像A中的第j个搜索块为基准搜索块Bsj, I ^ j ^ J ; (6.2)以基准全局运动矢量K所指向基准搜索块Bs j中的像素位置为中心，使用输入图像Zi的第j个搜索块Bi j在该中心的5X5像素大小邻域内进行运动搜索，以均方误差最小为准则对基准全局运动矢量^进行修正，获得搜索块Bu相对于基准搜索块Bs」的局部运动矢量Vu。
6.根据权利要求1所述的基于空域和时域联合滤波的多帧数字图像去噪方法，其中所述步骤(13)中对时域融合图像&进行单帧空域非局部均值滤波，按照如下步骤进行: (13.1)对时域融合图像&的亮度分量Yfu进行I级下采样，得到下采样图像Y1 fu ；(13.2)依照非局部均值滤波算法，设定下采样图像Y1 fu中的相似块大小为5X5像素，搜索窗的范围为7X7像素； (13.3)设A(p)表示以P为中心像素的相似块，设B(p)表示以P为中心像素的搜索窗，设A(q)表示以q为中心像素的B(p)中的相似块，对B(p)内的像素进行遍历，计算像素P的非局部均值滤波权值:
7.根据权利要求1中所述的基于空域和时域联合滤波的多帧数字图像去噪方法，所述步骤(14)中利用平均亮度？对空域滤波图像Zf进行亮度校正和颜色校正，按如下步骤进行: (14.1)根据空域滤波图像Zf的平均亮度5按照如下公式生成亮度校正曲线:
8.根据权利要求1中所述的基于空域和时域联合滤波的多帧数字图像去噪方法，其中所述步骤(14)中对校正图像ζ。的进行局部对比度增强，按照如下步骤进行: (14a)对校正图像ζ。进行高斯滤波，得到校正图像ζ。的高斯滤波结果图像Zg ； (14b)利用高斯滤波结果图像Zg中的坐标为(x，y)的像素qg(x，y)，计算校正图像ζ。中像素q(x，y)的局部对比度增强结果
【文档编号】G06T5/50GK103606132SQ201310530861
【公开日】2014年2月26日 申请日期:2013年10月31日 优先权日:2013年10月31日
【发明者】李鹏, 杨付正, 贺竞 申请人:西安电子科技大学