一种基于伪3D变换的BM3D图像降噪方法与流程

本发明涉及bm3d图像降噪方法，具体涉及一种基于伪3d变换的bm3d图像降噪方法。

背景技术：

随着智慧城市、大数据等领域的发展，基于视频监控的智能交通、车牌自动识别处理技术也逐渐成为研究的热门课题，并得到广泛应用。视频作为信息最为丰富的信息源，其质量直接影响到监控系统的效果，并且在交通领域，视频中的车辆、车牌等信息有时候直接作为司法取证的有效辅助证据。由于交通领域的视频监控通常处于室外环境，由于受到复杂多变的成像环境，以及成像设备硬件等因素的干扰，视频图像都存在一定的噪声。尤其是光线不足情况下、或者长焦摄像头的近红外成像，其视频图像噪声特别强，导致视频质量严重衰减。因此，监控视频通常需要对其进行图像降噪处理，以改善图像质量、尽可能的保留图像中的有用信息。

图像降噪是图像处理领域中一项基本而又是十分关键的技术，一直是图像处理领域的一个难题，属于图像预处理的关键步骤。图像去噪目的是尽可能恢复图像原貌，改善图像质量，突出图像本身的特征，从而为后续图像处理的其它工作打下良好的基础。能够有效去除噪声直接影响到图像的视觉效果和后续的图像处理结果。

图像降噪方法主要有经典空域滤波方法、频域滤波方法、多尺度几何分析降噪方法、非局部降噪方法以及由非局部均值降噪方法改进的各种降噪方法和盲图像去噪方法。空域滤波方法一般先假定噪声为加性模型，然后利用图像像素之间的的空间相关性对噪声进行滤波，如均值滤波和中值滤波。传统的空域滤波处理具有良好的去噪性能，并且方法简单易于实现，从而得到了很好的应用。然而这些经典去噪方法具有一定的局限性，它们都是基于局部统计的自适应滤波，因此对图像的同质区域有着较好的去噪效果，在消除图像噪声的同时会平滑图像的纹理或者不能有效的去除边缘周围的噪声，图像结构信息、点线等目标会在一定程度上被模糊或滤除。近来，由buades等人提出的非局部均值滤波算法打破了局部邻域这一僵局，将传统的局部特征统计扩展到了非局部区域。局部算法通过计算像素点各自邻域间的欧氏距离，来判断像素点间的相似性，而没有对用于去除当前像素点噪声的大部分像素做任何假设。像素点间的欧氏距离可以用于判断邻域内的像素点与中心像素点的相似程度，并通过欧氏距离计算相似性权值，利用权值以及相似点对中心像素点加权平均得到去噪结果。非局部均值算法，将去噪从局部扩展到了非局部领域，提供了一个新的去噪思路。单个像素点的灰度值和空间距离不足以衡量像素点之间的相似性。非局部算法基本思想是以一个窗口内的图像块为处理单元，通过计算图像块之间的欧式距离，并以此衡量图像块之间的相似程度。由于大部分图像存在空间冗余，表现在图像块与图像块之间存在一定的相似性，以图像块的相似性代替像素点的相似性更科学，更具有可信性。基于非局部思想先后有非局部均值降噪、贝叶斯非局部降噪、三维块匹配算法(bm3d)降噪等方法被提出，并且取得了良好的降噪效果。其中bm3d算法是公认的降噪效果最佳的图像降噪算法。

基于三维变换的bm3d降噪方法如下：将待降噪图像分割成图像块，由图像块构建三维图像块阵列；对每个图像块作二维正变换，得到对应的二维变换系数；然后对图像块第三个维度作一维变换，得到对应的一维变换系数；由三维图像块阵列的二维变换系数和一维变换系数得到三维图像块阵列的三维变换系数；对三维变换系数滤波降噪处理；对滤波处理后的三维变换系数的第三个维度作一维逆变换，得到一维逆变换后的二维变换系数；对一维逆变换后的二维变换系数作二维逆变换，得到降噪后的图像块；最后得到降噪后的图像。bm3d图像降噪方法仍存在很多不足，其降噪的计算量巨大、计算耗时长，目前主要用于单帧图像降噪算法仿真，还无法对多帧视频进行实时降噪。

技术实现要素：

针对现有技术存在的上述不足，本发明要解决的技术问题是：提供一种基于伪3d变换的bm3d图像降噪方法，在保证降噪效果的情况下，解决bm3d图像降噪过程中计算量巨大、计算耗时长等问题，可以提高计算效率、减少运算量。

为解决上述技术问题，本发明采用了如下的技术方案：

一种基于伪3d变换的bm3d图像降噪方法，包括以下步骤：

s1：对待降噪图像进行分割，得到若干个图像块。可以对图像块的大小进行预设，图像块大小通常设置为2的幂级数，以8*8为宜，图像块设置过小会导致频域变换效果不佳，图像块设置过大会极大增加图像块匹配计算量。

s2：以一个图像块为中心，在预设窗口范围内依据相似性准则搜索相似图像块，以图像块及其相似图像块构建三维图像块阵列；以三维图像块阵列中图像块的横向和纵向分别作为三维图像块阵列的第一个维度和第二个维度，以相似图像块对应点间的连接线作为第三个维度。根据背景技术中介绍的非局部算法基本思想，将一个窗口内的图像块作为一个处理单元，即所述的预设窗口范围。三维图像块阵列的构建，选择预设窗口的中心图像块作为三维图像块阵列中的第一个图像块，图像块的相似图像块按照搜索顺序排列。

s3：在三维图像块阵列第三个维度方向对每一组对应点分别进行频域变换处理，得到一维变换系数。在三维图像块阵列的第三个维度方向上，有多组相似图像块，对每一组相似图像块的对应点分别进行频域变换，得到多个频域系数，构成一维变换系数块阵列，即所述的一维变换系数。

s4：对一维变换系数块阵列中的最低频系数块进行二维正变换处理，得到bm3d伪变换系数；对bm3d伪变换系数进行滤波处理。一维变换系数块阵列中，第一个系数块对应为最低频系数块。仅对一维变换系数块阵列中的最低频系数块作二维正变换，对其他的频域系数不作变换处理，从而得到bm3d伪变换系数。通过对bm3d伪变换系数滤波处理来实现对图像块的降噪。

s5：对一维变换系数中最低频系数块对应的bm3d伪变换系数进行二维逆变换处理，得到处理后的一维变换系数。

s6：在三维图像块阵列第三个维度方向对每一组处理后的一维变换系数进行频域逆变换处理，得到降噪后的三维图像块阵列，从降噪后的三维图像块阵列中提取出降噪后的图像块，此处降噪后的图像块是指步骤s1中在预设窗口范围内处于中间位置的图像块经过上述降噪处理后的图像块；降噪后的三维图像块阵列中，除降噪后的图像块外，其余均为降噪后的图像块的相似图像块。

s7：循环步骤s2到步骤s6，对每个图像块分别进行降噪处理；对降噪处理后的若干图像块的像素点进行除权处理后，得到降噪图像。

进一步地，作为优化，步骤s3中的频域变换处理和步骤s6中的频域逆变换处理均采用哈尔小波变换(haar变换)、快速傅里叶变换(fft变换)或者变换编码(hadamard变换)。

进一步地，作为优化，步骤s4中的滤波处理采用硬阈值滤波和维纳滤波。

进一步地，作为优化，步骤s4的二维正变换处理和步骤s5中的二维逆变换处理均采用双正交小波或者离散余弦变换(dct)进行二维变换。

本申请中伪3d变换与3d变换的分析如下：

3d变换是先对三维图像块阵列的三个维度均做正变换处理，得到三维变换系数，对三维变换系数进行滤波降噪，对滤波后的三维变换系数在三个维度均做逆变换处理，从而达到图像降噪的目的。本申请中的伪3d变换仅对三维图像块阵列的第三个维度方向做变换处理，先对三维图像块阵列的第三个维度做频域变换处理，得到一维变换系数；将得到的一维变换系数存放在原图像块位置，得到频域变换系数块；再对频域变换系数块中的最低频系数块作二维正变换，对其他的频域系数块不作变换处理，得到伪三维变换系数，对伪三维变换系数进行滤波降噪；对最低频系数块对应的滤波后伪三维变换系数进行二维逆变换处理，得到处理后的一维变换系数块；在三维图像块阵列第三个维度方向进行频域逆变换处理，得到降噪后的三维图像块阵列，从而达到图像降噪的目的。

伪3d变换仅对三维图像块阵列的第三个维度方向做变换处理，同时，也仅对一维变换系数中的最低频系数进行二维变换处理，对一维变换系数中的其他系数不做变换处理；逆变换亦只对三维图像块阵列的第三个维度方向做变换处理，只对一维变换系数中最低频系数对应的bm3d伪变换系数作变换；这样就大大地降低了三维变换的计算量，亦可以达到与3d变换几乎相同的降噪效果。

附图说明

图1为本发明实施例中基于伪3d变换的bm3d图像降噪方法的流程图；

图2为本发明实施例中基于伪3d变换的bm3d图像降噪方法的计算示意图；

图3为本发明实施例中不带噪声的原图；

图4为本发明实施例中带噪声的待降噪图像；

图5为本发明实施例中伪3d变换的bm3d图像降噪方法的第一次降噪效果图；

图6为本发明实施例中3d变换的bm3d图像降噪方法的第一次降噪效果图；

图7为本发明实施例中伪3d变换的bm3d图像降噪方法的第二次降噪效果图；

图8为本发明实施例中3d变换的bm3d图像降噪方法的第二次降噪效果图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

实施例：

参照图1～图8，一种基于伪3d变换的bm3d图像降噪方法，包括以下步骤：

s1：对待降噪图像进行分割，得到若干个图像块。可以对图像块的大小进行预设，图像块大小通常设置为2的幂级数，以8*8为宜，图像块设置过小会导致频域变换效果不佳，图像块设置过大会极大增加图像块匹配计算量。

s2：以一个图像块为中心，在预设窗口范围内依据相似性准则搜索相似图像块，以图像块及其相似图像块构建三维图像块阵列；以三维图像块阵列中图像块的横向和纵向分别作为三维图像块阵列的第一个维度和第二个维度，以相似图像块对应点间的连接线作为第三个维度。根据背景技术中介绍的非局部算法基本思想，将一个窗口内的图像块作为一个处理单元，即所述的预设窗口范围。三维图像块阵列的构建，选择预设窗口的中心图像块作为三维图像块阵列中的第一个图像块，图像块的相似图像块按照搜索顺序排列。

s3：在三维图像块阵列第三个维度方向对每一组对应点分别进行频域变换处理，得到一维变换系数。在三维图像块阵列的第三个维度方向上，有多组相似图像块，对每一组相似图像块的对应点分别进行频域变换，得到多个频域系数，构成一维变换系数块阵列，即所述的一维变换系数。

s4：对一维变换系数块阵列中的最低频系数块进行二维正变换处理，得到bm3d伪变换系数；对bm3d伪变换系数进行滤波处理。一维变换系数块阵列中，第一个系数块对应为最低频系数块。仅对一维变换系数块阵列中的最低频系数块作二维正变换，对其他的频域系数不作变换处理，从而得到bm3d伪变换系数。通过对bm3d伪变换系数滤波处理来实现对图像块的降噪。

s5：对一维变换系数中最低频系数块对应的bm3d伪变换系数进行二维逆变换处理，得到处理后的一维变换系数。

s6：在三维图像块阵列第三个维度方向对每一组处理后的一维变换系数进行频域逆变换处理，得到降噪后的三维图像块阵列，从降噪后的三维图像块阵列中提取出降噪后的图像块，此处降噪后的图像块是指步骤s1中在预设窗口范围内处于中间位置的图像块经过上述降噪处理后的图像块；降噪后的三维图像块阵列中，除降噪后的图像块外，其余均为降噪后的图像块的相似图像块。

s7：循环步骤s2到步骤s6，对每个图像块分别进行降噪处理；对降噪处理后的若干图像块的像素点进行除权处理后，得到降噪图像。

本实施例中，步骤s3中的频域变换处理和步骤s6中的频域逆变换处理均采用哈尔小波变换(haar变换)、快速傅里叶变换(fft变换)或者变换编码(hadamard变换)。

本实施例中，步骤s4中的滤波处理采用硬阈值滤波和维纳滤波。

本实施例中，步骤s4的二维正变换处理和步骤s5中的二维逆变换处理均采用双正交小波或者离散余弦变换(dct)进行二维变换。

参照图像2，为本发明基于伪3d变换的bm3d图像降噪方法的计算示意图。对待降噪图像进行分割，得到若干个图像块；以一个图像块为中心，在预设窗口范围内依据相似性准则搜索相似图像块，以图像块及其相似图像块构建三维图像块阵列；对三维图像块阵列的第三个维度做频域变换处理，得到一维变换系数，将得到的一维变换系数存放在原图像块位置，得到频域变换系数块；再对频域变换系数块中的最低频系数块作二维正变换，对其他的频域系数块不作变换处理，得到伪三维变换系数，对伪三维变换系数进行滤波降噪；对最低频系数块对应的伪三维变换系数进行二维逆变换处理，得到处理后的一维变换系数块；在三维图像块阵列第三个维度方向进行频域逆变换处理，得到降噪后的三维图像块阵列，从而达到图像降噪的目的。

参照图3到图8，本发明基于伪3d变换bm3d算法与基于3d变换bm3d算法降噪效果比较：采用iso12233测试标板局部图像作为原始测试图像，图像大小为512*512，并添加标准差为25的高斯噪声；分别采用基于伪3d变换bm3d算法和基于3d变换bm3d算法进行降噪对比测试；所有参数设置均相同。

附图3是不含噪声的iso12233测试标板图像；附图4是添加了高斯噪声的iso12233测试标板图像，信噪比为20.18db；附图5是通过伪3d变换bm3d算法的第一次降噪效果图，信噪比为33.37db；附图6是通过3d变换bm3d算法的第一次降噪效果图，信噪比为33.36db；附图7是通过伪3d变换bm3d算法的第二次降噪效果图，信噪比为34.12db；附图8是通过3d变换bm3d算法的第二次降噪效果图，信噪比为34.38db。无论是从视觉效果看，还是测量信噪比数值比较，本发明基于伪3d变换bm3d算法与基于3d变换bm3d算法的降噪效果几乎相同。

假设每一个图像块的大小为m×n，相似图像块的个数为k，相似图像块间的对应点组数为a。a组数据点的一维变换的计算量记作则一个m×n×k的三维图像块的3d变换的三维正变换和逆变换的计算量(p1)为：

采用伪3d变换的三维正变换和逆变换的计算量(p2)为：

假设m＝8，n＝8，k＝16，则p1＝20480，p2＝8960

可以看出：基于伪3d变换bm3d算法与基于3d变换bm3d算法的降噪效果几乎相同，同时，每一个相似块的伪3d变换bm3d算法的计算量大约只有3d变换bm3d算法的三分之一，计算量降低了约三分之二，大幅度降低了bm3d算法的计算量，减少了运算量、提高运算效率。

本实施例中，基于伪3d变换的bm3d图像降噪方法的实施过程如下：

假设三维图像块阵列(t)为：

t∈r^m×n×k为三维图像块阵列，每个图像块为m行n列，共有k个相似图像块。

i^j表示第j个图像块，i^k表述第k个图像块，表示第j个图像块中的p行q列，表示k个相似图像块的p行q列像素点构成的向量。对三维图像块阵列t的第三个维度进行频域变换得到一维变换系数s^z：

其中，f(γpq)表示对向量γpq作频域变换，向量γpq变换后的系数为频域变换系数φpq，是一维变换后频域变换系数块阵列中的一个向量。

是一维变换后系数块阵列中的一个系数块。

对频域变换系数块阵列的最低频系数块采用bior1.5双正交小波或者dct进行二维变换，变换后的系数为

b(φ¹)表示对φ¹进行二维变换，其结果为：

为伪3d变换中的一个三维系数块，其它系数块φ^j均为一维变换后对应的系数块，即伪3d变换后的系数并非是都是进行了三维变换的系数，故称为伪3d变换。

对伪3d变换后的系数进行滤波，结果表示为

表示对系数进行滤波，表示对系数进行滤波，滤波方式为硬阈值滤波或者维纳滤波。表示的滤波结果，表示对的滤波结果，表示滤波后的第一个系数块，表示滤波后的第j个系数块。

对滤波后的第一个系数块(即最低频系数块)进行二维逆变换，其结果为

表示对作二维逆变换，结果为：

表示二维逆变换后的系数块阵列中的一个向量。

对进行逆变换，其结果为

表示对作一维逆变换，其结果为表示一维逆变换后所得降噪图像块阵列中的一个向量，表示一维逆变换后所得降噪后的三维图像块阵列中的降噪后的图像块。

循环上述公式算法，对分割后的若干图像块进行降噪，得到若干个降噪后的图像块，对降噪处理后的若干图像块的像素点进行除权处理后，将降噪后的图像块拼接融合成降噪图像。进行除权处理的目的，是由于原图像中每个图像块的像素点在上述循环运算过程中可能被计算过多次，将每次的处理结果相加除以每次计算的权重系数即为除权处理，以获得每个像素点多次计算的最优估值。

现有技术中，bm3d图像降噪方法计算量大、计算时间长，无法进行硬件实时处理问题；本发明针对这一现状，提出了一种bm3d图像降噪的加速计算方法。针对三维正变换和逆变换计算量巨大问题，提出一种基于三维块匹配的不完全3d变换方法，该方法只需先对三维相似块的第三维度进行变换，并对上述变换后所得系数的最低频系数块进行二维变换，而无需对所有的系数块进行二维变换，从而将3d变换过程的计算量降低了约三分之二，降噪效果与完全3d变换降噪效果基本一致。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明当中。