基于多尺度回插的脉冲噪声处理方法与流程

本发明属于数字图像处理技术领域，涉及一种脉冲噪声处理方法，具体涉及一种基于多尺度回插的脉冲噪声处理方法，可用于实现从高密度脉冲噪声污染的噪声图像中恢复出清晰图像。

背景技术：

在数字图像处理，如在拍摄和传输过程中，由于所使用的器件和传输通道的局限性，导致了所获取的图像信号受到了干扰或者引入各种类型的数字图像噪声，严重影响了图像的视觉效果，甚至妨碍了人们的正常识别。脉冲噪声就是其中普遍的一种噪声，它是由非连续的、持续时间短和幅度大的不规则脉冲或噪声尖峰组成。脉冲噪声可由许多因素产生，例如电磁干扰，通信系统的故障缺陷，通信系统的电气开关和继电器的状态改变等。脉冲噪声的存在具有很大的危害，它使得人们无法清晰的观测所采集到的图像，影响了视觉效果，而且图像当中许多重要的细节信息被噪声掩盖，一些所需要进行提取和识别的目标也变得无法分析，严重干扰了图像的应用价值以及对图像所作的一些后续的高级处理，如边缘检测、图像分割、特征识别、图像融合等。因此，如何从被高密度噪声污染的噪声图像中去除噪声，恢复出清晰图像，一直是图像处理中国内外研究学者们研究的热点问题。

有效抑制脉冲噪声的目的就是尽可能地减少图像中包含的噪声，同时尽可能多地保留图像自身原有的细节信息。在过去几十年，国内外学者已经提出很多抑制脉冲噪声方法，其中最经典的方法是中值滤波MF及它的改进方法，如加权中值滤波WMF和中心加权滤波CWM。这类滤波方法的优点是简单高效，其缺点是这类方法对图像中的所有像素点进行统一处理，导致图像中的清晰像素点被估计值代替，造成了图像原有细节信息的丢失，影响图像的视觉效果。针对这一问题，专家学者们提出了一些先检测，后处理的方法，如选择开关中值滤波方法SSMF和边缘检测方法BDND。这类方法是在对图像滤波之前添加了另外的噪声检测机制，即在去噪过程中，首先检测出噪声图像中受噪声污染的像素点，然后只针对被脉冲噪声污染的像素点进行值估计，而保持清晰像素点的灰度值不变。虽然在很大程度上提高了去噪效果，但在实际应用中，这类方法具有两个缺点：

第一，所有的像素点均作为个体，通过邻域像素点的线性组合来估计，而像素点之间的相关性被忽略；

第二，在去除图像脉冲噪声过程中，只利用了图像的统计信息，而将图像的结构信息完全忽视。

随着噪声密度的逐渐增加，上述这些方法在很大程度上降低了图像恢复的精确度和准确度，无法满足人眼的视觉效果要求和计算机的处理要求。针对上述缺点，研究学者们还研究出一些其他方法，即在有效利用图像统计信息的同时，充分挖掘和利用图像的结构信息来实现图像的有效去噪，显著提高了图像处理的精度和准确度。例如，中国专利申请，授权公告号为CN101887578B，名称为“基于两级插值的图像脉冲噪声抑制方法”的发明专利，该专利公开了一种基于两级插值的图像脉冲噪声抑制方法，该方法首先是对含噪图像利用直方图分析检测噪声，通过一次降采样得到一幅低分辨率图像；然后，利用未受噪声干扰像素的统计特性进行第一级局部窗内插值，补全下采样后的低分辨率图像中受脉冲噪声干扰的像素的幅度信息；最后，对预滤波后的低分辨率图像采用改进的分段自回归模型，利用图像结构特征进行第二级超分辨插值，得到消除脉冲噪声的全分辨率图像。众所周知，图像经过降采样后能得到多幅相位不同的低分辨率图像，且每一幅低分辨率图像的统计信息和结构信息都能被充分利用，然而这种方法是对图像只进行一次采样因子为2的降采样，并只对单相位的低分辩率图像来实现图像的恢复，所以这种方法在一定程度上降低了恢复的精度和准确度。

技术实现要素：

本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于多尺度回插的脉冲噪声处理方法，通过利用降采样过程中的尺度信息和降采样后不同相位的低分辨图像信息，实现了对高密度噪声图像的清晰恢复，用于解决现有两级插值图像脉冲噪声处理方法中存在的图像恢复精度和准确度低的技术问题。

本发明的技术思路是，利用直方图方法对待处理的脉冲噪声图像进行噪声点检测,将噪声图像中受噪声污染的像素点均设为丢失的像素点，并对这些像素点进行预滤波操作；对预滤波后的图像进行多级降采样，然后结合图像的统计特性和结构特征，利用自回归模型进行多尺度回插，以恢复出有效抑制脉冲噪声的清晰图像，其具体技术方案包括如下步骤：

(1)对待处理的噪声图像N_im进行噪声检测,并对检测出的噪声像素点进行位置标记。

(2)将步骤(1)中所有已标记位置的噪声像素点的灰度值置‘0’，得到参考图像R_im。

(3)将步骤(1)中所有已标记位置的噪声像素点的灰度值置‘1’，所有未标记位置的清晰像素点的灰度值置‘0’，得到噪声map图像M_im。

(4)对步骤(2)中得到的参考图像R_im中的所有噪声像素点的灰度值进行初始化，得到预滤波图像P_im。

(5)对得到的预滤波图像P_im进行多级降采样，得到多幅低分辨率图像。

(6)对分段自回归模型进行改进，得到改进的分段自回归模型，实现步骤如下：

(6a)记录每一幅低辨率图像所有清晰像素点的位置和灰度值；

(6b)将记录的所有清晰像素点的位置和灰度值，引入到分段自回归模型参数a的估计中，得到改进的分段自回归模型，其中,自回归模型中的模型参数a的估计过程为：

D表示当前窗Ω中清晰像素点的索引位置，y_k表示窗Ω中清晰像素点，表示在低分辨率图像中位于k处的四个8-邻域像素。

(7)利用改进的分段自回归模型,对步骤(5)中得到的多幅低分辨率图像分别进行多尺度回插，得到多幅全分辨率清晰图像，实现步骤如下：

(7a)将得到的多幅低分辨率图像聚集成一个列向量L_im，同时将每一幅低分辨率图像所对应的高一级分辨率图像聚集成一个列向量H_im：

L_im＝{L_im₁,L_im₂,…,L_im_p}，

H_im＝{H_im₁,H_im₂,…,H_im_p}，

并将每一幅高一级分辨率图像初始化设定大小为M₁×N₁、所有像素点的灰度值为‘0’的矩阵；

(7b)将每一幅低分辨率图像的所有像素点的灰度值赋给其对应高一级分辨率图像中相应位置的像素点：

H_im_k(2i,2j)＝L_im_k(i,j)

其中，(i,j)表示低分率图像中像素点的坐标且i＝1,2,3,…,M₁/2,j＝1,2,3,…,N₁/2,H_im_k为第k幅高一级分辨率图像,L_im_k为第k幅低分辨率图像,k＝1,2,3,…,p；

(7c)利用改进的分段自回归模型,插出高一级分辨率图像中已赋值像素点的8-邻域像素；

(7d)利用改进的分段自回归模型、已插出的8-邻域像素和高一级分辨率图像中已赋值像素点，插出高一级分辨率中已赋值像素点的4-邻域像素，得到高一级分辨率图像；

(7e)找出步骤(3)得到的噪声map图像M_im和步骤(7d)得到的高一级分辨率图像在同一分辨率上清晰像素点的索引位置Index，并用参考图像R_im在该索引位置Index上的像素点，修正高一级分辨率图像在此索引位置Index上已插出的像素点，得到修正后的多幅高一级分辨率图像；

(7f)将得到的修正后的多幅高一级分辨率图像作为新的多幅低分辨率图像，重复步骤(7a)-步骤(7e),直到得到最终插值后的多幅全分辨率清晰图像。

(8)对得到的多幅全分辨率清晰图像进行求和，得到清晰图像C_im。

本发明与现有技术相比，具有如下优点：

第一，本发明由于在获取低分辨率图像时采用的是多级降采样，并得到的多幅低分辨率图像分别进行多尺度回插，在每一次回插过程中，充分利用了所有相位不同的低分辨率图像的统计特征和结构特征，与现有技术中采用一次降采样，对得到一幅低分辨率图像进行单尺度回插的方法相比，有效地提高了图像恢复的精确度和准确度。

第二，本发明由于在对多幅低分辨率图像分别进行多尺度回插时，采用清晰像素点对每一尺度的插值结果进行修正，进一步地提高了图像恢复的精确度和准确度。

实验仿真结果表明，本发明在脉冲噪声密度为10％～90％的范围内均能恢复出符合人眼视觉和计算机处理要求的清晰图像，并且能够在有效抑制脉冲噪声的同时保留图像的结构和细节信息。

附图说明

图1是本发明的实现流程框图；

图2是本发明的8-邻域像素和4-邻域像素与低分辨率像素的空间位置关系示意图；

图3是本发明的模型参数a和模型参数b的空间配置关系图；

图4是本发明与现有两级插值噪声处理方法对不同噪声密度图像Lena的去噪结果的仿真对比图。

具体实施方式

以下结合附图和实施例，对本发明作进一步详细说明。

参照图1，本发明包括如下步骤：

步骤1，对一幅大小为512×512的噪声图像N_im利用直方图方法进行噪声检测，该检测方法简单易操作，而且检测结果具有鲁棒性，具体实现步骤如下：

(1a)利用统计的噪声图像N_im中各个灰度值N_im(i,j)对应像素点的数目，画出噪声图像N_im的直方图H，并将该直方图H在灰度值动态区间的两端极值点，作为最小阈值T_min和最大阈值T_max，其中(i,j)为噪声图像N_im像素点的坐标且i＝1,2,3,…,512，j＝1,2,3,…,512,N_im(i,j)为噪声图像N_im位于坐标(i,j)处像素点的灰度值；

(1b)将噪声图像N_im的每个像素点的灰度值N_im(i,j)与最小阈值T_min和最大阈值T_max进行比较：若N_im(i,j)≤T_min+b₁或者N_im(i,j)≥T_max-b₂，则该像素点是噪声像素点；否则，该像素点是清晰像素点，其中选取b₁＝b₂＝10。

步骤2，将步骤1中所有已标记的噪声像素点的灰度值置‘0’，得到参考图像R_im＝{R_im(i,j)}：

步骤3，将步骤1中所有已标记的噪声像素点的灰度值置‘1’，所有未标记的清晰像素点的灰度值置‘0’，得到噪声map图像M_im＝{M_im(i,j)}:

其中，(i,j)为噪声map图像像素点的坐标,M(i,j)为噪声map图像位于坐标(i,j)处像素点的灰度值。

步骤4，利用开关中值滤波方法对步骤2中得到的参考图像R_im中的所有噪声像素点的灰度值进行初始化，得到预滤波图像P_im，该滤波方法经典且常用，计算成本花费少，其具体实现步骤如下：

(4a)在参考图像R_im中，以噪声像素点为中心，设置大小为(2n₀+1)×(2n₀+1)的滑动窗W,并判断该滑动窗W内是否有清晰像素点，若没有,扩大滑动窗W的尺寸，直到滑动窗W中有清晰像素点为止，其中选取n₀＝3；

(4b)统计设置的滑动窗W内清晰像素点的个数K,并将滑动窗W中清晰像素点的灰度值R_im(m,n)和清晰像素点的个数K进行加权平均，得到预滤波图像P_im像素点的灰度值P_im(i,j)：

其中，m∈(i-n₀,i+n₀),n∈(j-n₀,j+n₀)；

(4c)将得到的预滤波图像P_im像素点的灰度值P_im(i,j)聚合为一幅预滤波图P_im＝{P_im(i,j)}。

步骤5，对得到的预滤波图像P_im连续两次降采样，降采样因子为f，在本实施例中，令f＝2，即对预滤波图像P_im进行第一次降采样时，每行每列每隔2个点取一个点组成一幅图像，降采样后，得到4幅大小均为256×256的低分辨率图像；然后对每一幅得到的大小为256×256的低分辨率图像继续第二次降采样，得到16幅大小均为128×128的低分辨率图像。

步骤6，在分段自回归模型中，模型参数a＝(a₁,a₂,a₃,a₄)的引入是为了保持对角方向上像素间相关性的一致，模型参数b＝(b₁,b₂,b₃,b₄)的引入是为了保持水平方向上和垂直方向上像素间相关性的一致，模型参数a和模型参数b的空间配置关系如图3所示，其估计过程分别表示为：

其中，Ω是一个正八边形的窗，x_i表示低分辨率图像中可利用的像素点，表示在低分辨率图像中位于i处的四个8-邻域像素，表示在低分辨率图像中位于i处的四个4-邻域像素。如图3(a)所示，在水平-垂直方向上，低分辨率像素点(黑色圆点)间的自回归关系与待插值的高分辨率像素点(灰色圆点)间的自回归关系处于相同尺度空间，所以模型参数b的估计是最优的。由于模型参数a的估计不如模型参数b的估计准确，为了提高模型参数估计a的准确性，对模型参数a的估计进行修正，实现步骤如下：

(6a)记录每一幅低辨率图像所有清晰像素点的位置和灰度值；

(6b)将记录的所有清晰像素点的位置和灰度值，引入到分段自回归模型参数a的估计中，得到改进的分段自回归模型。如图3(b)所示，画出像素点y_k的空间位置关系，并假设y_k是窗Ω中的清晰像素点，表示在低分辨率图像中位于k处的四个8-邻域像素，将像素点y_k和作为已知限制条件，自回归模型中的模型参数a的估计过程为：

D表示当前窗Ω中清晰像素点的索引位置。

步骤7，利用改进的分段自回归模型,对步骤5中得到的16幅低分辨率图像分别进行多尺度回插，得到16幅全分辨率清晰图像，实现步骤如下：

(7a)将得到的16幅低分辨率图像聚集成一个列向量L_im，同时将每一幅低分辨率图像所对应的高一级分辨率图像聚集成一个列向量H_im：

L_im＝{L_im₁,L_im₂,…,L_im_p}，

H_im＝{H_im₁,H_im₂,…,H_im_p}，

其中，p＝16。并将每一幅高一级分辨率图像初始化设定大小为M₁×N₁、所有像素点的灰度值为‘0’的矩阵，其中高一级分辨率图像的大小总是其对应低分辨率图像大小的2倍，例如，低分辨率图像的大小为128×128，则高一级分辨率图像初始化设定大小为256×256，依次类推；

(7b)将每一幅低分辨率图像的所有像素点的灰度值赋给其对应高一级分辨率图像中相应位置的像素点：

H_im_k(2i,2j)＝L_im_k(i,j)

其中，(i,j)表示低分率图像中像素点的坐标且i＝1,2,3,…,M₁/2,j＝1,2,3,…,N₁/2,H_im_k为第k幅高一级分辨率图像,L_im_k为第k幅低分辨率图像,k＝1,2,3,…,p；

(7c)整个插值过程分为两步，第一步是利用改进的分段自回归模型,插出高一级分辨率图像中黑色圆点的8-邻域像素；

(7d)第二步是利用改进的分段自回归模型、已插出的8-邻域像素和高一级分辨率图像中已赋值像素点，插出高一级分辨率图像中黑色圆点的4-邻域像素，得到高一级分辨率图像；

8-邻域像素和4-邻域像素与低分辨率像素的空间位置关系如图2所示。

(7e)找出步骤(3)得到的噪声map图像M_im和步骤(7d)得到的高一级分辨率图像在同一分辨率上清晰像素点的索引位置Index，并用参考图像R_im在该索引位置Index上的像素点，修正高一级分辨率图像在此索引位置Index上已插出的像素点，即H_im_k(Index)＝R_im(Index),得到修正后的多幅高一级分辨率图像；

(7f)将得到的修正后的多幅高一级分辨率图像作为新的多幅低分辨率图像，重复步骤(7a)-步骤(7e),直到得到最终插值后的多幅全分辨率清晰图像。

步骤8，对得到的多幅全分辨率清晰图像进行求和，得到清晰图像C_im：

$C\_im=\frac{1}{p}\left(\underset{k=1}{\overset{p}{\Σ}}\mathrm{\ζ}\right(L\_{\mathrm{im}}_k\left)\right)$

其中，ζ表示多尺度回插过程。

参照图2，黑色圆点是每一幅低分辨率图像中的像素点在其对应的高一级分辨率图像中的空间位置，灰色圆点是黑色圆点的8-邻域像素，白色圆圈是黑色圆点的4-邻域像素；

参照图3，

图3(a)是模型参数b＝(b₁,b₂,b₃,b₄)的估计过程；

图3(b)是模型参数a＝(a₁,a₂,a₃,a₄)的估计过程。

以下结合仿真实验，对本发明的技术效果作进一步说明：

1.实验条件：

本实验以Lena图像和Boat图像为测试图像，说明本发明对脉冲噪声处理的仿真结果，两幅测试图像均是大小为512×512，灰度范围为0～255的灰度图像。

2.实验内容

实验1，对测试图像Lena分别加入密度为30％和70％的脉冲噪声，利用本发明和现有两级插值噪声处理方法进行去噪仿真，其结果如图4。

参照图4，

图4(a)是测试图像Lena；

图4(b)是对图4(a)添加30％噪声密度的脉冲噪声图像；

图4(c)是现有两级插值噪声处理方法对图4(b)去噪后的结果；

图4(d)是本发明对4(b)去噪后的结果；

图4(e)是对4(a)添加70％噪声密度的脉冲噪声图像；

图4(f)是现有两级插值噪声处理方法对图4(e)去噪后的结果；

图4(g)是本发明对4(e)去噪后的结果。

由实验结果可以看出，在脉冲噪声密度为30％时，现有两级插值噪声处理方法和本发明均能够得到较好的去噪结果；在脉冲噪声密度为70％时，现有两级插值噪声处理方法无法恢复出满足人眼视觉要求的去噪结果，而本发明此时仍然能够恢复出满足人眼视觉要求的清晰图像，并且保留了图像细节边缘和纹理信息方面，说明在高密度脉冲噪声的情况下，本发明的图像恢复效果较好。

实验2，对测试图像Lena和Boat分别添加噪声强度为10％～90％的脉冲噪声，利用本发明和现有两级插值噪声处理方法进行去噪仿真，得到这两种方法的去噪结果峰值信噪比PSNR，如表1所示。

表1两种方法对测试图像Lena和Boat去噪结果的PSNR比较(dB)

由表1可见，随着脉冲噪声密度的增加，本发明对受不同程度脉冲噪声污染的噪声图像进行恢复时，均能获得高于现有两级插值噪声处理方法的PSNR。

综上，在对受不同程度脉冲噪声污染的噪声图像进行恢复时，现有两级插值噪声处理方法恢复的精度和准确度均低于本发明，尤其是在噪声密度较高时，现有两级插值噪声处理方法会损失较多的细节信息，而本发明在有效抑制高密度脉冲噪声的同时，能保留图像原有的结构和细节信息，准确恢复出满足人眼视觉和计算机处理要求的清晰图像。无论是主观视觉效果还是客观评价结果，本发明的去噪结果均好于现有方法。