一种Bayer图像去椒盐噪声的方法和系统的制作方法
【专利摘要】本发明公开了一种Bayer图像去椒盐噪声的方法及系统，该方法包括如下步骤：将待处理的Bayer图像分解成(2N+1)×(2N+1)的工作窗口，对Bayer格式的图像的红色、绿色和蓝色分量各自独立的进行降噪处理；对每个(2N+1)×(2N+1)工作窗口的每种颜色分量的2N+1个点进行中值滤波，然后滑动窗口到整个图像；将各(2N+1)×(2N+1)的工作窗口中的2N+1个点排序，并判断中间的一个点r(N+1)是否为该2N+1个点中的最大值或者最小值；若判断结果为不是，则直接输出r(N+1)；若判断结果为是，则采用中值滤波将序列的中值替换r(N+1)输出，通过本发明，不仅能够很好的去除Bayer图像中的椒盐噪声，而且可保证去噪的性能和低复杂度，并利于硬件实现。
【专利说明】一种Bayer图像去椒盐噪声的方法和系统
【技术领域】
[0001]本发明涉及数字图像处理领域，特别是涉及一种对Bayer格式图像去除椒盐噪声、生成去噪后RGB图像的Bayer图像去椒盐噪声的方法和系统。
【背景技术】
[0002]现代数码相机传感器阵列一个像素点上只能感知一种颜色，这种阵列称为彩色滤波器阵列CFA (Color Filter Array)。在CMOS图像传感器的像素上覆盖这样的彩色滤色器阵列，就可以获得图像的彩色信息，再经过图像信息处理，就可以获得色彩逼真的彩色图像。最常用的CFA结构为Bayer格式。图1表示了一个8*8色彩滤波器阵列，这是一个典型的棋盘式Bayer滤色器。在实际数码相机中，图像的行数和列数都比这个大得多。X，Y轴表示了每个感光原色器件在整体图像中的坐标。图1中，B (蓝色)，G (绿色)原色器件在奇数行交错排列，G，R (红色)原色器件在偶数行交错排列。这种滤色器的每一行上只有两种滤色单元:或者是G，R，或者是G，B。因此，整个滤色器上G光的采样单元数目是R光或B光的两倍。
[0003]在光线条件很差的状况下，数字相机原始图像数据阵列中会出现数量不定的错误的像素点，通常称它们为“坏点(defective pixel) ”，这些坏点具有如下特点:其灰度值随机性地受到脉冲噪声(也称为椒盐噪声)的影响，明显偏离其正确值；会在图像数据阵列中的任意位置出现，即无法提前预测其所在位置。脉冲噪声出现的位置极具随机性，致使图像数据阵列中的“坏点”有孤立的，也有彼此相邻的，而去脉冲噪声的难点就是如何有效滤除那些相邻的“坏点”，同时保证图像边缘的完整性。
[0004]对于图像原始像素中的坏点像素(椒盐噪声像素点)，目前也有专门的算法去处理，中值滤波一般被认为是比较有效的预处理手段。它对抑制脉冲干扰及椒盐噪声效果好，在去噪的同时能保护边沿少被模糊。在实际工作中人们提出了不少实现中值滤波的方法。真正的中值滤波实质上是对一个滑动窗口内各个像素灰度的排序，用中值代替窗口中坏点像素的原灰度值。然而，目前的中值滤波方法虽然已经十分优异，但是算法的复杂度很高，硬件实现的过程中会消耗大量的硬件资源，不利于硬件实现。
【发明内容】
[0005]为克服上述现有技术存在的不足，本发明之目的在于提供一种Bayer图像去椒盐噪声的方法和系统，其不仅能够很好的去除Bayer图像中的椒盐噪声，而且可保证去噪的性能和低复杂度，并利于硬件实现。
[0006]为达上述及其它目的，本发明提出一种Bayer图像去椒盐噪声的方法，包括如下步骤:
[0007]步骤一，将待处理的Bayer图像分解成(2N+1) X (2N+1)的工作窗口，对Bayer格式的图像的红色、绿色和蓝色分量各自独立的进行降噪处理；
[0008]步骤二，在每个(2N+1) X (2N+1)的工作窗口中，每种颜色分量都会出现2N+1个点，对该2N+1个点进行中值滤波，然后滑动窗口到整个图像；
[0009]步骤三，将各(2N+1) X (2N+1)的工作窗口中的2N+1个点排序为rl，r2，r3…r(2N)，r(2N+l)，并判断中间的一个点r(N+l)是否为该2N+1个点中的最大值或者最小值；
[0010]步骤四，若判断结果为不是，则直接输出HN+1);若判断结果为是，则采用中值滤波将序列的中值替换HN+1)输出。
[0011]进一步地，于步骤二之前，还包括如下步骤:
[0012]对待处理的Bayer图像的第一行至第N行和倒数第一行至倒数第N行及第一列至第N列和倒数第一列至倒数第N列分别采用镜像补偿的方式补齐像素，使边缘像素与角落像素构成(2N+1) X (2N+1)的工作窗口。
[0013]进一步地，以N取值为2为例，对第一行的像素，用第二行和第三行的像素以第一行为对称轴进行对称镜像补齐，构成5X5的工作窗口，对第二行的像素，用第二行的像素以第一行为对称轴进行对称镜像补齐，构成5X5的工作窗口 ；倒数第一行、倒数第二行的像素采用相同方法镜像补齐。
[0014]进一步地，对第一列的像素，用第二列和第三列的像素以第一列为对称轴进行对称镜像补齐，构成5X5的工作窗口，对第二列的像素，用第二列的像素以第一列为对称轴进行对称镜像补齐，构成5X5的工作窗口 ；倒数第一列、倒数第二列的像素采用相同方法镜像补齐。
[0015]进一步地，对于角落像素，采用镜像补偿同时补齐行和列的像素，构成5X5的工
作窗口。
[0016]进一步地，于步骤一中，绿色分量计算结构的像素点成对角线形状，红色分量和蓝色分量计算结构的像素点成正十字形状。
[0017]进一步地，于步骤三中，按照(2N+1) X (2N+1)的工作窗口中2N+1个点的从上至下、从左至右的顺序，分别将该2N+1个点排序为rl, r2，r3…r(2N)，r(2N+l)。
[0018]进一步地，中值滤波过程如下:
[0019]于第一个周期使用两个比较器，将rl和r2比较、r4和r5比较，rl、r2中较小的记为si,较大的记为bl, r4、r5中较小的记为s4,较大的记为b5 ；
[0020]于第二个周期使用两个比较器，将Si和s4比较、bl和b4比较，S1、s4中较小的记为SS,较大的记为sb。bl、b4中较小的记为bs,较大的记为bb ；
[0021]于第三个周期使用一个比较器，将Sb和bs比较，较小的记为ms，较大的记为mb ；
[0022]最后利用多路选择器根据r3是否为该5个点中的最大值或者最小值来输出结果，如果r3不是该5个点中的最大值或者最小值，则直接输出r3，如果r3是最大值，输出mb的值；如果r3是最小值，输出ms的值。
[0023]为达到上述目的，本发明还提供一种Bayer图像去椒盐噪声系统，包括:
[0024]图像分解模块，将待处理的Bayer图像分解成(2N+1) X (2N+1)的工作窗口，对Bayer格式的图像的红色、绿色和蓝色分量各自独立的进行降噪处理；
[0025]中值滤波模块，对每个(2N+1) X (2N+1)的工作窗口中的每种颜色分量的2N+1个点进行中值滤波，然后滑动窗口到整个图像；
[0026]判断模块，按照(2N+1) X (2N+1)的工作窗口中2N+1个点的从上至下、从左至右的顺序，分别将该2N+1个点排序为rl，r2，r3…r(2N)，r(2N+l)，并判断中间的一个点r(N+l)是否为该2N+1个点中的最大值或者最小值；
[0027]去噪输出模块，于判断结果为不是时直接输出r(N+l)，于判断结果为是时，采用中值滤波将序列的中值替换r (N+1)输出。
[0028]进一步地，该系统还包括边缘处理模块，对待处理的Bayer图像的第一行至第N行和倒数第一行至倒数第N行及第一列至第N列和倒数第一列至倒数第N列分别采用镜像补偿的方式补齐像素，使边缘像素与角落像素构成(2N+1) X (2N+1)的工作窗口。
[0029]与现有技术相比，本发明一种Bayer图像去椒盐噪声的方法和系统通过对Bayer格式图像进行分析，对现有的中值滤波方法进行优化，实现了一种低复杂度适合于硬件实现的中值滤波方法，不仅能够很好的去除Bayer图像中的椒盐噪声，而且同时保证去噪的性能和低复杂度。
【专利附图】
【附图说明】
[0030]图1为一个8*8的Bayer图像色彩滤波器阵列；
[0031]图2为本发明一种Bayer图像去椒盐噪声的方法的步骤流程图；
[0032]图3为本发明较佳实施例中5X5的工作窗口中用于降噪的红色(R)、绿色(G)和蓝色(B)分量像素分布示意图；
[0033]图4为本发明较佳实施例中Bayer图像中边缘和角落的像素分布图；
[0034]图5为本发明较佳实施例中Bayer图像中值滤波实现的结构图；
[0035]图6为本发明一种Bayer图像去椒盐噪声系统的系统架构图。
【具体实施方式】
[0036]以下通过特定的具体实例并结合【专利附图】
【附图说明】本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
[0037]图2为本发明一种Bayer图像去椒盐噪声的方法的步骤流程图。如图2所示，本发明一种Bayer图像去椒盐噪声的方法，包括如下步骤:
[0038]步骤201，将待处理的Bayer图像分解成(2N+1) X (2N+1) (N=0,1,2-)的工作窗口，对Bayer格式的图像的红色(R)、绿色(G)和蓝色(B)分量各自独立的进行降噪处理。理论上说，N取值越大，去噪性能越好，但相对来说复杂度较高。平衡去噪性能与复杂度，本发明较佳实施例的N取值为2，即，将待处理的Bayer图像分解成5X5的工作窗口，其中绿色分量计算结构的像素点成对角线形状，红色分量和蓝色分量计算结构的像素点成正十字形状，如图3所示。
[0039]步骤202，对待处理的Bayer图像的第一行至第N行和倒数第一行至倒数第N行及第一列至第N列和倒数第一列至倒数第N列分别采用镜像补偿的方式补齐像素，使边缘像素与角落像素构成(2N+1) X (2N+1)的工作窗口。在本发明较佳实施例中，则对待处理的Bayer图像的第一行、第二行和倒数第一行、倒数第二行及第一列、第二列和倒数第一列、倒数第二列分别采用镜像补偿的方式补齐像素，使边缘像素与角落像素构成5X5的工作窗□。[0040]图4显示的是本发明较佳实施例中Bayer图像的边缘和角落像素分布图。第一行、第二行和倒数第一行、倒数第二行与第一列、第二列和倒数第一列、倒数第二列上的像素构成边缘和角落像素，对于这些像素，需要特殊处理。第一行、第二行和倒数第一行、倒数第二行的像素需要补齐它们之前(之后)行的像素，补偿的方式采用的是镜像补偿。即对第一行的像素，需要补齐它们之前的两行的像素，那么用第二行和第三行的像素以第一行为对称轴进行对称镜像补齐，构成5X5的工作窗口。即对第二行的像素，需要补齐它之前的一行的像素，那么用第二行的像素以第一行为对称轴进行对称镜像补齐，构成5X5的工作窗口。倒数第一行、倒数第二行类同。第一列、第二列和倒数第一列、倒数第二列的像素需要补齐它们左边(右边)列的像素，也采用相似的镜像补齐，以第一列为对称轴镜像。倒数第一列、倒数第二列类同。对于四个角落里面的4个像素(总共16个像素)，则需要同时补齐行和列的像素，采用的方式也是镜像补偿。[0041]步骤203，在每个(2N+1) X (2N+1)的工作窗口中，每种颜色分量都会出现2N+1个点，对这2N+1个点进行中值滤波，然后滑动窗口到整个图像。在本发明较佳实施例中，在每个5 X 5的工作窗口中，每种颜色分量都会出现5个点，对这5个点进行中值滤波，然后滑动窗口到整个图像。
[0042]步骤204，按照(2N+1) X (2N+1)的工作窗口中2N+1个点的从上至下、从左至右的顺序，分别将这2N+1个点排序为rl，r2, r3,…，r (2N+1)，并判断中间的一个点r (N+1)是否为这2N+1个点中的最大值或者最小值，这里需要使用2N个比较器。在本发明较佳实施例中，则按照5 X 5的工作窗口中5个点的从上至下、从左至右的顺序，分别将这5个点排序为rl，r2，r3，r4，r5，并判断中间的一个点r3是否为这5个点中的最大值或者最小值。
[0043]步骤205，若判断结果为不是，则直接输出r (N+1);若判断结果为是，则采用中值滤波将序列的中值替换r (N+1)输出。
[0044]在步骤204中，中值滤波的过程和结构图如图5所示。在本发明较佳实施例中，一共使用5个比较器进行中值比较，3个时钟周期可以输出结果(Output)。第一个周期使用两个比较器(C)，rl和r2比较、r4和r5比较。rl、r2中较小的记为sl，较大的记为bl。r4、r5中较小的记为s4,较大的记为b5。第二个周期使用两个比较器(C), sl和s4比较、bl和b4比较。sl、s4中较小的记为ss,较大的记为sb。bl、b4中较小的记为bs,较大的记为bb。第三个周期使用一个比较器(S), sb和bs比较,较小的记为ms,较大的记为mb。最后利用多路选择器(Mux)根据r3是否为这5个点中的最大值(Max.)或者最小值(Min.)来输出结果(Output)。如果不是，则直接输出r3 ;如果是最大值，输出mb的值；如果是最小值，输出ms的值。
[0045]图6为本发明一种Bayer图像去椒盐噪声系统的系统架构图。如图6所示，本发明一种Bayer图像去椒盐噪声系统，包括:图像分解模块601、边缘处理模块602、中值滤波模块603、判断模块604以及去噪输出模块605。
[0046]其中，图像分解模块601将待处理的Bayer图像分解成(2N+1) X (2N+1)的工作窗口。对Bayer格式的图像的红色(R)、绿色(G)和蓝色(B)分量各自独立的进行降噪处理，其中绿色分量计算结构的像素点成对角线形状，红色分量和蓝色分量计算结构的像素点成正十字形状。
[0047]边缘处理模块602将待处理的Bayer图像的第一行至第N行和倒数第一行至倒数第N行及第一列至第N列和倒数第一列至倒数第N列分别采用镜像补偿的方式补齐像素，使边缘像素与角落像素构成(2N+1) X (2N+1)的工作窗口。在本发明较佳实施例中，N取值为2，则对待处理的Bayer图像的第一行、第二行和倒数第一行、倒数第二行及第一列、第二列和倒数第一列、倒数第二列分别采用镜像补偿的方式补齐像素，使边缘像素与角落像素构成5X5的工作窗口。
[0048]在本发明较佳实施例中，待处理的Bayer图像的第一行、第二行和倒数第一行、倒数第二行与第一列、第二列和倒数第一列、倒数第二列上的像素构成边缘和角落像素，对于这些像素，需要特殊处理。第一行、第二行和倒数第一行、倒数第二行的像素需要补齐它们之前(之后)行的像素，补偿的方式采用的是镜像补偿。即对第一行的像素，需要补齐它们之前的两行的像素，那么用第二行和第三行的像素以第一行为对称轴进行对称镜像补齐，构成5X5的工作窗口。即对第二行的像素，需要补齐它之前的一行的像素，那么用第二行的像素以第一行为对称轴进行对称镜像补齐，构成5X5的工作窗口。倒数第一行、倒数第二行类同。第一列、第二列和倒数第一列、倒数第二列的像素需要补齐它们左边(右边)列的像素，也采用相似的镜像补齐，以第一列为对称轴镜像。倒数第一列、倒数第二列类同。对于四个角落里面的4个像素(总共16个像素)，则需要同时补齐行和列的像素，采用的方式也是镜像补偿。
[0049]中值滤波模块60对每个(2N+1) X (2N+1)的工作窗口中的每种颜色分量的2N+1个点进行中值滤波，然后滑动窗口到整个图像；判断模块604按照(2N+1) X (2N+1)的工作窗口中2N+1个点的从上至下、从左至右的顺序，分别将这2N+1个点排序为rl，r2，r3，…，r (2N+1)，并判断中间的一个点r (N+1)是否为这2N+1个点中的最大值或者最小值，这里需要使用2N个比较器；去噪输出模块605于判断结果为不是时直接输出r (N+1)，于判断结果为是时，采用中值滤波将序列的中值替换r (N+1)输出。
[0050]在本发明较佳实施例中，中值滤波过程一共使用5个比较器进行中值比较，3个时钟周期可以输出结果(Output)。第一个周期使用两个比较器,rl和r2比较、r4和r5比较。rl、r2中较小的记为sl,较大的记为bl。r4、r5中较小的记为s4,较大的记为b5。第二个周期使用两个比较器，sl和s4比较、bl和b4比较。sl、s4中较小的记为ss，较大的记为sb。bl、b4中较小的记为bs,较大的记为bb。第三个周期使用一个比较器，sb和bs比较，较小的记为ms,较大的记为mb。最后根据r3是否为这5个点中的最大值(Max.)或者最小值(Min.)来输出结果。如果不是，则直接输出r3 ;如果是最大值，输出mb的值；如果是最小值，输出ms的值。
[0051]综上所述，本发明一种Bayer图像去椒盐噪声的方法和系统通过对Bayer格式图像进行分析，对现有的中值滤波方法进行优化，实现了一种低复杂度适合于硬件实现的中值滤波方法，不仅能够很好的去除Bayer图像中的椒盐噪声，而且同时保证去噪的性能和低复杂度。
[0052]与现有的中值滤波方法相比，本发明具有如下优点:
[0053](I)完全适用于Bayer图像，包括图像的边缘角落都能够完全处理到。
[0054](2)方法简单，易于硬件实现，以N取值为2为例，仅使用9个比较器。
[0055](3)消耗周期小，延时仅为3个时钟周期，易于用于现代快速高像素数字图像处理电路中。[0056]上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。
【权利要求】
1.一种Bayer图像去椒盐噪声的方法,包括如下步骤: 步骤一，将待处理的Bayer图像分解成(2N+1) X (2N+1)的工作窗口，对Bayer格式的图像的红色、绿色和蓝色分量各自独立的进行降噪处理； 步骤二，在每个(2N+1) X (2N+1)的工作窗口中，每种颜色分量都会出现2N+1个点，对该2N+1个点进行中值滤波，然后滑动窗口到整个图像； 步骤三，将各(2N+1) X (2N+1)的工作窗口中的2N+1个点排序为rl，r2，r3-r(2N),r(2N+l)，并判断中间的一个点r(N+l)是否为该2N+1个点中的最大值或者最小值； 步骤四，若判断结果为不是，则直接输出r(N+l);若判断结果为是，则采用中值滤波将序列的中值替换r(N+l)输出。
2.如权利要求1所述的一种Bayer图像去椒盐噪声的方法，其特征在于，于步骤二之前，还包括如下步骤: 对待处理的Bayer图像的第一行至第N行和倒数第一行至倒数第N行及第一列至第N列和倒数第一列至倒数第N列分别采用镜像补偿的方式补齐像素，使边缘像素与角落像素构成(2N+1) X (2N+1)的工作窗口。
3.如权利要求2所述 的一种Bayer图像去椒盐噪声的方法，其特征在于:以N取值为2为例，对第一行的像素，用第二行和第三行的像素以第一行为对称轴进行对称镜像补齐，构成5X5的工作窗口，对第二行的像素，用第二行的像素以第一行为对称轴进行对称镜像补齐，构成5X5的工作窗口 ；倒数第一行、倒数第二行的像素采用相同方法镜像补齐。
4.如权利要求3所述的一种Bayer图像去椒盐噪声的方法，其特征在于:对第一列的像素，用第二列和第三列的像素以第一列为对称轴进行对称镜像补齐，构成5X5的工作窗口，对第二列的像素，用第二列的像素以第一列为对称轴进行对称镜像补齐，构成5X5的工作窗口 ；倒数第一列、倒数第二列的像素采用相同方法镜像补齐。
5.如权利要求4所述的一种Bayer图像去椒盐噪声的方法，其特征在于:对于角落像素，采用镜像补偿同时补齐行和列的像素，构成5X5的工作窗口。
6.如权利要求2所述的一种Bayer图像去椒盐噪声的方法，其特征在于:于步骤一中，绿色分量计算结构的像素点成对角线形状，红色分量和蓝色分量计算结构的像素点成正十字形状。
7.如权利要求2所述的一种Bayer图像去椒盐噪声的方法，其特征在于:于步骤三中，按照(2N+1) X (2N+1)的工作窗口中2N+1个点的从上至下、从左至右的顺序，分别将该2N+1个点排序为 rl, r2，r3…r(2N), r(2N+l)。
8.如权利要求5所述的一种Bayer图像去椒盐噪声的方法，其特征在于，中值滤波过程如下: 于第一个周期使用两个比较器，将rl和r2比较、r4和r5比较，rl、r2中较小的记为si,较大的记为bl, r4、r5中较小的记为s4,较大的记为b5 ； 于第二个周期使用两个比较器，将Si和s4比较、bl和b4比较，s1、s4中较小的记为ss,较大的记为sb。bl、b4中较小的记为bs,较大的记为bb ； 于第三个周期使用一个比较器,将sb和bs比较,较小的记为ms,较大的记为mb ； 最后利用多路选择器根据r3是否为该5个点中的最大值或者最小值来输出结果，如果r3不是该5个点中的最大值或者最小值，则直接输出r3，如果r3是最大值，输出mb的值；如果r3是最小值,输出ms的值。
9.一种Bayer图像去椒盐噪声系统，包括: 图像分解模块，将待处理的Bayer图像分解成(2N+1) X (2N+1)的工作窗口，对Bayer格式的图像的红色、绿色和蓝色分量各自独立的进行降噪处理； 中值滤波模块，对每个(2N+1) X (2N+1)的工作窗口中的每种颜色分量的2N+1个点进行中值滤波，然后滑动窗口到整个图像； 判断模块，按照(2N+1) X (2N+1)的工作窗口中2N+1个点的从上至下、从左至右的顺序，分别将该2N+1个点排序为rl，r2，r3…r(2N)，r(2N+l)，并判断中间的一个点r(N+l)是否为该2N+1个点中的最大值或者最小值； 去噪输出模块，于判断结果为不是时直接输出r (N+1)，于判断结果为是时，采用中值滤波将序列的中值替换HN+1)输出。
10.如权利要求10所述的一种Bayer图像去椒盐噪声系统，其特征在于:该系统还包括边缘处理模块，对待处理的Bayer图像的第一行至第N行和倒数第一行至倒数第N行及第一列至第N列和倒数第一列至倒数第N列分别采用镜像补偿的方式补齐像素，使边缘像素与角落像素构成(2N+1) X (2N+1)的工作窗口。
【文档编号】G06T5/00GK103530856SQ201310513316
【公开日】2014年1月22日 申请日期:2013年10月25日 优先权日:2013年10月25日
【发明者】金威, 华洪略, 祝希, 贺光辉, 洪亮, 李琛, 赵宇航, 何卫锋 申请人:上海交通大学, 上海集成电路研发中心有限公司