一种拜耳图像联合去噪插值方法
【专利摘要】本发明提供一种拜耳图像联合去噪插值方法，与现有的联合去噪插值方法相比，本发明方法具有如下优点：在一个局部小窗口内进行去噪和插值，不需要知道全局图像的噪声信息；去噪方法考虑到局部相关性，并同时进行横向和纵向和滤波，增加去噪性能。整体算法简单，只涉及简单的加减乘除运算，且大部分乘除运算能用以为操作代替，利于硬件实现，节省资源；算法性能良好。
【专利说明】一种拜耳图像联合去噪插值方法
【技术领域】
[0001]本发明涉及一种数码相机静态图像处理的方法，尤其涉及一种在拜耳图像上进行联合去噪插值处理，生成去噪后的RGB图像的方法。
【背景技术】
[0002]为实现单片彩色图像传感器，人们引入彩色滤波器阵列CFA(Color FilterArray)，在黑白CMOS图像传感器的基础上，增加彩色滤色结构和彩色信息处理模块就可以获取彩色图像。在CMOS图像传感器的像素上覆盖这样的彩色滤色器阵列，就可以获得图像的彩色信息，再经过彩色信息处理，就可以获得色彩逼真的彩色图像。图I表示了一个8*8色彩滤波器阵列，这是一个典型的棋盘式滤色器是Bayer滤色器。X，Y轴表示了每个感光器件的坐标。B (蓝色)，G (绿色）原色器件在奇数行交错排列，G，R (红色）原色器件在偶数行交错排列。这种滤色器的每一行上只有两种滤色单元：或者是G，R，或者是G，B。因此，整个滤色器上G光的采样单元数目是R光或B光的两倍。这种滤色器能很好地用在逐行扫描的方式实现逼真的彩色图像效果。由上面的滤色器结构可以知道，对某一个像素点，其只获得了二基色中的某一个值，其余两个值要从邻近像素插值得到。插值的过程也称为去马赛克。
[0003]目前的插值方法有双线性插值法、带方向检测的双线性插值法、COk色比定律插值法、Hamilton-Adams 插值法、DLMMSE、LPA-ICI 等等。
[0004]一般从传感器出来的拜耳图像（Bayer图像）数据会含有噪声，其中加性高斯白噪声是一种典型的代表，因此对图像的去噪也是很重要的一步处理流程。一般先去噪再插值比先插值再去噪的性能要好，但是把去噪和插值当成一步流程联合起来做效果要比分开做好。
[0005]现有的拜耳图像联合去噪插值算法性能已经很好，但是算法复杂度很高，不利于硬件实现，而且实现的硬件消耗会很大。本发明针对上述不足，提出一种新的拜耳图像联合去噪插值方法，该方法性能跟已有的算法相当，复杂度大大降低，利于硬件实现，硬件开销小。
【发明内容】
[0006]本发明意在解决上述问题，即拜耳图像联合去噪插值算法复杂度很高，不利于硬件实现。本发明在现有的插值、去噪方法上加以改进，提出一种新的拜耳图像联合去噪插值方法，该方法性能跟已有的算法相当，复杂度大大降低，利于硬件实现，硬件开销小。
[0007]为了达到上述目的，本发明采用了以下技术方案：
[0008]I)对G通道进行插值。假设原始的拜耳图像大小为M*N，而需要进行插值的当前点坐标为（m, n),该点为B或者R。图2所示为当前点为B或者R的情况（BR表示一种颜色，要么全是B，要么全是R)；
[0009]G_v (m, n) = (I (m_l, n) +I (m+1, n) )/2+(2*1 (m, n) -I (m_2, n) -I (m+2, n)) /4 ；[0010]G_h (m, η) = (I (m, n_l) +I (m, n+1)) /2+ (2*1 (m, n) -I (m, n_2) -I (m, n+2)) /4 ；
[0011]其中I(m，n)表示原始的Bayer数据,而G_v和G_h分别代表纵向插值图像和横向
插值图像。
[0012]这样由G_v和原始的G像素组成M*N的一个完整的纵向插值图像。
[0013]同样由G_h和原始的G像素组成M*N的一个完整的横向插值图像。
[0014]2)对于B和R的插值，由于像素点少所以并不能像G那样得到完整的B或者R的插值完整平面，而是退一步形成B和R交织的图像。需要进行插值的当前点坐标为（m，n)，该点为G,如图2所示。
[0015]插值过程和G完全一样：
[0016]BR_v (m, η) = (I (m-1, η) +I (m+1, η))/2+(2*G_v (m, η) ~G_v (m-1, n) ~G_v (m+1, n)) /2;
[0017]BR_h (m, n) = (I (m, n_l) +I (m, n+1) )/2+ (2*G_h (m, n) -G_h (m, n_l) -G_h (m, n+1)) /2;
[0018]这样BR_v得到的即为一列B和一列R的M*N的交织纵向插值图像。
[0019]同样BR_h得到的即为一行B和一行R的M*N的交织纵向插值图像。
[0020]3)转换G和BR域到Summation(总和)和Delta域(德耳塔域)。Summation即G+B或者G+R的和，Delta即G-B或者G-V的差。
[0021]summation_h=G_h+BR_h;
[0022]summation_v=G_v+BR_v;
[0023]deIta_h=G_h_BR_h;
[0024]deIta_v=G_v-BR_v;
[0025]Delta域数据的变化更加缓慢和平滑，所以得到的插值噪声等等都相对更加小。另外，可以使得在接下来去噪步骤的时候可以同时使用到G和B或者R，这样可以使得去噪的时候更够更加精确。
[0026]4)米用 Epsilon_Filter(Epsilon 滤波器)进行第一次去噪处理。Epsilon-Filter原理相对比较简单，当要处理的像素和邻域(横向相邻5个像素）的像素点差值过大超过阈值，则判定为不相关，否则相关。在后期加权求和的时候这些不相关的点权值即为0，相关的点权值为所有相关点个数的倒数。其中Summation域的阈值为Tl，Delta域的权值为T2。去噪之后得至丨J相应的 summation_denoise_h, summation_denoise_v 和 delta_denoise_h,deIta_denoise_v。
[0027]5)通过插值把BR的图像插成2幅独立的B和R的完整图像。例如对R来说，由于BR图像本身就是两行R夹着一行B，反之亦然。所以对于中间的那行R值就可以采用上下两行相加求平均得到。考虑到在一行R中有一半的原始的raw data (未处理数据)，而剩下的一半是第一步得到的插值数，所以采用如下方法得到更加准确的值。即：
[0028]a.在一个点的左右两点是raw data的时候采用其对角线最近的4个点加权平均。因为考虑到对角线4个都是第一步插值出来的，所以这四个本质受到与之相邻的6个点的影响，且中间两点权值是边界4点的2倍。
[0029]b.如果一个点的左右两点是插值出来的则直接用左右两点平均就好了，其本质展开后相当于四角的4个点加权平均。
[0030]6) 二次去噪。与第四步的第一次去噪完全一致，不同的是原本的对于横向插值得到结果进行横向滤波而改为纵向滤波(纵向相邻5个像素)，从而钝化每行与每列的之间的跳变。
[0031]7)横向图案和纵向图案合并，采用最简单的两者对应的点求平均值。
[0032]与现有的联合去噪插值方法相比，本发明方法具有如下优点：在一个局部小窗口内进行去噪和插值，不需要知道全局图像的噪声信息；去噪方法考虑到局部相关性，并同时进行横向和纵向和滤波，增加去噪性能。整体算法简单，只涉及简单的加减乘除运算，且大部分乘除运算能用以为操作代替，利于硬件实现，节省资源；算法性能良好。
【专利附图】
【附图说明】
[0033]图I是一个8*8的拜耳图像色彩滤波器阵列。
[0034]图2是当前点坐标为（m, n)且为B或者R (B、R表示一种颜色,要么全是B,要么全是R)时，周围像素点的分布情况。
【具体实施方式】
[0035]为使本发明的内容更加清楚易懂，以下结合说明书附图，对本发明的内容作进一步说明。当然本发明并不局限于该具体实施例，本领域内的技术人员所熟知的一般替换也涵盖在本发明的保护范围内。
[0036]下面对本发明的实施例作详细的说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0037]本实施例通过以下方式实现拜耳图像联合去噪和插值。
[0038](I)对如图I所示的Bayer格式图像进行插值。拜耳图像大小为M*N，而需要进行插值的当前点坐标为（111，11)，该点为6，8或者1?。先对G颜色通道进行插值，如图2所示，当前点为B或者R的情况（BR表示一种颜色,要么全是B,要么全是R)。
[0039]G_v (m, n) = (I (m_l, n) +I (m+1, n) )/2+(2*1 (m, n) -I (m_2, n) -I (m+2, n))/4;
[0040]G_h(m, n) = (I (m, n_l) +I (m, n+1))/2+ (2*1 (m, n)-I (m, n_2)-I (m, n+2))/4;
[0041]其中I (m, n)表示原始的Bayer数据,而G_v和G_h分别代表纵向插值图像和横向插值图像。
[0042]这样由G_v和原始的G像素组成M*N的一个完整的纵向插值图像。
[0043]同样由G_h和原始的G像素组成M*N的一个完整的横向插值图像。
[0044]再对B和R颜色通道进行插值，此时需要进行插值的当前点坐标为（m，n)，该点为G，跟图2类似。
[0045]插值过程和G完全一样：
[0046]BR_v (m, n) = (I (m_l, n) +I (m+1, n)) /2+ (2*G_v (m, n) -G_v (m-1, n) -G_v (m+1, n)) /2;
[0047]BR_h (m, n) = (I (m, n_l) +I (m, n+1) )/2+ (2*G_h (m, n) -G_h (m, n_l) -G_h (m, n+1)) /2;
[0048]这样BR_v得到的即为一列B和一列R的M*N的交织纵向插值图像。
[0049]同样BR_h得到的即为一行B和一行R的M*N的交织纵向插值图像。
[0050](2)转换 G 和 BR 域到 Summation 和 Delta 域。Summation 即 G+B 或者 G+R 的和，Delta即G-B或者G-V的差。转换方法如下。
[0051]summation_h=G_h+BR_h;[0052]summation_v=G_v+BR_v;
[0053]deIta_h=G_h_BR_h;
[0054]deIta_v=G_v-BR_v;
[0055](3)采用Epsilon-Filter进行第一次去噪处理。当要处理的像素和邻域(横向相邻5个像素）的像素点差值过大超过阈值，则判定为不相关，否则相关。在后期加权求和的时候这些不相关的点权值即为O,相关的点权值为所有相关点个数的倒数。其中Smnmation域的阈值为Tl, Delta域的权值为T2。去噪之后得到相应的summation_denoise_h,summation_denoise_v 和 delta_denoise_h, delta_denoise_v。对应的算法如下。
[0056]relevant=abs(summation_h(m, n-2:n+2)-summation_h (m, n))〈Tl;
[0057]summation_denoise_h (m, n) =sum (summation_h (m, n_2 : n+2) · ^relevant) /sum(relevant);
[0058]relevant=abs(delta_h(m, n_2:n+2)_delta_h(m, n))<T2;
[0059]delta_denoise_h(m, n)=sum(delta_h(m, n-2:n+2).氺relevant)/sum(relevant);
[0060]其中，abs表示绝对值运算，sum表示求和运算。
[0061](4)通过插值把BR的图像插成2幅独立的B和R的完整图像。例如对R来说，由于BR图像本身就是两行R夹着一行B，反之亦然。所以对于中间的那行R值就可以采用上下两行相加求平均得到。考虑到在一行R中有一半的原始的raw data，而剩下的一半是第一步得到的插值数，所以采用如下方法得到更加准确的值。即：
[0062]a.在一个点的左右两点是rawdata的时候采用其对角线最近的4个点加权平均。因为考虑到对角线4个都是第一步插值出来的，所以这四个本质受到与之相邻的6个点的影响，且中间两点权值是边界4点的2倍。
[0063]b.如果一个点的左右两点是插值出来的则直接用左右两点平均就好了，其本质展开后相当于四角的4个点加权平均。
[0064]对应的代算法如下。
[0065]对于奇数列奇数行的当前点：
[0066]delta_R_v(m, n) = (delta_denoise_v(m, n_l)+deIta_denoise_v(m, n+1))/2;
[0067]对于奇数列偶数行的当前点：
[0068]de 11 a_R_v (m, η) = (delta_denoise_v (m-1, η- I) + delta_denoise_V(m+1, n+1)+deIta_denoise_v(m+1, n_l)+deIta_denoise_v(m-1, n+1))/4;
[0069]其他的delta_R_h, delta_B_v, delta_B_h 都可以类似得到。
[0070](5) 二次去噪。与第一次去噪完全一致，不同的是原本的对于横向插值得到结果进行横向滤波而改为纵向滤波(纵向相邻5个像素)，从而钝化每行与每列的之间的跳变。
[0071](6)横向图案和纵向图案合并，相加求平均得到最终去噪和插值后的图像。
[0072]虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何所属【技术领域】中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的保护范围当视权利要求书所界定者为准。
【权利要求】
1.一种拜耳图像联合去噪插值方法，包括： 对G通道进行插值： 设原始拜耳图像大小为M*N，且需要进行插值的当前点坐标为（m，η)，则 G_v (m, n) = (1 (m_l, η) +I (m+1, n) )/2+(2*1 (m, η) -I (m_2, η) -I (m+2, η) )/4,
G_h (m, η) = (1 (m, η_1)+Ι (m, η+1) )/2+(2*1 (m, η) -I (m, η-2) -I (m, η+2)) /4, 其中I (m，η)表示原始拜耳图像的数据，G_v和G_h分别代表需要进行插值纵向插值图像和横向插值图像； 对B通道和R通道进行插值：
BR_v (m, η) = (I (m-1, η) +I (m+1, η)) /2+ (2*G_v (m, η) -G_v (m-1, n) -G_v (m+1, n)) /2,
BR_h (m, n) = (I (m, n_l) +I (m, n+1) )/2+ (2*G_h (m, n) -G_h (m, n_l) -G_h (m, n+1)) /2 ； 转换G通道和B通道、R通道到总和与德耳塔域，所述总和为G通道与B通道的和或者 G通道与R通道的和，所述德耳塔即G通道与B通道的差或者G通道与V通道的差： summation_h=G_h+BR_h, summation_v=G_v+BR_v, deIta_h=G_h_BR_h， deIta_v=G_v-BR_v, 所述su_ation_h为纵向总和，su_ation_v为横向总和，delta_h为纵向德耳塔域，delta_v为横向德耳塔域； 采用Epsilon滤波器进行第一次去噪处理，当要处理的像素和邻域(横向相邻5个像素）的像素点差值过大超过阈值，则判定为不相关，否则相关，在后期加权求和的时候这些不相关的点权值即为0，相关的点权值为所有相关点个数的倒数； 通过插值把B通道、R通道的图像插成两幅独立的B和R的完整图像，对R通道，将中间行R通道的值采用其上下两行相加求平均获得，对于B通道，将中间行B通道的值采用其上下两行相加求平均获得； 采用Epsilon滤波器进行第二次去噪处理； 将横向图案和纵向图案合并，将所述横向图案和纵向图案对应的点求平均值。
2.如权利要求1所述的拜耳图像联合去噪插值方法，其特征在于，在通过插值把B通道、R通道的图像插成两幅独立的B和R的完整图像的步骤中包括： 在一个点的左右两点是未处理数据的时候采用其对角线最近的4个点加权平均，因为考虑到对角线4个都是第一步插值出来的，所以这四个本质受到与之相邻的6个点的影响，且中间两点权值是边界4点的2倍； 如果一个点的左右两点是插值出来的则直接用左右两点平均就好了，其本质展开后相当于四角的4个点加权平均。
【文档编号】H04N5/357GK103491280SQ201310463616
【公开日】2014年1月1日 申请日期:2013年9月30日 优先权日:2013年9月30日
【发明者】金威, 应碧丞, 贺光辉, 洪亮, 李琛, 赵宇航, 何卫锋 申请人:上海交通大学, 上海集成电路研发中心有限公司