一种拜耳格式图像的插值方法和装置与流程

本发明实施例涉及图像处理技术，尤其涉及一种拜耳格式图像的插值方法和装置。

背景技术：

在数字彩色成像中，最常用的传感器包括CCD(charge coupled device,电荷耦合器件)传感器和CMOS(complementary metal oxide semiconductor,互补金属氧化物半导体)传感器，这两类传感器的感光表面覆盖有滤色阵列(CFA,color filter array)，由于设计工艺的限制，CFA只允许传感器的每个像素记录一种颜色通道的值，而由这种传感器获取的图像被称为拜耳(bayer)格式图像。

由于bayer格式图像的每个像素点只能直接获取三个颜色通道中的一个，因此，需要通过一定的插值方法对每个像素点缺失的通道进行估算，使每个像素点包含例如红(R)、绿(G)、蓝(B)三个颜色通道而形成全彩色图像。

现有的插值方法通常是利用中心像素点的邻域内像素点及计算得到的各自对应的权值进行插值，其中，权重表示邻域内各像素点对中心像素点的色彩空间的贡献度。但是，一方面，这种插值方法由于是利用邻域像素值对当前像素点进行插值，因而容易受噪声影响，尤其是在图像细节丰富的区域容易产生伪彩；另一方面，由于在图像色彩饱和度很高的区域，像素的取值并没有考虑到方向性，三通道间数据的关联性差，其边界位置会出现锯齿效应，从而影响图像质量。

技术实现要素：

本发明实施例提供一种拜耳格式图像的插值方法和装置，以解决现有技术的插值方法造成伪彩和边界锯齿效应，从而影响图像质量的问题。

第一方面，本发明实施例提供了一种拜耳格式图像的插值方法，包括：

检测待处理图像中的噪声像素点，并去除检测到的噪声像素点，得到去噪图像；

根据预设插值模板计算所述去噪图像中用于进行高敏感通道插值的各像素点的插值权重，根据所述插值权重和对应的各像素点的像素值对所述去噪图像中的高敏感通道进行插值，得到高敏感通道插值图像；

利用引导滤波对所述高敏感通道插值图像中的低敏感通道进行插值，得到所述待处理图像的插值结果图像。

第二方面，本发明实施例还提供了一种拜耳格式图像的插值装置，该装置包括：

去噪模块，用于检测待处理图像中的噪声像素点，并去除检测到的噪声像素点，得到去噪图像；

高敏感通道插值模块，用于根据预设插值模板计算所述去噪图像中用于进行高敏感通道插值的各像素点的插值权重，根据所述插值权重和对应的各像素点的像素值对所述去噪图像中的高敏感通道进行插值，得到高敏感通道插值图像；

引导滤波模块，利用引导滤波对所述高敏感通道插值图像中的低敏感通道进行插值，得到所述待处理图像的插值结果图像。

本发明实施例通过在插值之前先进行噪声像素点的去除，然后进行高敏感通道的插值得到高敏感通道插值图像，最后基于所述高敏感通道插值图像，利用引导滤波对低敏感通道进行插值，得到插值结果图像，从而提高插值输入数据的可靠性和准确性，降低由于可能存在的噪声对插值结果的影响，降低伪彩的发生，并且可以改善图像边界的锯齿效应，避免三通道间数据关联性差的情况，从而提高图像质量。

附图说明

图1是本发明实施例一中的bayer格式图像的插值方法的流程图；

图2是本发明实施例二中的bayer格式图像的插值方法的流程图；

图3是本发明实施例二中p_k向量的示意图；

图4是本发明实施例二中的预设插值模板的示例；

图5是本发明实施例三中的bayer格式图像的插值方法的流程图；

图6是本发明实施例四中的bayer格式图像的插值装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的bayer格式图像的插值方法的流程图，本实施例可适用于对bayer格式图像进行插值处理，该方法可以由bayer格式图像的插值装置来执行，该装置可以采用软件和/或硬件的方式实现。如图1所示，本发明实施例一的方法具体包括：

S101、检测待处理图像中的噪声像素点，并去除检测到的噪声像素点，得到去噪图像。

众所周知，图像的采样通常具有统一的采样频率，采样频率越高，图像的清晰度就越高。但是，每副图像各自的图像内容可能包括细节丰富的区域，而如果采用统一的采样频率，对于图像中非细节的区域可能已经清楚了，但是这些细节丰富的区域仍然会不清楚，那么，若再利用这些不清楚的像素点进行插值，则这些细节丰富的区域就会受到这些噪声的影响，产生伪彩。因此，在对bayer格式图像进行插值之前先进行噪声像素点的检测，并去除检测到的噪声像素点，则可以避免噪声的影响，提高用于插值数据的可靠性。对待处理图像去除噪声像素点后得到去噪图像。

S102、根据预设插值模板，计算去噪图像中用于进行高敏感通道插值的各像素点的插值权重，根据所述插值权重和对应的各像素点的像素值对去噪图像中的高敏感通道进行插值，得到高敏感通道插值图像。

其中，高敏感通道和低敏感通道可以按照人眼对通道颜色的敏感度来划分。高敏感通道的插值准确性对图像质量的贡献度更多，因此，先对高敏感通道进行插值。

例如，在bayer格式图像中包含绿色、红色和蓝色三通道颜色，而由于人眼对绿色的敏感程度要高于红色和蓝色，并且在bayer格式图像中，绿色通道的分辨率要高于红色通道和蓝色通道，保存了更多的图像细节，因此，先对绿色通道的数据进行插值，可以确保图像的质量。

S103、利用引导滤波算法对高敏感通道插值图像中的低敏感通道进行插值，得到所述待处理图像的插值结果图像。

在对高敏感通道进行插值之后，利用引导滤波算法对高敏感通道插值图像中的低敏感通道进行插值，得到最终的插值结果图像。

在上面的例子中，对绿色通道进行插值之后，利用引导滤波算法对绿色通道插值图像中的红色通道和蓝色通道分别进行插值，得到最终的插值结果图像。

本发明实施例通过在插值之前先进行噪声像素点的去除，然后进行高敏感通道的插值得到高敏感通道插值图像，提高了插值输入数据的可靠性和准确性，降低由于可能存在的噪声对插值结果的影响，最后基于所述高敏感通道插值图像，利用引导滤波对低敏感通道进行插值，得到插值结果图像，提高了三通道间数据的关联性，改善图像边界的锯齿效应，从而提高了图像质量。

实施例二

图2为本发明实施例二提供的bayer格式图像的插值方法的流程图，实施例二在实施例一的基础上对实施例一中的各操作做出进一步说明。如图2所示，本发明实施例二的方法具体包括：

S201、检测待处理图像中的噪声像素点，并去除检测到的噪声像素点，得到去噪图像。

其中，检测待处理图像中的噪声像素点，并去除检测到的噪声像素点，包括：

利用S-ROD算法检测待处理图像中的噪声像素点；

依次对检测到的噪声像素点做如下处理，得到去噪图像：将当前噪声像素点的像素值，替换为在预设相邻区域内，与所述当前噪声像素点同通道的像素点的像素值的均值。

具体的，利用S-ROD算法检测待处理图像中的噪声像素点的检测判别式为：

其中，Z(i)表示当前待判断的第n帧中坐标位置为(x,y)的像素x(k)的像素值；T₁为预先设定的阈值，优选的，T₁设定为15；p_k代表由六个像素构成的向量，该向量的示意图如图3所示，其中，P₁表示在t-1帧中，位于坐标位置(x,y)上方的像素构成的向量，P₂表示在t-1帧中，位于坐标位置(x,y)的像素构成的向量，P₃表示在t-1帧中，位于坐标位置(x,y)下方的像素构成的向量，P₄表示在t+1帧中，位于坐标位置(x,y)上方的像素构成的向量，P₅表示在t+1帧中，位于坐标位置(x,y)的像素构成的向量，P₆表示在t+1帧中，位于坐标位置(x,y)下方的像素构成的向量。

需要说明的是，由于图像中的边缘信息和噪声在频域中都表现为高频信号，因此，如果利用噪声的高频特性进行检测和处理，则会造成边缘信息的损失。本发明实施例采用S-ROD算法利用噪声点的时空特性检测图像中的噪声，在有效去除噪声这一高频信号的同时，对边缘高频信号的损失降到最低。具体的，由于噪声点具有时间不连续性和空间不连续性的时空特性，其中，时间不连续性是指对于相邻两帧图像中的噪声点，其位置信息几乎是完全不同的，并且它们的大小、形状都是完全随机的；后者是指噪声点区域突变的像素值与其相邻的非噪声区域的像素值是完全不同的。因此，在该判别式中，如果Z(i)与p_k中的最大值和最小值的差值绝对值均大于阈值T₁，说明x(k)具有所述时空特性，则S(i)的计算结果为1，判定x(k)为噪声像素点，反之则为0，判定x(k)不是噪声像素点。

在检测出噪声像素点之后，依次对检测到的噪声像素点进行去除处理，具体的，将噪声像素点的像素值替换为在预设相邻区域内与该噪声像素点同通道的像素点的像素值的均值。例如，若当前噪声像素点为红色通道像素点，预设相邻区域为5*5的窗口，则以该红色通道像素点为中心，其周围5*5区域内的全部红色通道像素点的像素值均值，作为该红色通道像素点的新的像素值。对每一个噪声像素点均完成上述像素值替换操作后，得到去噪图像。

S202、根据预设插值模板，计算去噪图像中用于进行高敏感通道插值的各像素点的插值权重，根据所述插值权重和对应的各像素点的像素值对去噪图像中的高敏感通道进行插值，得到高敏感通道插值图像。

接下来，仍以高敏感通道包括绿色通道、低敏感通道包括红色通道和蓝色通道为例，对S202做出进一步说明。

优选的，所述预设插值模板为菱形模板。图4是本发明实施例二中的预设插值模板的示例，在图4中，以B₄₄为中心点作为示例，其中的R、G、B分别表示红色通道像素点、绿色通道像素点和蓝色通道像素点，在菱形模板中，以B₄₄为中心像素点，选取其周围菱形区域像素点作为绿色通道插值的像素点，若以其他像素点作为中心点，模板区域的形状保持不变，菱形区域中的像素点的下标依次改变即可，此处不一一赘述。

在本发明实施例二中，考虑在bayer格式图像的插值过程中，中心像素点的邻域内各像素点对中心像素点的色彩空间的贡献度是不一样的，因此，邻域的选取，也即插值模板的选取，决定了插值的质量。而事实上，人眼在水平和竖直两个方向上对图像的辨识度要高于左、右两个45°斜方向，因此，在本发明实施例中选取贡献度更大的像素点来进行插值。此外，菱形模板中需要存储的像素点的像素值相对较少，从而节约了硬件资源。

具体而言，基于图4，G34、G43、G54、G45四个点的权重计算方法如下：

由以上四式可计算出：

α＝α₄₃*α₄₅*α₅₄+α₃₄*α₄₅*α₅₄+α₃₄*α₄₃*α₅₄+α₃₄*α₄₃*α₄₅

继而计算出：

β₃₄＝α₄₃*α₄₅*α₅₄/α

β₄₃＝α₃₄*α₄₅*α₅₄/α

β₄₅＝α₃₄*α₄₃*α₅₄/α

β₅₄＝1-β₃₄-β₄₃-β₄₅

那么，B₄₄对应绿色通道的像素值G₄₄为：

G₄₄＝temp1+temp2+temp3+temp4

对去噪图像中的全部红色通道像素点和蓝色通道像素点均按照上述计算方法进行绿色通道插值，计算出对应的绿色通道像素值，即可得到绿色通道插值图像。

这里需要说明的是，对于通道间梯度变化非一致性的情况，如：纯红色区域的边界处，绿色和蓝色通道的变化是不明显的，但是红色通道数值上的变化是明显的，则在这种情况下，如果直接利用红色通道的值对绿色通道进行插值，就会导致插值结果视觉上的边缘锯齿现象。为了防止这一现象，在以上格式中，对通道前梯度一致性先进行判断，仅利用梯度一致的通道中的已知信息对插值像素点进行插值，从而提高插值结果的准确性。

S203、利用引导滤波算法对高敏感通道插值图像中的低敏感通道进行插值，得到所述待处理图像的插值结果图像。

具体的，将在S202中得到的高敏感通道插值图像作为引导图，利用引导滤波的公式对高敏感通道插值图像中的低敏感通道进行插值运算，得到待处理图像的插值结果图像。利用高敏感通道插值图像自身作为引导图实现低敏感通道的插值，可以提高三通道间数据的关联性，提高插值结果图像的质量。

接下来以高敏感通道包括绿色通道、低敏感通道包括红色通道和蓝色通道为例进行具体说明。

在本实施例中，引导滤波的公式为：

其中，i为像素索引下标，ω_k是窗口范围，可以自定义为5×5或7×7，k为当前计算窗口索引下标，|ω|表示窗口内像素的个数，如：窗口大小如果是5×5，则|ω|即为25，p为bayer格式中1/4分辨率的红色/蓝色通道数据，I为引导图，即S202步骤中经插值计算得到的与原始bayer格式同分辨率的绿色通道图像，q为插值后得到的与原始bayer格式同分辨率的红色/蓝色通道图像，μ_k和分别为图像I的数学期望和方差。

需要说明的是，在S202中，得到了红色、蓝色通道像素点的绿色通道像素值，若在去噪图像中绿色通道的分辨率为200*200，则插值后变为了400*400，在S203中，得到红色通道像素点的蓝色通道像素值，蓝色通道像素点的红色通道像素值，以及绿色通道像素点的红色和蓝色通道像素值，那么若在绿色通道插值图像中，红色/蓝色两通道的分别率为100*100，则进行引导滤波后，红色/蓝色两通道的分别率也变成400*400，这里称其为超分辨率插值。而通过引导滤波的方法直接对红色/蓝色两个通道数据进行超分辨率插值，保证了三通道间数据的关联性。

本发明实施例通过在插值之前先利用S-ROD算法进行噪声像素点的检测和去除，然后根据菱形模板进行高敏感通道的插值得到高敏感通道插值图像，提高了插值输入数据的可靠性和准确性，降低由于可能存在的噪声对插值结果的影响，同时降低了图像的高频损失；最后基于所述高敏感通道插值图像，利用引导滤波对低敏感通道进行插值，得到插值结果图像，提高了三通道间数据的关联性，改善图像边界的锯齿效应，从而提高了图像质量。

实施例三

本发明实施例三提供一种bayer格式图像的插值方法，实施例三在上述实施例的基础上，作为一种示例说明插值方法的操作流程。如图5所示，本实施例的插值方法包括：

S301、利用S-ROS算法进行噪声监测；

S302、判断是否存在噪声像素值，即是否检测出符合噪声像素点特征的像素值，当判断出是时，执行步骤S303，反之执行步骤S305；

S303、将包含噪声的像素值排除；

S304、利用邻域同通道像素值均值对该噪声像素值进行替换；

S305、计算用于绿色通道插值的像素点各自的权重，在本实施例中，绿色通道作为高敏感通道；

S306、根据权重和像素值对绿色通道进行插值；

S307、通过引导滤波方法，利用绿色通道插值结果对红色和蓝色通道进行插值，在本实施例中红色和蓝色通道作为低敏感通道；

通过上述步骤，最终得到待处理图像的插值结果图像。而且本实施例的插值结果图像避免了噪声的影响，且改善了图像边界的锯齿效应，图像质量高。

实施例四

图6是本发明实施例四中的bayer格式图像的插值装置的结构示意图，该bayer格式图像的插值装置应用于对bayer格式图像进行插值处理。如图6所示，该装置包括：

去噪模块41，用于检测待处理图像中的噪声像素点，并去除检测到的噪声像素点，得到去噪图像；

高敏感通道插值模块42，用于根据预设插值模板计算去噪图像中用于进行高敏感通道插值的各像素点的插值权重，根据插值权重和对应的各像素点的像素值对去噪图像中的高敏感通道进行插值，得到高敏感通道插值图像；

引导滤波模块43，利用引导滤波对高敏感通道插值图像中的低敏感通道进行插值，得到待处理图像的插值结果图像。

优选的，所述高敏感通道包括绿色通道，所述低敏感通道包括红色通道和蓝色通道。

进一步的，去噪模块41包括：

检测单元，用于利用S-ROD算法检测待处理图像中的噪声像素点；

去燥单元，用于依次对检测到的噪声像素点做如下处理，得到去噪图像：将当前噪声像素点的像素值，替换为在预设相邻区域内，与所述当前噪声像素点同通道的像素点的像素值的均值。

优选的，所述预设插值模板为菱形模板。

优选的，引导滤波模块43具体用于：将高敏感通道插值图像作为引导图，利用引导滤波的公式对高敏感通道插值图像中的低敏感通道进行插值运算，得到待处理图像的插值结果图像。

本发明实施例通过在插值之前先进行噪声像素点的去除，然后进行高敏感通道的插值得到高敏感通道插值图像，最后基于所述高敏感通道插值图像，利用引导滤波对低敏感通道进行插值，得到插值结果图像，从而提高插值输入数据的可靠性和准确性，降低由于可能存在的噪声对插值结果的影响，降低伪彩的发生，并且可以改善图像边界的锯齿效应，避免三通道间数据关联性差的情况，从而提高图像质量。

本发明实施例提供的bayer格式图像的插值装置可执行本发明任意实施例提供的bayer格式图像的插值方法，具备执行方法相应的功能模块和有益效果。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。