专利名称：基于边缘方向插值的cfa图像去马赛克方法
技术领域：
本发明属于图像处理技术领域，更进一步涉及图像恢复技术领域的基于边缘方向插值的CFA图像去马赛克方法。本发明是对有马赛克效应的CFA图像进行插值，以获得具有红、绿、蓝三个通道全部信息的彩色图像。本发明可用于单传感相机中，作为后处理算法对CCD或CMOS传感器捕获的CFA图像进行处理，恢复出完整的数字彩色图像，从而弥补由于减少相机硬件成本所带来的图像彩色信息的丢失。
背景技术：
数字彩色图像通常用红、绿、蓝三基色来表示颜色值。出于成本考虑，目前大部分相机采用的是单个C⑶或CMOS传感器，通过在传感器前加一个颜色滤波阵列(color filer array，CFA)，只用一个矩阵来表示彩色图像。每个像素点上只有一个颜色值，而另外两个颜色值则根据其邻域信息来插值，这一插值技术被称为“去马赛克”(demosaicking)。CFA图像去马赛克实质上是一个病态逆问题，即由已知的原图1/3的信息恢复出全部的信息。拜耳(Bayer)模式的CFA由于简单而高效，是目前应用最为广泛的一种。在Bayer模式的CFA 中，每相邻的四个像素中有两个像素只有绿色值，其它两个分别只有红色值、蓝色值。现有的CFA图像去马赛克技术可以简单地分为线性插值技术和非线性插值技术。线性插值最简单也最具代表性的有双线性插值和双立方插值。双线性插值和双立方插值技术的优点在于其实现简单，速度快；但其缺点也是显而易见的在图像中会产生严重的人工痕迹(如彩色镶边，即虚假颜色效应)，尤其在图像的高频部分更为突出。相比线性插值技术，非线性插值技术更复杂，由于考虑了 RGB通道间的相关性，其插值效果明显要优于线性插值技术。这一类技术有很多，例如，S. Pei和I. Tam在文章“Effective color interpolation in CCD color filter array using signal correlation" (Proc. Int. Conf. Image Process.，Sep. 2000，PP. 488-491)中提出的利用信号校正的高效插值技术。非线性插值技术还包括一些基于迭代算法的去马赛克技术，如B. Gunturk,等人在文章中 iiColor plane interpolation using alternating projections" (IEEE Trans. Image Process.，vol. 11，no. 9，pp. 997-1013，Sep. 2002)中提出的交替投影方法，又如 Wenmain Lu 禾口 Yap-peng Tan 在文章中 “Color filter array demosaicing :new method and performance measures，，(IEEE Trans. Image Process. , vol. 12,no. 10,pp. 1194-1210， Oct. 2003)中提出的去马赛克方法。近年来提出了一种基于稀疏表示的彩色图像去马赛克技术，如 Julien Mairal 等人在文章“Sparse representation for color image restoration，，(IEEE Trans. Image Process. , vol. 17, no. 1, Jan. 2008)中描述的方法。这种方法需要对大量数据进行学习和训练出相应的稀疏字典，然后根据字典重构彩色图像， 算法更为复杂。总之，非线性插值技术虽然可以获得优质彩色图像，但其复杂度高，计算代价大。微软公司提出的专利申请“用于彩色图像去马赛克的优质梯度校正线性插值”(申请日:2005年03月15日，申请号200510055929. 5，公开号CN1722852)中公开了一种用于彩色图像去马赛克的梯度校正线性插值方法和系统。该方法和系统首先使用现有的线性插值技术如双线性插值技术来估算所需颜色的值，然后通过计算当前像素上所需色彩的梯度来计算校正项，最后线性组合该插值和校正项以产生像素上遗漏色彩值。该方法直接使用梯度来影响和校正由现有插值技术估计的色彩值。该方法的不足之处是仅仅利用了梯度来校正双线性插值的结果，虽然相比于双线性插值有了一定改进，但对图像细节部分处理效果仍然不太理想，虚假颜色效应依然严重。Zhang等人在文章“Color demosaicking via directional linear minimum mean square-error estimation，，(IEEE Trans. Image Process. , vol. 14,no. 12,pp. 2167-2178， Dec. 2005.)中提出一种基于方向线性均方误差估计的去马赛克方法。该方法利用线性均方误差估计(LMMSE)对红绿和蓝绿的差信号从水平和竖直两个方向进行估计，然后对每个像素点的将两个绿色估计值优化融合使得其与邻域像素的方差最小，最后通过对差信号线性均方误差估计重构出三个通道的全部信息。该方法的不足之处是该方法需要进行多次估计和融合，虽然对图像的细节处理有所改善，但算法复杂度高，程序运行时间长。
发明内容
本发明针对现有去马赛克算法对图像的高频部分插值效果不佳的缺陷，提出了一种基于边缘方向插值的CFA图像去马赛克方法，通过以精确估计的亮度为指导对绿色通道沿边缘方向插值以及插值后的修正，使得图像的高频部分的插值结果有明显提高，有效抑制了虚假颜色效应。为实现上述目的，本发明包括如下主要步骤(1)输入一幅待去马赛克的CFA图像；(2)估计亮度2a)设计一个9X9滤波器Γ i和一个5 X 5滤波器Γ 2 ；2b)分别用滤波器^和Γ2对输入CFA图像滤波，得到与输入CFA图像大小一致的滤波后图像Iri和Ir2，将两幅图像融合得到一幅亮度图像t ；(3)对绿色通道插值3a)计算亮度图像￡水平和垂直两个方向上的梯度ΔΗ、AV ；3b)比较ΔΗ与Δ V大小，获得水平和垂直方向的边缘矩阵&和Ev ；3c)根据水平和垂直方向边缘矩阵&和Ev判断插值方向并对绿色通道插值；(4)对红色和蓝色通道分别进行双线性插值；(5)分别对红、绿、蓝通道进行修正；(6)输出彩色图像。本发明与现有的技术相比具有以下优点第一，本发明通过以精确估计的亮度为指导对绿色通道沿边缘方向插值以及插值后修正，使得图像的高频部分的插值效果有明显提高，视觉效果好，有效抑制了虚假颜色效应；第二，本发明的插值采用线性方法，计算量小，运行速度快，与现有技术基于线性均方误差估计的算法和一些现有迭代算法相比，运行时间短，缩短了相机成像时间。CN 102254301 A
说明书
3/8页
图1为本发明的流程图；图2为现有技术去马赛克效果图；图3为本发明去马赛克效果图。
具体实施例方式下面结合附图1，对本发明实现的步骤作进一步的详细描述步骤1，输入一幅待去马赛克的CFA图像Is待去马赛克的CFA图像为拜耳(Bayer)模式的CFA图像，该图像中每个像素点都只有三基色中的一个颜色值已知，其余两个颜色值未知；CFA图像每相邻2X2图像块的四个像素点中有两个像素点已知绿色值，另外两个像素点分别已知红色值、蓝色值。步骤2，估计亮度2a)根据下式设计一个9 X 9滤波器Γ :和一个5 X 5滤波器Γ 权利要求
1. 一种基于边缘方向插值的CFA图像去马赛克方法，包括如下步骤(1)输入一幅待去马赛克的CFA图像；(2)估计亮度2a)设计一个9X9滤波器Γ i和--个5X5滤波器Γ:2b)分别用滤波器Γ工和Γ 2对输入CFA图像滤波，得到与输入CFA图像大小一致的滤波后图像Iri和Ir2，将两幅图像融合得到一幅亮度图像t ；(3)对绿色通道插值3a)计算亮度图像乞水平和垂直两个方向上的梯度ΔΗ、AV；3b)比较ΔΗ与AV大小，获得水平和垂直方向的边缘矩阵&和Ev;3c)根据水平和垂直方向边缘矩阵&和Ev判断插值方向并对绿色通道插值；(4)对红色和蓝色通道分别进行双线性插值；(5)分别对红、绿、蓝通道进行修正；(6)输出彩色图像。
2.根据权利要求1所述的基于边缘方向插值的CFA图像去马赛克方法，其特征在于 步骤2a)中所述的滤波器根据如下公式来设计得到
3.根据权利要求1所述的基于边缘方向插值的CFA图像去马赛克方法，其特征在于 步骤2b)中所述的图像融合规则如下当像素位置索引i和j均为奇数或均为偶数时， L(U) =Irl(U)主(/,7·)为像素点⑴J')的亮度值，In(i，j)为图像Iri中像素点(i，j)的值，否则，￡^,_/)=Ir2(^)，Ir2(i，j)为图像Ir2中像素点(i，j)的值。
4.根据权利要求1所述的基于边缘方向插值的CFA图像去马赛克方法，其特征在于 步骤3a)中所述水平和垂直方向上的梯度计算公式如下
5.根据权利要求1所述的基于边缘方向插值的CFA图像去马赛克方法，其特征在于 步骤北)中所述的水平和垂直方向的边缘矩阵&和民按照下列公式获得
6.根据权利要求1所述的基于边缘方向插值的CFA图像去马赛克方法，其特征在于 步骤3c)中所述的插值方法如果矩阵&第士行第j列元素&(i，j)的值大于等于2.5时， 对像素点(i，j)进行水平方向插值；如果矩阵Ev第i行第j列元素Ev(i，j)的值大于等于 2. 5时，对像素点(i，j)进行垂直方向插值。
7.根据权利要求1所述的基于边缘方向插值的CFA图像去马赛克方法，其特征在于 步骤(5)中所述的修正方法对绿色通道中插值的像素点分别计算水平和垂直梯度，如果水平梯度小于垂直梯度，对此像素绿色值进行水平邻域加权修正，如果水平梯度大于垂直梯度，对此像素绿色值进行垂直邻域加权修正，如果水平梯度等于垂直梯度，对此像素绿色值进行水平垂直邻域加权修正；对插值像素点的红色值和蓝色值均进行水平垂直邻域加权修正。
全文摘要
本发明公开了一种基于边缘方向插值的颜色滤波阵列(color filter array，CFA)图像去马赛克方法，主要解决了现有的去马赛克方法对图像高频部分插值效果不佳虚假颜色效应严重的问题。其实现步骤是(1)输入一幅待去马赛克的CFA图像；(2)估计亮度；(3)对绿色通道插值；(4)对红色和蓝色通道分别进行双线性插值；(5)分别对红、绿、蓝通道进行修正；(6)输出彩色图像。本发明具有能较好的保持图像高频信息的优点，能有效抑制虚假颜色效应，改善CFA图像去马赛克后视觉效果，且运行时间短。
文档编号G06T3/40GK102254301SQ20111020761
公开日2011年11月23日 申请日期2011年7月22日 优先权日2011年7月22日
发明者侯彪, 公茂果, 张小华, 朱同华, 焦李成, 王桂婷, 王爽, 田小林, 钟桦 申请人:西安电子科技大学