专利名称：基于非局部均值的Bayer型CFA图像去马赛克方法
技术领域：
本发明属于图像处理技术领域，更进一步涉及图像恢复技术领域的基于非局部均值的Bayer型CFA图像去马赛克方法。本发明可用于恢复单传感芯片相机中CFA图像的完整彩色信息，从而弥补由于减少相机硬件成本所带来的图像彩色信息的丢失；同时，也可用于计算机中对相机以“Raw Mode”方式保存的原始数据进行处理，从而获得高质量的彩色图像。
背景技术：
单传感相机采用单片CCD或CMOS传感芯片，通过在传感器前覆盖一个颜色滤波阵列(color filer array, CFA)来捕获图像。这种方式所捕获的CFA图像为一种马赛克图像，每个像素点只有三基色中的一个颜色值，而另外两个颜色值则需要根据其邻域信息来 插值，这一颜色插值技术被称为“去马赛克”(demosaicing)。现有的CFA图像去马赛克技术可以简单地分为线性插值技术和非线性插值技术。线性插值最简单也最具代表性的有双线性插值和双立方插值。双线性插值和双立方插值技术的优点在于其实现简单，速度快；但其缺点也是显而易见的在图像中会产生严重的人工痕迹(如彩色镶边，即虚假颜色效应)，尤其在图像的高频部分更为突出。相对地，非线性插值技术更复杂，由于考虑了 RGB通道间的相关性，其插值效果明显要优于线性插值技术。这一类技术有很多,例如,Wenmain Lu和Yap-peng Tan在文章中“Color filter arraydemosaicing new method and performance measures，，(IEEE Trans. Image Process.,vol. 12,no. 10,pp. 1194-1210，Oct. 2003)中提出的去马赛克方法。非线性插值技术虽然可以获得优质彩色图像，但其复杂度高，计算代价大。微软公司提出的专利申请“用于彩色图像去马赛克的优质梯度校正线性插值”(申请日:2005年03月15日，申请号200510055929. 5，公开号CN1722852)中公开了一种用于彩色图像去马赛克的梯度校正线性插值方法和系统。该方法和系统首先使用现有的线性插值技术如双线性插值技术来估算所需颜色的值，然后通过计算当前像素上所需色彩的梯度来计算校正项，最后线性组合该插值和校正项以产生像素上遗漏色彩值。该方法直接使用梯度来影响和校正由现有插值技术估计的色彩值。但不足之处是仅仅利用了梯度来校正双线性插值的结果，虽然比双线性插值有了很大改进，但对图像细节部分处理效果仍然不太理想，虚假颜色效应依然严重。西安电子科技大学提出的专利“基于边缘方向插值的CFA图像去马赛克方法”(申请日2011年07月22日，申请号201110207617. 7，公开号CN102254301)中提出一种基于边缘方向插值的去马赛克方法。该方法根据图像的边缘走向来插值，使得图像的边缘部分的插值效果有了明显提高。该方法的不足之处是该方法是通过梯度来判断边缘方向，对于大的边缘能获得较好的插值结果，但是对于细小的边缘则无法判断边缘方向，所以该方法对细小边缘和纹理区域插值结果不理想。
发明内容
本发明针对现有去马赛克算法对图像的细小边缘和纹理区域插值效果不佳的缺陷，提出了一种基于非局部均值的Bayer型CFA图像去马赛克方法，本发明采用了非局部均值的思想，将图像分块处理，在当前图像块的邻域中搜索相似图像块，利用图像的结构相似性对当前图像块进行插值，使得图像的高频部分的插值结果有显著的提高，有效抑制了虚假颜色效应。为实现上述目的，本发明包括如下主要步骤(I)输入一幅待去马赛克的Bayer型CFA图像；(2)采用亮度公式估计亮度； (3)在输入待去马赛克的Bayer型CFA图像中逐像素取一个5X5像素大小的图像块作为当前待去马赛克的图像块；(4)在当前待去马赛克图像块的33X33像素大小的邻域中提取三组图像块集合；(5)计算图像块的权重5a)采用高斯核距离公式计算三组图像块集合中每个图像块与当前待去马赛克图像块的闻斯核距尚;5b)在三组图像块集合中的每组图像块集合内，按高斯核距离由小到大对该组所有图像块进行排序，取前5个图像块作为相似图像块，舍弃其余图像块；5c)采用权重计算公式计算每组图像块集合中5个相似图像块的权重；(6)采用加权平均公式对三组图像块集合中的相似图像块进行加权平均；(7)将加权图像块中的值按像素空间位置一一对应地插入到当前待去马赛克图像块中；(8)判断是否完成所有像素的插值，若完成，则执行步骤(9)，否则转入步骤(3)；(9)用边缘修正方法对插值后图像进行边缘修正；(10)色度修正IOa)采用颜色空间转换公式将边缘修正后的图像从RGB空间转换到YUV空间；IOb)在YUV空间中对图像的色度矩阵U和V分别进行3 X 3窗口的中值滤波；IOc)将图像从YUV空间转换到RGB空间，并将每个像素中不需要插值的颜色值替换为CFA图像中对应的原有颜色值；IOd)判断是否完成了三次色度矩阵U和V的中值滤波，若完成，则执行步骤(11)，否则转入步骤IOa)；(11)输出彩色图像。本发明与现有的技术相比具有以下优点第一，本发明采用非局部均值的思想，利用图像自身的冗余性来搜索相似图像块，并依据精确估计的亮度来计算权重，利用相似图像块的结构相似性对当前图像块进行插值，能够避免现有技术跨边缘插值所造成的颜色效应，使得本发明尤其适用于处理纹理较多的图像。第二，本发明针对现有技术对图像的细小边缘区域插值效果不佳的缺陷，对非局部均值插值后的图像进行了边缘修正，使得图像的高频部分的插值效果有明显提高，提高了对细小边缘的插值效果；
第三，本发明对边缘修正后的图像进行了色度修正，对图像两个色度矩阵进行了三次中值滤波，改善了现有技术在插值过程中易造成小部分像素色度偏差的缺点，有效抑制了虚假颜色的出现。
图I为本发明的流程图；图2为现有技术与本发明的去马赛克仿真效果图。
具体实施例方式下面结合附图1，对本发明实现的步骤作进一步的详细描述步骤1，输入一幅待去马赛克的CFA图像Is，其中待去马赛克的CFA图像为Bayer模式的CFA图像，图像中每个像素点仅存在红、绿、蓝三基色中一个颜色值，该颜色值不需要插值，另外两个颜色值缺失，需要采用去马赛克方法进行插值。步骤2，估计亮度，计算公式如下L = ACHV1H+ ^1Mf M1 +A2MJM2X1HVIs其中，L为所需估计的亮度矩阵，A为RGB彩色图像转化为亮度矩阵的转换矩阵，H为RGB彩色图像采样成Bayer形式CFA图像的采样因子，T为矩阵转置运算符，上标_1为矩阵求逆运算符，σ，AJP λ 2为常数，其值分别为σ = 0. 00001, A1 = O. 0008, A2 = O. 02,M1和M2为滤波矩阵，M1 =I3(S)S1，I3为3X3大小单位矩阵，S1为高通滤波器[O. 2，-O. 5，O. 65, -O. 5,0. 2]， 表示克罗内克(Kronecker)算子,M2由下式运算得到
权利要求
1.一种基于非局部均值的Bayer型CFA图像去马赛克方法，包括如下步骤 (1)输入一幅待去马赛克的Bayer型CFA图像； (2)采用亮度公式估计亮度； (3)在输入待去马赛克的Bayer型CFA图像中逐像素取ー个5X 5像素大小的图像块作为当前待去马赛克的图像块； (4)在当前待去马赛克图像块的33X33像素大小的邻域中提取三组图像块集合； (5)计算图像块的权重 5a)采用高斯核距离公式计算三组图像块集合中每个图像块与当前待去马赛克图像块的闻斯核距尚; 5b)在三组图像块集合中的每组图像块集合内，按高斯核距离由小到大对该组所有图像块进行排序，取前5个图像块作为相似图像块，舍弃其余图像块； 5c)采用权重计算公式计算每组图像块集合中5个相似图像块的权重； (6)采用加权平均公式对三组图像块集合中的相似图像块进行加权平均； (7)将加权图像块中的值按像素空间位置一一对应地插入到当前待去马赛克图像块中； (8)判断是否完成所有像素的插值，若完成，则执行步骤(9)，否则转入步骤(3)； (9)用边缘修正方法对插值后图像进行边缘修正； (10)色度修正 IOa)采用颜色空间转换公式将边缘修正后的图像从RGB空间转换到YUV空间； IOb)在YUV空间中对图像的色度矩阵U和V分别进行3 X 3窗ロ的中值滤波； IOc)将图像从YUV空间转换到RGB空间，并将每个像素中不需要插值的颜色值替换为CFA图像中对应的原有颜色值； IOd)判断是否完成了三次色度矩阵U和V的中值滤波，若完成，则执行步骤(11)，否则转入步骤IOa)； (11)输出彩色图像。
2.根据权利要求I所述的基于非局部均值的Bayer型CFA图像去马赛克方法，其特征在于步骤(I)中所述的Bayer型CFA图像为ー种马赛克图像，图像中每个像素点仅存在红、绿、蓝三基色中ー个颜色值，该颜色值不需要插值，另外两个颜色值缺失，需要采用去马赛克方法进行插值。
3.根据权利要求I所述的基于非局部均值的Bayer型CFA图像去马赛克方法，其特征在于步骤(2)中所述的亮度估计公式如下L = A(H V1H + ^MjrM1 + X2MlM2)1 Ητσ 1Is 其中，L为所需估计的亮度矩阵，A为RGB彩色图像转化为亮度矩阵的转换矩阵，H为RGB彩色图像采样成Bayer形式CFA图像的采样因子，T为矩阵转置运算符，上标_1为矩阵求逆运算符，σ，A1和λ 2为常数，其值分别为σ = 0.00001，A1 = 0.0008，A2 = O. 02,M1和M2为滤波矩阵，M1 =I3ISS1，I3为3X3大小单位矩阵，S1为高通滤波器[O. 2，-O. 5，O.65, -O. 5,0. 2]， 表示克罗内克(Kronecker)算子,M2由下式运算得到
4.根据权利要求I所述的基于非局部均值的Bayer型CFA图像去马赛克方法，其特征在于步骤(3)中所述的逐像素取图像块的方法为-J人第17行第17列的像素起，到倒数第17行倒数第17列的像素为止,对姆个像素点均以该像素点为中心取大小为5X5像素大小的图像块作为当前待去马赛克的图像块。
5.根据权利要求I所述的基于非局部均值的Bayer型CFA图像去马赛克方法，其特征在于步骤(4)中所述的提取图像块集合的具体方法如下 (1)在当前待去马赛克图像块33X33像素大小的邻域中，从第3行第4列的像素开始，分别沿行方向和列方向姆隔ー个像素取ー个像素点作为中心像素点，以该像素点为中心取ー个5X5像素大小的图像块，得到14X 15共210个图像块，将这些图像块作为第一组图像块集合； (2)在当前待去马赛克图像块33X33像素大小的邻域中，从第4行第3列的像素开始，分别沿行方向和列方向姆隔ー个像素取一个像素点作为中心像素点，以该像素点为中心取ー个5X5像素大小的图像块，得到15X14共210个图像块，将这些图像块作为第二组图像块集合； (3)在当前待去马赛克图像块33X33像素大小的邻域中，从第4行第4列的像素开始，分别沿行方向和列方向姆隔一个像素取一个像素点作为中心像素点，以该像素点为中心取ー个5X5像素大小的图像块，得到14X 14共196个图像块，将这些图像块作为第三组图像块集合。
6.根据权利要求I所述的基于非局部均值的Bayer型CFA图像去马赛克方法，其特征在于步骤5a)中所述的高斯核距离公式为
7.根据权利要求I所述的基于非局部均值的Bayer型CFA图像去马赛克方法，其特征在于步骤5c)中所述的权重计算公式为
8.根据权利要求I所述的基于非局部均值的Bayer型CFA图像去马赛克方法，其特征在于步骤(6)中所述的加权平均公式为
9.根据权利要求I所述的基于非局部均值的Bayer型CFA图像去马赛克方法，其特征在于步骤(7)中所述的对当前待去马赛克图像块插值的方法为将加权图像块中的值按像素位置一一对应地插入到当前待去马赛克图像块中，得到ー个5X5X4的三维矩阵，其中每个像素都具有ー个红色值、两个绿色值和ー个蓝色值；每个像素最終的绿色值取两个绿色值的均值，得到插值后的彩色图像块。
10.根据权利要求I所述的基于非局部均值的Bayer型CFA图像去马赛克方法，其特征在于步骤(9)中所述的边缘修正方法为对绿色通道中插入的像素点分别计算水平和垂直梯度，如果水平梯度小于垂直梯度，则对此像素的绿色值进行水平邻域加权修正，如果水平梯度大于垂直梯度，则对此像素的绿色值进行垂直邻域加权修正，如果水平梯度等于垂直梯度，对此像素的緑色值进行水平和垂直邻域加权修正；对插值像素点的红色值和蓝色值均进行水平和垂直邻域加权修正。
全文摘要
本发明公开了一种基于非局部均值的Bayer型CFA图像去马赛克方法，主要解决了现有技术对图像细小边缘部分插值效果不佳的问题。其实现步骤是(1)输入一幅Bayer型CFA图像；(2)估计亮度；(3)逐像素取图像块作为当前待去马赛克的图像块；(4)提取三组图像块集合；(5)计算图像块的权重；(6)相似图像块加权平均；(7)对当前待去马赛克图像块插值；(8)判断是否完成所有像素的插值，若完成，则执行步骤(9)，否则转入步骤(3)；(9)边缘修正；(10)色度修正；(11)输出彩色图像。本发明能够很好地恢复图像的细小边缘区域的信息，有效抑制了虚假颜色效应，尤其适用于纹理较多的CFA图像。
文档编号G06T7/40GK102663719SQ20121007329
公开日2012年9月12日 申请日期2012年3月19日 优先权日2012年3月19日
发明者侯彪, 公茂果, 张小华, 朱同华, 焦李成, 王桂婷, 王爽, 田小林, 钟桦 申请人:西安电子科技大学