一种基于改进双线性的Bayer格式颜色插值方法

文档序号:7895355阅读:166来源:国知局
专利名称:一种基于改进双线性的Bayer格式颜色插值方法
技术领域
本发明属于数字图像处理技术领域,涉及ー种基于緑色分量和边缘检测的Bayer格式顔色插值方法,具体是ー种緑色分量和红蓝分量分步插值的组合方式实现颜色恢复的方法。
背景技术
随着数码相机、扫描仪和其他计算机输入设备越来越普及,作为图像系统中最重要的组成部分,CXD和CMOS传感器也逐渐的被人们所熟知。为了能够得到对原始图像最详尽的描述,一般需要三组CCD传感器。然而为了降低体积和成本,大多数的数字静态摄像机(数码相机、数字视频录像机等)都只使用ー组CCD或CMOS传感器。一般会在数字相机图像传感器上覆盖颜色滤波阵列,因为Bayer格式顔色滤波阵列具有很好的顔色信号敏感性和顔色恢复特性,而每ー个敏感点只允许ー种顔色分量通过,因此图像的每ー个像素点都只有一种颜色灰度值。为了恢复完整的彩色图像,需要通过颜色插值技术利用每个采样点周围的颜色来计算另外两种缺失的顔色分量。目前数字相机系统中,大多数顔色滤波阵列只有一种颜色分量有较高的采样频率,相比其他两种颜色分量采样也较多。在Bayer格式颜色滤波阵列中,緑色分量(G)是红色分量(R)或蓝色分量(B)的两倍,占图像总采样点的一半,包含更多的图像信息,并且由于人眼对绿色分量较红色分量和蓝色分量更为敏感,因此大多顔色插值算法一般先重建图像每个像素点的緑色分量,然后再重建另外两种颜色分量。目前比较典型的顔色插值算法有以下几种
双线性插值算法该算法在对ー个像素点的某种颜色值进行插值运算时,用与该点相邻的同种像素点的对应像素值,通过算术平均来计算。每估算一个像素点的两个未知顔色值将会用到与其相邻的8个像素点的像素值,计算时涉及到的相关像素较多。基于连续色调的插值算法该算法是第一个用到数码相机里的插值算法,是根据图像色调具有相关性来完成插值的。该算法主要包括两个步骤首先使用双线性插值算法对像素点G进行估计,然后再根据色调相关性估计出其他两个未知的像素值。边缘导向插值算法这种方法的提出主要是为了克服边缘的模糊问题。在插值过程中,首先比较水平方向上和垂直方向上的梯度大小,插值时取梯度较小的方向上的像素点作为估算点计算当前待求顔色分量值。为了尽量減少算法复杂度,首先利用该算法重建图像每个像素点的緑色分量,然后利用双线性和已重建的緑色分量的补偿修正来恢复红色和蓝色分量。基于渐进的插值算法该算法利用了人眼对于绿色分量比较敏感的视觉特性来实现插值。该算法主要包括两个步骤首先使用边缘导向插值算法对像素G完成估计。然后利用估计出的G分量再来估计其他两个未知像素值,同时考虑先前估计出的緑色分量的修 正。适应性顔色层插值算法该算法对红、緑、蓝三种分量均采用基于边缘导向插值算法进行插值恢复,该算法在考虑图像边缘的时候,是通过緑色分量G及红色R或蓝色B分量来确定的。中值滤波顔色插值算法该算法主要包括三个步骤首先采用双线性颜色插值算法分别计算出图像所有像素点的红色R、緑色G、蓝色B三个颜色分量的值,然后对这三个颜色分量相互之间的差值分别进行中值滤波,其主要作用是消除双线性颜色插值算法所帯来的误差,特别是对伪彩色的抑制效果非常好。早期的双线性插值算法由于采用的是ー种简单的算木平均,并且没有边缘检測,因此对于色调变化比较明显的图像进行插值,会导致边缘模糊,图像高频细节失真比较明显,纹理表现不够准确,恢复的图像总体视觉效果并不理想。同吋,该算法计算时候涉及到的相关像素点较多,处理器的计算量大。基于连续色调的插值算法,较双线性插值算法,其插值效果有了较大的提高。但是,该算法没有进行边缘的区分检测,当色调出现突变时,效果就不会理想,同时,该算法緑色分量的估计是采用双线性插值算法,所以在插值时候所涉及到的像素点的数目仍然较多,而且还会出现乘法和除法的运算,因此处理器的运算量被 大大增加。边缘导向插值算法的提出,最重要的贡献是进行了图像边缘检测,解决了图像边缘模糊的问题,因此纹理和边缘的表现较双线性插值算法有了较大提高。基于渐进的插值算法,虽然考虑到了图像边缘检测,但是由于采用的边缘检测方法比较简单,只是对水平和垂直方向进行检測,因此在图像边缘处仍然有不小失真。适应性顔色层插值算法是在边缘导向插值算法的基础上改进而来,进ー步降低了图像的边缘模糊及顔色失真,恢复的图像边缘的定位更为准确,视觉效果较理想。该算法的算法复杂度较高,开销较大。中值滤波对图像的边缘表现效果较好,失真较小,且对伪彩色的抑制效果特别好,顔色失真也较小,但是最大的缺点就是对色差进行中值滤波处理的运算量较大,其复杂度太高,对数字相机成像速度有明显的影响,延时较高。

发明内容
本发明的目的在于提供ー种利用相关性和边缘检测的基于绿色分量的Bayer格式顔色插值方法,它是ー种新型的充分利用图像相关性和边缘检测的Bayer格式图像颜色插值方法。该方法先恢复缺失的緑色分量,然后利用重建的緑色分量修正补偿以重建红蓝分量,在重建红蓝分量的过程中,充分考虑图像边缘检测规则,专门用于降低顔色失真现象,抑制插值过程中产生的伪色,防止色彩跳变,增强色彩平滑度,提高图像细节纹理和边缘以及色彩方面的表现准确度,降低边缘的模糊程度;同时,该方法既保留了双线性算法的图像局部一致性好、算法简单等优点,同时又降低了參与计算的像素点数目,減少了运算量,再加上图像相关性和三角边缘检测方法的引入,使得算法复杂度没有提高的情况下可以插值出较好的图像。本发明提供的Bayer格式图像颜色插值方法在重建全彩色图像的过程中,采用绿色分量和红蓝分量分步插值的组合方式实现颜色恢复。首先利用图像的空间相关性严格区分图像边缘,重建全分辨率绿色分量;然后通过改进的双线性的插值算法和已恢复的緑色分量的修正补偿来重建全分辨率的红蓝分量。相比于传统的插值算法,恢复得到的全彩色图像颜色信号的峰值信噪比更高,同时还具有在算法运算复杂度没有増加的情况下插值出的图像效果更为理想的优点。在具体实施方式
的阐述过程中,符号/ 、仏ガ分别表示图像的红色分量、緑色分量、蓝色分量,符号/^、67、尾7分别表示图像第 行和第J·列像素点的红色分量、緑色分量、蓝色分量。本发明方法包括全分辨率绿色分量G的重建、全分辨率红色分量ガ和全分辨率蓝色分量ガ的重建三个内容。本发明的具体步骤是
步骤I.重建全分辨率绿色分量G,具体是
在仅包含蓝色分量B的像素米样点处,从水平方向和垂直方向综合考虑当前点邻域的緑色分量G及蓝色分量B,计算水平方向梯度
A和垂直方向梯度爲,比较两个方向梯度的大小关系,当A 4时,则水平方向作为当前 点的边缘检测參考方向,选择当前点水平方向上相邻的两个绿色分量G和两个蓝色分量B
以及当前的蓝色分量B来计算当前点所缺失的緑色分量G ;当吒 > 為吋,则垂直方向作为
当前点的边缘检测參考方向,选择当前点垂直方向上相邻的两个绿色分量G和两个蓝色分
量B以及当前的蓝色分量B来计算当前点所缺失的緑色分量G ;当砷=A吋,则选择该像素
点周围四个緑色分量G和四个蓝色分量B以及当前的蓝色分量B来计算当前所缺失的緑色分量。在仅包含红色分量R的像素采样点处,其水平方向梯度^、垂直方向梯度βι分别
由相邻的绿色分量G和红色分量R共同计算所得。该点处所缺失的緑色分量G的计算与在仅包含蓝色分量B的像素采样点处计算缺失的緑色分量G的插值过程相同。从水平方向和
垂直方向综合考虑当前点邻域的緑色分量G及红色分量R,计算水平方向梯度A和垂直方
向梯度戽,比较两个方向梯度的大小关系,当% <戽时,则水平方向作为当前点的边缘检测參考方向,选择当前点水平方向上相邻的两个绿色分量G和两个红色分量R以及当前的红色分量R来计算当前点所缺失的緑色分量G ;当% > A吋,则垂直方向作为当前点的边缘检测參考方向,选择当前点垂直方向上相邻的两个绿色分量G和两个红色分量R以及当前的红色分量R来计算当前点所缺失的緑色分量G ;当% =爲时,则选择该像素点周围四
个绿色分量G和四个红色分量R以及当前的红色分量R来计算当前所缺失的緑色分量。步骤2.重建全分辨率红色分量R,具体是
在包含蓝色分量B的像素采样点处,用具有边缘检测的改进型双线性插值算法计算红色分量R,具体是从水平方向、垂直方向、45°方向及135°方向四个方向,综合考虑当前
点邻域的緑色分量G及红色分量R,进行图像边缘检測。首先计算垂直方向梯度ら和水平
方向梯度ら,通过比较·Js的值,选择数值较小的方向作为当前像素采样点的边缘參考方向。通过G分量修正。(I)当む <ら吋,则垂直方向作为当前点的边缘方向,选择当前点垂直方向上相邻的两个绿色分量G作为当前像素采样点的边缘检测參考方向点。(2)当% 吋,则水平方向作为当前点的边缘方向,选择当前点水平方向上相邻的两个绿色分量G作为当前像素采样点的边缘检测參考方向点。
其次是结合比较45°方向及135°方向,考虑邻近同分量像素,通过绿色分量修正。引入阀值k。当“ <ら并且ら< k时,贝U 45°方向作为当前点的边缘方向,选择当前点45°
方向上相邻的红色分量R作为当前像素采样点的边缘检测參考方向点。通过相邻的两个绿色分量G修正。
当ち彡并且^ < k时,则135°方向作为当前点的边缘方向,选择当前点
135°方向上相邻的红色分量R作为当前像素采样点的边缘检测參考方向点。通过相邻的两个绿色分量G修正。计算当前像素点与邻近上、下、左、右四个方向的绿色分量的差值,分别是e、f、g、h,综合考虑垂直方向梯度む和水平方向梯度的大小。当4>ら并且たぢら、0 </吋,则选择当前蓝色像素点邻近的向上方向的緑色像素点作为计算红色分量的參考点,计算缺失的红色分量。当并且之/吋,则选择当前蓝色像素点邻近的向下方向的緑色像素点作为计算红色分量的參考点,计算缺失的红色分量。当 <ら并且、g <k时,则选择当前蓝色像素点邻近的向左方向的绿色像素点作为计算红色分量的參考点,计算缺失的红色分量。当%<ら并且时,则选择当前蓝色像素点邻近的向右方向的绿色像素点作为计算红色分量的參考点,计算缺失的红色分量。对于G分量上的R分量的计算,考虑邻近的红色分量R,通过邻近的相应绿色分量G修正。步骤3.重建全分辨率蓝色分量B,具体是
在包含红色分量R的像素采样点处,用具有边缘检测的改进型双线性插值算法计算蓝色分量B,具体是从水平方向、垂直方向、45°方向及135°方向四个方向,综合考虑当前
点邻域的緑色分量G及蓝色分量B,进行图像边缘检測。首先计算垂直方向梯度 和水平
方向梯度ら,通过比较ら的值,选择数值较小的方向作为当前像素采样点的边缘參考方向。通过G分量修正。(I)当ら< 时,则垂直方向作为当前点的边缘方向,选择当前点垂直方向上相邻的两个绿色分量G作为当前像素采样点的边缘检测參考方向点。(2)当ら时,则水平方向作为当前点的边缘方向,选择当前点水平方向上相
邻的两个绿色分量G作为当前像素采样点的边缘检测參考方向点。其次是结合比较45°方向及135°方向,考虑邻近同分量像素,通过相邻的两个緑色分量修正。引入阀值k。当ちくら并且ち吋,则45°方向作为当前点的边缘方向,选择当前点45°方
向上相邻的蓝色分量B作为当前像素采样点的边缘检测參考方向点.通过相邻的两个绿色分量G修正。
当 とら并且ち吋,则135°方向作为当前点的边缘方向,选择当前点135°
方向上相邻的蓝色分量B作为当前像素采样点的边缘检测參考方向点。通过相邻的两个绿色分量G修正。计算当前像素点与邻近上、下、左、右四个方向的绿色分量的差值,分别是e、f、g、h,综合考虑垂直方向梯度ら和水平方向梯度的大小。当ら >ら并且たSiis</时,则选择当前红色像素点邻近的向上方向的绿色像素点作为计算蓝色分量的參考点,计算缺失的蓝色分量。当ら之ら并且之/吋,则选择当前红色像素点邻近的向下方向的緑色像素点作为计算蓝色分量的參考点,计算缺失的蓝 色分量。当ち<も并且<A时,则选择当前红色像素点邻近的向左方向的绿色像素点作为计算蓝色分量的參考点,计算缺失的蓝色分量。当, <ら并且、gM时,则选择当前红色像素点邻近的向右方向的绿色像素点作为计算蓝色分量的參考点,计算缺失的蓝色分量。对于G分量上的蓝色分量B的计算,考虑邻近的蓝色分量B,通过邻近的相应绿色分量G修正。本发明的有益效果本发明有效降低了在顔色插值过程中产生边缘模糊和色彩失真,解决了双线性插值方法所帯来的图像效果不理想、边缘模糊、图像纹理和细节表现不准确、色彩失真严重等问题。边缘判断更准确、色彩平滑度更高以及恢复的图像各顔色分量峰值信噪比更高,图像效果更好,并且计算复杂度较低。


图I为计算蓝色分量今像素点所缺失的緑色分量$示意 图2为计算特殊点為4像素点的緑色分量Qw示意 图3为计算红色分量み像素点所缺失的緑色分量q.示意 图4为计算特殊点為3像素点的緑色分量Gs示意 图5为计算蓝色分量み像素点所缺失的红色分量み示意 图6为计算特殊点爲4像素点所缺失的红色分量民4示意 图7为计算红色分量ち像素点所缺失的蓝色分量今示意 图8为计算特殊点Rsi像素点所缺失的蓝色分量爲3示意图。
具体实施例方式以下结合附图对本发明作进ー步说明。步骤I.重建全分辨率绿色分量G
在Bayer格式顔色滤波阵列中,緑色分量采样点数占图像总采样点数的一半,是红色分量或蓝色分量采样点数的两倍,包含更多的图像信息,并且人眼对绿色较红色和蓝色敏感,对亮度较色彩敏感,而从RGB到YUV的颜色空间转换中,绿色分量对亮度Y的贡献接近60%,亮度Y计算
Y = O. 299R + O. 587G + O. 114B.(I)
因此全分辨率绿色分量的重建在全彩色图像恢复过程中最重要,分量G的重建采用自适应算法计算,其具体方法是
在仅包含蓝色分量B的像素采样点处,从水平方向和垂直方向综合考虑当前点邻域的
绿色分量G及蓝色分量B,计算水平方向梯度%和垂直方向梯度!选择梯度较小的方向作为当前像素采样点的边缘方向。以图I中所示计算ち像素点的緑色分量q为例,其水平方向的梯度巧、垂直方向的梯度A分别为
权利要求
1.ー种基于改进双线性的Bayer格式顔色插值方法,其特征在于该方法包括以下步骤 步骤I.重建全分辨率绿色分量。具体是在仅包含蓝色分量ガ的像素米样点处,从水平方向和垂直方向综合考虑当前点邻域的緑色分量G及蓝色分量ガ,计算水平方向梯度A和垂直方向梯度A,比较两个方向梯度的大小关系,当<爲时,则水平方向作为当前点的边缘检测參考方向,选择当前点水平方向上相邻的两个绿色分量G和两个蓝色分量ガ以及当前的蓝色分量ガ来计算当前点所缺失的緑色分量G ;当A >為吋,则垂直方向作为当前点的边缘检测參考方向,选择当前点垂直方向上相邻的两个绿色分量G和两个蓝色分量ガ以及当前的蓝色分量ガ来计算当前点所缺失的緑色分量G ;当^ = A吋,则选择该像素点周围四个緑色分量G和四个蓝色分量ガ以及当前的蓝色分量ガ来计算当前所缺失的緑色分量;在仅包含红色分量ガ的像素采样点处,其水平方向梯度A、垂直方向梯度爲分别由相邻的绿色分量G和红色分量ガ共同计算所得;该点处所缺失的緑色分量G的计算与在仅包含蓝色分量ガ的像素采样点处计算缺失的緑色分量G的插值过程相同;从水平方向和垂直方向综合考虑当前点邻域的緑色分量G及红色分量兄计算水平方向梯度A和垂直方向梯度戽,比较两个方向梯度的大小关系,当% <爲时,则水平方向作为当前点的边缘检测參考方向,选择当前点水平方向上相邻的两个绿色分量G和两个红色分量ガ以及当前的红色分量/ 来计算当前点所缺失的緑色分量G ;当吒> 4!时,则垂直方向作为当前点的边缘检测參考方向,选择当前点垂直方向上相邻的两个绿色分量G和两个红色分量ガ以及当前的红色分量/ 来计算当前点所缺失的緑色分量G ;当A =爲时,则选择该像素点周围四个绿色分量G和四个红色分量ガ以及当前的红色分量ガ来计算当前所缺失的緑色分量; 步骤2.重建全分辨率红色分量/ ,具体是在包含蓝色分量ガ的像素采样点处,用具有边缘检测的改进型双线性插值算法计算ガ分量,具体是从水平方向、垂直方向、45°方向及135°方向四个方向,综合考虑当前点邻域的緑色分量G及红色分量ガ,进行图像边缘检测;计算垂直方向梯度七和水平方向梯度ら,比较ら、ら的值,选择数值较小的方向作为当前像素采样点的边缘參考方向;同时也考虑加入了G分量的修正; (1)当4<ら时,则垂直方向作为当前点的边缘方向,选择当前点水平方向上相邻的两个绿色分量G作为当前像素采样点的边缘检测參考方向点; (2)当I彡ら时,则水平方向作为当前点的边缘方向,选择当前点垂直方向上相邻的两个绿色分量G作为当前像素采样点的边缘检测參考方向点; 其次是结合比较45°方向及135°方向,考虑临近同像素分量,并加入緑色分量的修正;引入阀值k ;当む <ら并且ハ<1^时,则45°方向作为当前点的边缘方向,选择当前点45°方向上相邻的红色分量ガ作为当前像素采样点的边缘检测參考方向点;并考虑相邻的两个绿色分量G的作为修正; 当ら 并且ら< k时,则135°方向作为当前点的边缘方向,选择当前点135°方向上相邻的红色分量ガ作为当前像素采样点的边缘检测參考方向点;并考虑相邻的两个绿色分量G的作为修正; 计算当前像素点与邻近上、下、左、右四个方向的緑色分量的差值,分别是e、f、g、h,综合考虑垂直方向梯度七和水平方向梯度^的大小;当并且、0 </时,则选择当前绿色像素点邻近的向上方向的绿色像素点作为计算红色分量的參考点,计算缺失的红色分量; 当,>ら并且15 、0さブ时,则选择当前緑色像素点邻近的向下方向的緑色像素点作为计算红色分量的參考点,计算缺失的红色分量; 当并且<k时,则选择当前绿色像素点邻近的向左方向的绿色像素点作为计算红色分量的參考点,计算缺失的红色分量; 当 <ら并且た<ち、运“时,则选择当前绿色像素点邻近的向右方向的绿色像素点作为计算红色分量的參考点,计算缺失的红色分量; 对于G分量上的R分量的计算,考虑邻近的红色分量R,并且參考邻近的相应绿色分量G的修正; 步骤3.重建全分辨率蓝色分量ガ,具体是在包含红色分量/ 的像素采样点处,用具有边缘检测的改进型双线性插值算法计算ガ分量,具体是从水平方向、垂直方向、45°方向及135°方向四个方向,综合考虑当前点邻 域的緑色分量G及蓝色分量凡进行图像边缘检测;计算垂直方向梯度ち和水平方向梯度ら,比较む、ら的值,选择数值较小的方向作为当前像素采样点的边缘參考方向;同时也考虑加入了G分量的修正; (1)当I<ら时,则垂直方向作为当前点的边缘方向,选择当前点垂直方向上相邻的两个绿色分量G作为当前像素采样点的边缘检测參考方向点;(2)当f>ら时,则水平方向作为当前点的边缘方向,选择当前点水平方向上相邻的两个绿色分量G作为当前像素采样点的边缘检测參考方向点; 其次是结合比较45°方向及135°方向,考虑临近同像素分量,并加入緑色分量的修正;引入阀值k ; 当ち <も并且ち4时,则45°方向作为当前点的边缘方向,选择当前点45°方向上相邻的蓝色分量ガ作为当前像素采样点的边缘检测參考方向点;并考虑相邻的两个绿色分量G的作为修正; 当4とら并且ら <た时,则135°方向作为当前点的边缘方向,选择当前点135°方向上相邻的蓝色分量ガ作为当前像素采样点的边缘检测參考方向点;并考虑相邻的两个绿色分量G的作为修正; 计算当前像素点与邻近上、下、左、右四个方向的緑色分量的差值,分别是e、f、g、h,综合考虑垂直方向梯度ら和水平方向梯度的大小;当并且是</吋,则选择当前緑色像素点邻近的向上方向的緑色像素点作为计算蓝色分量的參考点,计算缺失的蓝色分量;当ら>并且たS^e 2/时,则选择当前绿色像素点邻近的向下方向的绿色像素点作为计算蓝色分量的參考点,计算缺失的蓝色分量; 当 <ら并且た^ち、§<み时,则选择当前绿色像素点邻近的向左方向的绿色像素点作为计算蓝色分量的參考点,计算缺失的蓝色分量;当“<ら并且、gM吋,则选择当前緑色像素点邻近的向右方向的緑色像素点 作为计算蓝色分量的參考点,计算缺失的蓝色分量; 对于G分量上的蓝色分量ガ的计算,考虑邻近的蓝色分量凡并且參考邻近的相应绿色分量G的修正。
全文摘要
本发明公布了一种基于改进双线性的Bayer格式颜色插值方法。现有方法对色差进行处理时运算量较大,复杂度高,对数字相机成像速度有明显的影响,延时较高。本发明在重建全彩色图像的过程中,采用绿色分量和红蓝分量分步插值的组合方式实现颜色恢复。首先利用图像的空间相关性严格区分图像边缘,重建全分辨率绿色分量;然后通过改进的双线性的插值算法和已恢复的绿色分量的修正补偿来重建全分辨率的红蓝分量。相比于传统的插值算法,恢复得到的全彩色图像颜色信号的峰值信噪比更高,同时还具有在算法运算复杂度没有增加的情况下插值出的图像效果更为理想的优点。
文档编号H04N1/58GK102665030SQ20121014738
公开日2012年9月12日 申请日期2012年5月14日 优先权日2012年5月14日
发明者任浩, 谢磊, 陈惠芳 申请人:浙江大学
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1