一种基于边缘检测的颜色插值方法
【专利摘要】本发明公开了一种基于边缘检测的颜色插值方法，根据边缘检测的结果对采样图像进行绿色像素插值、蓝色像素插值和红色像素插值，然后根据色差定律进行色差预测估计和梯度加权，从而将Bayer格式图像恢复成全彩色图像，结合了边缘导向的方向性插值和四个方向上的梯度加权对插值像素进行修正，有效减少了因非边缘插值而导致的颜色失真，提高了采集图像的质量，更加精确；采用局部窗口图像遍历法对图像进行遍历，并在局部窗口中主要运用加减乘除进行简单运算，避免了复杂的运算过程，提高了算法的实时性。本发明可广泛应用于图像处理领域。
【专利说明】一种基于边缘检测的颜色插值方法
【技术领域】
[0001] 本发明涉及图像处理领域，尤其是一种基于边缘检测的颜色插值方法。
【背景技术】
[0002] 以数码相机（Digital Still Camera)为代表的数字成像技术逐渐取代传统的模 拟成像技术，成为学术界及产业界的研究热点。数码相机正逐渐取代传统的相机成为产业 界主流的消费类成像产品，而数字成像系统则更广泛地应用于智能交通、医学影像、智能监 控等领域。
[0003] 大部分数码相机和消费电子产品均使用CMOS或CCD摄像头进行图像采集，为了降 低成本，通常采用单CMOS或CCD传感器并在其前面加上颜色滤波阵列（CFA)采集图像，而 Bayer格式的颜色滤波阵列是所有CFA中应用最广泛的。
[0004] 颜色插值算法是将数码相机采集到Bayer格式图像恢复出全彩色图像的核心算 法。虽然相关算法已经提出了很多年并在国内外得到了广泛的研究，但在追求高性能、高速 度的今天，人们对算法的性能和复杂度有了更高的要求。目前已提出的颜色插值算法对平 滑的区域插值效果较好，但在边缘的地方会出现不同程度的失真，如存在Zipper效应、彩 色摩尔纹和虚假色等，降低了采集图像的质量，精确度较低。此外，目前的颜色插值算法大 多运算过程复杂，实时性较差。
【发明内容】
[0005] 为了解决上述技术问题，本发明的目的是：提供一种精确度高、实时性较好的，基 于边缘检测的颜色插值方法。
[0006] 本发明解决其技术问题所采用的技术方案是：一种基于边缘检测的颜色插值方 法，包括：
[0007] A、输入Bayer格式的采样图像；
[0008] B、对采样图像进行边缘检测，从而得到采样图像的边缘；
[0009] C、在采样图像中，采用局部窗口图像遍历法对已知红色像素或蓝色像素的采样点 沿边缘方向进行绿色像素插值，从而得到完整的绿色分量；
[0010] D、在采样图像中，采用局部窗口图像遍历法对已知红色像素的采样点沿边缘方向 进行蓝色像素插值和对已知蓝色像素的采样点沿边缘方向进行红色像素插值，得到第一蓝 色分量和第一红色分量；
[0011] E、在采样图像中，采用局部窗口图像遍历法对已知绿色像素的采样点进行蓝色像 素插值和红色像素插值，从而得到第二蓝色分量和第二红色分量，然后根据第一蓝色分量 和第二蓝色分量的组合、第一红色分量和第二红色分量的组合得到完整的蓝色分量和红色 分量；
[0012] F、根据色差定律和完整的绿色分量、蓝色分量、红色分量，对插值得到的红、绿、蓝 像素点进行四个方向上的色差预测估计和梯度加权，从而得到新的插值像素点并根据新的 插值像素点生成全彩色图像，所述四个方向为上、下、左、右这四个方向或为左上、右上、左 下、右下这四个方向。
[0013] 进一步，所述步骤B，其包括：
[0014] B1、以待求像素点为中心选取5X5的像素窗口；
[0015] B2、在5X5的像素窗口内采用边缘检测算子进行边缘检测，从而确定待求像素点 的边缘方向。
[0016] 进一步，所述步骤B2,其具体为：
[0017] 根据待求像素中心采样点所属的类型和所求的缺失像素分量，计算边缘检测算 子，然后根据边缘检测算子确定待求像素点的边缘方向：
[0018] a.若待求像素中心采样点为红色像素点R(i，j)已知且所求的缺失像素分量为绿 色像素分量，则边缘检测算子的计算公式为：
[0019] Hg α，j) = | g α，j-i) -g α，j+i) |+12R α，j) -r α，j-2) -r α，j+2) |，
[0020] Vg(i，j) = |G(i_l，j)_G(i+l，j) | + |2R(i，j)-R(i_2, j)_R(i+2, j) |，
[0021] 其中，Hg(i，j)和Vg(i，j)分别为水平方向和垂直方向的边缘检测算子，G(i，j) 为采样点中已知的像素，此时，若H g (i，j) < V g (i，j)，则判定中心采样点R (i，j)处于水平 边缘；若Hg(i, j) > Vg(i, j),贝U判定中心采样点处于垂直边缘，若Hg(i, j) = Vg(i, j),贝lj 判定中心采样点不处于边缘位置；
[0022] b.若待求像素中心采样点为红色像素点R(i,j)已知且所求的缺失像素分量为蓝 色像素分量，则边缘检测算子的计算公式为：
[0023] Hb(i, j) = |B(i_l, j-l)_B(i+l, j+1) H2g(i，j)-g(i_l，j-l)_g(i+l，j+Ι) |，
[0024] Vb (i，j) = IB (i-1，j+1) -B (i+1，j-1) I +1 2g (i，j) -g (i-1，j+1) -R (i+1，j-1) I，
[0025] 其中，Hg(i，j)和Vg(i，j)分别为左上右下对角线方向和左下右上对角线方向的 边缘检测算子，B(i，j)为采样点已知的像素，g(i，j)为插值得到的像素，此时，若Hb(i，j) <Vb(i，j)，则判定中心采样点处于左上右下对角线方向的边缘；若Hb(i，j) > Vb(i，j)， 则判定中心采样点处于左下右上对角线的边缘，若Hb (i，j) = Vb (i，j)，则判定中心采样点 不处于边缘位置。
[0026] 进一步，所述步骤C中采用局部窗口图像遍历法对已知红色像素的采样点沿边缘 方向进行绿色像素插值这一步骤，其包括：
[0027] C11、对已知红色像素的采样点沿边缘方向计算待求像素点缺失的绿色像素：
【权利要求】
1. 一种基于边缘检测的颜色插值方法，其特征在于：包括： A、 输入Bayer格式的采样图像； B、 对采样图像进行边缘检测，从而得到采样图像的边缘； C、 在采样图像中，采用局部窗口图像遍历法对已知红色像素或蓝色像素的采样点沿边 缘方向进行绿色像素插值，从而得到完整的绿色分量； D、 在采样图像中，采用局部窗口图像遍历法对已知红色像素的采样点沿边缘方向进行 蓝色像素插值和对已知蓝色像素的采样点沿边缘方向进行红色像素插值，得到第一蓝色分 量和第一红色分量； E、 在采样图像中，采用局部窗口图像遍历法对已知绿色像素的采样点进行蓝色像素 插值和红色像素插值，从而得到第二蓝色分量和第二红色分量，然后根据第一蓝色分量和 第二蓝色分量的组合、第一红色分量和第二红色分量的组合得到完整的蓝色分量和红色分 量； F、 根据色差定律和完整的绿色分量、蓝色分量、红色分量，对插值得到的红、绿、蓝像素 点进行四个方向上的色差预测估计和梯度加权，从而得到新的插值像素点并根据新的插值 像素点生成全彩色图像，所述四个方向为上、下、左、右这四个方向或为左上、右上、左下、右 下这四个方向。
2. 根据权利要求1所述的一种基于边缘检测的颜色插值方法，其特征在于：所述步骤 B，其包括： B1、以待求像素点为中心选取5X5的像素窗口； B2、在5X5的像素窗口内采用边缘检测算子进行边缘检测，从而确定待求像素点的边 缘方向。
3. 根据权利要求1所述的一种基于边缘检测的颜色插值方法，其特征在于：所述步骤 B2,其具体为： 根据待求像素中心采样点所属的类型和所求的缺失像素分量，计算边缘检测算子，然 后根据边缘检测算子确定待求像素点的边缘方向： a. 若待求像素中心采样点为红色像素点R(i，j)已知且所求的缺失像素分量为绿色像 素分量，则边缘检测算子的计算公式为： Hg(i, j) = |G(i, j-l)-G(i, j+1) | + |2R(i, j)-R(i, j-2)-R(i, j+2) |, Vg(i，j) = |G(i-l，j)-G(i+l，j) | + |2R(i，j)-R(i-2, j)-R(i+2, j) I， 其中，Hg(i，j)和Vg(i，j)分别为水平方向和垂直方向的边缘检测算子，G(i，j)为采 样点中已知的像素，此时，若Hg(i，j) <Vg(i，j)，则判定中心采样点R(i，j)处于水平边 缘；若Hg(i, j) > Vg(i, j),贝U判定中心采样点处于垂直边缘，若Hg(i, j) = Vg(i, j),贝U判 定中心采样点不处于边缘位置； b. 若待求像素中心采样点为红色像素点R(i，j)已知且所求的缺失像素分量为蓝色像 素分量，则边缘检测算子的计算公式为： Hb(i, j) = |B(i-l, j-l)-B(i+l, j+1) | + |2g(i, j)-g(i-l, j-l)-g(i+l, j+1) |, Vb(i，j) = |B(i-l，j+l)-B(i+l，j-1) | + |2g(i，j)-g(i-l，j+l)-R(i+l，j-1) I， 其中，Hg(i，j)和Vg(i，j)分别为左上右下对角线方向和左下右上对角线方向的边 缘检测算子，B(i，j)为采样点已知的像素，g(i，j)为插值得到的像素，此时，若Hb(i，j) <Vb(i，j)，则判定中心采样点处于左上右下对角线方向的边缘；若Hb(i，j) > Vb(i，j)， 则判定中心采样点处于左下右上对角线的边缘，若Hb (i，j) = Vb (i，j)，则判定中心采样点 不处于边缘位置。
4. 根据权利要求3所述的一种基于边缘检测的颜色插值方法，其特征在于：所述步骤 C中采用局部窗口图像遍历法对已知红色像素的采样点沿边缘方向进行绿色像素插值这一 步骤，其包括： C11、对已知红色像素的采样点沿边缘方向计算待求像素点缺失的绿色像素： 若待求像素点的边缘方向为水平边缘方向，则缺失的绿色像素 g(i，j)的计算公式为：
若待求像素点的边缘方向为垂直边缘方向，则缺失的绿色像素 g(i，j)的计算公式为：
若待求像素点不处于边缘位置，则缺失的绿色像素 g(i，j)的计算公式为：
C12、将5X5的像素窗口按从左到右，由上到下的顺序遍历整幅采样图像，从而求得完 整的绿色分量。
5. 根据权利要求4所述的一种基于边缘检测的颜色插值方法，其特征在于：所述步骤D 采用局部窗口图像遍历法已知红色像素的采样点沿边缘方向进行蓝色像素插值这一步骤， 其包括： C21、对已知蓝色像素的采样点沿边缘方向计算待求像素点缺失的蓝色像素： 若待求像素点的边缘方向为左上右下的对角线方向，则缺失的蓝色像素 b(i，j)的计 算公式为：
若待求像素点的边缘方向为左下右上的对角线方向，则缺失的蓝色像素 b(i，j)的计 算公式为：
若待求像素点不处于边缘位置，则缺失的蓝色像素 b(i，j)的计算公式为：
C22、将5X5的像素窗口按从左到右，由上到下的顺序遍历整幅采样图像，从而求得第 一蓝色分量。
6. 根据权利要求5所述的一种基于边缘检测的颜色插值方法，其特征在于：所述步骤 E，其包括： E1、以待求像素点为中心选取5 X 5的像素窗口，在5 X 5的窗口内计算待求像素点缺失 的红色分量和蓝色分量： 若待求像素点位于"R-G"格式排列的行内，则待求像素点缺失的红色分量r(i，j)和缺 失的蓝色分量b(i，j)的计算公式为：
若待求像素点位于"G-B"格式排列的行内，则待求像素点缺失的红色分量r(i，j)和缺 失的蓝色分量b(i，j)的计算公式为：
E2、将5X5的像素窗口从左到右，由上到下遍历整幅采样图像，从而求得绿色像素点 上缺失的第一蓝色分量和第一红色分量； E3、将第一蓝色分量与第二蓝色分量、第一红色分量和第二红色分量进行组合，从而得 到完整的蓝色分量和红色分量。
7. 根据权利要求6所述的一种基于边缘检测的颜色插值方法，其特征在于：所述步骤 F，其包括： F1、根据插值得到的红、绿、蓝像素点计算待插值像素点在四个方向上最近邻像素的色 差； F2、根据四个方向上的最近邻像素的色差和待插值像素点已知颜色通道计算待插值的 颜色通道在这四个方向上的预估值； F3、对四个方向上的预估值进行加权，从而获得新的插值像素点并根据新的插值像素 点生成全彩色图像。
8. 根据权利要求7所述的一种基于边缘检测的颜色插值方法，其特征在于：所述步骤 F1，其具体为： 若待插值像素点为绿像素点，则以插值得到的红、蓝像素为最近邻像素，并计算待插值 像素点在四个方向上的最近邻像素的色差；若待插值像素点为红色像素点，则以插值得到 的绿像素为最近邻像素，并计算待插值像素点在四个方向上的最近邻像素的色差；若待插 值像素点为蓝色像素点，则以插值得到的绿像素为最近邻像素，并计算插值像素点在四个 方向上的最近邻像素的色差。
9. 根据权利要求8所述的一种基于边缘检测的颜色插值方法，其特征在于：所述步骤 F2,其具体为： 若四个方向为上、下、左、右方向，且待插值像素点为绿像素点且红色采样点R(i，j)已 知，则根据色差定律，待插值像素点在这四个方向上的绿像素预估值分别为：
其中，GN(i，j)为待插值像素点在上方向的绿像素预估值，Gs(i，j)为待插值像素点在 下方向的绿像素预估值，Gw(i，j)为待插值像素点在左方向的绿像素预估值，GE(i，j)为待 插值像素点在右方向的绿像素预估值。
10.根据权利要求9所述的一种基于边缘检测的颜色插值方法，其特征在于：所述步骤 F3,其包括： F31、根据梯度计算公式计算待插值像素点在四个方向上的梯度大小，所述梯度计算公 式为：
其中，βΝ为待插值像素点在上方向上的梯度大小，03为待插值像素点在下方向上的 梯度大小，为待插值像素点在左方向上的梯度大小，待插值像素点在右方向上的 梯度大小； F32、根据待插值像素点在四个方向上的梯度大小计算待插值像素点在四个方向上的 预估值加权系数，所述待插值像素点在四个方向上的预估值加权系数的计算公式为：
其中，αΝ为待插值像素点在上方向上的预估值加权系数，〇5为待插值像素点在下方 向上的预估值加权系数，aw为待插值像素点在左方向上的预估值加权系数，待插值 像素点在右方向上的预估值加权系数； F33、根据待插值像素点在四个方向上的绿像素预估值和预估值加权系数计算新的绿 像素插值点，所述新的绿像素插值点像素 f (i，j)的计算公式为：
【文档编号】H04N9/64GK104159091SQ201410369731
【公开日】2014年11月19日 申请日期:2014年7月30日 优先权日:2014年7月30日
【发明者】庞志勇, 陈弟虎, 张媛 申请人:广东顺德中山大学卡内基梅隆大学国际联合研究院, 中山大学