一种基于定向加权插值的CFA图像去马赛克方法与流程

本发明涉及一种基于定向加权插值的CFA图像去马赛克方法，属于图像处理技术领域。

背景技术：

为了降低成本，传感器表面的单传感器数字(SSD)相机用彩色滤光片阵列(CFA)覆盖， 使得当录制时只有三种原色(红色，绿色，和蓝色)值由每个传感器采样。通常，在一个被 捕获像素中，只有一个固定位数(8,12或16位)用于衡量红色的数量(R)，绿色(G)或蓝 色(B)。在重建一个全彩图像过程中，一个称为CFA插值过程用于估计其他两个丢失每个像 素位置的彩色像素值。这个过程也称为彩色图像去马赛克。

因为每个像素中只有一个颜色元素,因此缺失的颜色必须根据相邻像素估计。为了重构 全色图像，通常使用称为CFA插值或去马赛克的插值处理过程估计每个像素位置处的其他两 个丢失的颜色像素值。图1表示拜耳CFA模式，这是最常见的CFA。

色彩再现的质量取决于CFA模板和使用的马赛克算法。在过去几十年里，已经陆续提 出了多种基于拜耳模式的去马赛克算法。在S.C.Pei等人文章(S.C.Pei,I.K.Tam,IEEE Trans.Circuits Syst.Video Technol.13(June(6))(2003)503)中，提出一种有效的 颜色插值方法(ECI)以获得全彩图像通过插入绿色，红色/蓝色的色差程度。最近开发的方 法包括李在文章中提到的(X.Li,IEEE Trans.Image Process.14(March(3))(2005)370) 的连续近似法(SA)，L.Zhang和X.Wu(L.Zhang,X.Wu,IEEE Trans.Image Process.14 (December)(2005)2167)的方向线性最小均方误差估计(DL)方法，Pekkucuksen和 Altunbasak(I.Pekkucuksen,Y.Altunbasak,IEEE Trans.Image Process.21(January (1))(2012)393.)的基于边缘强度滤波器的方法(ESF)，Lian等人提出的在频域内颜色的 自适应滤波器阵列去马赛克(AFD)[N.X.Lian,L.Chang,Y.-P.Tan,V.Zagorodnov,IEEE Trans.Image Process.16(October(10))(2007)2515.]，和Cho等人提出的近似方向线 平均值方法(ADLA)[Y.K.Cho,H.S.Kim,H.M.Yang,An efficient color demosaicing using approximated directional line averages,in:Proceedings of the ISOCC 2008,vol.02, 24—25November 2008,pp.125—129]。在W.Lu和Y.Tan文章(W.Lu,Y.Tan,IEEE Trans. Image Process.12(10)(2003)1194)中，提出了一种有效的定向加权插值法(DWI)通过 利用在绿色和红色/蓝色的planes光谱相关性获得全彩图像。在X.Li,等人文章(X.Li,B. Gunturk,L.Zhang,Proc.SPIE 6822(2008)68221J.)中，有最新的关于去马赛克方法的 调查。虽然这些方法可以用不同的插值方式填充缺失的颜色分量，它们也可以在不同程度上 产生插值假象，此外，这些方法中的大多数都具有非常复杂的预设插值条件，这使得它们不 适合实际应用。

技术实现要素：

本发明针对上述不足提供了一种基于定向加权插值的CFA图像去马赛克方法。

本发明采用如下技术方案：

本发明所述的基于定向加权插值的CFA图像去马赛克方法，步骤如下：

1)、输入一个待去马赛克的CFA图像；

2)、对CFA图中的绿色平面分别沿着北(N)，南(S)，西(W)和东(E)四个方向对缺 失的绿色中心分量进行估计,分别标记为:和并对每个估计值分配适当的 权重，计算方向梯度，对绿色平面插值；

3)、针对步骤2)中设置插值后的绿色平面进行优化处理；并使用逆梯度作为加权因子， 使用五点梯度逆加权滤波方法优化插入的像素；

4)、对丢失的红色和蓝色部分插值；

5)、对插值后的红色和蓝色部分进行优化；

6)、重构整个全色图像，完成图片去除马赛克。

本发明所述的基于定向加权插值的CFA图像去马赛克方法，、所述的步骤2)中对缺失的 绿色中心分量进行估计，通过利用红色和绿色平面之间的色差，沿着四个方向估计北(N)，南(S)，西(W)和东(E)。用方向信息标记为和根据如下 估计式计算估计值：

本发明所述的基于定向加权插值的CFA图像去马赛克方法，、所述的对估计值分配适当 的权重，以R5为中心的四个方向梯度作为加权因子；利用北，南，西，东方向在每个颜色通 道内的颜色梯度相关性，以此来调整每个方向对的贡献；

通过如下式分别计算梯度：

本发明所述的基于定向加权插值的CFA图像去马赛克方法，所述步骤2)中，通过反向 梯度进行计算的估计权重，通过下式

中分配给的方向估计的权重比例在四个方向定义如下：

本发明所述的基于定向加权插值的CFA图像去马赛克方法，使用四个方向上的预估计值 和结合其相对应的颜色梯度加权系数w^N，w^S，w^W和w^E，利用自适应加权方 法来估计值，其归一化方程如下式：

公式中w^N，w^S，w^W和w^E为加权系数。

本发明所述的基于定向加权插值的CFA图像去马赛克方法，所述步骤2)中定义一阶梯 度为：ΓP(k)在GIWF中表述式为:ΓP(k)＝IP(k)-IP(0)；并从灰度局部灰度梯度得到的权 重矩阵，权重矩阵W的表述式如下：

通过引入GIWF来优化像素Ip(0)，得到其中,

f是GIWF优化过的中心像素值，ε0是小正数。

本发明所述的基于定向加权插值的CFA图像去马赛克方法，所述步骤3)中，对插入的 绿色平面定义为通过如下表示式定义为：四个相邻像素和之间的一阶梯度对的不同的影响；

本发明所述的基于定向加权插值的CFA图像去马赛克方法，通过优化预先插入的像素获得

本发明所述的基于定向加权插值的CFA图像去马赛克方法，所述优化预先插入的像素获得中，红色R和蓝色B像素按照如下表述式进行重建：

所述获得的中的R5的四个对角线方向上的蓝色和绿色之间的色差δBG为：

即绿色像素被完全填充；

根据上述式沿NW，NE，SW，SE四个对角线方向的绿色像素的梯度作引导插值计算式如下：

其中，和分别是位置R1，R3，R5，R7和R9处的精细绿色像素 值，分别是位置B6，B7，B10和B11处的精细绿色像素值；通过如下公 式衡量其方向上的颜色相关性的权重因子的颜色梯度：

本发明所述的基于定向加权插值的CFA图像去马赛克方法，所述步骤6)中缺失的蓝色 或红色像素中分别进行上述优化步骤；在所有确实的颜色分量被内插和优化之后，重构整个 全色图像；如图4(a)和图4(b)由于红蓝像素具有相同的位置分布，此处仅以缺失的蓝色 像素的插值情况为例加以说明，其具有相同的插值及优化步骤；以红色R5位置插入蓝色像素 为例，其缺失的蓝色像素BR5的插值公式为：

待所有图4(a)和图(b)中缺失红蓝像素插值完成后，由于其采样频率相同，图4(c) 和4(d)中在绿色像素值位置插入缺失红蓝像素值的处理方法完全与上述步骤中缺失的绿色 像素插值方法相同。

有益效果

本发明提供的基于定向加权插值的CFA图像去马赛克方法，对不规则边缘的重建和微小 细节的保存效果良好，对纹理细节保存能力更优越。

本发明提供的基于定向加权插值的CFA图像去马赛克方法相比于其他方法，本发明的方 法产生更少的可见颜色伪影，如拉链伪影和沿着突变颜色变化的假色伪影。

附图说明

图1为一个7×7窗口的拜耳CFA模块示意图；

图2为本发明的流程图；

图3为一个以像素P0为中心的局部3×3窗口示意图；

图4为截取图1的局部图像中红绿像素相对分布位置类型图；

图5是现有的去马赛克技术效果图和本发明去马赛克技术效果图；其中图5(a)为原始马 赛克图像；图5(b)为ECI去马赛克方法效果图；图5(c)为DL去马赛克方法效果图；图5(d) 为SA去马赛克方法效果图；图5(e)为AFD去马赛克方法效果图；图5(f)为ADLA去马赛克方 法效果图；图5(g)为ESF去马赛克方法效果图；图5(h)为本发明方法去马赛克方法效果图。

具体实施方式

为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对 本发明实施例的技术方案进行清楚、完整地描述：

如图1所示：显示了一个7×7窗口的拜耳CFA样品。由DWI方法来指导，待插值 R5位置处缺失的绿色中心分量可以沿着四个方向根据相邻像素之间的频谱相关性来估计。 通过利用红色(R)和绿色(G)平面之间的色差，可以沿着四个方向估计北(N)，南(S)， 西(W)和东(E)。用方向信息标记为和这四个方向(见图1)，估 计如下：

为了更准确地估计我们利用四个方向上的颜色梯度相关性给每个估计值分配适当的 权重，并且使用沿着四个方向的R5的方向颜色梯度作为加权因子，来自适应计算方向在每个 颜色通道内的颜色相关性(自适应计算出其权值)，以此来调整每个方向对的贡献，其方 向上的颜色相关性越大，其权值越大，从而保证其方向上的颜色估计值在最终计算估计时 候的比重就越大。通过应用该插值方法，可以减少不规则边缘方向相关的插值误差和R5处的 突然的颜色转变。

如图1实例模版所示，以R5位置为中心，利用三颜色通道(红色R、绿色G和蓝色B)， 在滑动窗口内使用更多的与中心列/行相邻的像素来计算四个方向上的颜色梯度。沿北，南， 西，东方向来计算颜色梯度的方程式如下：

其中ε1是一个小的正因子，以避免梯度为零。

每个对估计的相关权重由每个方向的反向梯度计算。一般来说，沿一个方向的一个 小梯度意味着在该方向上更多的相关性，因此在该方向上分配较大的权重给预先估计的是 合理的，反之亦然。利用W.Lu和Y.Tan文章(W.Lu,Y.Tan,IEEE Trans.Image Process. 12(10)(2003)1194)中提出了一种有效的定向加权插值法(DWI)，分配给的方向估计 的权重比例在四个方向定义如下：(下式中)

为了避免插值误差，我们沿四个方向估计插值。使用四个方向上的预估计值和结合其相对应的颜色梯度加权系数w^N，w^S，w^W和w^E来估计值，其归一化的插值方 程如下式：

通过将上述步骤应用于所有红色和蓝色位置，我们可以重建绿色平面。

之后的优化过程是基于相同颜色平面中最近的相邻像素与中心像素具有最高相关性的 事实。我们提出了GIWF方法来优化插值的丢失像素，根据它们与中心像素值的相似度，使用 四个最近的相邻像素。我们选择了一个梯度逆加权滤波器，因为这个滤波器非常好地保留了 边缘的清晰度和其他细节。因此，可以利用同一颜色平面内的四个相邻像素之间的局部像素 梯度来减少插值伪像。在这里简要介绍GIWF。

如图3所示：为了优化一个在3×3窗口内P0处的中心预插像素Ip(0)(图3中P0位置像素)，第一阶梯度ΓP(k)(k用于表示图三中P0周围3×3滑动窗口内的像素)在GIWF (梯度逆加权滤波器)中定义为:ΓP(k)＝IP(k)-IP(0),

其中k＝1，2，…，8.从局部灰度梯度得到的权重矩阵W为:

然后，可以引入GIWF来优化像素Ip(0)：

f是GIWF优化过的中心像素值。

其中,

而且，其中ε0是一个小的正数，以避免|ΓP(k)|＝0的奇点。从等式中可以看出，很明显 的是，可以根据其不同权重的相邻像素之间的相似度来优化预先插入像素。

在绿色平面预先插值之后，使用梯度逆加权滤波器(GIWF)方法通过从相同颜色平面内 的相邻像素获得梯度信息来优化预插入像素，进而减小插值误差。由于局部像素梯度包含边 缘信息，可以根据中心像素与相邻像素的相关性使用GIWF来优化插值结果。

因为与中心预先插入绿色平面的四个相邻的绿色像素G9，G16，G12，和G13具有最高的 相关性像素，可用于调整插值的性能。为此，我们使用五点梯度逆加权滤波方法。这四个相 邻像素和之间的一阶梯度对具有不同的影响，定义为:

其中,ε2是一个小的正因子，以避免梯度为零。在GIWF中使用逆梯度作为加权因子，以 在四个方向上改进最后，GIWF可以应用于通过优化预先插入的像素获得

可以从公式(10)得出，当(X表示方向符号N，S，W或E中的一个)小时，权重 因子变大。相反，当大时，减小。因此，可以根据分配给相邻像素的不同权重来 优化

之后，插入丢失的红色和蓝色部分。

首先，红色R和绿色G平面之间的色差δRG和蓝色和绿色平面之间的色差δBG，可以表示 为:

红色R和蓝色B像素可以重建如下：

具体来说，在两个条件下计算色差平面：(1)缺失的蓝色(或红色)部分在CFA的红色 (或蓝色)采样位置，(2)缺失的红色和蓝色部分在CFA的绿色采样位置如图4所示

为了在R5位置插入缺失的蓝色样本，我们还应用了类似于我们用于重建绿色平面的策略 的两步策略。所有的绿色样品已被恢复并且可用，因此我们可以估计在R5的四个对角线方向 上的蓝色和绿色之间的色差δBG为：

其中，上标NW，NE，SW和SE分别代表西北，东北，西南，东南方向，分别为在位置B6，B7，B10和B11精细的绿色像素值。

通过应用DWI，我们可以根据光谱相关性为四个方向估计分配不同的权重，以获得更强 大的估计。因为绿色平面已经完全填充，所以沿着这四个对角线方向的绿色像素的梯度被用 作引导插值过程的权重因子。四个方向的颜色梯度计算如下：

其中ε3是避免梯度为零的小正因子。和分别是位置R1，R3， R5，R7和R9处的精细绿色像素值，分别是位置B6，B7，B10和B11处的 精细的绿色像素值。该颜色梯度用作衡量其方向上的颜色相关性的权重因子，其定义如下：

对于蓝色和绿色平面之间的色差平面δBG的DWI的组合，缺失的蓝色像素最初被插值为

类似于绿平面的优化，也通过提出的五点GIWF方法进行了改进，略有不同，沿着对 角线方向的四个相邻像素B6，B7，B10和B11来优化

如图4(a)和图4(b)在CFA的红色(或蓝色)采样位置处的缺失的蓝色(或红色)分 量恢复之后，在图4(c)和图4(d)所示的绿色采样位置内插丢失的红蓝色分量的处理过程与 如上所述中用来估计沿北，南，西，东四个方向缺少绿色成分内插和优化方法相同。因为采 样频率相同，这种处理方法也适合内插丢失的红蓝色分量。在所有缺失的颜色分量被内插和 优化之后，重构整个全色图像。

下面结合附图5对本发明效果做进一步说明。

附图5包含现有的去马赛克技术效果图和本发明去马赛克技术效果图。其中，附图5(a) 是原始马赛克图；附图5(b)是ECI方法去马赛克技术效果图；附图5(c)是SA方法去马 赛克技术效果图；附图5(d)是DL方法去马赛克技术效果图；附图5(e)是AFD方法去马 赛克技术效果图；附图5(f)是ADLA方法去马赛克技术效果图；附图5(g)是ESF方法去 马赛克技术效果图；附图5(h)是本发明方法去马赛克技术效果图；

对比附图5(a-g)和附图5(h)，可以看出本发明方法对不规则边缘的重建和微小细节 的保存效果良好，对纹理细节保存能力更优越。并且，相比于其他方法，本发明的方法产生 更少的可见颜色伪影，如拉链伪影和沿着突变颜色变化的假色伪影。可以看出，本发明的视 觉效果优与其他视觉效果。

本发明中所述的“北、西、东、南”的含义指的是阅读者正对附图时，相对于待处理像 素单元的中心位置，其上方位置为北，左边位置为西，右边位置为东，下面位置为南。

本发明中所述的“西北、东北、西南、东南”的含义指的是阅读者正对附图时，相对于 待处理像素单元的中心位置，其左上方位置为西北，右上方位置为东北，左下方位置为西南， 左下方位置为东南。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何 熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵 盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。