专利名称：伪像减少的自适应内插的制作方法
伪像减少的自适应内插背景 由于数码相机成本下降，它们的普及性稳步增长，普通消费者均能消费得起。为了 保持低成本，许多彩色数码相机是单传感器的数码相机，其中仅使用一个图像传感器来捕 捉彩色图像中每个图片元素(像素)的色彩信息。单传感器的数码相机中的每个图像传感 元件通常是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)芯片，它是表示彩色图像 的各像素的传感器阵列的一部分。考虑到叠加在传感器上的色彩滤波器阵列，每个传感元 件仅能产生关于给定像素处的单个色彩的信息。然而，彩色图像通过组合三个分开的单色 图像来表示。为了显示一彩色图像，每个像素处需要全部的红色、蓝色和绿色(RGB)色彩 值。在理想的(且昂贵的)照相机系统中，向传感器阵列中的每个像素提供三个图像传感 器，每个传感器各自测量红色、绿色或蓝色的像素色彩。然而，在单传感器数码相机中，在一 个给定像素处仅能确定单个红色、绿色或蓝色色彩值。为了获得另外两个缺失的色彩，必须 使用一种技术根据图像的周围像素估计或内插缺失的色彩。对于每个CCD或CMOS像素，仅 捕捉一个色彩，R、G或B中的任一个。因此，有必要对数据进行内插以便在每个像素处产生 另外两个色彩。例如，
图1中用“X”标记的像素是“红色像素”，也就是说，在该位置处，相应 的图像传感元件仅产生了红色色彩值。为了获得该像素的绿色(G)和蓝色(B)值，需要对 可从相邻像素获得的绿色和蓝色数据进行内插。例如，为了获得图1中“X”像素102的绿 色值，可以基于标记为“O”的绿色像素值来进行双线性内插。如上所述地估计或内插缺失色彩的过程称为“去镶嵌”。术语“去镶嵌”源自于色 彩滤波器阵列(CFA)在图像传感器前面使用，而CFA以镶嵌图案排列。该镶嵌图案对于图 像中的每个像素仅有一个色彩值。为了获得全色彩图像，镶嵌图案必须被“去镶嵌”。因此， 去镶嵌是从用镶嵌图案CFA捕捉的图像内插回，使得全RGB值可以与每一像素相关联的技 术。更具体地说，单传感器数码照相机使用在光路中位于CFA之后的图像传感器阵列来捕 捉图像。一种非常常见的镶嵌CFA被称为拜耳(Bayer)镶嵌图案。拜耳(Bayer)镶嵌图案 (即拜耳滤波器100)在图1中示出。(在该图中，有“R”的方框104表示红色像素，有“G” 的方框106表示绿色像素，有“B”的方框108表示蓝色像素。标记为“0”110的方框也是绿 色像素，标记为“X” 112的方框也是红色像素。)对于每一 2x2的像素组，两个对角相对的 像素具有绿色滤波器，而另外两个像素具有红色和蓝色滤波器。由于绿色(G)带有对于人 类来说最多的亮度信息，因此它的采样率是红色(R)和蓝色(B)的两倍。概述发明内容以简单形式介绍了下面会在详细描述中描述的概念的选择。发明内容并 不意图标识所要求保护的主题的关键特征或基本特征，也并不用于限制所要求保护的主题 的范围。这里所述的伪像减少的自适应内插技术从由单CXD(或CMOS)数码相机创建的原 始图片(例如拜耳镶嵌的单色图像)中产生具有全色彩RGB(红色、绿色、蓝色)信息的数 字图片。该技术使用一组线性滤波器高效地执行高质量的去镶嵌。这些滤波器的系数与统 计最优的Wiener滤波器近似，并允许快速实现，即优选地不使用乘法运算，仅仅使用加法和移位(尽管在处理硬件支持快速乘法时可以使用乘法)。该技术 采用了改进的标准来选择内插标准，考虑了输出内插值。它采用对滤波系 数的小改变，得到更好的结果并且适应“纠正衰减”。在一个实施例中，该技术进一步采用了 “纠正衰减”步骤，减少了对于特定种类的对角边缘的“色彩喷洒(sprinkling)”伪像。相 对于其他较佳的执行算法所需的多遍(在一些情况下超过十遍)来说，该技术仅仅对图像 过一遍，该遍中内插了全部的色彩。在一个实施例中，遵循常规的光栅扫描次序(从左至右从上至下)，对于每个像素 位置，伪像减少的自适应内插技术首先确定水平和垂直梯度(它们的计算取决于该像素的 可用色彩)。它还为每一个水平方向和垂直方向计算一活动度量，该活动度量考虑了候选的 输出内插像素值。该技术基于水平和垂直梯度值以及水平和垂直活动度量，从三个选项之 一中选择最佳的内插方向水平、垂直或不定向。在不定向滤波器的情况下，输出值中有较 高的风险存在伪像(特别是“色彩喷洒”类型，其中像素与其直接邻居有显著不同的色彩)。 在一个实施例中，在该情况下，该技术应用了一个附加步骤，用于对造成内插输出中的高频 分量的项进行衰减。在本发明实施例的以下描述中，对作为本发明一部分的附图进行参考，其中示出 了能实现本发明技术的具体实施例。可以理解，可以使用其他实施例，并且可以做出结构上 的变化，而不背离本发明的范围。附图简述参考以下描述、所附权利要求以及附图将更好地理解本发明的具体特征、方面和 优点，其中图1示出拜耳镶嵌图案。这是用于在单CCD数码相机中进行彩色图像捕捉的典型 的拜耳镶嵌，G子图像的像素是R和B子图像的两倍。图2提供了其中能实现伪像减少的自适应内插技术的示例性体系结构。图3提供了伪像减少的自适应内插技术的一个示例性实施例的示例性流程图。输 入像素是拜耳镶嵌的图案(每像素只有一个色彩)，输出像素是全RGB模式(每像素三个色 彩值)。图4提供了伪像减少的自适应内插技术的另一个示例性实施例的示例性流程图。 该实施例对造成色彩喷洒效果的高频项进行衰减。图5提供了在伪像减少的自适应内插技术的一个实施例中采用的用于红色和蓝 色像素位置的新内插滤波器的示例图。图6提供了在伪像减少的自适应内插技术的一个实施例中采用的用于绿色像素 位置的新内插滤波器的示例图。图7提供了在伪像减少的自适应内插技术的一个示例性实施例中采用的用于计 算活动估计器的滤波器的示例图。图8提供了在伪像减少的自适应内插技术的一个示例性实施例中采用的用于在 红色位置中内插绿色的不定向滤波器的示例图。图9提供了其中能实现伪像减少的自适应内插技术的示例性计算环境。详细描述在对伪像减少的自适应内插技术的以下描述中，对作为本发明一部分的附图进行参考，附图中示出了能实现这里所述的伪像减少的自适应内插技术。可以理解，可以使用其 他实施例，并且可以做出结构上的变化，而不背离本发明的范围。ι. ο 对来自这里所述的伪像减少的自适应内插技术从单CXD(或单CMOS)数码相机所创建的 原始图片中，产生具有全色彩RGB(红色、绿色、蓝色)信息的数字图片。该过程通常称为 “去镶嵌”，因为它把拜耳镶嵌的单色图像转换成全色彩RGB图像。该技术使用一组线性滤 波器高效地执行高质量的去镶嵌。这些滤波器的系数与统计最优的Wiener滤波器近似，并 且允许优选地不使用乘法、仅使用加法和移位的快速实现(尽管在处理硬件支持快速乘法 时可以使用乘法)。通常，伪像减少的自适应内插技术的几个基本概念在于1)该技术采用了一种改进的标准来选择内插方向，考虑了输出内插值。2)该技术采用对滤波系数的小改变，得到更好的结果并且适应“纠正衰减”。3)在一个实施例中，该技术进一步采用了 “纠正衰减”步骤，减少了对于特定种类 的对角边缘的“色彩喷洒”伪像。4)相对于其他较佳执行的去镶嵌算法所需的多遍(在一些情况下超过十遍)来 说，该技术仅仅对图像过一遍，该遍中内插了全部的色彩。通过去除了 “拉锁，，和“色彩喷洒”伪像，伪像减少的自适应内插技术以减少了的 复杂度，比用于商业照相机应用的公知现有技术表现得好。它和当前的现有技术算法具有 同等的性能，但是计算复杂度降低，并且大大减少了存储器占用。以下章节提供了有助于理解去镶嵌概念的简要背景描述、在共同待批专利申请中 描述的之前工作的简要描述、其中能实现伪像减少的自适应内插技术的示例性体系结构、 采用该技术的示例性过程以及该技术各种实现的细节。1. 1去镶嵌背景存在许多可用的去镶嵌技术。去镶嵌的一种最简单的方法是双线性内插。通常， 双线性内插使用了使用对称双线性内插独立地内插的三个色彩平面。该内插使用了像素与 正在内插的色彩具有相同的色彩的最近邻居。再参考图1，具体地，在双线性内插中，落入红 色或蓝色像素的像素位置(i，j)处的绿色值g(i，j)如下通过在交叉图案中的相邻绿色值 的平均来计算
权利要求
1.一种用于在镶嵌的彩色图像中的给定像素处内插缺失色彩值的自适应滤波器内插 过程，包括从镶嵌的彩色图像中选择具有当前色彩和位置的当前像素(302)； 对于所述当前像素位置和色彩，计算水平和垂直方向上的梯度(304)； 对于所述当前像素和位置，考虑候选的输出内插像素而计算水平方向上的活动度量和 垂直方向上的活动度量(306)；使用所计算的水平和垂直方向上的梯度以及水平和垂直方向上的活动度量，从一小组 预定的内插滤波器中选择最佳内插滤波器(308)；以及用所选择的内插滤波器在所述当前像素处计算缺失色彩值的内插(310)。
2.如权利要求1所述的过程，其特征在于，所述一小组预定的滤波器包括 在所述水平方向上执行内插的滤波器；在所述垂直方向上执行内插的滤波器；以及 其内插对水平或垂直方向中的任一个都不加权更多的不定向滤波器。
3.如权利要求2所述的过程，其特征在于，还包括对造成所述内插滤波器的内插输出 中的高频像素值的项进行衰减。
4.如权利要求3所述的过程，其特征在于，所述内插滤波器是不定向滤波器，所衰减的 项涉及绿色像素值。
5.如权利要求2所述的过程，其特征在于，对于图像的每一个像素，用一个计算序列来 内插所有缺失色彩数据。
6.如权利要求1所述的过程，其特征在于，考虑候选的输出内插像素而计算水平和垂 直方向上的活动度量的处理动作还包括在当前像素处为缺失色彩值计算水平和垂直估计；以及测量所计算的当前像素处的缺失色彩值的水平和垂直估计与当前像素的直接邻居的 色彩之间的绝对差，以确定水平和垂直方向上的活动度量。
7.如权利要求1所述的过程，其特征在于如果水平活动度量减去垂直活动度量小于阈值Th的负值，则选择在水平方向上执行 内插的滤波器；如果水平活动度量减去垂直活动度量大于阈值Th，则选择在垂直方向上执行内插的滤 波器；否则选择不定向滤波器。
8.如权利要求1所述的过程，其特征在于，对于采用排成七行的红色R、绿色G和蓝色B 像素的像素图案而言，所述七行包括像素B、G、B的第一 3像素行，直接在所述第一 3像素 行下面的G、R、G第二 3像素行，从所述第一像素行左边两个像素开始的像素B、G、B、G、B、 G、B的第三7像素行，与第三像素行对齐的G、R、G、R、G、R、G的第四7像素行，与第四像素 行对齐的B、G、B、G、B、G、B第五7像素行，与所述第一 3像素行对齐的G、R、G的第六3像 素行，以及与所述第六3像素行对齐的B、G、B的第七3像素行，位于第四像素行中心的红色 像素在位置(i，j)处，具有第i行第j列处的像素值，其他行和列中的所有像素都相对于第 四像素行中心的红色像素，则位置(i，j)处的红色像素处的内插滤波器如下找到如下计算绿色的水平内插滤波器:G_est = G_eb+G_ec，其中G_eb = l/8*{3*[x(i，j-l)+x(i，j+l)] + [x(i, j-3)+x(i, j+3)]}且 G_ec = l/4*{2*x(i，j)-x(i, j-2)-x(i, j+2)}；如下计算蓝色的水平内插B_est = G_est+(B-G) _est,其中(B_G)_est = l/16*{3*[x(i-l，j-l)+x(i-l, j + l)+x(i + l, j-l)+x(i + l, j + 1) ] + [x (i_l，j_3)+x(i_l， j+3)+x(i+l, j-3)+x(i+l, j+3)]}-l/8*{2*[x(i-l，j)+x(i+l, j) + [x(i_l，j_2)+x(i_l，， j+2)+x(i+l, j-2)+x(i+l, j+2)]}；如下计算绿色的垂直内插G_est = G_eb+G_ec,其中G_eb = l/8*{3*[x(i_l， j)+x(i+l, j)] + [x(i"3, j)+x(i+3, j)]} J.G_ec = l/4*{2*x(i，j)-x(i_2，j)-x(i+2, j)}； 如下计算蓝色的垂直内插滤波器B_est = G_est+(B-G)_est，其中(B_G)_est = l/16*{3*[x(i-l，j-l)+x(i-l, j + l)+x(i + l, j-l)+x(i + l, j + 1) ] + [x (i_3，j_l)+x(i_3， j+l)+x(i+3, j-l)+x(i+3, j+l)]}-l/8*{2*[x(i，j_l)+x(i，j+1) ]+ [x (i_2，j_l)+x(i_2，， j+l)+x(i+2, j-l)+x(i+2, j+1)]}；如下计算绿色的不定向内插滤波器G_est = G_eb+G_ec，其中G_eb = l/8*{4*x(i， j)-[χ(i-2，j)+χ(i+2,j)+x(i，j-2)+x(i，j+2)]}且 G_ec = 1/4*{x(i_l，j)+x(i，j-1)+x (i， j+l)+x(i+l, j)}；以及如下计算蓝色的不定向内插滤波器:B_est = G_est+l/4* {[χ (i_l，j-1) +χ (i_l， j+1) +χ (i+1，j-1) +χ (i+1，j+1) ] - [x (i-1，j) +x (i，j_l) +x (i，j+1) +x (i+1，j) ]}。
9.如权利要求1所述的过程，其特征在于，对于采用排成七行的红色R、绿色G和蓝色 B像素的像素图案而言，所述七行包括像素G的第一 1像素行，直接在所述第一 1像素行 下面从所述第一行左边一个像素开始的G、R、G的第二 3像素行，从所述第二像素行左边一 个像素开始的G、B、G、B、G的第三5像素行，从所述第三像素行左边一个像素开始的G、R、 G、R、G、R、G的第四7像素行，从所述第四像素行右边一个像素开始的G、B、G、B、G的第五5 像素行，与所述第二 3像素行对齐的G、B、G的第六3像素行，以及与所述第一 1像素行对 齐的G的第七1像素行，位于第四像素行中心的红色像素在位置(i，j)处、具有第i行第 j列处的像素值，其他行和列中的所有像素都相对于第四像素行中心的红色像素，计算水平 和垂直活动度量还包括计算水平活动度量 AH，其中 AH = 2*{|G_est(H)-X(i，j-1) +1 G_est (H)-χ (i, j+1) Hx(i，j"3)"x(i, j-1) Hx(i，j+3)-x(i，j+1) } + |x(i_l，j-2)-χ(i-1, j) +|x(i_l， j+2)-x(i-1, j) +|x(i+l，j-2)-x(i+1, j) +|x(i+l，j+2)-x(i+1, j) | ；以及计算垂直活动度量 AV，其中 AV = 2* {I G_est (V) -χ (i-1，j) | +1 G_est (V) -χ (i+1， j) | + |x(i_3，j)-x(i-l, j) | + |x(i+3，j)-x(i+1, j) } + |x(i-2, j-1)-x(i，j-1) | + |x(i+2， j-1)-x(i，j-1) +|x(i_2，j+1)-x(i，j+1) +|x(i+2，j+1)-x(i，j+1) | ；以及其中 G_est (H) *G_est(V)表示水平和垂直方向上的内插绿色(G)值。
10.如权利要求1所述的过程，其特征在于，对于采用排成七行的红色R、绿色G和蓝色 B像素的像素图案而言，所述七行包括像素R、G、R的第一 3像素行，直接在所述第一 3像 素行下面的G、B、G的3像素行，从所述第一像素行左边两个像素开始的R、G、R、G、R、G、R 的第三7像素行，与所述第三像素行对齐的G、B、G、B、G、B、G的第四7像素行，与所述第四 像素行对齐的R、G、R、G、R、G、R的第五7像素行，与所述第一 3像素行对齐的G、B、G的第 六3像素行，以及与所述第六3像素行对齐的R、G、R的第七3像素行，位于第四像素行 中心的蓝色像素在位置(i，j)处、具有第i行第j列处的像素值，其他行和列中的所有像素都相 对于第四像素行中心的蓝色像素，则位置(i，j)处的蓝色像素处的内插滤波器如下找到 如下计算绿色的水平内插滤波器:G_est = G_eb+G_ec，其中G_eb = l/8*{3*[x(i， j-l)+x(i，j+l)] + [x(i, j-3)+x(i, j+3)]}且 G_ec = l/4*{2*x(i，j)-x(i, j-2)-x(i, j+2)}；如下计算红色的水平内插滤波器R_est = G_est+ (R-G)_est,其中(R-G)_est = l/16*{3*[x(i-l，j-l)+x(i-l, j + l)+x(i + l, j-l)+x(i + l, j + 1) ] + [x (i_l，j_3)+x(i_l， j+3)+x(i+l, j-3)+x(i+l, j+3)]}-l/8*{2*[x(i-l，j)+x(i+l, j) + [x(i_l，j_2)+x(i_l，， j+2)+x(i+l, j-2)+x(i+l, j+2)]}；如下计算绿色的垂直内插滤波器G_est = G_eb+G_ec，其中G_eg = l/8*{3*[x(i_l， j)+x(i+l, j)] + [x(i"3, j)+x(i+3, j)]}且 G_ec = l/4*{2*x(i，j)-x(i_2，j)-x(i+2, j)}； 如下计算红色的垂直内插滤波器R_est = G_est+ (R-G)_est,其中(R-G)_est = l/16*{3*[x(i-l，j-l)+x(i-l, j + l)+x(i + l, j-l)+x(i + l, j + 1) ] + [x (i_3，j_l)+x(i_3， j+l)+x(i+3, j-l)+x(i+3, j+l)]}-l/8*{2*[x(i，j_l)+x(i，j+1) ]+ [x (i_2，j_l)+x(i_2，， j+l)+x(i+2, j-l)+x(i+2, j+1)]}； 如下计算绿色的不定向滤波器G_est = G_eb+G_ec,其中G_eb = 1/8* {4*x (i， j) -[χ (i-2，j) +χ (i+2, j) +x (i，j-2) +x (i，j+2) ]}且 G_ec = 1/4* {x (i_l，j) +x (i，j-1) +x (i， j+l)+x(i+l, j)}；以及如下计算红色的不定向滤波器R_est = G_est+l/4*{[x(i_l，j_l)+x(i_l， j+1) +χ (i+1，j-1) +χ (i+1，j+1) ] - [x (i-1，j) +x (i，j_l) +x (i，j+1) +x (i+1，j) ]}。
11.如权利要求1所述的过程，其特征在于，对于采用排成七行的红色R、绿色G和蓝色 B像素的像素图案而言，所述七行包括G像素的第一 1像素行，直接在所述第一像素行下面 从所述第一行左边一个像素开始的G、B、G的第二 3像素行，从所述第二像素行左边一个像 素开始的G、R、G、R、G的第三5像素行，从所述第三像素行左边一个像素开始的G、B、G、B、 G、B、G的第四7像素行，从所述第四像素行右边一个像素开始的G、R、G、R、G的第五5像素 行，与所述第二 3像素行对齐的G、B、G的第六3像素行，以及与所述第一 1像素行对齐的B 的第七1像素行，位于第四像素行中心的蓝色像素在位置(i，j)处、具有第i行第j列处的 像素值，其他行和列中的所有像素都相对于第四像素行中心的红色像素，所述计算水平和 垂直活动度量还包括计算水平活动度量 AH，其中 AH = 2*{|G_est(H)-X(i，j-1) +1 G_est (H)-χ (i, j+1) Hx(i，j"3)"x(i, j-1) Hx(i，j+3)-x(i，j+1) } + |x(i_l，j-2)-χ(i-1, j) +|x(i_l， j+2)-x(i-1, j) +|x(i+l，j-2)-x(i+1, j) +|x(i+l，j+2)-x(i+1, j) | ；以及计算垂直活动度量 AV，其中 AV = 2* {I G_est (V) -χ (i-1，j) | +1 G_est (V) -χ (i+1， j) +|x(i_3，j)-x(i-l, j) +|x(i+3，j)-x(i+1, j) } + |x(i-2, j-1)-x(i, j-1) +|x(i+2， j-1)-x(i，j-1) +|x(i"2, j+1)-x(i, j+1) +|x(i+2，j+l)-x(i，j+1)，其中 G_est(H)和 G_ est (V)表示水平和垂直方向上的内插绿色(G)值。
12.如权利要求1所述的过程，其特征在于，对于采用排成七行的红色R、绿色G和蓝色 B像素的像素图案而言，所述七行包括像素G、B、G的第一 3像素行，直接在所述第一 3像 素行下面的R、G、R的3像素行，从所述第一像素行左边两个像素开始的G、B、G、B、G、B、G的第三7像素行，与所述第三像素行对齐的R、G、R、G、R、G、R的第四7像素行，与所述第四 像素行对齐的G、B、G、B、G、B、G的第五7像素行，与所述第一 3像素行对齐的R、G、R的第 六3像素行，以及与所述第六3像素行对齐的G、B、G的第七3像素行，位于第四像素行中心 的绿色像素在位置(i，j)处、具有第i行第j列处的像素值，其他行和列中的所有像素都相 对于第四像素行中心的绿色像素，位置(i，j)处的绿色像素处的内插滤波器如下找到如下计算红色的水平内插滤波器R_est = R_eb+R_ec，其中R_eb = l/8*{3*[x(i， j-l)+x(i，j+l)] + [x(i, j-3)+x(i, j+3)]}且 R_ec = l/4*{2*x(i，j)-x(i, j-2)-x(i, j+2)}；如下计算蓝色的水平内插滤波器B_est = R_est+(B-R)_est，其中(B-R)_est = l/16*{3*[x(i-l，j-l)+x(i-l, j + l)+x(i + l, j-l)+x(i + l, j + 1) ] + [x (i_l，j_3)+x(i_l， j+3)+x(i+l, j-3)+x(i+l, j+3)]}-l/8*{2*[x(i-l，j)+x(i+l, j) + [x(i_l，j_2)+x(i_l，， j+2)+x(i+l, j-2)+x(i+l, j+2)]}；如下计算蓝色的垂直内插滤波器B_est = B_eb+B_ec，其中B_eb = l/8*{3*[x(i_l， j)+x(i+l, j)] + [x(i"3, j)+x(i+3, j)]}且 B_ec = l/4*{2*x(i，j)-x(i_2，j)-x(i+2, j)}； 如下计算红色的垂直内插滤波器R_est = B_est+(R-B)_est，其中(R_B)_est = l/16*{3*[x(i-l，j-l)+x(i-l, j + l)+x(i + l, j-l)+x(i+l, j + 1) ] + [x (i_3，j_l)+x(i_3， j+l)+x(i+3, j-l)+x(i+3, j+l)]}-l/8*{2*[x(i，j_l)+x(i，j+1) ]+ [x (i_2，j_l)+x(i_2，， j+l)+x(i+2, j-l)+x(i+2, j+1)]}。
13.如权利要求1所述的过程，其特征在于，对于采用排成七行的红色R、绿色G和蓝色 B像素的像素图案而言，所述七行包括R像素的第一 1像素行，直接在所述第一像素行下面 从所述第一行左边一个像素开始的R、G、R的第二 3像素行，从所述第二像素行左边一个像 素开始的B、G、B、G、B的第三5像素行，从所述第三像素行左边一个像素开始的R、G、R、G、 R、G、R的第四7像素行，从所述第四像素行右边一个像素开始的B、G、B、G、B的第五5像素 行，与所述第二 3像素行对齐的R、B、R的第六3像素行，以及与所述第一 1像素行对齐的R 的第七1像素行，位于第四像素行中心的绿色像素在位置(i，j)处、具有第i行第j列处的 像素值，其他行和列中的所有像素都相对于第四像素行中心的绿色像素，所述计算水平和 垂直活动度量还包括计算水平活动度量 AH，其中 AH = 2*{|R_est(H)-X(i，j-1) +1 R_est (H)-χ (i, j+1) Hx(i，j"3)"x(i, j-1) Hx(i，j+3)-x(i，j+1) } + |x(i_l，j-2)-x(i-l, j) +|x(i_l， j+2)-x(i-l, j) +|x(i+l，j-2)-x(i+l, j) +|x(i+l，j+2)-x(i+l, j) | ；以及计算垂直活动度量 AV，其中 AV = 2* {I B_est (V) -χ (i_l，j) | +1 B_est (V) -χ (i+1， j) +|x(i_3，j)-x(i-l, j) +|x(i+3，j)-x(i+1, j) } + |x(i-2, j-1)-x(i，j-1) +|x(i+2， j-1)-x(i，j-1) +|x(i_2，j+1)-x(i，j+1) +|x(i+2，j+1)-x(i，j+1)，其中 R_est (H)表示 水平方向上的内插红色(R)值，B_est(V)表示垂直方向上的内插蓝色值。
14.如权利要求1所述的过程，其特征在于，对于采用排成七行的红色R、绿色G和蓝色 B像素的像素图案而言，所述七行包括像素G、R、G的第一 3像素行，直接在所述第一 3像 素行下面的B、G、B的3像素行，从所述第一像素行左边两个像素开始的G、R、G、R、G、R、G 的第三7像素行，与所述第三像素行对齐的B、G、B、G、B、G、B的第四7像素行，与所述第四 像素行对齐的G、R、G、R、G、R、G的第五7像素行，与所述第一 3像素行对齐的B、G、B的第六3像素行，以及与所述第六3像素行对齐的G、R、G的第七3像素行，位于第四像素行中心 的绿色像素在位置(i，j)处、具有第i行第j列处的像素值，其他行和列中的所有像素都相 对于第四像素行中心的绿色像素，则位置(i，j)处的绿色像素处的内插滤波器如下找到 如下计算红色的水平内插滤波器R_est = B_est+ (B-R)_est,其中(B-R)_est = l/16*{3*[x(i-l，j-l)+x(i-l, j + l)+x(i + l, j-l)+x(i + l, j + 1) ] + [x (i_l，j_3)+x(i_l， j+3)+x(i+l, j-3)+x(i+l, j+3)]}-l/8*{2*[x(i-l，j)+x(i+l, j) + [x(i_l，j_2)+x(i_l，， j+2)+x(i+l, j-2)+x(i+l, j+2)]}；如下计算蓝色的水平内插滤波器B_est = G_est+(B-G)_est，其中(B_G)_est = l/16*{3*[x(i-l，j-l)+x(i-l, j + l)+x(i + l, j-l)+x(i + l, j + 1) ] + [x (i_l，j_3)+x(i_l， j+3)+x(i+l, j-3)+x(i+l, j+3)]}-l/8*{2*[x(i-l，j)+x(i+l, j) + [x(i_l，j_2)+x(i_l，， j+2)+x(i+l, j-2)+x(i+l, j+2)]}； 如下计算红色的垂直内插滤波器R_est = B_est+(R-B)_est，其中(R_B)_est = l/16*{3*[x(i-l，j-l)+x(i-l, j + l)+x(i + l, j-l)+x(i + l, j + 1) ] + [x (i_3，j-l)+x(i_3， j+l)+x(i+3, j-l)+x(i+3, j+l)]}-l/8*{2*[x(i，j_l)+x(i，j+1) ]+ [x (i_2，j_l)+x(i_2，， j+l)+x(i+2, j-l)+x(i+2, j+1)]}。
15.如权利要求1所述的过程，其特征在于，对于采用排成七行的红色R、绿色G和蓝色 B像素的像素图案而言，所述七行包括B像素的第一 1像素行，直接在所述第一像素行下面 从所述第一行左边一个像素开始的B、G、B的第二 3像素行，从所述第二像素行左边一个像 素开始的R、B、R、B、G的第三5像素行，从所述第三像素行左边一个像素开始的B、G、B、G、 B、G、B的第四7像素行，从所述第四像素行右边一个像素开始的R、G、R、G、R的第五5像素 行，与所述第二 3像素行对齐的B、G、B的第六3像素行，以及与所述第一 1像素行对齐的B 的第七1像素行，位于第四像素行中心的绿色像素在位置(i，j)处、具有第i行第j列处的 像素值，其他行和列中的所有像素都相对于第四像素行中心的绿色像素，所述计算水平和 垂直活动度量还包括计算水平活动度量 AH，其中 AH = 2*{|B_est(H)-X(i，j-1) +1 B_est (H)-χ (i, j+1) Hx(i，j"3)"x(i, j-1) Hx(i，j+3)-x(i, j+1) } + |x(i_l，j-2)-x(i-l, j) +|x(i_l，j+2)-x(i-l, j) +|x(i+l，j-2)-x(i+l, j) +|x(i+l，j+2)-x(i+l, j) | ；计算垂直活动度量 AV，其中 AV = 2* {I R_est (V) -χ (i_l，j) | +1 R_est (V) -χ (i+1， j) | + |x(i_3，j)-x(i-l, j) | + |x(i+3，j)-x (i+1, j) } + |x(i-2, j-1)-x (i，j-1) | + |x(i+2， j-1)-x(i，j-1) +|x(i_2，j+1)-x(i，j+1) +|x(i+2，j+1)-x(i，j+1)，其中 B_est(H)表示 水平方向上的内插蓝色(B)值，R_est(V)表示水平和垂直方向上的内插红色(R)值。
16.一种用于在镶嵌的彩色图像中的给定像素处内插缺失色彩值的自适应滤波器内插 过程，包括从镶嵌的彩色图像中选择具有当前色彩和位置的像素(402)； 对于所述像素位置和色彩，计算水平和垂直方向上的梯度(404)； 考虑候选的输出内插像素，分别计算水平和垂直方向上的活动度量AH和AV (406)； 使用所计算的水平和垂直方向上的梯度、以及水平和垂直方向上的活动度量，从水平、 垂直和不定向滤波器的一小组预定的内插滤波器中选择最佳内插滤波器(408)；如果选择不定向内插滤波器，则确定是否应该对所选择的不定向内插滤波器中造成内插输出的高频分量的项6_沈进行衰减(410)；以及用所选择的内插滤波器计算当前像素处的缺失色彩值的内插(412)。
17.如权利要求16所述的过程，还包括如果选择不定向滤波器，则如果|G_ec|<Mx 就对G_ec进行衰减，其中M是指定参数；如果I G_ec I > Mx则不对G_ec进行衰减。
18.一种用于在彩色图像中的给定像素处内插缺失色彩值的自适应滤波器内插系统， 包括通用计算设备；以及包括可由计算设备执行的程序模块的计算机程序，所述计算设备由计算程序的程序模 块指示以从表示彩色图像(202)的图像传感器阵列(204)中选择具有当前色彩的当前像素 (206)；对于所选择的像素，计算水平和垂直方向上的梯度(208)；计算水平方向上的水平活动度量(AH)和垂直方向上的垂直活动度量(AV)，所述水平 活动度量和垂直活动度量考虑到候选输出内插像素值(210、212、214)；使用水平和垂直方向上的梯度、水平活动度量和垂直活动度量来从一组滤波器(218、 220、222、224)中选择滤波器(216)；以及使用所选择的滤波器计算当前像素处的缺失色彩值的内插(228)。
19.如权利要求18所述的系统，其特征在于，如果AV> AH,则选择滤波器的模块选择 水平内插滤波器；否则则选择垂直内插滤波器。
20.如权利要求18所述的系统，其特征在于，如果(AH-AV)<-Th，其中Th是指定阈值， 则选择滤波器的模块选择水平内插滤波器；如果(AH-AV) > Th，则选择滤波器的模块选择垂直内插滤波器；以及否则，则选择不定向内插滤波器。
全文摘要
描述了伪像减少的自适应内插技术，该技术从单CCD数码相机所创建的原始图片(例如拜耳镶嵌的单色图像)中产生具有全色彩RGB(红色、绿色、蓝色)信息的数字图像。该技术采用了考虑到输出内插值的用于选择内插标准的改进标准。它采用对滤波器系数的小改变，以得到更好的结果并适应“纠正信息”。在一个实施例中，该技术还采用了“纠正衰减”步骤，该步骤减少了对于特定类型的对角边缘的“色彩喷洒”伪像。和其他较佳的执行算法所需的多遍(一些情况下超过十遍)相比，该技术仅对图像过一遍；所有色彩都在该遍被内插。
文档编号H04N9/07GK102113330SQ200980131128
公开日2011年6月29日 申请日期2009年5月8日 优先权日2008年6月5日
发明者H·S·玛尔瓦 申请人:微软公司