用于彩色图像去马赛克的优质梯度校正线性插值的制作方法

专利名称：用于彩色图像去马赛克的优质梯度校正线性插值的制作方法
技术领域：
本发明一般涉及数字化彩色图像的处理，尤其涉及线性组合校正项与插值以获取对图像中象素上遗漏象素色彩的优质估算的方法和系统。
背景技术：
数字照相机在消费者中的流行度继续稳定增长。一个原因是数字照相机的价格在继续下跌，使它们在一般消费者的消费范围之内并导致更多的消费者放弃传统的胶卷照相术而青睐数字照相机。为了限制价格，许多消费级数字彩色照相机是单传感器数字照相机。正如其名称所隐含的，在单传感器数字照相机中仅使用单个图像传感器来捕捉彩色图像中每个象素的彩色信息。通常是电荷耦合装置(CCD)或者互补金属氧化物半导体(CMOS)的每个图像传感器是一起表示彩色图像象素的传感器阵列的一部分。
每个传感器只能产生给定象素上有关一种单色的信息。然而，彩色图像是通过组合三个单独的单色图像来表示的。为了显示彩色图像，需要每个象素上的所有的红、蓝、绿(RGB)色彩值。在理想(且昂贵)的照相机系统中，将向传感器阵列中的每个象素提供三个图像传感器，每一个分别测量红、绿、蓝象素色彩。然而，在单传感器数字照相机中，在给定象素上仅能确定单一的红、蓝或绿的色彩值。为了获取另两种遗漏色彩，必需使用一种技术以从图像中的周围象素来估算或插值遗漏的色彩。该类估算和插值技术称为“去马赛克”(demosaicing)。
“去马赛克”的术语源自在图像传感器前面使用色彩过滤器阵列(CFA)，且用马赛克模式排列CFA的事实。该马赛克模式仅具有图像中每个象素的一个色彩值。为了获取全色彩图像，必需对马赛克模式“去马赛克”。因而，去马赛克是把用马赛克模式CFA捕捉到的图像插值回去的技术，从而使全RGB值能与每个象素相关联。
更特别地，单传感器数字照相机使用光学路径中在CFA之后的图像传感器阵列来捕捉图像。更通用的马赛克CFA称为Bayer马赛克模式。该Bayer马赛克模式(或Bayer过滤器)如图1所示。对于每个2×2的象素组，两个对角线方向的象素有绿色过滤器，而另两个象素则有红色和蓝色过滤器。由于绿色(G)携带了大多数对人类的亮度信息，其采样率是红色(R)和蓝色(B)的两倍。Bayer过滤器在Bayer的题为“Color Imaging Array”(“彩色成像阵列”)专利号为3,971,065的美国专利中描述。
有大量的去马赛克技术可用。最简单的去马赛克方法之一是双线性插值。一般而言，双线性插值使用以对称双线性插值独立进行插值的三个色彩平面。该插值使用象素的具有与正在插值的色彩相同的色彩的最近邻象素。特别地，再看图1，在双线性插值中，落于红或蓝象素的象素位置(i，j)上的绿色值g(i，j)通过十字模式中相邻绿色均值来计算，如下所示g^(i,j)=14Σg(i+m,j+n)]]>(m，n)＝{(0，-1)，(0，1)，(-1，0)，(1，0)}(1)等式(1)对应于把图1中标有‘+’的象素(也称为“当前象素”)上的绿色值估算为标有‘·’的有效绿色均值。应当注意当前象素有红色，因此需要插值绿色和蓝色值。在图像边界上，仅包括落于图像内的象素，并调整缩放比例。
在给定象素上使用双线性插值如何插值遗漏色彩的图示说明在图2A-H中示出。如图2A-H所示，应当注意双线性技术通常使用较小的支持区域。支持区域是为了任一给定象素的插值而考虑其值的象素邻域的尺寸。如图2A-H所示，如下所述用于双线性插值技术的支持区域通常为3×3象素的支持区域。使用这种较小的支持区域使存储器使用和计算复杂度保持最小。
参看图2A和2B，示出的是用于得到给定象素上绿色值的等式(1)的双线性插值技术。在图2A中，通过使用与红色象素相邻的绿色象素得到红色象素上的绿色值。这些相邻的绿色象素在图2A中用“1”标记。类似地，在图2B中，通过使用与蓝色象素相邻的绿色象素得到蓝色象素上的绿色值。绿色象素被再次标以“1”。
为了得到遗漏的红色(R)或蓝色(B)，仍应用等式(1)。然而，现在使用对角线十字模式。例外是，对于落在绿色象素中的象素位置(i，j)，仅平均了两个红色邻象素以产生红色插值值，因为在那里只有两个直接相邻的红色象素。得到蓝色值也是一样。应当注意，等式(1)除了计算简单之外，还确保其输出值具有与输入值相同的动态范围，因此在输出值上不需要溢出检测和控制逻辑。
更特别地，图2C-2E示出了用于得到给定象素上红色值的等式(1)的双线性插值技术。特别地，在图2C中，通过使用两个红色邻象素，在红色行和蓝色列中绿色象素上得到红色值。类似地，在图2D中，通过使用红色列中两个红色邻象素得到蓝色行和红色列中绿色象素上的红色值。在图2E中，使用四个红色邻象素得到蓝色象素上的红色值。在图2C-E中，在双线性插值技术中使用的每个红色邻象素用“1”标记。
类似地，图2F-H示出用于得到给定象素上蓝色值的等式(1)的双线性插值技术。特别地，在图2F中，通过使用两个蓝色邻象素，在蓝色行和红色列的绿色象素上得到蓝色值。在图2G中，通过使用蓝色列中两个红色邻象素得到红色行和蓝色列中绿色象素上的蓝色值。在图2H中，使用四个蓝色邻象素得到红色象素上的蓝色值。在图2F-H中，在双线性插值技术中使用的每个蓝色邻象素用“1”标记。
然而，上述双线性插值技术的一个问题是它们在彩色图像中产生了严重的人工痕迹。在边缘交界和图像中其它高频率内容的地方尤甚，因为双线性插值不考虑RGB值之间的统计校正。例如，参看图2D和2F，假设象素亮度值中有很大的变化，使得在最右端的列中所有象素比其它象素都亮得多。然后，中间元素(图2F)的经插值蓝色值将有些亮，因为其右边的蓝色邻象素非常亮。然而，同一象素(图2D)的经插值红色值不会是亮的，因为其两个红色邻象素并不是非常亮。因此，在此情形中就会有较亮的经插值蓝色象素和不太亮的经插值红色象素；过多的蓝色和较少的红色将使经插值象素的色彩被染成青色，形成彩色镶边人工痕迹。因而，尽管双线性插值技术是快速、计算强度低、并易于实现的，它们仍因为它们产生严重人工痕迹(主要是模糊和彩色镶边)导致的低质图像而臭名昭著。
更好(虽然更复杂)的插值技术考虑RGB值之间的相互关系。一类插值技术通过使用经改进线性过滤器来考虑这种相互关系。例如，在Proc.ICIP 2000年9月第488-491页S.-C.Pei和I.-K.Tam的题为“Effective color interpolation in CCDcolor filter array using signal correlaion”(“使用信号校正的CCD色彩过滤器阵列中的有效色彩插值”)的文章中描述了一种这样的技术。另一类插值技术通过使用非线性过滤器来考虑这种相互关系。这些非线性过滤器本质上使插值平稳度适应图像活性或轮廓的测量。例如，这些非线性插值技术在下列文章中讨论(1)P.Longère，X.Zhang，P.B.Delahunt和D.H.Brainard的题为“Perceptual assessment ofdemosaicing algorithm performance”(“去马赛克算法性能的直观估计”)在Proc.IEEE，90卷，123-132页，2002年1月上的文章；以及(2)R.Ramanath，W.E.Snyder和G.L.Bilbro的“Demosaicking methods for Bayer color arrays”(“Bayer色彩阵列的去马赛克方法”)在J.Electronic Imaging(电子成像)，11卷，306-315页，2002年7月上的文章。
探究RGB信道之间的相互关系是非线性插值技术中改进去马赛克性能所基于的主要思路。特别地，它假设亮度/色度分解中，在象素之间色度成分不会变化太大。在Freeman的专利号为4,724,395题为“Median filter for reconstructing missingcolor samples”(“用于重建遗漏色彩样本的中值过滤器”)的美国专利中所描述的恒色度方法中，绿色信道进行双线性插值而后对红色和蓝色信道进行插值以保持定义为R/G和B/G比率的恒色度。然而，Freeman技术的一个问题是即使付出了计算这些比率的代价，该技术仍然产生了可见的人工痕迹。此外，在插值计算中使用复杂运算(诸如除法和乘法)大大地增加了计算复杂度、处理额外成本、以及实现成本。
通过先双线性地插值绿色象素，然后将中值过滤器应用于色差R-G和B-G的经插值值，可获得非线性插值技术的改进结果。通过使用基于梯度的非线性技术可获得改进性能，该技术通常估算边缘方向并调整插值公式从而过滤就可选择性地沿着边缘方向而不是跨过边缘执行了。例如，一种基于梯度的非线性技术在C.A.Laroche和M.A.Prescott的专利号为5,373,322题为“Apparatus and method foradaptively interpolating a full color image utilizing chrominance gradients”(“利用色度梯度适应性地插值全色彩图像的装置和方法”)的美国专利中描述。这种Laroche和Prescott技术通过使用红色和蓝色信道来插值绿色信道，以确定对等式(1)中绿色信道的各个项确定不相等权重的边缘方向。然后插值色差R-G和B-G。J.E.Adams和J.F.Hamilton，Jr.的专利号为5,506,619题为“Adaptive color plane interpolation ina single color electronic cameras”(“单色彩电子照相机中的适应性色彩平面插值”)的美国专利(也可参见J.E.Adams的1997年2月Proc.SPIE卷3028 117-125页中题为“Design of practical color filter array interpolation algorithms for digital cameras”(数字照相机实用色彩过滤器阵列插值算法的设计)的文章)通过考虑一阶和二阶象素差来改进Laroche和Prescott技术。但是，这些梯度技术只计算了梯度并用它来选择使用哪一种插值技术。
在E.Chang，S.Cheung和D.Y.Pan的1999年1月Proc.SPIE卷3650 36-43页中的题为“Color filter array recovery using a threshold-based variable number ofgradients”(“使用基于阈值可变数量梯度的色彩过滤器阵列复原”)的文章中描述的技术通过考虑可变数量的梯度改进了以上技术。使用软判定规则以组合水平和垂直方向上插值结果的一种更简单但有效的算法在X.Wu和N.Zhang的2003年9月Proc.ICIP卷I477-480页中题为“Primary-consistent soft-decision color demosaicfor digital cameras”(“数字照相机基本一致的软判定色彩去马赛克”)的文章中提出。
通过使用来自蓝色和红色插值的结果以校正绿色插值(反之亦然)，迭代方法可得到进一步的改进。这是在R.Kimmel的1999年9月IEEE Trans.on ImageProcessing卷81221-1228页题为“Demosaicingimage reconstruction from colorCCD samples”(“去马赛克根据彩色CCD样本的图像重建”)的文章中所描述技术的基础。在Kimmel的方法中，插值步骤基于恒色度和基于梯度方法的组合。基于迭代投射的技术在B.K.Gunturk、Y.Altunbasak、和R.M.Mersereau的在2002年9月IEEE Trans.on Image Processing卷11 997-1013页题为“Color plane interpolationusing alternating projections”(“使用交变投射的色彩平面插值”)的文章中提出。Gunturk技术在一般标准测试图像组上注明有最佳性能。然而Gunturk技术的一个问题是它具有很高的复杂性(对每个输入象素进行多达480次操作)。
上述非线性插值技术通常使用比双线性插值技术所用更大的支持区域。例如，用于这些非线性插值技术的一般是5×5支持区域。5×5支持区域在RGB值之间形成良好的相互关系并产生优质图像。较小的支持区域大大降低了图像质量，而较大的支持区域需要更多存储器并大大增加了计算复杂性。
因此，需要的是这样一种用于为彩色图像去马赛克的插值技术，它保留双线性插值技术的简便和速度，同时产生诸如非线性插值技术的较复杂技术的优质图像。还需要的是考虑RGB值之间相互关系以改进性能的优质插值技术。另外还需要的是这样的一种插值技术，即通过计算梯度来考虑该相互关系并将该经计算梯度直接用作校正项而不仅仅用其来选择插值技术。还需要的是利用比双线性技术中(其中支持区域与非线性技术中使用的具有可比性)更大的支持区域来改进质量的插值技术。另外还需要的是这样一种插值技术，即在计算插值时仅需要简单数学运算(诸如加法)以增加速度、避免计算复杂性、并允许价廉的实现。

发明内容
在此揭示的本发明包括用于数字彩色图像去马赛克的优质线性插值方法和系统。本发明通过提供便于实现并具成本效益的优质插值克服了现有插值技术的上述缺点。也就是，在此揭示的梯度校正线性插值方法和系统使用来自当前象素的色彩信息以获取校正项。然后将该校正项与现有插值技术进行线性组合以提供当前象素上遗漏色彩的经改进估算。梯度校正线性插值方法和系统比当前的线性去马赛克技术有更佳性能和更低的复杂性。另外，梯度校正线性插值方法和系统胜过了许多具有更高复杂性的现有非线性去马赛克技术。
梯度校正线性插值方法和系统可在由数字照相机捕捉的彩色图像上操作。在显示之前，图像用梯度校正线性插值方法和系统去马赛克。或者，可把被捕捉的数字彩色图像以经压缩马赛克形式存储在计算装置中。如果计算装置上的应用程序需要访问该图像，应用程序通常调用适当的应用编程接口(API)以获取解压缩数据。大多数应用程序期望数据是RGB格式的，因此在把图像数据发送给请求应用程序之前必须执行去马赛克。
梯度校正线性插值方法包括在具有当前色彩的当前象素上计算所需色彩的插值，其中在插值中使用所需色彩。然后，使用该当前色彩计算校正项。然后把该校正项与插值线性组合以获取当前象素上所需色彩的经校正插值。为了简化计算并保护计算资源，插值更适于是现有双线性插值(诸如在背景技术中所描述的)。然而，事实上插值可以是可用的现有去马赛克技术的任一种，包括线性和非线性插值。
校正项更适于是从当前象素的当前色彩计算的梯度校正项。例如，假设当前象素具有能够确定该象素绿色值的图像传感器，而且需要的是绿色象素上的红色值，如图2C和2D所示。通过使用该象素上的绿色值和绿色邻象素的值，梯度校正线性插值方法计算该绿色象素上的梯度。然后把该梯度值的固定部分(更适合为由增益因子控制的)添加到经插值红色值中(更适合为经双线性插值的红色值)。尽管某些现有的去马赛克技术的确计算梯度，但它们使用该梯度去控制如何计算插值。另一方面，在此揭示的梯度校正线性插值方法直接将梯度用作校正项。换言之，某些现有去马赛克技术计算梯度并使用该梯度来选择基于梯度的插值方法，而梯度校正线性插值方法直接使用梯度来影响和校正由现有去马赛克技术产生的值。
梯度校正项与插值线性组合。梯度校正项更适于添加到插值中以改进对所需色彩的估算。使用梯度的现有去马赛克技术通常计算并使用基于梯度的复杂运算符，诸如非线性过滤器、“if”语句以及除法运算。通过使用线性运算来把梯度校正项与插值进行线性组合(线性运算更适合是加法)，梯度校正线性插值方法简化了计算。
梯度校正线性插值方法还包括把梯度校正增益应用到梯度校正项中。该梯度校正增益影响了应用于插值中的梯度校正量。例如，如果梯度校正增益是0.8，则仅有80％的梯度校正与插值进行了线性组合。可用各种方法选择梯度校正增益。通过使均方误差最小来计算最优梯度校正增益。该最优值的近似法允许使用整数算术、无除法运算、或两者组合的计算。也可基于彩色图像传感器的特征或整个数字照相机系统的特征来选择梯度校正。如果需要，梯度校正增益还可基于彩色图像的统计在图像中变化。这些统计可包括图像的全局统计、图像的局部统计、或两者。
梯度校正线性插值方法包括把支持区域定义为紧邻当前象素的象素邻域尺寸。然后选择支持区域以包括离具有当前色彩并使用支持区域计算插值和校正项的当前象素最近的象素。支持区域更适合包括以当前象素为中心的5×5象素区域。可选地，支持区域也可以大于5×5象素区域。也可以有一个以上的支持区域。例如，可使用第一支持区域来计算插值，而使用第二支持区域来计算校正项。
梯度校正线性插值系统使用如上所述的方法来以快速、简便和有效的方式产生给定象素上遗漏色彩的优质插值。梯度校正线性插值系统包括选择具有当前色彩的当前象素的当前象素选择器、以及计算在当前象素上遗漏的并需要的色彩值的第一插值的插值模块。梯度校正线性插值系统还包括计算用于插值的校正项的校正项模块、以及线性组合插值和校正项以获取当前象素上所需(或遗漏)色彩值的线性组合模块。
校正项计算模块还包括选择将应用的校正量的梯度校正选择器。此外，校正项计算模块还包括定义当前象素周围支持区域的支持区域模块、以及使用当前象素计算梯度校正的梯度校正模块。此外，校正项计算模块包括把增益应用于经计算梯度校正使得输出经调整梯度校正的梯度校正增益应用模块。


参照以下说明书和示出本发明诸方面的附图可进一步理解本发明。从以下本发明的详细描述结合作为示例示出本发明的原理的附图，其它特征和优点将显然。
现在参看附图，相同数字贯穿其中代表相同部件图1示出了用于在单图像传感器数字照相机系统中彩色图像捕捉的典型Bayer马赛克模式。
图2A示出了用于得到红色象素上绿色值的双线性插值技术。
图2B示出了用于得到绿色象素上绿色值的双线性插值技术。
图2C示出了用于得到红色行和蓝色列中绿色象素上红色值的双线性插值技术。
图2D示出了用于得到蓝色行和红色列中绿色象素上红色值的双线性插值技术。
图2E示出了用于得到蓝色象素上红色值的双线性插值技术。
图2F示出了用于得到蓝色行和红色列中绿色象素上蓝色值的双线性插值技术。
图2G示出了用于得到红色行和蓝色列中绿色象素上蓝色值的双线性插值技术。
图2H示出了用于得到红色象素上蓝色值的双线性插值技术。
图3A是示出在此揭示的梯度校正线性插值系统和方法的第一示例性实现的框图。
图3B是示出在此揭示的梯度校正线性插值系统和方法的第二示例性实现的框图。
图4是示出图3所示梯度校正线性插值系统的一般操作的一般流程图。
图5是示出梯度校正线性插值过程的一般流程图。
图6A示出了用于得到红色象素上绿色值的梯度校正线性插值方法的细节。
图6B示出了用于得到如图6A所示红色象素上绿色值的5×5支持区域详图。
图6C示出了用于得到蓝色象素上绿色值的梯度校正线性插值方法的细节。
图6D示出了用于得到如图6C所示蓝色象素上绿色值的5×5支持区域详图。
图7A示出了用于得到位于红色行蓝色列的绿色象素上红色值的梯度校正线性插值方法的细节。
图7B示出了用于得到如图7A所示绿色象素上红色值的5×5支持区域详图。
图7C示出了用于得到位于蓝色行红色列的绿色象素上红色值的梯度校正线性插值方法的细节。
图7D示出了用于得到蓝色象素上红色值的梯度校正线性插值方法的细节。
图7E示出了用于得到如图7D所示蓝色象素上红色值的5×5支持区域详图。
图8A示出了用于得到位于蓝色行红色列的绿色象素上蓝色值的梯度校正线性插值方法的细节。
图8B示出了用于得到如图8A所示绿色象素上蓝色值的5×5支持区域详图。
图8C示出了用于得到位于红色行蓝色列的绿色象素上蓝色值的梯度校正线性插值方法的细节。
图8D示出了用于得到红色象素上蓝色值的梯度校正线性插值方法的细节。
图8E示出了用于得到如图8D所示红色象素上蓝色值的5×5支持区域详图。
图9示出了如图3所示梯度校正线性插值方法和系统可在其中实现的适当计算系统环境的示例。
图10是示出如图3所示的梯度校正线性插值系统细节的框图。
图11是示出如图10所示校正项计算模块细节的框图。
具体实施例方式
在本发明的以下说明书中要参照附图，它形成了说明书的一部分并在其中作为说明可实践本发明的特定示例而示出。可以理解，可利用其它实施例并可作结构变化，不背离本发明的范围。
I.导言几乎所有当前的数字照相机都对彩色图像中每个象素使用单传感器。结果，对于每个象素，仅捕捉到红、绿、蓝(RGB)三色之一。然而，为了产生彩色图像，在每个象素上需要每个RGB色彩值。因此，照相机使用一种称为“去马赛克”的技术以在每个象素上产生遗漏色彩值。
不幸地是，用于插值遗漏RGB数据的技术都是复杂性和质量之间折衷的产物。例如，双线性插值技术使用简单的计算操作、线性运算器、以及小支持区域(诸如3×3的支持区域)。这使得这些双线性插值技术快速、计算强度小、且易于实现。然而，这些双线性技术还在彩色图像中产生严重的可极大降低图像质量的人工痕迹。另一方面，某些非线性插值技术产生显著改进的图像质量，但太慢、使用了更多的处理能力、使用了复杂的计算操作、并更难实现。
在此揭示的梯度校正线性插值方法和系统包括一种新的用于彩色图像去马赛克的插值技术。该方法和系统取得由当前技术计算的插值，计算校正项(诸如给定象素上所需色彩的梯度)，并把该插值和校正项加以线性组合。这种方法和系统通过用低成本运算器(诸如加法和移位)执行固定的线性运算来保持运算复杂性为最小。此外，通过直接把梯度用作校正项而不仅是选择插值方法的手段，梯度校正线性插值方法和系统通过避免复杂编程(诸如很多减慢执行的“if”语句)的需要简化了实现。由于梯度考虑了RGB值之间的相互关系而改进了图像质量。类似于非线性技术，该梯度校正线性插值方法和系统还利用了更大的支持区域以改进对遗漏色彩值的估算。
本梯度校正线性插值方法和系统与双线性插值技术相比可导致在信号噪音功率比(PSNR)中有超过5.5dB的改进，而与某些当前线性插值技术相比可导致在红色(R)和蓝色(B)插值中有约为0.7dB的改进。本梯度校正线性插值方法和系统也比大多数非线性插值技术好，因为非线性处理没有了人工痕迹并大大降低了计算复杂性。
II.一般纵览图3A和3B是示出在此揭示的梯度校正线性插值方法和系统的两个示例性实现的框图。应该注意，图3A和3B仅仅是可实现和使用本梯度校正线性插值方法和系统的若干方法中的两种。
参看图3A，在第一个示例性实现中，梯度校正线性插值系统300驻留于数字照相机系统310中。一般而言，梯度校正线性插值系统300使用梯度校正线性插值方法以处理从图像传感器阵列315中获取的图像数据，并输出每个象素的遗漏色彩值320。尤其如图3A所示，梯度校正线性插值系统300是数字照相机系统310的一部分，并包括图像传感器阵列315。该阵列315由多个图像传感器组成(由图3A中的圆圈所示)，其中每个图像传感器能够确定单个色彩值。
图像传感器阵列315包括传感器感光底层330、色彩过滤器阵列(CFA)340、以及显微镜头阵列350。应该注意，通常显微镜头阵列350排列在CFA340上，而CFA340则排列在感光底层330上，如图3A和3B的虚线所示。来自被捕捉图像(未示出)的光线进入数字照相机系统310(如箭头355所示)。显微镜头阵列350的目的是聚焦在进入光线355的每个象素上(由单图像传感器代表)。CFA 340改变了每个象素的色彩响应。传感器感光底层330捕捉特定色彩进入光线(按CFA340指令)并产生电子信号。这样，图像传感器阵列315用排列在图像传感器阵列315中的红、绿、蓝传感器采样来自图像的进入光线355。
图像传感器阵列315中的每个象素是红、绿、蓝传感器的输出。因而，传感器输出是来自对应于图像传感器阵列315中每个象素单一色彩值的每个传感器的电子信号。输出是原始的、马赛克模式的象素数据360。如上所述，为了显示全色彩图像，必须获取每个象素上的红、绿、蓝色的色彩信息。这通过去马赛克，或插值马赛克模式象素数据360中的遗漏色彩值来获取。
梯度校正线性插值系统300使用全新的去马赛克技术以插值遗漏色彩值的优质估算。梯度校正线性插值系统300驻留于位于数字照相机系统310的处理装置370。如下详述，梯度校正线性插值系统300使用梯度校正线性插值方法以获取图像传感器阵列315中每个象素320的遗漏色彩值。
现在参看图3B，在第二个示例性实现中，梯度校正线性插值系统300驻留于计算装置380。原始的马赛克模式象素数据360从数字照相机系统310发送到计算装置380。该象素数据360通常通过接口连接385发往计算装置380，该接口可以是USB接口、IEEE1394接口、蓝牙接口、或适于把原始象素数据360从数字照相机系统310运送到计算装置380的任意其它接口。如下详述，梯度校正线性插值系统300使用梯度校正线性插值方法以在每个象素上获取遗漏色彩值390用于由计算装置380使用。
III.操作纵览现在将讨论如图3所示在这里使用的梯度校正线性插值系统300和方法的操作。图4是示出如图3所示梯度校正线性插值系统一般操作的一般流程图。梯度校正线性插值方法从输入来自彩色图像的当前象素开始(框400)。当前象素具有相关联的当前色彩。即，当前色彩是过滤当前象素的图像传感器而接收的色彩。然后，计算当前象素上所需色彩的插值(框410)。换言之，可插值或估算当前象素上的任一遗漏色彩。作为示例，如果当前色彩是绿色，则所需色彩可能是红色或蓝色。插值是现有的插值技术，使用上述包括线性、双线性、非线性、双三次、以及Lanczos插值技术的任一种。在一优选实施例中，使用双线性插值技术。此外，使用所需色彩计算插值。在计算插值中一般使用所需色彩的邻象素。
然后计算校正项(框420)。使用当前象素的当前色彩来执行该计算。通常在计算校正项中使用当前象素，以及具有当前色彩的当前象素的邻象素。在一优选实施例中，校正项是通过计算当前象素梯度而获取的梯度校正，如下进行详细讨论。
梯度校正线性插值方法和系统包括全新的标准，即边缘比色度成分具有强得多的亮度。因而，当计算在红色象素上绿色值的插值时，不会丢弃该位置上的红色值。相反，本发明利用该有价值的信息来计算校正项。而现有插值技术都丢弃了该信息。在此例中，将对相邻红色值使用现有插值技术来比较该红色值和其插值值。如果它与估算值不同，可能意味着在该象素上就有急速的亮度变化。然后本发明将通过添加该校正项的至少一部分(对应于经估算亮度改变)来校正经插值绿色值。这种比较由基于梯度的校正项隐式执行，从而不需要“if”语句或条件分支逻辑。
最后，插值和校正项进行线性组合以获取当前象素上所需色彩的经校正插值(框430)。在一优选实施例中，插值和校正项加在一起以获取经校正插值。此外，可应用梯度校正增益于梯度校正以指示与插值线性组合的梯度校正量(或部分或百分率)。如下所述，可使用各种各样的技术来选择该梯度校正增益。
不象现有的插值技术，例如当梯度校正线性插值方法为红色象素位置上的绿色值插值计算校正项时，该位置的红色值不会被丢弃。当前色彩(红色值)是有价值的信息！相反，梯度校正线性插值方法比较该红色值和其最邻近红色样本的插值(或估算)值。如果校正项与该估算不同，可能它指示了在当前象素上有急速的亮度变化。因而，梯度校正线性插值方法通过把校正项的至少一部分线性组合到插值中来校正当前象素(在此例中具有绿色)上的现有插值，其中校正项代表了经估算亮度。
IV.操作细节和工作示例图5是示出梯度校正计算过程的一般流程图。特别地，确定梯度校正增益(框500)。如下详述，可用各种各样的方法来确定该增益。然后，定义彩色图像中当前象素周围的支持区域(框510)。该支持区域被定义为考虑其色彩值用于与诸如当前象素的任意给定象素相关联的计算的象素邻域尺寸。这些计算包括计算插值和计算校正项(诸如梯度)。
然后计算梯度校正(框520)。使用当前象素(具有当前色彩)和也具有当前色彩的支持区域中的象素来计算该梯度。然后把该梯度校正增益应用于梯度校正(框530)。应该注意，每个梯度校正增益与特定插值模式相关联。将该增益应用于校正指示使用多少梯度校正来校正插值。最后，输出经调整梯度校正(框540)。该经调整梯度校正可与插值线性组合以便改进单独插值的质量。
为了更全面地理解在此揭示的梯度校正线性插值方法和系统，展现示例性工作示例的操作细节。应该注意，该工作示例仅仅是可实现本梯度校正线性插值方法和系统的一种方法。
梯度校正给出以下公式使用梯度校正以提供象素位置上的经校正插值。为了说明梯度校正线性插值方法和系统的细节，插值以双线性插值技术展现。然而，应该注意，可使用任何其它类型的插值技术。
尤其是为了插值红色象素(R)位置上的绿色值(G)，使用以下公式g^(i,j)=g^B(i,j)+αΔR(i,j)---(2)]]>其中, 是梯度校正线性插值， 是双线性插值，α是该特定插值模式的梯度校正增益，且ΔR(i，j)是象素位置上的红色(R)梯度，由以下公式计算 (m，n)＝{(0，-2)，(0，2)，(-2，0)，(2，0)}(3)因而，梯度校正线性插值方法和系统通过测量由等式(3)中简单公式估算的象素位置上已知色彩的梯度ΔR，来校正双线性插值估算。梯度校正增益α控制这种校正的强度。本梯度校正线性插值方法和系统实际上是一种梯度校正双线性插值方法，其中增益参数控制要应用多少校正。
为了插值蓝色(B)象素上的绿色(G)值，使用同一公式，但由ΔB(i，j)校正。为了插值绿色(G)象素上的红色(R)值，使用以下公式r^(i,j)=r^B(i,j)+βΔG(i,j)---(4)]]>其中ΔG(i，j)由9-点支持区域确定，如下详述。
为了插值蓝色(B)象素上的红色(R)值，使用以下公式r^(i,j)=r^B(i,j)+γΔB(i,j)---(5)]]>其中γB(i，j)由5-点支持区域确定，如下详述。
因为对称，用于插值蓝色(B)的公式是类似的。
梯度校正增益为了确定用于梯度校正增益的适当值(如上所述用于每种插值模式的α、β和γ之一)，使用Wiener方法。换言之，计算导向最小均方差插值的值。使用从典型图像数据集计算的二阶统计来执行该计算。然后，最优Wiener系数由1/2小幂数的整数倍来近似。最优增益值的最后结果是α＝1/2、β＝5/8和γ＝3/4。从{α，β，γ}的值，可计算每种插值情形的等效线性有限脉冲响应(FIR)过滤器系数。结果系数值使得过滤器相当接近5×5支持区域的最优Weiner过滤器(5％均方差之内)因而，可以相信，设计具有相当低均方插值误差的实用线性过滤器的唯一方法要使用较大的支持区域。这不但会增加计算复杂性和所需存储器，还会导致图像中边缘周围的环形人工痕迹。一种估算计算复杂性的方法是计算5×5支持区域中非零过滤器系数的数量。例如，在S.-C.Pei和I.-K.Tam的文章中(引用如上)，绿色(G)信道有9个非零系数，而红色(R)和蓝色(B)信道每个平均有13个。相反，梯度校正线性插值方法和系统具有略低的复杂性，即G信道9个系数而R和B信道每个11个系数。
图6A-D是示出用于得到绿色值的梯度校正线性插值方法详图。在图6A中，要在红色象素600上得到绿色值。应该注意参数“a”与梯度校正增益α相关为a＝2α，如下所述。如图6A所示，使用红色象素600周围的绿色象素来执行插值(诸如双线性插值)。另外，使用红色象素600周围的红色象素以及红色象素600自己计算梯度校正。
图6B是示出用于得到如图6A所示红色象素上绿色值的5×5支持区域详图。特别地，如图6B所示的5×5支持区域的梯度校正线性插值方法包括1.从双线性插值绿色开始G^33B=G23+G32+G34+G434]]>2.计算红色梯度Δ33R=R33-R13+R31+R35+R534]]>3.应用校正G^33new=G^33B+αΔ33R]]>其中α是“校正增益”0＜α＜1。典型值为α＝1/2。
注意可在一般FIR过滤器类公式中组合以上公式G^33new=G23+G32+G34+G434+α(R33-R13+R31+R35+R534)]]>=18[2(G23+G32+G34+G43)+4aR33-a(R13+R31+R35+R53)]]]>其中参数a直接与增益α相关，a＝2α，因此对于α＝2，我们有a＝1。在此形式中，仅使用加法和移位(因为乘以2和4可分别通过一位和两位左移执行，而除以8则通过三位右移执行)就可把最终估算绿色(G)值计算为所指示绿色值和红色值的线性组合。
在图6C中，要在蓝色象素610上得到绿色值。如图6C所示，使用蓝色象素610周围的绿色象素来执行插值(诸如双线性插值)。另外，使用蓝色象素610周围的蓝色象素以及蓝色象素610自己计算梯度校正。
图6D是示出用于得到如图6C所示蓝色象素上绿色值的5×5支持区域详图。特别地，如图6C所示的5×5支持区域的梯度校正线性插值方法包括1.从双线性插值绿色开始G^33B=G23+G32+G34+G434]]>
2.计算蓝色梯度Δ33B=B33-B13+B31+B35+B534]]>3.应用校正G^33new=G^33B+αΔ33B]]>其中α是“校正增益”0＜α＜1。典型值为α＝1/2。
与前面一样可在一般FIR过滤器类公式中组合以上公式G^33new=G23+G32+G34+G434+α(B33-B13+B31+B35+B534)]]>=18[2(G23+G32+G34+G43)+4aB33-a(B13+B31+B35+B53)]]]>其中参数a直接与增益α相关，a＝2α，因此对于α＝1/2，我们有a＝1。再一次，很清楚仅使用加法和移位就可有效计算以上过滤操作。
图7A-E是示出用于得到红色值的梯度校正线性插值方法详图。在图7A中，要在绿色象素700上得到红色值。绿色象素700位于红色行和蓝色列上。应该注意，参数“b”与梯度校正增益β相关，b＝(8/5)β，如下所述。如图7A所示，使用与绿色象素700水平相邻的两个红色象素来执行插值(诸如双线性插值)。此外，使用绿色象素700周围的绿色象素以及绿色象素700自己计算梯度校正。
图7B是示出用于得到如图7A所示的绿色象素上红色值的5×5支持区域详图。特别地，如图7A所示的5×5支持区域的梯度校正线性插值方法包括1.从双线性插值红色开始R^33B=R32+R342]]>2.计算绿色梯度Δ33G=G33-G22+G24+G31+G35+G42+G44-(G13+G53)/25]]>3.应用校正R^33new=R^33B+βΔ33G]]>其中β是“校正增益”，0＜β＜1。典型值为β＝5/8。
注意可在一般FIR过滤器类公式中组合以上公式R^33new=R32+R342+β(G33-G22+G24+G31+G35+G42+G44-(G13+G53)/25)]]>=18[4(R32+R34)+5bG33-b(G22+G24+G31+G35+G42+G44)-(b/2)(G13+G53)]]]>其中参数b直接与增益β相关b＝(8/5)β，因此对于β＝5/8，我们有b＝1。在此形式中，很清楚仅使用加法和移位(因例如乘以5可通过两位左移和加法执行)就可把最终估算红色(R)值计算为所指示红色值和绿色值的线性组合。
在图7C中，要在绿色象素710上得到红色值。但在这种情况下，绿色象素710位于蓝色行和红色列上。如图7C所示，使用与绿色象素710垂直相邻的两个红色象素来执行插值(诸如双线性插值)。类似于图7A和7B所示的情况，使用绿色象素710周围的绿色象素以及绿色象素710自己计算梯度校正。
在图7D中，要在蓝色象素720上得到红色值。应当注意，参数“c”与梯度校正增益γ相关，c＝2γ，如下所述。如图7D所示，使用与蓝色象素720相邻的四个红色象素来执行插值(诸如双线性插值)。此外，使用蓝色象素720周围的蓝色象素以及蓝色象素720自己计算梯度校正。
图7E是示出用于得到如图7D所示蓝色象素上红色值的5×5支持区域详图。特别地，如图7D所示的5×5支持区域的梯度校正线性插值方法包括1.从双线性插值红色开始R^33B=R22+R24+R42+R444]]>2.计算蓝色梯度Δ33B=B33-B13+B31+B35+B534]]>3.应用校正R^33new=R^33B+γΔ33B]]>其中γ是“校正增益”，0＜γ＜1。典型值为γ＝3/4。
注意可在一般FIR过滤器类公式中组合以上公式R^33new=R22+R24+R42+R444+γ(B33-B13+B31+B35+B534)]]>=18[2(R22+R24+R42+R44)+4cB33-c(B13+B31+B35+B53)]]]>
其中参数c直接与增益γ相关c＝2γ，因此对于γ＝3/4，我们有c＝3/2。在此形式中，很清楚，仅使用加法和移位(例如乘以3/2可通过一位右移和加法执行)就可把最终估算红色(R)值计算为所指示红色值和蓝色值的线性组合。
图8A-E是示出用于得到蓝色值的梯度校正线性插值方法详图。在图8A中，要在绿色象素800上得到蓝色值。绿色象素800位于蓝色行和红色列上。应该注意，参数“b”与梯度校正增益β相关，b＝(8/5)β，如下所述。如图8A所示，使用与绿色象素800水平相邻的两个蓝色象素来执行插值(诸如双线性插值)。此外，使用绿色象素800周围的八个绿色象素以及绿色象素800自己计算梯度校正。
图8B是示出用于得到如图8A所示绿色象素上蓝色值的5×5支持区域详图。特别地，如图8A所示5×5支持区域的梯度校正线性插值方法包括1.从双线性插值蓝色开始B^33B=B32+B342]]>2.计算绿色梯度Δ33G=G33-G22+G24+G31+G35+G42+G44-(G13+G53)/25]]>3.应用校正B^33new=B^33B+βΔ33G]]>其中β是“校正增益”，0＜β＜1。典型值为β＝5/8。
注意可在一般FIR过滤器类公式中组合以上公式B^33new=B32+B342+β(G33-G22+G24+G31+G35+G42+G44-(G13+G53)/25)]]>=18[4(B32+B34)+5bG33-b(G22+G24+G31+G35+G42+G44)-(b/2)(G13+G53)]]]>其中参数b直接与增益β相关b＝(8/5)β，因此对于β＝5/8，我们有b＝1，如上所述。
在图8C中，要在绿色象素810上得到蓝色值。然而在此情形中，绿色象素810位于红色行和蓝色列上。如图8C所示，使用与绿色象素810垂直相邻的两个蓝色象素来执行插值(诸如双线性插值)。类似于图8A和8B所示的情况，使用绿色象素810周围的八个绿色象素以及绿色象素810自己计算梯度校正。
在图8D中，要在红色象素820上得到蓝色值。应当注意，参数“c”与梯度校正增益γ相关，c＝2γ，如下所述。如图8D所示，使用与红色象素820相邻的四个蓝色象素来执行插值(诸如双线性插值)。此外，使用红色象素820周围的4个红色象素以及红色象素820自己计算梯度校正。
图8E是示出用于得到如图8D所示的红色象素上蓝色值的5×5支持区域详图。特别地，如图8D所示的5×5支持区域的梯度校正线性插值方法包括1.从双线性插值红色开始B^33B=B22+B24+B42+B442]]>2.计算红色梯度Δ33R=R33-R13+R31+R35+R534]]>3.应用校正B^33new=B^33B+γΔ33R]]>其中γ是“校正增益”，0＜γ＜1。典型值为γ＝3/4。
注意可在一般FIR过滤器类公式中组合以上公式B^33new=B22+B24+B42+B442+γ(R33-R13+R31+R35+R534)]]>=18[2(B22+B24+B42+B44)+4cR33-c(R13+R31+R35+R53)]]]>其中参数c直接与增益γ相关c＝2γ，因此对于γ＝3/4，我们有c＝3/2。在此形式中，很清楚，仅使用加法和移位就可把最终估算红色(R)值计算为所指示蓝色值和红色值的线性组合，如上所述。
应该注意有三种类型的插值模式，因此有三类梯度校正增益(α，β，γ)。可用各种各样的方式来选择这些增益。一种方式是使用最优增益值。一般而言，这些最优值为α＝1/2，β＝5/8，和γ＝3/4。最优增益值之间的差异是因为在查看不同模式时其相互关系中的差异。
实际上，最优增益值并非正好分别是1/2、5/8和3/4。它们是接近的，是为了实现目的而由最接近的有理数(分母是2的幂数)近似而来的。这简化了操作，并排除了对浮点运算的需要，从而大大简化了计算复杂性。除以8仅仅是右移3位，因此这样的计算用整数运算就可以完成了。因此，这种增益的特定选择不得不保证计算是用没有除法的整数运算来执行的。
另一种挑选增益的方法取决于数字照相机制造商。大多数数字照相机的镜头通常执行某些光学低通过滤(或模糊)。这是因为制造商知道去马赛克将产生某些彩色边缘，且如果在它通过传感器之前使图像稍微模糊一些，可减轻去马赛克导致的边缘。
每个制造商都使用其自己的色彩矩阵(即使它是Bayer矩阵，他们也常常使用不同类型的色彩过滤)。这就是说在制造商之间频率响应看起来会略有不同。例如，对于第一个制造商的过滤器，在蓝色和红色之间的相互关系可能会比另一个制造商的过滤器少一些。给定每个不同制造商照相机的频率响应和相互关系统计，增益可根据这些统计进行微调。此外，这些增益可再次近似为较简单的值，诸如允许整数运算且无除法的值。
也可用适应式方式来选择增益。在适应性增益选择中，增益根据图像的统计改变。统计可以是全局或局部的。全局图像统计基于整个的图像。局部图像统计则不仅基于整个图像还基于图像中的特定区域。从这些统计中可计算更佳的信道间相互关系值，因此可确定相应的新的最优Wiener过滤器增益。全局或局部的图像统计以及Weiner过滤在本领域中众所周知，不在此赘述。
性能把本梯度校正线性插值方法和系统与若干其它lxing插值技术进行比较。这种比较是这样执行的使用众所周知的公共域柯达图像集、模拟Bayer采样阵列(简单地通过仅保存每个象素的每个RGB值之一)、以及应用各种插值算法。该二次采样方法没有真正代表数字照相机，数字照相机通常采用严谨的透镜设计以有效执行少量的低通过滤，来减少Bayer模式二次采样引起的混淆现象。然而，由于以上引用的所有文章仅执行二次采样而没有低通过滤，所作相同因此可比较其结果。另外，在Bayer二次采样之前，用少量的高斯低通过滤测试了所有的插值方法，并发现诸方法的相关性能在有过滤或没有过滤时基本上都相同。梯度校正线性插值方法和系统在信号-噪音功率比(PSNR)上比双线性插值技术有改进。此外，除了Freeman插值技术，大多数方法有5dB以上的改进。平均而言，梯度校正线性插值方法和系统比大多数其它插值技术好。
除了PSNR测量，使用柯达集的图像之一来验证视觉质量。梯度校正线性插值方法和系统产生了类似于较好的非线性方法的视觉质量(诸如在Kimmel文章中所讨论的(引用如上))而具有很低的复杂性。与Pei-Tam文章中讨论的插值技术相比，梯度校正线性插值方法和系统在略微降低的计算复杂性基础上产生较轻微的可见彩色边缘变形、以及较低的PSNR。
梯度校正线性插值方法和系统在Weiner意义上几乎是最优的，而且实际上它比许多更复杂的非线性插值技术好。与最近引入的线性去马赛克技术相比，梯度校正线性插值方法和系统在经插值图像质量上产生0.5dB的改进，而在均方误差上有12％的降低。这是因为对于绿色信道质量相同而对于红色和蓝色信道质量有约为0.7dB的改进。另外，与Pei-Tam文章中讨论的技术相比，梯度校正线性插值方法和系统还在计算复杂性上有一些降低(约为12％)。
V.示例性操作环境梯度校正线性插值方法和系统被设计在计算环境中和计算装置上运行，诸如数字照相机系统310中包含的处理装置370或计算装置380上。现在将讨论梯度校正线性插值方法和系统在其中操作的计算环境。以下讨论旨在提供梯度校正线性插值方法和系统可在其中实现的适当计算环境的简要描述。
图9示出了图3所示梯度校正线性插值方法和系统可在其中实现的适当计算系统环境900的示例。该计算系统环境900仅是适当计算环境的一个示例，并非旨在提出本发明使用或功能性范围的任何限制。计算环境900也不应被解释为对示例性操作环境900中所示的任一组件或其组合有任何依赖性或任何需求。
本梯度校正线性插值方法和系统也可在很多其它通用或专用计算系统环境或配置中使用。适于本梯度校正线性插值方法和系统使用的众所周知的计算系统、环境、和/或配置的示例包括，但不限于，个人计算机、服务器计算机、诸如蜂窝电话和PDA的手持式或膝上型移动计算机或通信装置、多处理器系统、基于微处理器的系统、机顶盒、可编程电器消费品、网络PC、迷你计算机、大型机、包括任一种以上系统或装置的分布式计算环境等等。
本梯度校正线性插值方法和系统可以计算机可执行指令的一般上下文进行说明，诸如由计算机执行的程序模块。一般而言，程序模块包括执行具体任务或实现具体抽象数据结构的例程、程序、对象、组件、数据结构等等。本梯度校正线性插值方法和系统还可在任务由经通信网络连接的远程处理装置执行的分布式计算环境中实践。在分布式计算环境中，程序模块可置于包括存储器存储装置的本地和远程计算机存储介质。参照图9，实现本梯度校正线性插值方法和系统的示例性系统包括计算机910形式的通用计算装置。
计算机910的组件可包括，但不限于，处理单元920、系统存储器930以及把包括系统存储器在内的各种系统组件耦合到处理单元920的系统总线921。系统总线921可能是若干总线结构类型中的任何一种，包括存储器总线或存储器控制器、外围总线、以及使用多种总线架构的任一种的本地总线。作为示例，而非限制，这些结构包括工业标准结构(ISA)总线、微通道结构(MCA)总线、扩展ISA(EISA)总线、视频电子标准协会(VESA)局部总线和也称为Mezzanine总线的外围部件互连(PCI)总线。
计算机910通常包括各种计算机可读介质。计算机可读介质可以是能被计算机910访问的任何可用介质，并包括易失和非易失介质、可移动和不可移动介质。作为示例，而非限制，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以任何方法或技术实现、用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的易失和非易失、可移动和不可移动介质。
计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字化视频光盘(DVD)或其它光盘存储技术、磁卡、磁带、磁盘存储或其它磁性存储装置、或任何其它可用于存储所需信息并可由计算机910访问的介质。通信介质通常包括诸如载波或其它传输机制的调制数据信号中的计算机可读指令、数据结构、程序模块、或其它数据，且包括任何信息输送介质。
注意术语“调制数据信号”意指用将信息编码成信号的方式设置或改变其一个或多个特征的信号。作为示例，而非限制，通信介质包括诸如有线网络或直线连接的有线介质，和诸如声学、射频、红外线和其它无线介质的无线介质。以上任何介质的组合也应包括在计算机可读介质的范围中。
系统存储器930包括诸如只读存储器(ROM)931和随机存取存储器(RAM)932的易失和/或非易失存储器形式的计算机存储介质。包含有助于计算机910如起动时在元件间传送信息的基本例程的基本输入/输出系统(BIOS)933通常存储在ROM 931中。RAM 932通常包含可被处理单元920立即访问和/或现时操作的数据和/或程序模块。作为示例，而非限制，图9示出了操作系统934、应用程序935、其它程序模块936、和程序数据937。
计算机910还可包括其它可移动/不可移动、易失/非易失计算机存储介质。作为示例，图9图示了读取和写入不可移动、非易失磁性介质的硬盘驱动器941，读取和写入可移动、非易失磁盘952的磁盘驱动器951，以及读取和写入可移动、非易失光盘956，诸如CD-ROM或其它光学介质的光盘驱动器955。
其它也可用在示例性计算环境中的可移动/不可移动、易失/非易失计算机存储介质包括，但不限于，如磁带盒、闪存卡、数字化视频光盘、数字化录像带、固态RAM、固态ROM等等。硬盘驱动器941通常通过诸如接口940的不可移动存储器接口与系统总线921连接，而磁盘驱动器951和光盘驱动器955通常通过诸如接口950的可移动存储器接口与系统总线921连接。
如上所述并如图9所示的驱动器及其相关联的计算机存储介质为计算机910提供计算机可读指令、数据结构、程序模块、和其它数据的存储。在图9中，例如，硬盘驱动器941被示为存储操作系统944、应用程序945、其它程序模块946、和程序数据947。注意这些组件可以与操作系统934、应用程序935、其它程序模块936、和程序数据937相同或不同。在此给予操作系统944、应用程序945、其它程序模块946、和程序数据947的不同数字至少说明他们是不同的复制件。用户可通过输入装置如键盘962和通常称为鼠标、跟踪球或触摸板等定位装置961向计算机910输入命令和信息。
其它输入装置(未示出)可包括话筒、游戏杆、游戏垫、卫星接收器、扫描仪、无线电接收器、或电视或广播视频接收器等等。这些和其它输入装置常常通过与系统总线耦合的用户输入接口960与处理单元920相连，但也可通过诸如并行端口、游戏端口或通用串行总线(USB)的其它接口和总线结构连接。监视器991或其它类型的显示装置也可通过诸如视频接口990的接口与系统总线921相连。除了监视器，计算机还可包括诸如扬声器997和打印机996的其它外围输出装置，它们通过输出外围接口995相连。
计算机910可以在使用与一台或多台远程计算机，诸如远程计算机980逻辑连接的网络化环境中运行。远程计算机980可以是个人计算机、服务器、路由器、网络PC、对等装置或其它普通网络节点，而且通常包括上述与个人计算机910相关的许多或全部组件，尽管在图9中仅图示了存储器存储装置981。图9中所描绘的逻辑连接包括局域网(LAN)971和广域网(WAN)973，但也可包括其它网络。这样的网络化环境在办公室、企业范围计算机网络、企业内部互联网和因特网上是常见的。
当用于LAN网络化环境中时，计算机910通过网络接口或适配器970与局域网971连接。当用于WAN网络化环境中时，计算机910通常包括调制解调器972或其它用于在广域网973，诸如因特网中建立通信的装置。可以是内置式或外置式的调制解调器972与系统总线921通过用户输入接口960或其它适当机制连接。在网络化环境中，与计算机910相关的程序模块或其一部分可存储在远程存储器存储装置中。作为示例，而非限制，图9示出了驻留于存储器装置981中的远程应用程序985。应当理解，所示网络连接是示例性的，且也可以使用其它用于在计算机间建立通信连接的技术。
VI.系统组件如图3A和3B所示的梯度校正线性插值系统300包括多个程序模块，这些程序模块使系统300能以快速、简单和有效的方式产生象素上遗漏色彩的优质插值。图10是示出图3所示梯度校正线性插值系统300细节的框图。现在将讨论系统300中包含的程序模块。
参看图10，一般而言，梯度校正线性插值系统300输入包括由图像传感器阵列315产生的原始、马赛克模式的象素数据360在内的色彩信息，处理该信息，并输出每个象素一个或多个遗漏色彩值320。尤其是，梯度校正线性插值系统300包括从代表彩色图像的图像传感器阵列中选择具有当前色彩的当前象素的当前象素选择器1000。插值模块1010计算当前象素上遗漏并需要之色彩值的第一插值。插值使用支持区域内具有所需色彩的象素。
梯度校正线性插值系统300还包括计算用于插值的校正项的校正项模块1020。该校正项更适合从支持区域内具有当前象素色彩的象素的梯度来进行计算。一旦计算了插值和校正项，线性组合模块1030就线性组合插值和校正项以获得当前象素上的所需(或遗漏)色彩值320。插值和校正项更适合加在一起以获取估算当前象素上所需(或遗漏)色彩值320的正确插值。
图11是输出图10所示校正项计算模块1020细节的框图。一般而言，将当前象素上所需色彩的插值1100输入至校正项计算模块1020、计算校正项、且输出调整梯度校正1110。
特别地，校正项计算模块1020包括选择要应用的校正量的梯度校正选择器1120。支持区域模块1130定义当前象素周围的支持区域。支持区域更适于是以当前象素为中心的5×5象素阵列。
校正项计算模块1020还包括使用当前象素计算梯度校正的梯度校正模块1140。另外，模块1140使用当前色彩(换言之是与当前象素相同的色彩)支持区域中的象素。梯度校正增益应用模块1150把增益应用于经计算梯度校正使得经调整梯度校正1110被输出。
本发明前面的描述是为了说明和描述目的而展现的。它并非旨在穷尽本发明或者把本发明限制在所揭示的精确形式中。根据以上教导，许多更改和变化是可能的。本发明的范围并非由本发明的详细说明书来限制，而是由所附权利要求书限制的。
权利要求
1.一种用于在彩色图像中当前象素上插值所需色彩的方法，所述当前象素具有当前色彩，其特征在于，所述方法包括使用所需色彩来计算所述当前象素上所需色彩的插值；使用所述当前色彩计算校正项；以及线性组合所述插值和所述校正项以获取在所述当前象素上所需色彩的经校正插值。
2.如权利要求1所述的方法，其特征在于，还包括在计算所述插值中使用所需色彩的邻象素。
3.如权利要求1所述的方法，其特征在于，还包括在计算所述校正项中使用所述当前象素。
4.如权利要求3所述的方法，其特征在于，还包括在计算所述校正项中使用所述当前色彩的邻象素。
5.如权利要求1所述的方法，其特征在于，所述插值是双线性插值技术。
6.如权利要求1所述的方法，其特征在于，所述校正项是梯度校正。
7.如权利要求6所述的方法，其特征在于，还包括把梯度校正增益应用于所述梯度校正，以确定要与所述插值线性组合的所述梯度校正量。
8.如权利要求1所述的方法，其特征在于，还包括叠加所述插值和校正项以获取经校正插值。
9.一种用于在图像传感器中当前象素上插值所需色彩的计算机实现方法，所述当前象素具有第一色彩，其特征在于，所述方法包括使用具有所需色彩的象素来计算所述当前象素上所需色彩的第一插值；使用具有第一色彩的象素计算梯度校正；以及线性组合所述第一插值和所述梯度校正以获取在所述当前象素上所需色彩的经梯度校正插值。
10.如权利要求9所述的计算机实现方法，其特征在于，还包括把梯度校正增益应用于所述梯度校正，以影响要与所述第一插值线性组合的所述梯度校正量。
11.如权利要求10所述的计算机实现方法，其特征在于，还包括选择所述梯度校正增益，使得均方误差最小以产生最优梯度校正增益。
12.如权利要求11所述的计算机实现方法，其特征在于，还包括调整所述最优梯度校正增益以产生允许使用以下至少之一进行计算的经简化梯度校正增益(a)整数算术；(b)无除法运算。
13.如权利要求9所述的计算机实现方法，其特征在于，所述第一插值为线性插值。
14.如权利要求13所述的计算机实现方法，其特征在于，所述线性插值为双线性插值。
15.如权利要求9所述的计算机实现方法，其特征在于，所述第一插值是以下的至少之一(a)双线性插值；(b)双三次插值；(c)Lanczos插值。
16.如权利要求9所述的计算机实现方法，其特征在于，还包括把支持区域定义为其值被考虑用于与任何给定象素相关联计算的象素邻域尺寸；选择所述支持区域以包括与当前象素最近的具有所述第一色彩的象素；以及使用所述支持区域以计算所述第一插值和所述梯度校正。
17.如权利要求16所述的计算机实现方法，其特征在于，所述支持区域是以所述当前象素为中心的5×5象素区域。
18.如权利要求16所述的计算机实现方法，其特征在于，所述支持区域大于以所述当前象素为中心的5×5象素区域。
19.如权利要求18所述的计算机实现方法，其特征在于，所述第一插值是非线性插值。
20.如权利要求16所述的计算机实现方法，其特征在于，还包括使用第一支持区域以计算所述第一插值；以及使用第二支持区域以计算所述梯度校正。
21.如权利要求20所述的计算机实现方法，其特征在于，所述第一支持区域与所述第二支持区域不同。
22.一种具有计算机可执行指令的计算机可读介质，其特征在于，所述指令用于执行如权利要求9所述的计算机实现方法。
23.一种用于在彩色图像传感器中具有当前色彩的当前象素上插值遗漏的红-蓝-绿(RGB)数据的方法，其特征在于，所述方法包括基于所述当前象素上遗漏色彩使用第一插值技术以确定遗漏色彩估算；基于所述当前色彩计算所述梯度校正；以梯度校正增益乘所述梯度校正以获取经调整梯度校正；以及以线性方式组合所述遗漏色彩估算和经调整梯度校正，以获取对应于至少某些遗漏RGB数据的线性经校正遗漏色彩估算。
24.如权利要求23所述的方法，其特征在于，所述第一插值技术是双线性插值。
25.如权利要求23所述的方法，其特征在于，所述梯度校正是线性运算符。
26.如权利要求23所述的方法，其特征在于，还包括基于所述彩色图像传感器的特征调整所述梯度校正增益。
27.如权利要求26所述的方法，其特征在于，所述彩色图像传感器被合并到数字照相机系统中，并且还包括基于所述数字照相机系统的特征调整所述梯度校正增益。
28.一种用于线性插值由具有图像传感器的数字照相机系统产生的彩色图像内当前象素上的遗漏色彩的过程，所述当前象素具有第一色彩，其特征在于，所述过程包括定义以所述当前象素为中心的第一支持区域；使用插值技术插值所述遗漏色彩以获取第一遗漏色彩估算，所述插值技术使用第一支持区域中具有所述遗漏色彩的象素；定义以所述当前象素为中心的第二支持区域；使用所述当前象素和第二支持区域中具有所述第一色彩的象素，计算梯度校正；把梯度校正增益应用于所述梯度校正，所述梯度校正增益表示要使用的梯度校正的比例；以及线性组合所述第一遗漏色彩估算和所述梯度校正，以获取所述遗漏色彩的梯度校正估算。
29.如权利要求28所述的过程，其特征在于，还包括基于所述彩色图像的统计改变所述梯度校正增益。
30.如权利要求29所述的过程，其特征在于，还包括测量所述彩色图像的全局统计；以及基于所述全局统计改变所述梯度校正增益。
31.如权利要求29所述的过程，其特征在于，还包括对所述彩色图像中每个区域测量局部统计；以及基于所述局部统计改变所述梯度校正增益。
32.如权利要求28所述的过程，其特征在于，还包括基于所述遗漏色彩计算所述梯度校正增益。
33.如权利要求32所述的过程，其特征在于，所述遗漏色彩为绿色，并还包括把所述梯度校正增益设置为值1/2。
34.如权利要求32所述的过程，其特征在于，所述遗漏色彩为红色，并还包括把所述梯度校正增益设置为值5/8。
35.如权利要求32所述的过程，其特征在于，所述遗漏色彩为蓝色，并还包括把所述梯度校正增益设置为值3/4。
36.如权利要求28所述的过程，其特征在于，所述第一和第二支持区域都是5×5象素矩阵。
37.一种用于插值彩色图像中给定象素上的遗漏色彩的梯度校正线性插值系统，所述给定象素具有当前色彩，其特征在于，所述系统包括一插值模块，其计算所述遗漏色彩值的插值；一校正项计算模块，其计算用于所述插值的校正项；以及一线性组合模块，其线性组合所述插值和校正项以产生所述给定象素上所述遗漏色彩值的经校正插值。
38.如权利要求37所述的梯度校正线性插值系统，其特征在于，所述校正项计算模块还包括选择以给定象素为中心在所述给定象素周围的支持区域尺寸的支持区域模块。
39.如权利要求37所述的梯度校正线性插值系统，其特征在于，所述校正项计算模块还包括选择将要与所述插值线性组合的校正量的梯度校正选择器。
40.如权利要求37所述的梯度校正线性插值系统，其特征在于，所述校正项计算模块还包括使用所述给定象素和具有所述当前色彩的支持区域中象素来计算梯度校正的梯度校正模块。
全文摘要
提供了用于彩色图像去马赛克的梯度校正线性插值方法和系统。该方法和系统使用某种当前技术(为降低计算复杂性双线性插值技术更适合)来计算插值、计算校正项(诸如给定象素上所需色彩的梯度)、并线性组合该插值和校正项以产生象素上遗漏色彩值的经校正优质插值。校正项可以是从当前象素的当前色彩计算的梯度校正项。直接使用梯度来影响和校正由现有插值技术产生的估算色彩值。梯度校正线性插值方法和系统还可把梯度校正增益应用于梯度校正项。该梯度校正增益影响应用于插值的梯度校正量。
文档编号G06T3/40GK1722852SQ200510055929
公开日2006年1月18日 申请日期2005年3月15日 优先权日2004年3月15日
发明者H·S·马尔瓦, 贺立为, R·G·库特勒 申请人:微软公司