专利名称：用于彩色图像插值的方法和装置的制作方法
技术领域：
本发明涉及彩色图像的插值，并且在一特定示例中涉及来自单传感器 阵列电子相机的数据的重建或"去马赛克"。
背景技术：
现在电子彩色相机通常具有包括各个像素传感器的一个矩阵的图像 传感器，其中每个像素传感器在其前部具有一彩色滤光片，从而使不同的 传感器响应不同的色彩分量。通常使用红色、绿色和蓝色滤光片，尽管也 可使用其它滤光片色彩。绿色像素常常比红色或蓝色像素多很多，因此对 绿色分量的空间采样频率最高。
一种众所周知的配置是红绿蓝像素的"贝
尔(Bayer)掩模"模式，其中像素总量的一半具有绿色滤光片，四分之一 具有红色滤光片，四分之-一具有黄色滤光片。该模式如图l所示。
尽管色彩分量的空间子采样在图像处理中并不罕见，但如果来自相应 色彩分量的样木不被共置(co-site)在一起，则将非常不便；并且，许多 处理都需要图像中每个像素的每个分量的值。因此，需要使用贝尔掩模或 相似的传感器模式来空间插值来自相机的色彩分量图像，以获取共置的、 全采样的像素值。
已提出了该问题的许多解决方案，包括各个色彩分量的简单、双线性 插值和复杂、自适应的滤光方案。较简单的系统会遭受缺乏图像锐度或混 淆，甚至更复杂的系统在物体具有与相机的彩色滤光片模式相似的结构或 纹理时会遭受"伪色彩"效应。
发明内容
根据本发明的一个方面，提供了一种空间插值图像的像素值的方法， 其中图像的第一色彩分量像素值通过使用所述图像的第二色彩分量像素 值来空间插值，这些第二色彩分量像素值不与第一色彩分量像素值共置在 一起，该方法包括以下歩骤空间插值第二色彩分量像素值以便于至少获
7取与第一色彩分量像素值共置的第二色彩分量像素值；从各个经插值的第
二色彩分量像素值和相应共置的第一色彩分量像素值推导一中间值；空间 插值中间值以获取至少第二色彩分量像素值位置处的中间值；以及组合所 述中间值与所述第二色彩分量像素值以获取第一色彩分量的经空间插值 的像素值。
此外，图像的第三色彩分量像素值也可通过使用所述图像的第二色彩 分量像素值来空间插值，这些第二色彩分量像素值不与第三色彩分量像素 值共置在一起，其中空间插值第二色彩分量像素值的步骤包括获取与第三 色彩分量像素值共置的第二色彩分量像素值；还包括以下歩骤从各个经 插值的第二色彩分量像素值和相应共置的第三色彩分量像素值确定第二 中间值；空间插值第二中间值以获取至少第二色彩分量像素值位置处的第 二中间值；以及组合所述第二中间值与所述第二色彩分量像素值以获取第 三色彩分量的经空间插值的像素值。
根据本发明的第二方面，提供了一种用于空间插值图像的像素值的装 置，其中图像的第一色彩分量像素值通过使用所述图像的第二色彩分量像 素值来空间插值，这些第二色彩分量像素值不与第一色彩分量像素值共置 在一起，该装置包括用于空间插值第二色彩分量像素值以便于至少获取 与第一色彩分量像素值共置的第二色彩分量像素值的装置；用于从经插值 的第二色彩分量像素值和相应共置的第一色彩分量像素值构成一中间值 的组合装置；用于空间插值中间值以获取至少第二色彩分量像素值位置处 的中间值的装置；以及用于组合所述中间值与所述第二色彩分量像素值以 获取第一色彩分量的经空间插值的像素值的组合装置。
优选地，第二色彩分量像素值比第一色彩分量像素值多很多。
适当地，中间值和/或第二中间值可以是不同值。
适当地，用来空间插值所述第二色彩分量像素值的滤光片孔径比用来 插值所述中间值的滤光片孔径大。
有利地，用来空间插值所述第二色彩分量像素值的滤光片孔径具有至 少一个负系数值。
有利地，用来插值所述中间值的滤光片孔径具有非负系数值。
有利地，用来空间插值所述第二色彩分量像素值的滤光片具有非变量 可分的空间频率响应。
有利地，用来空间插值所述第二色彩分量像素值的滤光片的空间频率 响应的形状与其输入像素值的模式相关，从而所述滤光片的最低空间频率 响应的方向对应于所述输入像素值的模式的最低空间频率的方向。 适当地，第二色彩分量像素值由对角滤光片插值。 适当地，第二色彩分量是绿色，而第一色彩分量是蓝色。 适当地，第二色彩分量是绿色，而第一色彩分量是红色。 像素口J从贝尔掩模推导。
在又一方面中，本发明包括一装置，它包括单色图像传感器阵列， 相关于该传感器阵列放置以提供色彩分辨的滤光片装置，以及被构建和调 整成在以上定义的方法中空间插值像素值的处理器。
现在将参照附图描述本发明的一个示例。 图1示出公知的"贝尔掩模"模式。
图2示出根据本发明一实施例的色彩分量像素插值器。
图3 a示出两维空间插值器的滤光片孔径和系数。
图3b、 3c和3d示出三个可选空间插值器的滤光片孔径和系数。
图4图示地示出传感器阵列和贝尔掩模的配置。
具体实施例方式
现在将在来自如图l所示贝尔掩模模式的像素值的空间插值的环境中 描述本发明。显然，本发明也可应用于色彩分量的空间子采样的其它模式。 如可很好理解地，贝尔掩模101被置于单色图像传感器102之前，且该传 感器的像素值被取至处理器103，该处理器103生成所需的输出像素值等。
参看图2，表示按图1模式排列的色彩分量像素的值的输入数据(201) 被分解成三组原色分量数据绿色像素数据(203)、蓝色像素数据(204) 和红色像素数据(205)。
绿色像素数据(203)被传递给两维空间插值器或滤光片(206)，该 两维空间插值器或滤光片(206)对"缺失"像素一即数据(201)中未被
分解到数据(203)的红色和蓝色分量像素一插值绿色分量值(207)。
根据从输出像素位置延伸至少两个像素位置的滤光片孔径，插值器 (206)从具有绿色分量值的输入像素的加权和计算每个缺失绿色分量值 的像素的所需绿色分量值。重要的是插值器滤光片具有相对平坦的通带， 因此优选地它将包括一些负系数。适当的滤光片孔径及其系数在图3a中 示出，并示出滤光片孔径的范围(301)。
同样有利的是利用相应色彩分量的采样模式之间的差异。在图1的"贝 尔"模式中，绿色像素具有对角模式，而红色和蓝色像素具有水平和垂直 模式。插值器(206)具有绿色输入像素，因此优选地具有对角空间阻带， 即水平和垂直空间频率的截止频率比对角空间频率的截止频率高。如果该 滤光片具有"非变量可分"的空间频率响应，即不能通过水平滤光器和垂 直滤光器的巻积获得的响应，则也是有利的。
返回图2，原始绿色像素值(203)与经插值的绿色像素值(207)在 多路复用器(208)中组合，以生成掩模所有位置的绿色分量像素值(209)。
在一可选实施例中，插值器(206)也可输出其输入像素的经滤光版 本，且不需要多路复用器(208)，因为所有像素值(209)都将从插值器 (206)输出。在该情形中，适当的插值滤光片孔径可通过巻积图3a的滤 光片与具有相对较高的截止频率和低截除率的低通滤光片获得。
该可选实施例的优点在于所有像素(209)都用基本相同的空间频 率响应来滤光。(插值器(206)中)要应用于与像素(203)共置的那些 像素(209)的滤光片特性应被选择成具有与应用于非共置像素(209)的 特性基本相同的频率响应(特别是在较低频率)。这避免了因为这两类像 素之间的差异而对图像的损坏。
多路复用器(210)对在掩模的蓝色位置处的那些像素选择经插值的 绿色分量值。这些选定值被从原始蓝色分量像素(204)的蓝色分量中减 去(211)以给出这些位置的蓝色减绿色(B-G)值(212)。空间插值器 (213)对其余的像素位置一即原始的绿色分量像素(203)和原始的红色 分量像素(205) —插值(B-G)值。
根据比插值器(206)的小、且优选地从输出像素位置延伸不超过一 个像素位置的滤光片孔径，插值器(213)从原始蓝色分量像素位置处的
(B-G)值(212)的加权和计算其余像素位置的所需(B-G)值。典型的 滤光片孔径如图3b、 3c和3d所示，且其相应范围分别在(302) 、 (303) 和(304)示出。
图3b的滤光片适合在掩模的红色/绿色行中的原始绿色分量像素位置 插值(B-G)值。在该情形中，在离输出位置不超过一个像素位置处仅有 两个可用的(B-G)值，且对它们求平均值以获得输出值。
图3c的滤光片适合在掩模的原始红色分量位置插值(B-G)值；在该 情形中，在离输出位置不超过一个像素位置处有四个可用的(B-G)值， 且对它们求平均值以获得输出值。
图3d的滤光片适合在掩模的红色/绿色行中的原始绿色分量位置插值 (B-G)值；在该情形中，在离输出位置不超过一个像素位置处有两个可 用的(B-G)值，且对它们求平均值以获得输出值。
经插值的值(214)被输入到多路复用器(215)，该多路复用器(215) 将它们与原始蓝色分量像素位置处的(B-G)值(212)组合以给出每个像 素位置的(B-G)值(216)。
在一可选实施例中，插值器(213)也可输出其输入像素的经滤光版 本，且不需要多路复用器(215)，因为所有像素值(216)都将从插值器 (213)输出。必要的滤光片可从通过与如上所述的低通滤光片巻积所示 的滤光片推导。如上(对插值器(206))所述，目标是对所有像素值(216) 应用基本相似的空间频率响应。
每个像素位置的(R-G)值以与上述(B-G)值的推导完全类似的方 法推导。多路复用器(217)对在掩模的红色位置处的那些像素选择经插 值绿色分量值(207)。这些绿色分量值被从原始红色分量像素(205)的 红色分量中减去(218)以给出原始红色分量像素位置处的R-G值(219)。 (R-G)分量值(219)被插值(220)以在原始的蓝色和绿色分量像素位 置处提供附加的(R-G)分量值(221)。经插值的(R-G)分量值(221) 与原始红色分量像素处的(R-G)值(219)组合(222)以给出每个像素 位置处的(R-G)值(223)。
插值器(220)的操作与插值器(212)的相同，其不同之处在于其 输入样本定位于掩模的红色位置处，而在蓝色和绿色掩模位置处则需要经
插值的输出样本。所有样本(223)都在插值器(220)中滤色使得所应用
的空间频率特性没有实质差异的可选实施例是同等适合的。
最后，每个像素的(B-G)值(216)被添加(224)到绿色值(209) 以给出每个像素的蓝色值输出(225);而每个像素的(R-G)值(223) 被添加(226)到绿色值(209)以给出每个像素的红色值输出(227)。
在以上示例性实施例中描述的本发明因而提供了一种空间插值像素 色彩分量值的简单并有效的方法。
本发明已通过示例作了描述，并且发明概念的其它实施例也是可能 的。例如，输出像素(209) 、 (225)和(227)的任一个都不需要与输 入像素(201)的任一个共置，只要插值器(206) 、 (213)和(220)生 成所需输出像素位置处的值即可。尽管共置像素可用于减法器(211)和 (217)的输入是重要的，但进行减法的像素位置不需要与输出像素位置 相对应。
绿色像素(203)可被插值成比掩模中像素总量更高的分辨率，且经 插值色差值的数量增加以获得该更高分辨率的R、 G和B值。
可选地，本发明可用于提供输出处于较低分辨率的下采样输出。在该 情形中，插值器(206) 、 (213)和(220)的特性优选地将需要被选择 成丢弃否贝l」将导致的混淆分量。
在其它实施例中，可使用比三原色更多或更少的分量；仅有一种较低 分辨率分量能被插值；且不同于红绿蓝的色彩可被用作原色。
权利要求
1、一种空间插值图像的像素值的方法，其中图像的第一色彩分量像素值通过使用所述图像的第二色彩分量像素值来空间插值，这些第二色彩分量像素值不与第一色彩分量像素值共置在一起，所述方法包括以下步骤空间插值第二色彩分量像素值以便于至少获取与第一色彩分量像素值共置的第二色彩分量像素值；从各个经插值的第二色彩分量像素值和相应共置的第一色彩分量像素值推导一中间值；空间插值中间值以获取经插值的中间值；以及组合所述经插值的中间值与所述第二色彩分量像素值或从中推导的第二色彩分量像素值以获取第一色彩分量的经空间插值的像素值。
2、 如权利要求1所述的方法，其中图像的第三色彩分量像素值也可通过 使用所述图像的第二色彩分量像素值来空间插值，这些第二色彩分量 像素值不与第三色彩分量像素值共置在一起，其中空间插值第二色彩 分量像素值的步骤包括获取与第三色彩分量像素值共置的第二色彩分量像素值；还包括以下步骤从各个经插值的第二色彩分量像素值和相应共置的第三色彩分量像素值确定第二中间值；空间插值第二中间值以获取第二经插值的中间值；以及 组合所述第二经插值的中间值与所述第二色彩分量像素值以获取第三色彩分量的经空间插值的像素值。
3、 如权利要求1或2所述的方法，其特征在于，所述中间值的至少一部 分不用空间插值组合。
4、 如权利要求3所述的方法，其特征在于，所述未经插值的中间值在所 述组合之前，用与中间值的所述插值的基本相似的空间频率特性滤
5、 如任一前面权利要求所述的方法，其特征在于，所述第二色彩分量值 的至少一部分不用空间插值组合。
6、 如权利要求5所述的方法，其特征在于，所述未经插值的第二色彩分 量值在所述组合之前，用与第二色彩分量值的所述插值的基本相似的 空间频率特性滤色。
7、 如任一前面权利要求所述的方法，其特征在于，输出像素在任一方向上的空间采样频率比输入像素的高。
8、 如任一前面权利要求所述的方法，其特征在于，输出像素在任一方向上的空间采样频率比输入像素的低。
9、 如任一前面权利要求所述的方法，其特征在于，用来空间插值所述第 二色彩分量像素值的滤色片孔径比用来插值所述中间值的滤色片孔 径大。
10、 如任一前面权利要求所述的方法，其特征在于，用来空间插值所述第 二色彩分量像素值的滤色片孔径具有至少一个负系数值。
11、 如任一前面权利要求所述的方法，其特征在于，用来插值所述中间值 的滤色片孔径具有非负系数值。
12、 如任-- -前面权利要求所述的方法，其特征在于，用来空间插值所述第二色彩分量像素值的滤色片孔径具有非变量可分的空间频率响应。
13、 如任一前面权利要求所述的方法，其特征在于，用来空间插值所述第二色彩分量像素值的滤色片的空间频率响应的形状与其输入像素的 模式相关，从而所述滤光片的最低空间频率响应的方向对应于所述输 入像素值的模式的最低空间频率的方向。
14、如任一前面权利要求所述的方法，其特征在于，第二色彩分由对角滤光片插值。
15、 如任一前面权利要求所述的方法，其特征在于，第二色彩分量是绿色， 而第一色彩分量是蓝色。
16、 如任一前面权利要求所述的方法，其特征在于，第二色彩分量是绿色， 而第一色彩分量是红色。
17、 如任一前面权利要求所述的方法，其特征在于，像素从贝尔掩模推导。
18、 如任一前面权利要求所述的方法，其特征在于，第二色彩分量像素值比第一色彩分量像素值多很多。
19、 一种用于空间插值图像的像素值的装置，其中图像的第一色彩分量 素值通过使用所述图像的第二色彩分量像素值来空间插值，这些第二 色彩分量像素值不与第一色彩分量像素值共置在一起，所述装置包 括用于空间插值第二色彩分量像素值以便于至少获取与第一色彩 分量像素值共置的第二色彩分量像素值的装置；用于从各个所述经插值的第二色彩分量像素值和相应共置的第 一色彩分量像素值构成一中间值的组合装置；用于空间插值中间值以获取至少第二色彩分量像素值位置处的 中间值的装置；以及用于组合所述中间值与所述第二色彩分量像素值以获取第一色 彩分量的经空间插值的像素值的组合装置。
20、 如权利要求19所述的装置，其中图像的第三色彩分量像素值也可通 过使用所述图像的第二色彩分量像素值来空间插值，这些第二色彩分 量像素值不与第三色彩分量像素值共置在一起，其中用于插值第二色 彩分量像素值的装置还获取与第三色彩分量像素值共置的第二色彩 分量像素值；还包括用于从各个所述经插值的第二色彩分量像素值和相应共置的第 三色彩分量像素值构成第二中间值的组合装置；用于空间插值第二中间值以获取至少第二色彩分量像素值位置 处的第二中间值的装置；以及用于组合所述第二经插值的中间值与所述第二色彩分量像素值 以获取第三色彩分量的经空间插值的像素值的组合装置。
21、 如权利要求19或20所述的装置，其特征在于，用来插值所述第二色 彩分量像素值的装置具有比用来插值差值的滤光片孔径大的滤光片 孔径。
22、 如权利要求19到21之一所述的装置，其特征在于，用来插值所述第 二色彩分量像素值的装置具有有至少一负系数值的滤光片孔径。
23、 如权利要求19到27之一所述的装置，其特征在于，用来空间插值所 述中间值的装置和/或用来空间插值所述第二色彩分量像素值的装置 具有有非负系数值的滤光片孔径。
24、 如权利要求19到23的任一个所述的装置，其特征在于，用来插值所 述第二色彩分量像素值的装置包括具有非变量可分的空间频率响应 的插值滤光片。
25、 如权利要求19到24的任一个所述的装置，其特征在于，用来插值所 述第二色彩分量像素值的装置包括空间频率响应的形状与其输入像 素的模式相关的一滤光片，从而所述滤光片的最低空间频率响应的方 向对应于所述输入像素值的模式的最低空间频率的方向。
26、 如权利要求19到25的任一个所述的装置，其特征在于，用来插值所 述第二色彩分量像素值的装置包括一对角滤光片。
27、 如权利要求19到26的任一个所述的装置，其特征在于，第二色彩分 量是绿色，而第一色彩分量是蓝色。
28、 如权利要求19到27的任一个所述的装置，其特征在于，第二色彩分 量是绿色，而第一色彩分量是红色。
29、 如权利要求19到28的任一个所述的装置，其特征在于，像素从贝尔 掩模推导。
30、 如权利要求19到29的任一个所述的装置，其特征在于，第二色彩分 量像素值比第一色彩分量像素值多很多。
31、 如权利要求19到30的任一个所述的装置，其特征在于，所述中间值 的至少 一 部分不用空间插值组合。
32、 如权利要求31所述的装置，其特征在于，所述未经插值的中间值在 所述组合之前，用与中间值的所述插值的基本相似的空间频率特性滤 色。
33、 如权利要求19到32的任一个所述的装置，其特征在于，所述第二色 彩分量值的至少 一 部分不用空间插值组合。
34、 如权利要求33所述的装置，其特征在于，所述未经插值的第二色彩 分量值在所述组合之前，用与第二色彩分量值的所述插值基本相似的 空间频率特性滤色。
35、 如权利要求19到34的任一个所述的装置，其特征在于，输出像素在 任 一 方向上的空间采样频率比输入像素的高。
36、 如权利要求19到35的任一个所述的装置，其特征在于，输出像素在 任 一 方向上的空间采样频率比输入像素的低。
37、 一种装置，包括单色图像传感器阵列，相关于该传感器阵列放置以 提供色彩分辨的滤光片装置，以及被构建和调整成在如权利要求1到 1 8的任一个所述的方法中空间插值像素值的处理器。
全文摘要
本发明涉及彩色图像的插值，尤其涉及来自单传感器阵列电子相机的数据的重建或“去马赛克”。电子相机通常具有包括各个像素传感器的一个矩阵的图像传感器，每个传感器响应一色彩分量。为了获得所有像素的色彩分量信息，根据所公开的实施例，绿色分量像素值(203)被插值以获得所有像素的绿色分量像素值(209)。差值(B-G)(212)从绿色分量值(207)和蓝色像素位置处的原始蓝色分量值(204)构成，然后差值(B-G)(212)被插值以获得所有像素的差值(216)。然后可从所有像素的差值(216)和所有像素的绿色分量值(209)获得所有像素的蓝色分量值(225)。
文档编号H04N9/04GK101185344SQ200680018817
公开日2008年5月21日 申请日期2006年6月1日 优先权日2005年6月1日
发明者迈克尔·詹姆斯·尼 申请人:史诺伟思有限公司