专利名称：用于数字成像的彩色滤波阵列及其成像方法
技术领域：
本发明涉及一种用于数字成像的彩色滤波阵列及其成像方法。
背景技术：
一个颜色通常可由三原色来表达。在使用单片固体成像传感器(CCD或CMOS 器件)进行彩色照相时，每个成像单元被设计成只探测三原色中的一种。决定 某个单元探测哪种颜色的是传感器前面的彩色滤波阵列(Color filter array), 而一个单元处另外两个颜色成份需要通过插值算法来推算，其计算工作是由数 字成像设备中的计算机对数字化的信号处理完成。在最常用的Bayer阵列中(见 图1)，红(R)绿(G)蓝(B)单元交错排列，绿单元占全部传感单元的50%, 而红和蓝各占25%。安排绿色单元占多数的原因是光照度对图像分辩率起最重 要的作用，而人的视觉系统对绿色的感知最接近对光照度的感知。这从电视信 号中的光强信号计算公式可以看出(Y=0. 59G+0. 3R+0. IIB)，绿色分量对照度的 贡献最大，大于红色和蓝色。然而，50%绿、25%红、25%蓝的分配并非是适合人 视觉系统的最佳组合， 一些专利还提出了绿色占多于50%的彩色滤波阵列，如美 国专利5374956阵列中的绿色占了 75%。但是不管怎样，绿色分量并不等于照度。 对于红色或蓝色丰富的画面，这些阵列往往造成较大失真。
美国专利5323233提出了一种彩色滤波阵列，其中含有50%的中性单元用于 直接探测照度，而输出信号中的色度信号则来自于剩余的彩色滤波单元。该阵 列的特点是中性滤波单元与各彩色单元均匀混合在一起交错排列。这样造成各彩色单元之间相隔较远。这样的排列会产生较严重的颜色失真，尤其是在边缘
处。下面用一个例子il明这种颜色失真。
黑白边缘100 100 100 4040 40100 100 100 40 40 40
采样阵列A R: x x 1 x x 1 G.' x x 1 x x 1 B: x x 1 x x 1B R: x x 1 x x 1 G: 1 x x 1 xx B: x 1 x x 1 x
采样数据R: x x100x x 40 G: x x 100 xx 40 B: x x 100 x x 40R: x x 100 x x 40 G:IOO x x40x x B: x100 x x40 x
计算结果R:IOO 100 100 M M 40 G:IOO 100 100》P M 40 B: 100 100 100》P 《0 40R:IOO ，请卵 M 40 G: 100 M M W W 40 B: 100请M " W 40
假设用两个彩色滤波阵列A和B对一个黑白边缘(图像值从100跳变为40) 进行采样。阵列A和B拥有相同的采样频率(每隔3点采样)，但不同的排列。 采样阵列中的l表示在此点采样，x表示在此点不采样。使用阵列A时，红绿蓝 采样在同一象素处，而使用阵列B时，红绿蓝错开一个象素采样。假设在每一
颜色层中分别用简单的线性插值方法来估算没有被采到的象素(标记为x),计
结果可见上表，带下划的数值表示它们是由采样数据复制而来，它们之间的象素 是通过插值计算而来。
可以看到由阵列A和B得到的结果有两点不同。 一是有误差的象素个数(A 为2个象素，B为4个象素)，这些象素用粗斜体字标出。第二个差别是人视觉 系统对误差的接受程度，由A得到结果是由白到灰再到黑，这种渐变给视觉系 统的只是一个有点才莫糊的黑白边缘(图像值由100渐变为80，60而最终40)，而 由B得到的结果则是一个带彩色失真的边缘(在边缘处每个象素的红绿蓝值不 相同)。这一个例子说明了，要减小失真，要减少人视觉系统敏感的失真，三原 色滤波单元应尽量靠近。而美国专利5323233中彩色单元散落在中性单元之间 则会造成较严重彩色失真。如果在这样的阵列中设计更多的中性单元，彩色单 元之间将间隔更远，彩色失真将更严重。
发明内容
本发明的目的是提供一种用于数字成像的彩色滤波阵列，该阵列的排列方式 具有对照度信息的采样频率高且光能收集效率高的特点，而对色度信息则具有 采样率低但采样集中的特点；通过在照度一色度颜色空间中将照度信息和色度 信息合成，可得到高分辨率、低彩色失真、高灵敏度的彩色图像。本发明还提 供基于该彩色滤波阵列的数字成像方法。
本发明所述的用于数字成像的彩色滤波阵列，包括多个中性照度单元和多个 彩色滤波单元(参见图2),其特征在于中性照度单元占大多数， 一般大于55 %,特1^应用中可高达92%，而彩色滤波单元占少数；彩色滤波单元排列成沿4亍、 列方向重复的彩色滤波小区，每个彩色滤波小区内至少含有三个三原色彩色单 元，分别与三原色红绿蓝或者青品黄对应。 所述的用于数字成像的彩色滤波阵列，其特征在于彩色滤波小区在行和 列方向上每间隔3个或4个，甚至更多单元重复出现，彩色滤波小区的重复排 列为网格形式、或者为交错形式；每一个彩色滤波小区由三个三原色彩色单元、 或者由三个三原色彩色单元和三原色之一的彩色单元组成。
减色混合的三原色一青(C)品(M)黄(Y)在一些数码相^l中也有应用， 如Kodak DCS620X数码相机。为保证色彩的真实性，有时青品黄还与绿色配合 使用，如Canon PowerShot Gl。同理，本发明所述的彩色滤波阵列还可以由减 色混合的三原色一青品黄构成。
彩色滤波单元的光谱透过特性分别与现行的彩色滤波阵列中的单元相同。中 性照度单元对光谱没有选择性，可为中性密度滤波器(即只对光强衰减性透过) 或完全透明。
关于基于本发明所述的彩色滤波阵列的数字处理方法，具体步骤的如下(参 见图3):
(1) 由本发明中的彩色滤波阵列决定了图像传感器中大多数的单元用于探 测入射图像的照度，而剩余的少数单元用于探测红绿蓝、或者青品黄三种颜色 成份。传感器的信号经数字化后由计算机进行处理。
(2) 中性单元的工作方式如同黑白照相机，而被彩色单元所占据的部分可通 过插值方法，如简单的线性插值法、或者复杂的多项式插值法估算出来而形成 完整的黑白图像。
因为红绿蓝色系中的绿色和青品黄色系中的黄色，对照度信号贡献较大，在 一些彩色滤波器设计中，它们被近似当作照度，这些彩色单元(绿或黄)的信 号也可被利用于黑白图像的插值，但彩色单元的利用不是必须的。由众多的中
性单元计算出的黑白图像可达到高分辨率。
(3) 彩色单元的工作方式如同彩色照相机，被中性单元占据的部分也可通过 插值方法由彩色单元计算出彩色图像。前一步中所得到的黑白图像含有较准确 的图像信息，故也可以用于彩色图像的估算，但不是必要的。
(4) 将步骤(3)所得到的彩色图像变换到某一个照度—色度空间(如Lab或 HSB)成为另一中间结果。照度~~度空间是相对与RGB, CMY, XYZ等三原色空间 而言，用一个照度分量和两个色度分量表示颜色。
(5) 将步骤(4)所得到的中间结果图像的照度分量(如Lab中的L分量，或 HSB中的B分量)替换为(2)步骤所得到的黑白图像，而得到新的彩色图像。
在步骤(3)所得到的彩色图像的分辨率将是较低的，但在步骤(2)所得到的黑 白图像的分辨率将是较高的。经过在照度一色度空间内的重新组合后，由于人 的视觉系统对色度误差不敏感，最终输出图像的质量仍会是相当高的。根据需 要，可将图像变换到所需要的色度空间再输出。
本发明涉及的彩色成像方法是基于和目前数码成像设备相同的硬件系统，即 包括彩色滤波阵列，单片图像传感器，和处理计算机。而本发明的核心在于一 种新的含有中性单元的彩色滤波阵列和相应的一种数字处理方法。
本发明具有以下优点
一是高分辨率，是由于阵列中安排了占多数的中性单元来采集照度信息，而 照度信息是决定图像分辨率最重要的因素。这种安排符合人的视觉系统的特点， 将有限的采样频率较多地分配给了决定图像分辨率的照度通道。所需要的照度 采样率可以很容易地通过安排中性单元的数量来实现。尽管对色度信息的采样
率低，但由于在视觉上色度对空间分辨率的贡献较少，所以和照度信息合成后
的最终效果优于使用现行滤波阵列拍摄的图像。其道理与JPEG图像压缩技术的 原理相似，JPEG压缩技术对色度成份采用失真大，压缩比大，而亮度成份采用失 真小，压缩比小的策略。
二是光灵敏度高，即使是在光线较暗的情况下也可获得满意的图像。这是由 于中性单元对光谱没有选择性，光透过率可大大高于彩色滤波单元，甚至完全 透明。在光照微弱的情况下，仍可保证对图像的最重要成份--照度的采集达到 高的信噪比。通常彩色数码相机的光灵敏度比使用同样图像传感器的黑白相机 低许多，这是因为彩色滤波阵列对光能的衰减很大。
三是彩色失真小，由于彩色单元汇聚为一个个小区而不是均匀分布大大降低 了低采样率可能带来的彩色失真。
本发明特别适用于制造高感光度的数码相机和数码摄像机，尤其适合用于 一些不便于配备强大闪光灯的数字相机，如手机上的照相机，另外它还适于制 造监控用的彩色/黑白两用摄像机。即使是在光照很低的情况下，仍可得到低噪 声的图像。
图1是现有的Bayer彩色滤波阵列排列图。
图2是基于本发明的一些彩色滤波阵列排列图(并非全部)。
图2a是每个彩色滤波小区包含红绿蓝三原色和一个绿色共4个单元、彩色
滤波小区沿行列方向分别间隔4个单元重复排列的示意图。中性照度单元占75%。 图2b是由图2a演变而来，偶数列小区向下错开两行。 图2c是每个彩色滤波小区包含红绿蓝三原色共3个单元，彩色滤波小区沿
行列方向分别间隔3个单元重复排列的示意图。其中性照度单元占67%。
图2d:由图2c演变而来，偶数列小区向下错开一行。图2e:每个彩色滤波小区包含红绿蓝三原色共3个单元，彩色滤波小区沿 行列方向分别间隔6个单元重复排列。其中性照度单元占92%。图2f:排列方式与由图2a类似，只是每个彩色滤波小区包含青品黄三原色 和一个绿色共4个单元。中性照度单元占75%。图2g:排列方式与由图k类似，只是每个彩色滤波小区包含青品黄三原色 共3个单元。中性照度单元占67%。图211是每个彩色滤波小区包含红绿蓝三原色和一个绿色共4个单元，彩色 滤波小区沿行列方向分别间隔3个单元重复排列的示意图。其中性照度单元占 56%。图3是本发明的彩色数字成像的技术步骤示意图。关于图中标注的各步骤 的说明见发明内容中的叙述。图4是解释实施例一所用的示意图。图4a是由中性单元计算黑白图像的示意图。图4b是由彩色单元计算彩色图像的示意图。图5是解释实施例二所用的示意图。图5a是由中性单元计算黑白图像的示意图。图5b是由彩色单元计算彩色图像的示意图。图6是解释实施例三所用的示意图。
具体实施方式
实施例一:参见图2 a和图4 ，该阵列包括75%的中性照度单元和25°/。的彩 色滤波单元，每个彩色滤波小区包含红(R)绿(G)蓝(B)三原色和一个绿色
共4个单元、彩色滤波小区沿行列方向分别间隔4个单元重复排列。首先根据中性单元计算黑白图像。如图4a所示，L11…L44等为中性单元， 这些单元处的照度是直接探测到的，XI， X2, X3,和X4为彩色单元占据的像素， 这些单元处的照度需要根据周围的单元估算出来。运用简单的线性插值法，计 算公式如下Xl=(L21+(L24-L21)/3 + L12+(L42—L12)/3)/2 X2=(L21+(L24-L21)*2/3 + L13+(L43-L13)/3)/2 X3=(L31+(L34-L31)/3 + U2+(L42-L12) *2/3)/2 X4=(L31+(L34—L31)*2/3 + L13+(L43-L13) *2/3)/2 然后根据彩色单元计算彩色图像(中间结果)。如图4b所示，将中性单元略 去而把彩色滤波小区4并接成常见的Bayer阵列形式(参见图1)，然后运用现行 的各种插值算法(如名称为"数码相机中色彩滤镜阵列的色彩重建方法"专利 申请号为02116750. 8的中国发明专利申请公开说明书)计算出彩色图像。再将 彩色图像放大到与黑白图像的大小一致。这时所得到的彩色图像中间结果是由红绿蓝三色值表示的。将其变换到Lab (或HSB)空间，然后将变换后的照度分量(Lab中的L分量，或HSB中的B分 量)替换为前面所得到黑白图像，以得到新的彩色图像。实施例二参见图2e和图5，该阵列包括92%的中性照度单元和8%的彩色 滤波单元，每个彩色滤波小区包含红(R)绿(G)蓝(B)三原色，彩色滤波小 区沿行列方向分别间隔6个单元重复排列；首先根据中性单元计算黑白图像。如图5a所示，L11…L44等为中性单元， 这些单元处的照度是直接探测到的，XI, X2，和X3为彩色单元占据的像素，这
些单元处的照度需要根据周围的单元估算出来。运用简单的线性插值法，计算公式如下Xl=(L21+(L24-L21)/3 + L12+(L42-L12)/3)/2 X2=(L21+(L24—L21)*2/3 + L13+(L33-L13)/2)/2 X3=(L31+(L33—L3D/2 + L12+(L42—L12) *2/3)/2 然后根据彩色单元计算彩色图像(中间结果)。如图5b所示，将滤波小区内 的三个彩色单元的采样值直接当做一个像素的三个颜色分量。这样， 一个彩色 滤波小区将产生一个图像像素，将这些像素排列成一幅彩色图象，而得到的彩 色图像的宽和高只有原始采样图像六分之一。经过简单的图像放大，可将彩色 图像放大到与黑白图像的大小一致。这时所得到的彩色图像中间结果是由红绿蓝三色值表示的。将其变换到Lab (或HSB)空间，然后将变换后的照度分量(Lab中的L分量，或HSB中的B分 量)替换为前面所得到黑白图像，以得到新的彩色图像。实施例三参见图2f和图6，该阵列包括75%的中性照度单元和25%的彩色 滤波单元，每个彩色滤波小区包含青(C)品(M)黄(Y)三原色和一个绿色(G) 共4个单元、彩色滤波小区沿行列方向分别间隔4个单元重复排列。 首先根据中性单元计算黑白图像，方法与实施例一中的相同。 然后根据彩色单元计算彩色图像(中间结果)。如图6所示，将中性单元略 去而把彩色滤波小区拼接成如Canon PowerShot Gl中的CMYG阵列，然后可以 运用简单的线性插值算法计算出每一个单元处的青品黄绿四个值。为得到红绿 蓝空间的图像，需要将青品黄绿四个值组成一个4xl的矢量，然后与一个3x4 变换矩阵相乘。这个变换矩阵可能因不同的相机而不同，下面是通过实验求得
的Canon PowerShot Gl相机的矩阵。-3.0392 0.83419 0.26809 1.7322 -0.56315 —1.0344 1.0755 0.49573 -1.4140.19671 1.645 -0.36067这时所得到的彩色图像中间结果是由红绿蓝三色值表示的。将其变换到Lab (或HSB)空间，然后将变换后的照度分量(Lab中的L分量，或HSB中的B分 量)替换为前面所得到黑白图像，以得到新的彩色图像。按照本发明提供的排列方式，采用红绿蓝或青品黄三原色还可以直接推导出多个实施例，如基于图2h所示的含有56%的中性单元的滤波阵列等，不--列举。以上实施例中计算黑白图像和中间结果彩色图像的具体技术不属于本发 明的创新部分，而本发明的核心为中性单元占多数的彩色滤波阵列，以及在 照度一 色度空间将黑白图像和中间结果彩色图像合成的方法。
权利要求
1、用于数字成像的彩色滤波阵列，包括多个中性照度单元和多个彩色滤波单元，其特征在于中性照度单元占大多数，大于55％，特殊应用中可高达92％，而彩色滤波单元占少数；彩色滤波单元排列成沿行、列方向重复的彩色滤波小区，每个彩色滤波小区内至少含有三个三原色彩色单元，分别与三原色红绿蓝或者青品黄对应。
2、 根据权利要求1所述的用于数字成像的彩色滤波阵列，其特征在于彩 色滤波小区在行和列方向上每间隔3个或更多单元重复出现，彩色滤波小区的 重复排列为网格形式、或者为交错形式；每一个彩色滤波小区由三个三原色彩 色单元、或者由三个三原色彩色单元和一个重复的三原彩色单元组成。
3、 如权利要求1所述的用于数字成像的彩色滤波阵列的成像方法，其步骤(1) 由本发明中的彩色滤波阵列决定了图像传感器中大多数的单元用于探 测入射图像的照度，而剩余的少数单元用于探测红绿蓝、或者青品黄三原色， 传感器的信号经数字化后由计算机进行处理；(2) 中性单元的工作方式如同黑白照相机，而净皮彩色单元所占据的部分可通 过插值方法估算出来而形成完整的黑白图像；(3) 彩色单元的工作方式如同彩色照相机，被中性单元占据的部分也可通过 插值方法由彩色单元计算出彩色图像；(4) 将步骤(3)所得到的彩色图像变换到某一个照度一色度空间成为另一 中间结果，如Lab或HSB。照度一度空间是相对与RGB, XYZ等三原色空间而言， 用 一个照度分量和两个色度分量表示颜色；(5)将步骤(4)所得到的中间结果图像的照度分量(如Lab中的L分量，或 HSB中的B分量)替换为(2)步骤所得到的黑白图像，而得到新的彩色图像。
全文摘要
本发明涉及一种用于数字成像的彩色滤波阵列及其成像方法，该阵列包括多个中性照度单元和多个彩色滤波单元，其特征在于中性照度单元占大多数，而彩色滤波单元占少数；彩色滤波单元排列成沿行、列方向重复的彩色滤波小区，每个彩色滤波小区内至少含有三个三原色彩色单元，分别与三原色红绿蓝或者青品黄对应。本发明涉及的彩色成像方法是首先分别根据中性单元计算出黑白图像，根据彩色单元计算出彩色图像；然后将彩色图像变换到一个照度—色度空间；最后用黑白图像替换变换后图像中的照度成分而成为新的彩色图像。基于该发明的数字成像设备具有以下优点一是高分辨率，二是光灵敏度高，三是彩色失真小。
文档编号H04N9/04GK101150731SQ20061009515
公开日2008年3月26日 申请日期2006年9月22日 优先权日2006年9月22日
发明者敏 刘, 罡 罗 申请人:罗 罡;刘 敏