一种多光谱感光器件及其采样方法

专利名称：一种多光谱感光器件及其采样方法
技术领域：
本发明涉及对感光芯片的感光象素的读取，尤其是大阵列感光芯片的感光象素的 子采样数据读取。具体的说，本发明涉及到一种多光谱感光器件及其采样方法。
背景技术：
本发明是本发明人稍早一点的《多光谱感光器件及其制作方法》(PCT/ CN2007/071262)和《多光谱感光器件及其制作方法》(中国申请号200810217270. 2)的延 续，旨在提供更为具体而且优选的半导体电路和芯片级别的实现。之前的感光器件，要么专注于彩色可见光，要么专注于红外光，很少有将二者 合在一起的。虽然也有其它的发明或申请，例如采用铟化镉的半导体技术(“Silicon infrared focalplane arrays”，Μ· Kimata，in Handbook of Infrared Detection Technologies，editedby M. Henini and M. Razeghi, pp.352-392，Elsevier Science Ltd.，2002)，来同时实现可见和红外光的感应，但它们没有得到彩色。之前的同时得到 彩色和红外感光的方法是将一个彩色感光器件与一个红外感光器件，物理迭加在一起 (如“Backside-hybridPhotodetector for trans-chip detection of NIR light], by T. Tokuda et al.，in IEEEfforkshop on Charge-coupled Devices&Advanced Image Sensors,Elmau,Germany,May2003. and "A CMOS image sensor with eye-safe detection function using backsidecarrier injection", T. Tokuda et al.，J. Inst Image Information&TeIevision Eng. ,60(3) :366-372, March 2006)。本发明人稍早一点的《多光谱感光器件及其制作方法》(PCT/CN2007/071262)和 《多光谱感光器件及其制作方法》(中国申请号=200810217270. 2)，提出了一种能同时得到 彩色和红外图像的新的多光谱感光器件的制作方法.这种新型的感光器件，极大地扩展感 光器件动态范围，从而满足汽车，安防等领域里的高性能要求.不仅如此，将它用于小尺寸 的彩色感光器件，如手机用的摄像头，也能大幅地提高图像品质.不仅如此，他们可以采用 现有的CMOS，CCD，或其它半导体感光器件制作技术来制作，而且每一种技术都可以有非常 多而且有效的制作方法和结构设计.本发明主要提供少数几种采用CMOS/CCD半导体技术 的制作方法。但是，这种新的双层或多层感光器件带来一个新的问题，就是数据量是传统的单 层感光器件的两倍甚至更多。虽然两层感光器件只需一半的象素就能获得与单层感光器件 同等的解析度，但是高速处理大阵列的感光器件的数据，仍然是一个需要改进的问题。最近几年，已经发明了一些优秀的方法来对大阵列图像进行高性能的子采样，例 如读取电路共享，并行(Row Binning)及并列(Column Binning)采样技术(如美国专利 US6, 801, 258BLUS6, 693，670B1,US7, 091, 466B2, US7, 319，218B2 等等)。值得一提的是美 国专利US6, 693，670BLUS7, 091，466B2和US7, 319，218B2。这些专利提供了效果不错而且 方便易行的手段，实现了 N行或N列或M行与N列的并用。但是这些子采样技术没有达到最优。例如，采用并行和并列的子采样技术将N个点并为一个点，图像信噪比的改进最高只能是# (见美国专利US7，091，466B2， US7, 319，218B2)。这是因为并行和并列只是对信号做了平均，因而只是将随机噪声的方差 降低了 #倍，而有用信号本身的强度没有得到增强，而仅仅是用几个点的平均值取代。图 像信号中通常还有缓变低频的固定噪声，这一部分噪声也没有减少。此外，现有的子采样技术仅仅是单独地考虑Bayer排列或CYMG四色图案排列的 感光芯片的子采样的需求，也没有为后续计算做简化。例如一个Bayer图案的彩色图像， 经过美国Micron Technologies Inc.的并行和并列采样技术(美国专利US7, 091，466B2， US7，319，218B2)后，仍然是一个Bayer图案，仍然需要经过复杂的处理才能得到预览和存 储阶段所偏爱的YUV图像。而其它一些能够改进信噪比的子采样电路，需要用到复杂的积 分电路和比较器，从而带来辅助电路的增加和频率的增加。另外一个现有子采样技术的巨大的限制，就是，并行和并列只在相同的，而且空间 上并不紧邻(中间隔着别的象素)的色彩象素间进行。对于Bayer图案或CYMG四色图案， 相同的色彩象素，在空间上并不紧邻，经过并行和并列后的图像，已经破坏了原始图像的空 间上的均勻分布的特点，因此，后端处理如果不专门适应这种情况，在直线边缘，就容易产 生锯齿效果。尤其，对于本发明所要关注的双层或多层感光器件而言，现有技术就显得局促和 平庸，因为双层或多层感光器件提供了非常多的优秀的色彩图案排列，因而，无论是信号读 取和子采样，都应当针对双层或多层感光器件的特点，做出改进。

发明内容
本发明的目的旨在提出更优越的子采样原理和先进的子采样电路，并将子采样和 后续图像处理结合起来一起优化。本发明提供一种多光谱感光器件及其采样方法，以便能 克服双层或多层多光谱感光芯片的数据量比较大的这个微弱的不足。这里，采样方法主要 包括子采样，但也涵盖了全图采样。需要了解，本发明并不局限在双层或多层多光谱感光器 件，对于单层的感光器件，同样是适用的。为便于描述本发明并解释其与现有技术的差别，我们现给出如下名词的定义 双层感光器件，双面感光器件，和双向感光器件。其中，双层感光器件是指感光象素被物 理上分成两层(如本发明人在稍早的发明申请《多光谱感光器件及其制作方法》(PCT/ CN2007/071262)所描述的两层感光器件)，每一层都含有感应特定光谱的感光象素。双面 感光器件是指感光器件具有两个感光表面，每一个面都能至少从一个方向上感光。双向感 光器件是指感光器件能从两个(通常互成180度)的方向上感光，亦即从感光器件的正面 和背面都能感光。一个感光器件可以同时具有双层，双面，和双向这三个特点中的一个，两个，和所 有三个特点。为了解决上述技术问题，本发明采用了如下技术方案一种多光谱感光器件，包括以行和列排列的象素阵列，以及第一合并单元，用于对所述象素阵列中的紧邻的同行异列、异行同列、或异行异列 的象素间进行两两合并采样，获得第一合并象素的采样数据；第二合并单元，用于对第一合并单元得到的第一合并象素的采样数据进行合并采样，获得第二合并象素的采样数据。所述的多光谱感光器件，还包括第三合并单元，用于对第二合并单元得到的第二 合并象素的采样数据进行合并采样，获得第三合并象素的采样数据。所述的多光谱感光器件，所述第一合并单元或第二合并单元的象素合并方式为相同或不同色彩象素间的电荷累加方式或两个不同色彩象素间的信号平均方式，其中不同色 彩象素间的象素合并方式(包括电荷累加方式或信号平均方式)遵照色彩空间变换的方 式，以满足色彩重建的要求。所述的多光谱感光器件，所述电荷累加方式是在读取电容(FD)中完成的。所述的多光谱感光器件，所述第一合并单元或第二合并单元的基于色彩的合并采 样方式包括同色合并方式、异色合并方式、混杂合并方式、或选择性抛弃多余色彩合并方 式，且第一合并单元和第二合并单元采用的合并采样方式不同时为同色合并方式，也即两 个合并单元中至少有一个合并单元不采用同色合并方式。所述的多光谱感光器件，所述第一合并单元或第二合并单元的基于位置的合并采 样方式包括以下几种方式中的至少一种直接输出到总线的信号自动平均方式、跳行或跳 列方式、和逐个采样方式。亦即这几种基于位置的合并采样方式可以单独使用，也可以组合 使用。所述的多光谱感光器件，所述第三合并采样单元的合并采样方式包括色彩空间 变换方式和后端数字图像缩放方式中的至少一种。所述的多光谱感光器件，所述色彩空间变换包括RGB到CyYeMgX空间的变换、RGB 到YUV空间的变换，或CyYeMgX到YUV空间的变换、其中X为R(红)、G (绿)、B (兰)中的 任一种。所述的多光谱感光器件，所述象素阵列由复数个包含至少一个基本象素的宏象素 组成，其中基本象素可以为被动象素或主动象素。所述的多光谱感光器件，所述宏象素中的基本象素按方阵或蜂窝排列。所述的多光谱感光器件，所述宏象素的组成方式可以包括以下组成方式至少一 种不带读取电容(FD)的3T主动象素组成方式、带一个读取电容(FD)的4T主动象素组成 方式。所述的多光谱感光器件，每个宏象素带一个读取电容(FD)的4T主动象素，采用4 点共享方式、6点共享方式、或8点共享方式。所述的多光谱感光器件，所述宏象素也可以包括如下的组成方式由四个方阵排 列的象素和两个位于两行中间的不透光的读取电容(FD)组成，上一行的象素与下一行的 象素共用一个读取电容(FD)，两个读取电容(FD)之间可以实现电荷转移，并且至少一个读 取电容上连接有读取电路。所述宏象素可由带两点共享、三点共享、或四点共享读取电容(FD)的3T或4T主 动象素的基本象素组成，采用4点桥式共享方式、6点桥式共享方式、或8点桥式共享方式。所述的多光谱感光器件，每个宏象素由带两点共享、三点共享、或四点共享读取电 容(FD)的4T主动象素的基本象素组成，采用4点桥式共享方式、6点桥式共享方式、或8点 桥式共享方式。所述的多光谱感光器件，所述多光谱感光器件的全图采样方式包括逐行扫描、逐行读取方式或逐行扫描、隔行或跨行读取方式。本发明还公开了一种多光谱感光器件的采样方法，包括第一合并过程，用于对所述象素阵列中的紧邻的同行异列、异行同列、或异行异列 的象素间进行两两合并采样，获得第一合并象素的采样数据；第二合并过程，用于对第一合并过程得到的第一合并象素的采样数据进行合并采 样，获得第二合并象素的采样数据。所述的采样方法，还包括第三合并过程，用于对第二合并过程得到的第二合并象 素的采样数据进行合并采样，获得第三合并象素的采样数据。所述的采样方法，所述第一合并过程或第二合并过程的象素合并采样方式为相同 或不同色彩象素间的电荷相加方式或不同色彩象素间的信号平均方式，其中不同色彩象素 间的象素合并方式(包括电荷相加方式或信号平均方式)遵照色彩空间变换的方式，以满 足色彩重建的要求。所述的采样方法，所述第一过程或第二合并过程的基于色彩的合并采样方式包括 同色合并方式、异色合并方式、混杂合并方式、或选择性抛弃多余色彩方式，且第一合并过 程和第二合并过程中至少一个合并过程不是同色合并方式。所述的采样方法，所述第一合并过程或第二合并采样过程的基于位置的合并采样 方式包括以下几种方式中的至少一种直接输出到总线的信号自动平均方式、跳行或跳列 方式、和逐个采样方式。所述的采样方法，所述第三合并采样过程进行的合并采样方式包括色彩空间变 换方式、后端数字图像缩放方式。 所述的采样方法，所述色彩空间变换包括RGB到CyYeMgX空间的变换、RGB到YUV 空间的变换、或CyYeMgX到YUV空间的变换、其中X为R (红)、G (绿)、B (兰)中的任一种。所述的采样方法，其全图采样的方式包括逐行扫描、逐行读取方式或逐行扫描、隔 行或跨行读取方式。本发明有益的技术效果在于将子采样至少分为两个过程，即前述的第一合并采样过程和第二合并采样过程。 第一合并采样过程和第二合并采样过程，通常发生在象素的行(合并)采样和列(合并) 采样之间，主要对模拟信号进行，除电荷相加部分通常只在第一合并采样过程中做以外，其 次序和内容通常是可以交换的。此外，也可以包括第三合并采样过程，第三合并采样过程发 生在模数转换之后，主要对数字信号进行。对于第一合并采样过程，是取象素阵列中两个紧邻的象素来进行合并。一方面，完 成了紧邻象素的合并，在本文中，我们将合并后的象素称为第一合并象素，需要理解的是， 第一合并象素只是为本发明描述之便，利用该概念来指代进行第一合并过程后的象素，而 不代表物理上，在象素阵列中存在一个“第一合并象素”；将两个紧邻象素合并采样后的数 据称为第一合并象素的采样数据。紧邻，系指两个象素之间从水平，垂直，或对角方向上来 看紧挨着，中间没有其它象素。紧邻的情况包含同行异列，异行同列，或异行异列。一般而 言，在这种合并中，信号将至少是两个象素的信号平均，而噪声则会降低#，因此，合并后， 至少可以将信噪比提高#倍，且这种合并可以在相同或不同色彩的象素之间进行。另一 方面，由于两个合并的色彩可以不同，即色彩相加或平均，从色彩的三原色原理可知，两种原色的相加是另一种原色的补色，就是说，两个不同原色的象素合并，产生另一种原色的补 色，从原色空间，变换到了补色空间，仅仅是发生了色彩空间变换，我们仍然可以通过不同 的补色而完成彩色重建。也即通过本发明，既能实现不同色彩的象素合并以提高信噪比，同 时又能够进行彩色重建。整个子采样过程也因此得到优化，更加适应大数据量的象素阵列 的高速需求。色彩空间变换的一个基本要求是，变换后的色彩的组合，能够(通过插值等手 段)重建所需要的RGB (或YUV，或CYMK)色彩。需要了解，由于通常象素阵列包含多个象素，第一合并采样只是将两个象素进行 合并，显然，合并形成的第一合并象素也具有多个。对于不同的第一合并象素，其采用的色 彩合并方式可以相同，也可以不同。当第一合并全部在相同的色彩间进行时，我们将之称为 同色合并方式；当第一合并全部在不同的色彩间进行时，我们将之称为异色合并方式；当 第一合并部分在相同色彩间进行、部分在不同色彩间进行，我们将之称为混杂合并方式；当 对象素阵列中的一些多余的色彩进行抛弃(当然，抛弃是选择性的，例如，不能因此而影响 到彩色重建)，这样的色彩合并方式称为选择性抛弃多余彩色方式。显然的，第二合并过程是对多个第一合并象素的操作，同样的，可以将色彩相同的 第一合并象素进行合并；也可以将色彩不同的第一合并象素进行合并(当然，这种情况下 可能导致三原色的全部相加而无法重建出彩色)。上述的同色合并、异色合并、混杂合并等方式，是将合并采样做基于色彩的分类， 另外，从合并采样的位置选取的角度，第一合并过程和第二合并过程的合并采样方式包括 直接输出到总线的信号自动平均方式、跳行或跳列方式，逐个采样方式，以及这些方式的两 种或三种的同时使用。除电荷相加部分通常只能在第一合并采样过程中做以外，第一合并 过程和第二合并过程，除了次序的不同外，其方式都是相同和可以交换的。所谓直接输出到总线的信号自动平均方式，就是，将需要合并的信号(色彩相同 或是不同)，同时输出到数据采集总线上去，通过(电压)信号的自动平衡，来获得需要合并 信号的平均值。所谓跳行或跳列方式就是跳过一些行或列，从而通过减少数据量的方式来 实现(合并)采样。所谓逐个采样方式，实际上就是不做任何合并，依此读取原来的象素或 第一合并象素。这三个方式有一些是可以同时使用的，例如，跳行或跳列方式可与直接输出 到总线的信号自动平均方式或逐个采样方式同时使用。第三合并采样过程的子采样方式包括色彩空间变换方式、后端数字图像缩放方 式、以及这两个方式的串行使用。第一和第二合并过程主要是在模拟信号上进行，而第三 子采样过程主要是在数字信号上进行，即模数转换之后进行。通过将处于不同空间位置的 三个或四个色彩象素，当作同一个点上的值而转换到另一个色彩空间，就又可实现水平和 (或)垂直方向上的数据减少，从而达到子采样的效果。而数字图像缩放方式，是最为直观 常用的子采样方式。本发明还首次在合并采样时实现了电荷相加。目前的合并采样几乎都是只做到了电压或电流信号的平均，这种方式在合并N点时，最多只能将信噪比提高#倍。这是因为 现有的合并采样都是N个相同色彩的象素共用一根输出线的方式进行合并采样，在这根输 出线上，各个象素的电压或电流信号必然要进行(自动的)平均，因此，其信噪比的提高只 是在于噪声合并后降低了 #，从而使信噪比提高最多·^倍。而采用本发明的电荷相加方 式，例如通过读取电容存储电荷，实现电荷的累加，从而信号可以进行叠加而使得信噪比可以提高至少N倍，比信号平均的方法高至少#倍。也就是说，将N个信号以电荷相加的方 法合并，理论上最高可以达到N2个信号相平均的效果或更好(如下面所述)，这是效果非常 显著的提高信噪比的手段。紧邻象素相加，还带来另外一个显著的效果，就是，象素之间的相互干扰 (cross-talking)效果被减弱。这是由于本来相互干扰的色彩，现在是合法的一体，也就是 说，原来属于噪声的一部分信号，现在成了有效的信号部分，因此，N个信号电荷相加带来信 噪比的改进，可以接近理论上的上限，即N^倍，从而，相当于N3个信号相平均的效果。电荷相加是一个效果卓著的合并采样手段，但它要求合并的象素在空间上相邻。 之前的子采样不能做的原因是，之前的子采样只在相同色彩的象素之间进行，但由于被合 并的象素之间隔着其它象素，因而无法实现电荷相加。对于多层感光器件而言，实现电荷相 加相对比较容易，因为色彩图案非常丰富。而采用本发明，我们也能很容易地在单层感光器 件上实现电荷相加，只要采用了本发明的色彩空间变换的方法。
本发明在全图采样(即对一个图像的按最高分辨率进行采样)时，采用逐行扫描、 隔行或跨行读取的方式，不需要提高时钟速度和采用帧缓存器，将大阵列图像的全图读取 帧率在拍单张照时翻倍。如果增加AD转换器和行缓存，那么，全图读取帧率还可以提高更 多。这个方法对于省去机械快门有非常重要的价值。请注意本发明的逐行扫描、隔行或跨行读取的方式，与传统电视系统里的场扫描 方式(interleaved scanning)是不同的。传统的场扫描方式，是隔行扫描，隔行读取，因此， 奇数场和偶数场(无论是感光还是读取)在时间上差了一场，即半帧。而本发明的逐行扫 描、隔行或跨行读取的方式，象素在感光时间顺序上却是与逐行扫描、逐行读取方式是完全 一样的，只是行的读取次序做了变化。本发明将通过实施例描述新的威力更强，适应面更广的感光器件及其子采样方 法。这些优选实现方法，仅仅是作为举例来说明本发明和本发明者的先前相关发明的优点 和实现方法而已，而不是为了限制这些发明的保护范围。对于相关业界的有识之士而言，本发明的上述及其它目的和优点，在阅读过下面 的优选的带有多个插图解释的实现案例的细节描述之后，将是十分明显的。


图1是CMOS被动象素的读取(采样)电路。图2是CM0S3T主动象素的读取(采样)电路。图3是CM0S4T主动象素的读取(采样)电路。图4(a)和(b)分别是CMOS主动象素和被动的读取(采样)电路与行地址选择电 路的关系。图5是CMOS象素的读取(采样)电路与行地址选择电路和列地址选择电路的结 构示意图。图6是一个典型的带有列缓存的实用CMOS象素的读取(采样)电路示意图。图7是CCD象素的读取方式(a)与CMOS象素的读取方式(b)的比较。注意到在 图7(a)中CCD象素之间在垂直方向上的挨个传递的功能。图8是描述美国专利US7，091，466B2的基本原理的示意图。通过同时打开需要合并的相同象素的开关，将相关信号同时输出到采样总线上后自己达成平衡，从而得到合并 象素的平均值。
图9是描述美国专利US7，319，218B2的基本原理的示意图。通过异时高速采样需 要合并的相同象素，将相关信号记录完全后再同时输出到采样总线上后自己达成平衡，从 而得到合并象素的平均值。其基本思想与美国专利US7，091，466B2是相同的，只是采用了 不同的电路实现。图10摘要了现有象素同色合并技术的基本思想将相邻宏象素的色彩相同的象 素(以信号平均的方式)合并。图10(a)是列合并的示意图，图10(b)是行列同时合并的 示意图。图11显示的是当前比较好的4-点共享4T主动感光象素的读取电路，平均每个象 素采用了 1.75个门。图12显示的是一个6-点共享4T主动感光象素的读取电路，平均每个象素只采用 了 1.5个门。这个6-点共享主动感光象素的读取电路，适用于采用蜂窝排列的双面双层感 光器件(参见《多光谱感光器件及其制作方法》，中国申请号200810217270. 2)，亦即让一个 宏象素里的所有三个复合象素的上下两层感光二极管共享同一个读取电容(FD)和3T读取 电路。图13显示的是一个8-点共享4T主动感光象素的读取电路，平均每个象素只采用 了 1.375个门。这个8-点共享主动感光象素的读取电路，适用于以四点宏象素为基础的方 阵排列的双面双层感光器件，亦即让一个宏象素里的所有四个复合象素的上下两层感光二 极管共享同一个读取电容(FD)和3T读取电路。图14显示的是本发明的异色和混杂合并的技术的基本思想先将同一宏象素的 内的两个不同或相同色彩的象素(以信号平均或相加的方式)合并，然后再做合并后相邻 且色彩相同的象素间的合并。图14(a)显示的是Bayer图案感光器件一种两列合并的示意 图，图14(b)显示的是Baver图案感光器件一种两列和两行同时合并的示意图。其中，单独 看G与B，或G与R的合并时，就构成了异色合并；而将G与B的合并，G与R的合并，B与R 的合并，以及G与G的合并合起来看时，就构成了混杂合并，因为其中有的合并是在同色之 间(G与G)，而其它则是在异色之间。Bayer图案的RGB原色图像，在经过杂色合并后，被转 换成了 CyYeMgG补色图像。在这个图中，将G与B的合并，G与R的合并，B与R的合并，以 及G与G的合并构成了第一个合并过程。第二个合并过程，是将合并后得到不同位置上的 Cy, Ye, Mg，和G值，按照同色合并的方式，同时输出到总线上，或采用跳行或跳列的方式，跳 过某些象素，和逐个读出。图15显示的是本发明的杂色合并技术用于更一般的M行与N列合并情况(图中 为5x3，即5行与3列的合并)。将跳行或跨行与跳列与跨列的方法结合，可以得到很多种 不同的类似图15的情况。3行3列的合并可以通过2行与2列的合并方式加上跳行和跳列 来完成。注意到第三行和第四行在进行交叉合并时，将产生一对位于同一中点位置的(Mg， G)信号。为了后面的列合并的方便性，可以人为认为Mg或G在前面，以保持一致性。注意到行和列的对称性，从这个图我们可以很容易地延伸出3x5，2x3，3x2，2x4， 4x2,5x2,2x5,2x6,6x2,3x4,4x3,3x6,6x3,4x4,4x5,5x4,4x6,6x4,5x6,6x5,6x6,7x6,6x7, 7x7x, 8x8，等等各种合并情况。比较有用的是 2x2，2x4，4x2，4x4，3x6，6x3，6，6，4x8，8x4，和8x8的能够很容易的保持图像长宽比的合并因子。同样，在这个图中，G与B的合并，G与R 的合并，B与R的合并，以及G与G的合并，构成了第一个合并过程。第二个合并过程，是将 合并后得到不同位置上的Cy，Ye, Mg，和G值，按照同色合并的方式，同时输出到总线上，并 跳过中间一些没有用到的象素(例如图中的第5行和第10行)。被跳过的色彩，将不再参 加后面的第三合并采样过程，如果感光器件包含有第三合并采样过程的话。图16显示的是色彩空间矩阵变换带来的额外的2x2图像缩小。无论CyYeMgG的 图像是原始图像，还是通过本发明的杂色合并方法从Bayer RGB图像获得，当我们将它转换 成YUV图像时，可以获得额外的2x2缩小。缩小的方法就是将一个CyYeMgG宏象素，当成是 共点的四个象素而转换成一个(Y，U，V)象素，然后再将(水平方向)相邻的两个点的U和 V值平均，就得到预览和JPEG/MPEG压缩所希望的YUV422图像。图17显示的是本发明的一种优秀的读取电路。在这个读取电路中，奇数行与偶数 行的感光象素，将共用一个不透光的读取电容FD(如图中的FDl和FD2).开关TGl用来选 择将Gr感光二极管中的电容转换到FDl中去。同样，开关TG2，TG3，TG4被用来分别读取 R，B，Gb等电容值到FD2，FD1，或FD2中去。另外一个开关TG5，则用来将读取电容FDl中的 值，以相加的方式，转移到FD2中去(或从FD2转移到FD1)。这种布局的感光象素，可以采 用如图18所示的四点桥式共享读取电路。在这个电路中，读取电容FD不透光的要求，是实 现如图21所示的逐行扫描，隔行或跨行读取所必须的。图18显示的是本发明的用于四点宏象素方阵排列图案的四点桥式共享读取电 路。这种读取电路平均每个象素用到2个三极管。虽然不是门数最少的共享读取电路，但 在其它方面有无与伦比的优点。第一个优点是，在子采样时，通过 同时打开TG1/TG3或同时 打开TG2/TG4，奇数行的象素值Gr能够与偶数行的象素值B以相加的方式在FDl内累加，从 而达到信号相加，噪声相减的双重效果。平均而言，采用FD将两个信号融合后再读取的方 式，可以将信噪比提高至多2 ^倍，其中2倍来自于信号的增强，^倍来自于噪声的减弱。 对比之下，之前的将两个信号取平均的方法，只能通过减弱噪声的方式，将信噪比提高至多
倍。同样，通过，控制时序同时打开TG1/TG4/TG5或TG2/TG3/TG5，我们也能够将对角线 上的象素以信号相加的方式读出。第二个优点是，在全图采样时，可以通过将下一行象素值 存到FD里面的办法，从而实现隔行或跨行读取，如图21所示。图19显示的是一种本发明的用于三点宏象素蜂窝排列图案双层感光器件的六点 共享读取电路。在这种读取电路中，顶层三个象素共用一个读取电容FD1，底层三个象素共 用一个读取电容FD2，顶层三点与底层三点共用一个放大和读取电路。这种顶层和底层共用 读取电路的方法，能够简化设计，并在子采样时让控制逻辑变得简单。与图12不同之处在 于，顶层和底层的读取电容没有分享，从而便于双面感光器件的制作。图20显示的是一种本发明的用于四点宏象素方阵排列图案双层感光器件的八点 共享读取电路。在这种读取电路中，顶层四个象素共用一个读取电容FD1，底层四个象素共 用一个读取电容FD2，顶层四点与底层四点共用一个放大和读取电路。与图13不同之处在 于，顶层和底层的读取电容没有分享，从而便于双面感光器件的制作。显然，对于双面双层感光器件，顶层和底层的四个宏象素点也可以分别采用如图 18所示意的双FD桥式共享读取电路，从而让顶层和底层的读取电路相对独立并且各自可 以采取隔行或跨行读取的方式，加快全图拍照时的快门速度。
图21显示的是图17所示的采样读取电路，用于在全图采样时的隔行读取(图 21(a))或跨行读取(图21(b))方式的示意图。在图21(a)的隔行读取中，读第一行(GrRgGrR···)时，第二行(BGBG···)的值，在第 一行相应位置的值读取之后，紧接着移到已经空余的FD区间。也就是说，当第一行的第N 列象素在被读取的时候，第二行的第N-I (或N-2，等等)个象素正在被移到垂直对应的FD 区域里。当第一行读完后，我们并不紧接着去读存在FD里的第二行里的值，而是接着读第 三行的象素值。同样，在读第三行的象素值时，第四行的象素值也被同时被转移到FD区域 里。也就是说，所有偶数行的象素值，都被逐一地移入FD缓存区，直到奇数行的象素值全被 读完。最后我们再按次序一行一行地读FD缓存区里的偶数行里的象素值。在图21 (b)的跨行读取中，读第一行(GrRgGrR···)时，第二行(BGBG···)的值，在第 一行相应位置的值读取之后，紧接着移到已经空余的FD区间。也就是说，当第一行的第N 列象素在被读取的时候，第二行的第N-I (或N-2，等等)个象素正在被移到垂直对应的FD 区域里。当第一行读完后，我们并不紧接着读第三行的象素值时，而是接着读第四行的象素 值，并同时将第三行的象素值转移到FD区域里。也就是说，行的读取顺序依照1，4，5，8，…， 2，3，6，7，这样的次序。图21(b)的好处是，前面半帧的图像，依然是Bayer图案排列，因而 可以用来快速得到拍照瞬间的小图预览。
图21所示的隔行读取方式或跨行读取方式，与之前电视制式里的场扫描方式是 不同的。不同的地方主要在于，存于缓存(FD)区域里的后半帧图像的感光时间与前半帧是 几乎一样的，因而在效果上将快门速度比逐行读取提高了一倍，但却避免了电视制式的场 扫描方式带来的奇数场和偶数场时间上晚一场(半帧)的情况。这种情况当然只适合于抓 拍一张的情况，不适合于连续的视频录像。采用隔行读取方式或跨行读取方式来将拍照时的电子快门速度在一瞬间提高一 倍是非常有价值的手段。例如，假定象素读取时钟为96MHz，而感光芯片有8M象素，那么， 在拍全图时的电子快门速度为(96/8) = 12fps,or 1/12秒。而采用图19所示的隔行读取 方式或跨行读取方式，我们就能将感兴趣的那个单帧，瞬间提升到24fps，or 1/24秒，速度 快了一倍。达到1/24秒的拍照快门速度，意味着可以省去手机照相模组上的机械快门，而 1/12秒的拍照速度需要机械快门才能不因手抖产生图像扭曲。图22显示的是一个双层感光器件在子采样时的一种简化处理情况第一合并过 程首先从上下两层的冗余的色彩象素里，采用合并或舍弃的方法，只保留色彩重建所必需 的色彩分量，例如，Cy，Mg (为B和R合并所得)，G，和Ye.第三合并过程然后再利用图16所 示的色彩空间转换的手段，将相邻的CyYeMgG四个象素，转换为一个YUV色彩，再将相邻的 UV分量做水平方向上的2分子采样，就得到YUYV422图像。这个过程完成了一个2x2的子 采样。如果图像还是太大的话，那么，在进行色彩空间CyYeMgG到YUV转换之前，还可以第 二合并过程中先做CyYeMgG相同色彩的平均而不是采用图中的全采样方式。这种双层感光器件在全图采样时，可以舍弃掉一些象素，也可以全部读出后由后 端处理器来决定怎么处理。全部读出时，数据量多了一倍。那么，如果采用图18和图20所 示的隔行或条行读取方式，那么就能将拍照瞬间的帧率提高一倍，与现有的单层感光器件 速度一样。图22也足以表明，两层或多层感光器件在子采样时的复杂性和丰富多彩性。由于两层或多层感光器件在宏象素的色彩分布上有几千种以上的可能性，那么，子采样也就相 应地有更多种可能。我们在此只能列举少数几种方法来阐述本发明的精髓。图23显示的是另一种双层感光器件在子采样时的一种简化处理情况第一合并 过程通过象素相加(或平均)，它首先得到CyYeMgB的宏象素，然后，第三合并过程将此四 点通过色彩变换的关系得到YUV色彩，从而实现2x2的子采样。当然在色彩转换之前，也可 以在第二合并过程先对CyYeMgB的宏象素做相同色彩的(以信号平均的方式)合并而不是 采用全采样方式，从而得到更高倍数的子采样。显而易见，图中CyYeMgB的宏象素也可以用 BRGB的类似Bayer图案的宏象素取代。这里，我们用CyYeMgB说明，用CyYeMgB，CyYeMgG, CyYeMgR,都可以得到YUV或重建RGB。也就是说，CyYeMgG只是CyYeMgX的一个特例，其中 X可以是R，G，或B。图24显示的是另一种双层感光器件在子采样时的一种简化处理情况第一合并 过程先将相邻象素沿水平方向(以信号平均或相加的方式)做合并，然后第二合并过程再 将合并后的象素，(以信号平均或相加，或弃行的方式)沿垂直方向合并。通过合适的时序 控制，水平方向和垂直方向的合并，可以同时完成。这种子采样方式，不仅比现有的子采样 方式更加丰富多彩，也提供 好得多的信噪比。图25显示的是实现本发明的象素读取和子采样电路的一种感光器件的原理性系 统方块示意图，用来阐述本发明的各种功能模块在感光器件中的实现方法。此原理性系统 包含象素阵列，行地址解码控制器，列地址解码控制器，采样控制电路，放大和模数转换模 块，色彩变换和子采样及图像处理模块，输出控制模块，芯片总控制模块(图25中的CC模 块)，和其它可能的模块。象素读取和子采样的功能，将主要通过行地址解码控制器和列地 址解码控制器产生相应的控制信号(行选信号Row[i]，行控制矢量信号RS[i]，列选信号 Col [j]，列控制矢量信号T[j]，其中i和j分别对应的行标号和列标号)来完成。系统其它 模块的协调，将主要由芯片总控制模块来完成。第三合并采样过程，如果有的话，将在色彩 变换和子采样及图像处理模块中完成。图26是以一个具体的实例(图17所示的感光象素)来说明图25中的各个控制信 号(行选，行控制矢量，列选，列控制矢量)与对应的感光象素上的控制信号的关系。图26 描述的是图17中的Gr象素和B象素的信号共享情况(TG5被省略了)。行选信号Row[i] 和Col[j]已经清楚标出。在这个电路图中，复位信号RSl和转移门控制信号RS2(TG1或 TG3)属于行控制信号。注意到，RSl是两行共享的，而RS2则每行有一个(例如，TGl属于 1 山，而163属于1 [丨+1]).图17中的TG5(图26中省略)，则属于列控制信号T[j].也 就是说，尽可能地对象素只做行操作(同一行的象素完全相同)和列操作(同一列的象素 完全相同)，而不去做每个象素不同的操作，以减少复杂度。在后面的具体实施方式
里，我们将结合图25和图26来说明，本发明的采样和子采 样方法是怎样实现的。
具体实施例方式本发明具体实施方式
的多光谱感光器件，不同的读取和子采样的电路可由类似于 图25所示的电路来实现，包括包含有复数个宏象素的象素阵列，行地址解码控制器，列地 址解码控制器，采样控制电路，放大和模数转换模块，色彩变换和子采样及图像处理模块，输出控制模块，芯片总控制模块(图25中的CC模块)，和其它可能的模块。先根据需要，按照方阵或蜂窝形状排列以四个点或三点象素为基础的宏象素。这 些象素，可以是被动象素，也可以是主动象素，可以带读取电容FD，也可以不带读取电容 FD0在前文中，我们已经将子采样过程区分为第一合并采样过程、第二合并采样过程、 以及可选的第三合并采样过程。对应于这几个过程，我们分别采用第一合并单元、第二合并 单元和第三合并单元来实现上述几个合并采样过程。当然，这几个单元只是从其实现功能 的角度对器件的一种模块划分，从物理器件的角度，这些功能单元可以是由一个物理上的 模实现其功能，也可以是多个物理上的模块组合实现其功能，又或者这些功能单元集成在 一个物理的模块中。总之，本文中的第一合并单元、第二合并单元和第三合并单元的描述， 只是从其功能上一种描述，而不具体的限定其物理上的实现方式。具体的，在本示例中，实现所需子采样功能的是行地址解码控制器和列地址解码 控制器。行地址解码控制器将输出两类信号，行选信号Row[i](每行一条线)和行控制矢 量信号RS [i](每行一条或多条线)，其中i为行的标号。类似地，列地址解码控制器将输出 两类信号，列选信号Col [i](每列一条线)和列控制矢量信号T[j](每列一条或多条线)， 其中j为列的标号。行选信号Row[i]是用来做行的选择，而列选信号Col [j]是用来做列的选择。这是 两组相对标准的信号。行控制矢量信号RS[i]是对现有CMOS行控制信号的扩展(每行一 条线扩展到每行多条线)，而列控制矢量信号T [j]，有的CMOS感光器件根本没有，即使有， 也是一列只有一个。图26以图17的感光象素为例，给出T Row[i]，RS [i]，Col [j]，和T [j] 的一个具体的实现，其中Row[i]是两行共享的，而RS包含两个行控制信号RSl [i](复位信 号，同样两行共享)和RS2[2](电荷转移控制信号)。在本发明中，可能同时好几行被同时选中，也可能同时好几列被同时选中，甚 至几行和几列被同时选中。虽然在之前的某些技术中(如美国专利US6，801，258B1， US6, 693，670B1, US7, 091，466B2, US7, 319，218B2等等)，同样会有好几行或好几列被同时 选中，但由于合并采样的方式不同，因而，行选信号和列选信号的时序和波型是完全不同 的。例如，在进行图14(a)中的合并采样时，第一行第一列和第二行第二列被同时选中，而 这种情况在之前的子采样方法中是不可能出现的。RS[i]和T[j]是用来控制感光象素的复位，清零，感光时间控制，电荷转移，象素 合并，和象素读取。由于行列的对称性，RS[i]和T[j]有很多种具体的实现方式。如图17 所示的TG1-TG5，Vbl-Vb4等信号，还有图18中所示的RS，S，和SF信号，都是RS[i]和T[j] 所要包含的。本发明并不受到这些信号的具体实现方式的限制。更具体地，在做任一 MxN因子的子采样时(M彡2，N彡2)，首先做两行或两列，或 两行和两列的合并采样的第一合并采样过程，然后再在第一合并采样的基础上完成MRx N列的子采样。在第一合并采样之后的子采样(总的MxN子采样)，即第二合并采样过程，可通过以下各种方式单独或联合来完成直接输出到总线的信号自动平均方式、跳行或跳列方式、 和逐个采样方式。而第三合并采样过程，如果有的话，可通过如下两种方式单独或联合来完 成色彩空间变换方式和后端数字图像缩放方式。
我们知道，在一个象素阵列中，是含有相当多的感光象素的，尤其对于双层或多层 感光器件，色彩的种类和几何分布情况就非常丰富。显然，第一合并采样过程也相应的针对 多个第一合并象素，因而，在进行第一合并采样过程时，这些第一合并象素从象素的色彩合 并的角度上说，其用作合并的色彩选择是多样的，可以采用同色合并的方式，异色合并的方 式，混杂合并方式(部分象素色彩相同，部分不同)，也并可以选择性地丢掉多余的色彩。色彩空间的变换包括RGB到CyYeMgG空间的变换，CyYeMgG到YUV空间的变换，和 RGB到YUV空间的变换。注意到RGB到CyYeMgG空间的变换，可以在模拟信号空间完成，也可以在数字空间 完成，因此，它可以在第一合并过程，第二合并过程，或第三合并采样过程中的任何一个过 程中来做。但CyYeMgG到YUV空间的变换和RGB到YUV空间的变换，则只能在数字信号空 间来做，也就是说只能在第三合并采样过程中来做。更具体地，象素阵列部分，由复数的按方阵排列的三个或四个基本象素一组的宏 象素组成。其中宏象素中的基本象素可由被动象素组成，也可由不带FD的3T主动象素组 成，也可由带一个FD的4T主动象素组成。如果宏象素中基本象素采用带FD的4T主动象素，其读取电路可以采用4-点共享 方式(图11)，6-点共享方式(图12)，和8-点共享方式(图13)。更为优选地，每个宏象素可由带两个不透光的FD的4T主动象素组成，此时，其读 取电路可以采用4-点桥式共享方式(图18)。相应地，此种感光器件在进行第一次两行或 两列，或两行和两列的合并采样子采样时的色彩合并时，采用的是电荷相加的方式。这种宏 象素为后面的逐行扫描，隔行或跨行读取全图采样方式提供了可能。对于双层或多层感光器件，除了第一合并采样过程的色彩选择更加丰富多彩外， 当每个宏象素由带两个FD的4T主动象素组成时，其读取电路还可以采用4-点桥式共享方 式(图18)，6-点桥式共享方式(图19)，或八点桥式共享方式(图20)。相应地，此种感光 器件在进行第一次两行或两列，或两行和两列的合并采样子采样时的色彩合并时，采用的 是电荷相加的方式。注意到，N个信号在采用电荷相加的方式合并时，信噪比的改进上限为Νλ/ 倍，而 N个信号在采用信号平均的方式合并时，信噪比的改进上限为#倍。其次，这种四点共用 两个FD(或两行象素共用一行FD)的感光器件在进行全图采样时除了正常的逐行扫描，逐 行读取外，还可采取逐行扫描，隔行读取的方式。举例来说，在全图采样时，行地址解码控制器和列地址解码控制器，将根据索取的 图像区域要求，依次先按行将Row[i]和RS[i]值按照器件约定置成高或低，并接着依次按 列输出Col[j]和T[j]的值置成高或低，使得所需要的象素(电荷/电压)值，能够(经过 读写电路)依读取顺序输出到输出总线上。在子采样时，对于每一个所支持的MxN采样因子(行缩小M倍，列缩小N倍)，行地 址解码控制器和列地址解码控制器，根据MxN采样因子和图像区域要求，对应每一个输出 行，同时将需要合并的行所对应的所有Row[i]和RS[i]值置成高或低，并同时对应每一个 输出列，接着将需要合并的列的所有Col[j]和T[j]的值置成高或低，使得所有需要合并的 象素(电荷/电压)值，能够同时依读取顺序(经过读写电路)输出到输出总线上。同时， 必要的时候，行地址解码控制器和列地址解码控制器还将根据MxN采样因子和图像区域要求，进行必要的跳行和跳列的操作。不同的MxN采样因子，输出总线上在不同的时间可能得到不同的色彩。相应地，其 它系统功能模块，如放大和模数转换模块，色彩变换和子采样及图像处理模块，还有输出控 制模块，都需要做相应的协调工作。这个系统的总的控制，可以通过芯片总控制模块(图25 中的CC模块)来完成。注意到，除了放大和模数转换模块和象素阵列外，其它模块，主要都 是数字处理电路，因而可以比较容易地在器件外围实现，从而使得感光器件的布线相对简 单。下面我们将结合图17所示的感光象素的如图26的读取电路实现，以及图25所示 的感光器件的其它模块来给出一个更为具体的信号控制流程。首先，进行清零和感光控制一种简单的清零控制是将Vbl和Vb2全部置零，这个 要求Vbl和Vb2成为行控制矢量的一个信号。另一种方法是，先将FDl和FD2复位(图26 中的RSl置零)，并同时TGl和TG2打开(图26中的RS2置高)，将感光象素里Gr和R里 的电荷清掉。此后，将RSl置高，RS2置零。此后，在光的照射下，Gr和R的感光二极管开始 积累电荷。当需要读取Gr中的电荷时，有三种做法。第一种是直接将TG1/ RS2和Row[i]打 开，将Gr中的电荷转移到FDl中，并从中(通过电荷到电压的转换)读出Gr中的电荷值。 第二种做法是，接着第一种做法的最后一步的读出Gr中的电荷值后，再对FDl复位，并读出 FDl在复位状态下的电荷(电压)，以便用来对刚读出的Gr的电荷值进行相关采样。第三 种是在读取Gr中的电荷值之前，先对FDl进行复位采样，这种方法会干扰Gr中的值，因而 比不上第二种。此时，列地址解码控制器必须将Gr对应的列选信号Col [j]打开，以便对Gr 的测量(可能是两次，其中一次是复位状态下的测量)输出到放大和模数转换模块中去。根据Row[i]，Col[j]，和RS2[i]的值，芯片总控制模块CC可以算出正在读取的象 素的色彩，并对它进行相应的处理。不同的色彩，可能会进入不同的放大电路，并进行不同 的模数转换处理而得到数字信号。感光象素的数字信号将放进缓存里，由色彩变换和子采样及图象处理模块，做进 一步的处理。在全图采样的情况下，不做子采样，对于大阵列图像感光器件，通常也不做任 何色彩变换。因而在此模式下，芯片总控制模块CC会做出相应的控制，让感光象素的数字 信号跳过色彩变换和子采样模块，直接进入到图像处理模块。经过感光器件内含的图像处 理之后，再由输出模块输出到感光器件的对外接口。在全图采样时，需要注意的是逐行扫描，隔行或跨行读取方式。在此情况下，奇数 行和偶数行的复位清零和感光时间控制是同时进行的。在隔行读取的时候，当偶数行(第 一行)的象素被全部读取之后，行地址解码控制器并不是立即去选择读下一行，而是，先将 后面的奇数行(第二行)转移到FD与偶数行共用的FD中去，然后再开始第三行的读取。在 跨行读取的时候，如果第一行的标号从O开始，那么，前半帧的行的读取顺序为0，3，4，7，8， 11，12，15…，而后半帧的读取顺序为，1,2,5,6,9,10，13，14…。当然还可以有更加复杂的次 序。中间读前半帧时中间被跨过去的行，先被放在已经使用过一次的FD中暂存起来，等到 读下半帧读出。逐行扫描，隔行或跨行方式与传统电视里的场扫描方式的不同之处是，在本发明 的逐行扫描，隔行或跨行方式里，象素的感光时序完全是逐行进行的，而场扫描方式不是。
在子采样时，情况会复杂很多。但是对于一个具体的感光器件，子采样因子MxN可 以只支持少数几种。相应地，芯片总控制模块CC，行地址解码控制器，以及列地址解码控制 器可以只考虑所支持的MxN子采样因子。例如，一个5百万象素的感光器件，可以只考虑支 持2x2，2xl，4x4，8x8的四种情况。第二合并采样过程通常不涉及电荷相加，因而通常采用的是如下三个方式直接 输出到总线的信号自动平均方式、跳行或跳列方式，逐个采样方式。这三个方式都非常传统 和简单，为本领域技术人员所熟知，不在此赘述。第三合并采样过程是在数字图像空间完 成，采用的也是相对标准的数字图像缩放技术。下面我们仅对第一合并采样过程做信号控 制流程的仔细说明，以使本发明的使用方法更加容易了解。对于如图17所示的宏象素，在第一合并过程中，可能有两种合并方式第一种方 式是Gr与B合并，R与Gb合并；第二种方式是Gr与Gb合并，R与B合并。对于第一种合并方式，按时间顺序1. t0时刻行地址解码控制器会将如图26所示的对应于FDl的RSl置零(复位)。2. tl时刻打开TGl和TG3(RS2[i]和RS2 [i+1])，同时将Gr和B感光二极管(PD) 的电荷，转移到FDl中。此时，RSl可以置高。3. t2时刻然后再打开行选Row[i]和列选Col [j](假定Gr处在第i行第j列)， 将FDl中的电荷(电压值)输出到输出总线上。4. t3时刻接下来还可读取FDl中的零值以做相关采样用。前两步的操作，可以同时对第i和第i+Ι行的所有象素进行，第三和第四步则对合 并后的象素依次进行读取。因此，如果不做相关采样，平均一个时钟脉冲可以读取一个象 素，如果做相关采样，则平均两个时钟脉冲可以读取一个象素。这是按照象素位置优先次序 进行的。这种合并方式，也可以按照下面的色彩优先次序进行。对于第二种合并方式，时序情况复杂很多。这时候有两种处理方式。第一种处理 方式是按色彩优先次序进行先将整行的Gr与Gb合并采样完，再进行B和R的合并采样， 或者按相反次序。这种方式比较简单，控制信号的时间顺序如下5. t0时刻行地址解码控制器会将如图17和图26所示的对应于FDl和FD2的RSl
置零(复位)。6. tl 时刻打开 TGl 和 TG4 (RS2 [i]和 RS2 [i+Ι])，同时将Gr 和 Gb 感光二极管(PD) 的电荷，分别转移到FDl和FD2中。此时，RSl可以置高。7. t2时刻打开TG5，将FD2中的电荷转移到FDl中去8. t3时刻然后再打开行选Row[i]和列选Col [j](假定Gr处在第i行第j列)， 将FDl中的电荷(电压值)输出到输出总线上。9. t4时刻接下来还可读取FDl中的零值以做相关采样用。前三步的操作，可以同时对第i和第i+Ι行的所有Gr和Gb象素进行，第三和第四 步则对合并后的象素依次进行读取。因此，如果不做相关采样，平均一个时钟脉冲可以读取 一个象素，如果做相关采样，则平均两个时钟脉冲可以读取一个象素。这种读取方式破坏了 象素按位置的自然排序，需要后端处理校正。为了保持一致性，第一种合并方式，也可以按 色彩优先方式进行。第二种处理方式是按位置优先次序进行先将第一个Gr与Gb合并采样完，再进行第一个B和R的合并采样，如此反复。这种方式的控制信号的时间顺序与上面第一种处 理方式类似，但象素之间只能串行处理，不能并行处理。就是说，在处理第一个合并象素的 t0-t5时刻，不能处理第二个合并象素。这要求比较高的系统时钟。幸运的是，在进行了子 采样后，象素的数量大大减少，因此，系统时钟频率还不至于高得太离谱。对于本发明中的优选电路实现而言，在子采样时，相关采样作用不大，因而可以省 去。从而，上面的时序就简单很多。对于选定的象素采样次序，芯片总控制模块CC将相应地控制放大和模数转换模 块，色彩变换和子采样及图像处理模块，还有输出控制模块，以便对不同的色彩做不同的处 理。更详尽的介绍已经超出了本发明的范畴。现有的子采样方式主要是在相同色彩的象素间进行，而且主要采用的象素平均和 跳行或跳列的方式。这些方法，对于丰富多彩的双层或多层感光器件而言，就显得过于局限 和苍白无力。本发明提出的子采样方法，通过色彩空间变换的方式，即可以在相同色彩间进 行，也可在不同色彩间进行，也可混合进行(即部分在相同色彩间进行，部分在不同色彩间 进行)。此外，本发明提出的电荷相加的信号合并方式，只需将η个信号合并，就能达到接近 于η3个信号相加的效果。因而，本发明的子采样方法相比现有的子采样方法，将可具有更 好的图像质量，特别的，将本发明用于双层或多层感光器件的时候，就能产生不可胜数的简 单而又优秀的子采样方式。以上我们只是以单层和双层感光器件和少数3Τ/4Τ主动象素为例子，来说明本发 明的精髓和内容。这些具体的条件，并不是本发明的限制。相反，将本发明用于更为复杂的 设计，如5Τ/6Τ主动象素，或多层感光器件，其效果可能更为明显。
权利要求
一种多光谱感光器件，其特征在于，包括以行和列排列的象素阵列，以及第一合并单元，用于对所述象素阵列中的紧邻的同行异列、异行同列、或异行异列的象素间进行两两合并采样，获得第一合并象素的采样数据；第二合并单元，用于对第一合并单元得到的第一合并象素的采样数据进行合并采样，获得第二合并象素的采样数据。
2.如权利要求1所述的多光谱感光器件，其特征在于，还包括第三合并单元，，用于对 第二合并单元得到的第二合并象素的采样数据进行合并采样，获得第三合并象素的采样数 据。
3.如权利要求2所述的多光谱感光器件，其特征在于，所述第一合并单元或第二合并 单元的象素合并方式为相同或不同色彩象素间的电荷累加方式或两个不同色彩象素间的 信号平均方式，其中不同色彩象素间的象素合并方式遵照色彩空间变换的方式，以满足色 彩重建的要求。
4.如权利要求3所述的多光谱感光器件，其特征在于，所述电荷累加方式是在读取电 容(FD)中完成的。
5.如权利要求1至4任意一项所述的多光谱感光器件，其特征在于，所述第一合并单元 或第二合并单元的基于色彩的合并采样方式包括同色合并方式、异色合并方式、混杂合并 方式、或选择性抛弃多余色彩合并方式，且第一合并单元和第二合并单元采用的合并采样 方式不同时为同色合并方式。
6.如权利要求1至5任意一项所述的多光谱感光器件，其特征在于，所述第一合并单元 或第二合并单元的基于位置的合并采样方式包括以下几种方式中的至少一种直接输出到 总线的信号自动平均方式、跳行或跳列方式、和逐个采样方式。
7.如权利要求1至6任意一项所述的多光谱感光器件，其特征在于，所述第三合并采样 单元的合并采样方式包括色彩空间变换方式和后端数字图像缩放方式中的至少一种。
8.如权利要求1或7任意一项所述的多光谱感光器件，其特征在于，所述色彩空间变换 包括RGB到CyYeMgX空间的变换、RGB到YUV空间的变换，或CyYeMgX到YUV空间的变换、 其中X为R(红)、G(绿)、B(兰)中的任一种。
9.如权利要求1至8任意一项所述的多光谱感光器件，其特征在于，所述象素阵列由复 数个包含至少一个基本象素的宏象素组成，其中基本象素可以为被动象素或主动象素。
10.如权利要求9所述的多光谱感光器件，其特征在于，所述宏象素中的基本象素按方 阵或蜂窝排列。
11.如权利要求9或10所述的多光谱感光器件，其特征在于，所述宏象素的组成方式 包括以下组成方式至少一种不带读取电容(FD)的3T主动象素组成方式、带一个读取电容 (FD)的4T主动象素组成方式。
12.如权利要求11所述的多光谱感光器件，其特征在于，所述带一个读取电容(FD)的 4T主动象素，采用4点共享方式、6点共享方式、或8点共享方式。
13.如权利要求9所述的多光谱感光器件，其特征在于，所述宏象素包括如下的组成方 式由四个按方阵排列的基本象素和两个位于两行中间的不透光的读取电容(FD)组成，上 一行的象素与下一行的象素共用一个读取电容(FD)，两个读取电容(FD)之间可以实现电 荷转移，并且在至少一个读取电容上连接有读取电路。
14.根据权利要求9所述的多光谱感光器件，其特征在于，所述宏象素为带两点共享、 三点共享、或四点共享读取电容(FD)的3T或4T主动象素的基本象素组成，采用4点桥式 共享方式、6点桥式共享方式、或8点桥式共享方式。
15.根据权利要求1至14任意一项所述的多光谱感光器件，其特征在于，所述多光谱感 光器件的全图采样方式包括逐行扫描、逐行读取方式或逐行扫描、隔行或跨行读取方式。
16.一种多光谱感光器件的采样方法，其特征在于，包括第一合并过程，用于对所述象素阵列中的紧邻的同行异列、异行同列、或异行异列的象 素间进行两两合并采样，获得第一合并象素的采样数据；第二合并过程，用于对第一合并过程得到的第一合并象素的采样数据进行合并采样， 获得第二合并象素的采样数据。
17.如权利要求16所述的采样方法，其特征在于，还包括第三合并过程，用于对第二 合并过程得到的第二合并象素的采样数据进行合并采样，获得第三合并象素的采样数据。
18.如权利要求16或17所述的采样方法，其特征在于，所述第一合并过程或第二合并 过程的象素合并采样方式为相同或不同色彩象素间的电荷相加方式或不同色彩象素间的 信号平均方式，其中不同色彩象素间的象素合并方式遵照色彩空间变换的方式，以满足色 彩重建的要求。
19.如权利要求16至18任意一项所述的采样方法，其特征在于，所述第一过程或第二 合并过程的基于色彩的合并采样方式包括同色合并方式、异色合并方式、混杂合并方式、或 选择性抛弃多余色彩方式，且第一合并过程和第二合并过程中至少一个合并过程不是同色 合并方式。
20.如权利要求16至19任意一项所述的采样方法，其特征在于，所述第一合并过程或 第二合并采样过程的基于位置的合并采样方式包括以下几种方式中的至少一种直接输出 到总线的信号自动平均方式、跳行或跳列方式、和逐个采样方式。
21.如权利要求16至21任意一项所述的采样方法，其特征在于，所述第三合并采样过 程进行的合并采样方式包括色彩空间变换方式、后端数字图像缩放方式。
22.如权利要求18或21所述的采样方法，其特征在于，所述色彩空间变换包括RGB 到CyYeMgX空间的变换、RGB到YUV空间的变换、或CyYeMgX到YUV空间的变换、其中X为 R(红)、G(绿)、B(兰)中的任一种。
23.如权利要求18至22任意一项所述的采样方法，其特征在于，其全图采样的方式包 括逐行扫描、逐行读取方式或逐行扫描、隔行或跨行读取方式。
全文摘要
本发明涉及一种多光谱感光器件及其采样方法，所述方法包括第一合并过程，用于对所述像素阵列中的紧邻的同行异列、异行同列、或异行异列的像素间进行两两合并采样，获得第一合并像素的采样数据；第二合并过程，用于对第一合并过程得到的第一合并像素的采样数据进行合并采样，获得第二合并像素的采样数据；和第三合并过程，在数字空间用色彩变换和图像缩放的方法，获得第三合并像素的采样数据。本发明适用于单层彩色感光芯片，单面双层多光谱感光芯片，以及双面双层多光谱感光芯片的多像素共享读取和放大电路。本发明在吸收了现有像素读取电路的精髓的基础上，在原理，基础电路，和性能上，都有数量级的突破，并在实现高性能子采样的同时，简单直接地在感光器件上实现子采样图像的YUV格式输出。
文档编号H01L27/14GK101834974SQ200910105948
公开日2010年9月15日 申请日期2009年3月9日 优先权日2009年3月9日
发明者胡笑平 申请人:博立码杰通讯(深圳)有限公司