图像传感器的取样与读出的制作方法

专利名称：图像传感器的取样与读出的制作方法
技术领域：
一般来说，本发明涉及用于数码相机及其它图像捕获装置中的电子图像传感器， 且更特定来说涉及与电子图像传感器一同使用的取样与读出技术。
背景技术：
典型电子图像传感器包括布置为二维阵列的若干光敏图像元素(“像素”)。此一 图像传感器可经配置以通过在所述像素上方形成滤色器阵列(CFA)来产生彩色图像。在标 题为“色彩成像阵列(Color Imaging Array) ”的美国专利第3，971，065号中所揭示的CFA 图案的一个通常使用的类型是贝叶尔图案(Bayer pattern)，所述专利以引用方式并入本 文中。所述贝叶尔CFA图案为每一像素提供色彩光响应，所述色彩光响应展示对可见光谱 的三个指定部分中的一者的突出敏感性。举例来说，所述三个指定部分可以是红色、绿色及 蓝色，或青绿色、品红色及黄色。通常，给定CFA图案的特征为最小重复单位，所述最小重复 单位采用充当所述图案的基本构建块的连续像素的子阵列的形式。所述最小重复单位的多 个拷贝经并置以形成完整图案。使用具有贝叶尔CFA图案的图像传感器所捕获的图像在每一像素处仅具有一个 色值。因此，为产生全色彩图像，在每一像素处的缺失色值均从附近像素的色值而内插。此 项技术中已知众多此类内插技术。举例来说，参见标题为“单个传感器色彩电子相机中的 自适应色彩平面内插(Adaptive Color Plane Interpolation in Single Sensor Color Electronic Camera) ”的美国专利第5，652，621号，其以引用方式并入本文中。根据常规实践，具有贝叶尔CFA图案的图像传感器的像素的取样与读出将通常将 给定行中的全部像素取样到列电路中，且然后将在单个操作中从列电路读取整行像素。以 此方式进行取样与读出以保持读出数据中的贝叶尔CFA图案的像素次序。以引用方式并入本文中的标题为“具有经改善光敏感性的图像传感器(Image Sensor with Improved Light Sensitivity) ” 的美国专利申请公开案第 2007/0024931 号 揭示经改善的CFA图案，其中包含提供具有全色光响应的像素中的某些像素的图案。此类 图案在本文中通常也称为“稀疏”CFA图案。全色光响应具有比在所选色彩光响应组中所表 示的那些光谱敏感性更宽的光谱敏感性，且举例来说，可大致跨越整个可见光谱具有高敏 感性。配置有所述经改善的CFA图案的图像传感器展示较大光敏感性且因此尤其适合用于 涉及低场景照明、短暴光时间、小孔径或对到达图像传感器的光的量的其它限制的应用中。当应用于稀疏CFA图案时，例如上文在贝叶尔CFA图案的上下文中描述的取样与 读出技术等常规取样与读出技术可效率低下。因此，需要与稀疏CFA图案一同使用的经改 善的取样与读出技术。

发明内容
本发明的说明性实施例提供尤其适合与具有稀疏CFA图案的图像传感器一同使 用的取样与读出技术。
根据本发明的一个方面，图像传感器包括布置成若干行及若干列的像素阵列，其 中所述列被分为若干群组，每一群组包括共享共用输出的两个或两个以上列。所述图像传 感器进一步包括取样与读出电路，所述取样与读出电路针对所述像素阵列中的每一列群组 包含对应组的两个或两个以上列电路。所述取样与读出电路经配置以将每一列群组的所述 共用输出独立地取样到与所述群组相关联的所述列电路中的一者中，且将先前所取样的每 一列群组的所述共用输出读出到与所述群组相关联的所述列电路中的另一者中。举例来说，所述取样与读出电路可经配置以将所述列群组中的给定者的共用输出 取样到与所述给定群组相关联的多个列电路中的一者中，同时将先前所取样的所述给定群 组的共用输出读出到与所述给定群组相关联的多个列电路中的另一者中。在说明性实施例中的一者中，根据稀疏CFA图案色彩配置图像传感器的像素阵 列，所述稀疏CFA图案色彩具有包含多个单元的最小重复单位，每一单元包含多个相同色 彩像素及多个全色像素。举例来说，所述单元中的每一者可包括四个像素，其中两个是相对 于彼此成对角布置的相同色彩像素且另两个是相对于彼此成对角布置的全色像素。所述取 样与读出电路在此类型的实施例中可经配置以便使用与所述单元中的给定单元中的全色 像素不同的列电路来取样并读出所述给定单元中的色彩像素。 根据本发明的图像传感器可有利地实施于数码相机或其它类型的图像捕获装置 中，且显著促进图像产生及在各种各样的不同操作模式中的相关联的处理操作。举例来说， 所述操作模式可包含具有或不具有色彩重新分级(binning)的全分辨率模式、具有全色重 新分级及色彩重新分级的四分之一分辨率模式、双重取样模式、视频模式、快速自动聚焦模
Ipf绝绝 工、寸寸。


当结合以下说明及图式阅读时，本发明的上述及其它目标、特征及优点将变得更 为显而易见，其中在可能的情况下使用相同参考来指定与所述图式共用的相同特征，且其 中图1是数码相机的框图，其具有带有稀疏CFA图案的图像传感器且并入有根据本 发明的说明性实施例的取样与读出电路；图2是图1的数码相机的图像传感器中的像素阵列的一部分的一个可能实施方案 的示意图；图3显示包括用于取样并读出图2的像素阵列的列电路的取样与读出电路的一个 可能实施方案；且图4到13显示应用于本发明的说明性实施例中的图2的像素阵列的取样与读出 操作的实例。
具体实施例方式本文将结合图像捕获装置、图像传感器的特定实施例及相关联的取样与读出技术 图解说明本发明。然而，应理解，这些说明性布置仅以举例方式呈现，且不应视为以任何方 式限定本发明的范围。所属领域的技术人员将认识到，所述所揭示的布置可适于以直接方 式与各种各样的其它类型的图像捕获装置、图像传感器及相关联的取样与读出技术一同使
5
图1显示数码相机，其中在本发明的说明性实施例中实施取样与读出技术。在所 述数码相机中，将来自标的场景的光10输入到成像级11。成像级11包括透镜12、中性密 度(ND)滤光器13、光圈14及快门18。光10由透镜12聚焦以在图像传感器20上形成图 像。到达图像传感器20的光的量由光圈14、ND滤光器13及快门18打开的时间管制。图 像传感器20将入射光转换为每一像素的电信号。举例来说，图像传感器20可以是电荷耦 合装置(CCD)类型或主动像素传感器(APS)类型图像传感器，但其它类型的图像传感器也 可用于实施本发明。使用互补金属氧化物半导体(CMOS)工艺制作的APS类型图像传感器 通常称为CMOS图像传感器。图像传感器20通常具有根据稀疏CFA图案配置的色彩及全色 像素的二维阵列。可与图像传感器20 —起使用的稀疏CFA图案的实例包含上文引用的美 国专利申请公开案第2007/0024931号中所描述的那些CFA图案，但其它CFA图案可用于本 发明的其它实施例中。来自图像传感器20的模拟信号由模拟信号处理器22处理且施加到模数(A/D)转 换器24。时序产生器26产生各种时钟信号以选择像素阵列的特定行及列进行处理，且使 模拟信号处理器22与A/D转换器24的操作同步。图像传感器20、模拟信号处理器22、A/D 转换器24及时序产生器26共用形成数码相机的图像传感器级28。图像传感器级28的组 件可包括单独制作的集成电路，或其可制作为通常与CMOS图像传感器一起完成的单个集 成电路。A/D转换器24输出数字像素值流，所述数字像素值流经由总线30被供应到与数字 信号处理器(DSP) 36相关联的存储器32。存储器32可包括任何类型的存储器，举例来说， 例如同步动态随机存取存储器(SDRAM)。总线30为地址及数据信号提供信道且将DSP 36 连接到存储器32及A/D转换器24。DSP 36是数码相机的多个处理元件中的一者，所述处理元件被指示为共用包括处 理级38。处理级38的其它处理元件包含暴光控制器40及系统控制器50。虽然在多个处 理元件中间对数码相机功能控制的此划分是典型的，但可在不影响相机的功能操作及本发 明应用的情况下以各种方式组合这些元件。处理级38的处理元件中的给定处理元件可包 括一个或一个以上DSP装置、微控制器、可编程逻辑装置或其它数字逻辑电路。虽然在图式 中显示三个单独处理元件的组合，但替代实施例可将这些元件中的两个或两个以上元件的 功能性组合到单个处理器、控制器或其它处理元件中。本文所描述的取样与读出技术可至 少部分地以由一个或一个以上此类处理元件执行的软件的形式实施。如亮度传感器42所确定，暴光控制器40回应于场景中可用光的量的指示，且将适 当控制信号提供到成像级11的ND滤光器13、光圈14及快门18。系统控制器50经由总线52耦合到DSP 36且耦合到程序存储器54、系统存储器 56、主机接口 57及存储器卡接口 60。系统控制器50基于存储于程序存储器54中的一个或 一个以上软件程序控制数码相机的全部操作，程序存储器54可包括快闪电可擦除可编程 只读存储器(EEPROM)或其它非易失性存储器。此存储器也用于存储图像传感器校准数据、 用户设定选择及当关闭相机时必须保存的其它数据。系统控制器50通过以下方式来控制 图像捕获的序列引导暴光控制器40操作如先前所述的透镜12、ND滤光器13、光圈14及 快门18，引导时序产生器26操作图像传感器20及相关联元件，且引导DSP 36处理所捕获 的图像数据。
在所图解说明的实施例中，DSP 36根据存储于程序存储器54中且拷贝到存储器 32中以供在图像捕获期间执行的一个或一个以上软件程序来操控其存储器32中的数字图 像数据。在捕获且处理图像之后，存储于存储器32中的所得图像文件可(举例来说)经由 主机接口 57转移到外部主机计算机，经由存储器卡接口 60及存储器卡插孔62转移到可拆 卸式存储器卡64或为用户显示在图像显示器65上。图像显示器65通常是有源矩阵彩色 液晶显示器(LCD)，但可使用其它类型的显示器。数码相机进一步包括用户控制及包含取景器显示器70、暴光显示器72、用户输入 74及状态显示器76的用户控制与状态接口 68。此等元件可由在暴光控制器40及系统控 制器50上执行的软件程序的组合控制。用户输入74通常包含按钮、摇杆开关、操纵杆、旋 转刻度盘或触摸屏的某一组合。暴光控制器40操作光测量、暴光模式、自动聚焦及其它暴 光功能。系统控制器50管理呈现在所述显示器中的一个或一个以上显示器上(例如，在图 像显示器65上)的图形用户接口(GUI)。所述GUI通常包含用于做出各种选项选择的菜单 及用于检查所捕获图像的检视模式。可将经处理的图像拷贝到系统存储器56中的显示缓冲器中，且可经由视频编码 器80将其连续读出以产生视频信号。可直接将此信号从相机输出以显示在外部监视器上， 或由显示器控制器82处理且将其呈现在图像显示器65上。应了解，如图1中所示的数码相机可包括为所属领域的技术人员所熟知的类型的 额外或替代元件。本文中未明确显示或描述的元件可选自此项技术中已知的那些元件。如 先前所述，本发明可实施于各种各样其它类型的数码相机或图像捕获装置中。举例来说，可 将本发明实施于涉及移动电话及机动车辆的成像应用中。同样，如上文所提及，本文所描述 的实施例的某些方面可至少部分地以由图像捕获装置的一个或一个以上处理元件执行的 软件的形式实施。如所属领域的技术人员将了解，根据本文所提供的教示，可以直接方式实 施此种软件。图1中所示的图像传感器20包含制作于硅衬底上的光敏像素的二维阵列，其提供 将每一像素处的传入光转换为经测量电信号的方式。当传感器曝露于光时，可在每一像素 处的电子结构内产生并捕获自由电子。捕获这些自由电子持续一段时间且然后测量所捕获 的电子的数目或测量产生自由电子的速率允许测量每一像素处的光等级。在前者情况下， 累积电荷移位出像素阵列，到达如CCD型图像传感器中的电荷到电压测量电路，或靠近每 一像素的区域含有如APS型或CMOS图像传感器中的电荷到电压测量电路的元件。每当一般参考以下说明中的图像传感器时，均应理解为其表示图1的图像传感器 20。应进一步理解，此说明书中所揭示的本发明的图像传感器架构及像素图案的所有实例 及其等效物均用于图像传感器20。在图像传感器的上下文中，像素是指离散光感测区域及与所述光感测区域相关联 的电荷移位或电荷测量电路。在数字色彩图像的上下文中，术语像素通常是指图像中具有 相关联色值的特定位置。图2显示说明性实施例中的图1数码相机的图像传感器20中的像素阵列100的 一部分。像素阵列100的每一像素102包括光电二极管104及转移门(TG) 106。包括多个 晶体管的额外电路108由布置为2X2块的四个像素的子阵列共享。所述2X2像素块是在 本文中更通常称为“单元”的一个实例。存在与所述2X2像素单元中的每一者相关联的不同组的额外电路108。正如像素中的四者及其相关联四个TG共享额外电路108，此实施例 中像素阵列100的配置称为四晶体管、四共享(4T4S)布置。根据图像传感器20的指定稀 疏CFA图案，Btt邻阵列100中的像素102中的每一者的是对应色彩的指示符，其可以是红色 (R)、蓝色(B)、绿色(G)或全色(P)。用于本文所描述的说明性实施例中的特定稀疏CFA图 案是揭示于上文所引用美国专利申请公开案第2007/0024931号中的全色棋盘图案，但也 可使用众多其它CFA图案。 图2中所示的阵列100的部分包含四个行，每行八个像素，其中此部分的上部两行 在本文中称为蓝色/绿色行对，且下部两行在本文中称为红色/绿色行对。此特定CFA图 案中的最小重复单位是16个连续像素的子阵列，所述16个连续像素包括如图2中所示的 像素阵列100的所述部分的左半边或右半边。因此，所述最小重复单位包括如下布置为四 个四像素单元的16个像素ZPYP
PZPY
YPXP
PYPX其中P表示全色像素中的一者且X、Y及Z表示相应的色彩像素。在此特定实施例 中，x、Y及Z分别是红色、绿色及蓝色。或者，Χ、Υ及Z可以不同方式从红色、绿色及蓝色中 个别地选出，或从另一组色彩(例如青绿色、品红色及黄色)中个别地选出。可使用具有其 它最小重复单位的图案，例如如上文所引用美国专利申请公开案第2007/0024931号中所 描述的具有至少12个像素的最小重复单位。图2中所示的像素阵列100的所述部分中的所述列被分为若干群组，其中每一群 组包括所述列中的两者且共享共用输出。举例来说，阵列的左侧的前两列中的像素共享标 记为PixColciZ1的共用输出。类似地，阵列的下两列中的像素共享标记为PixCol2/3的共用输 出。剩余的两对列共享标记为PixCol4/5及PixCol6/7的相应共用输出。2X2像素单元中的 给定单元中的每一像素可经由与所述单元相关联的额外电路108连接到其共享共用输出。 此实施例中的额外电路108包括如图所示互连的三个N型金属氧化物半导体(NMOS)晶体 管。在其它实施例中，可使用不同类型的列分组、像素单元及共享输出以及用于将像素单元 连接到所述共享输出的电路。如图所示，图2中的像素阵列100的元件耦合到电源电压Vdd及衬底电压Vsnb0 施加到所述像素阵列的控制信号包含TG控制信号TG_P0、TG_C1、TG_C2及TG_P3，以及包含 行选择(RS)信号及复位栅极(RG)信号的额外控制信号。与这些信号相关联的下标N+1及 N是指所述阵列中的相应上部及下部行对。如下文将更详细描述，像素阵列100有利地经配置以准许相同色彩像素的重新分 级及全色像素的重新分级。如本文所用的术语“重新分级“通常是指在取样同一共用输出 之前同时将来自同一像素单元的两个或两个以上像素连接到所述输出。图3图解说明包括列电路110的例示性取样与读出电路，所述列电路经配置以用 于取样并读出特定列对且位于像素阵列100的底部。在此实例中，每两列像素具有一个列 输出。列电路110包括取样与保持开关112、列电路电容器114及列输出开关116。控制开 关112的信号SHx_E及SHx_0为偶数(E)及奇数(0)像素列提供取样与保持，其中χ = R表示复位且X = S表示信号。此实施例中的取样与读出电路进一步包括顶部列电路，所述 顶部列电路以类似于底部列电路110的方式配置于像素阵列100的顶部，但所述图式中未 显示。举例来说，结合图4，本文将更具体地将以图3所图解说明的方式配置的顶部及底部 列电路分别标记为顶部及底部列电路IlOT及110B。如图3中所示的共享共用输出PixColciZ1至？^&)114/15耦合到列电路组no的相 应列电路中。通常，每一此共享共用输出耦合到本实施例中的两个不同列电路，其中所述列 电路中的一者是顶部列电路且所述列电路中的另一者是底部列电路。因此，在此实施例中， 与两个列的给定群组相关联的所述两个列电路在像素阵列100的相对侧上。同样，图3中 仅显示在像素阵列底部的那些列电路。在其它实施例中，所述两个共享列电路两者可在像 素阵列的相同侧上。图3图表中所示的其它信号包含那些所标记的电压输出信号(VSIG)及电压输出 复位(VRST)以及解码信号DECk到DECκ+7，其中所述解码信号中的一者与每一列电路相关 联。此实施例中的每一列电路包括一对电容器及相关联的开关。打算对用于本文中的术语“取样与读出电路”作出一般解释以(举例来说)不仅 囊括例如图3中所示的彼等列电路的列电路，而且囊括与像素阵列100相关联的其它相关 切换元件，例如额外电路108。因此，给定实施例中的取样与读出电路可囊括与所述像素阵 列整体形成的开关或其它元件。举例来说，如在CMOS图像传感器的情况下，取样与读出电 路通常实施于传感器阵列20内。现在将参考图4到13的图表更详细描述实施于所述说明性实施例中的取样与读 出操作的实例。图4到13中所示的实例中的每一者利用图2中所示的像素阵列100的相 同四行部分。应了解，可配置本发明的给定实施例以支持将描述的所有各种实例、这些实例 中的仅一者或一者以上的子组或其一个或一个以上变形。因此，将描述的实例中的每一者 可视为实施于图1的数码相机中的给定组的取样与读出电路的特定操作模式。图4大体图解说明将用于描述剩余图式的取样与读出操作的图表惯例。所述图式 中显示根据上述全色棋盘CFA图案配置的像素阵列100的一部分。如在图2中，虽然应理 解阵列的剩余部分的取样与读出操作是以类似方式实施的，但图4中所示的阵列的特定部 分包括四个行，每一行八个像素。假定像素阵列以结合图2所描述的4T4S布置来配置，且 假定如图3中所示配置其相关联取样与读出电路。阵列左侧的文本(“C2”)识别结合共 享像素的给定2X2子阵列的取样操作启动的一个或一个以上TG。所述图式左侧的“TG布 置”图表显示TG与2X2子阵列中的像素之间的关系，其中标记为Cl及C2的TG表示两个 相同色彩的像素且标记为PO及P3的TG表示两个全色像素。从像素阵列100伸出的垂直箭头显示到顶部列电路或底部列电路中的取样操作。 注意，所述取样箭头反映如下事实每两个列仅有一个像素输出线，但每一像素输出线可由 顶部及底部列电路取样。垂直箭头左侧的文本(“取样偶数”或“取样奇数”)指示哪些列 电路正受到取样操作的影响。顶部及底部列电路IlOT及IlOB分别由在像素阵列100的顶部及底部的矩形显 示。矩形中的命名以T或B指示顶部或底部且包含读出地址的编号。从列电路伸出的右指 箭头指示正读出哪些列电路。按顺序读取所述列电路。位于右指箭头左侧的文本(“读出 奇数”或“读出偶数”)指示将要读取哪些列电路地址，其中，如上所述，所述地址由列电路矩形中的编号标记。术语“排”用于指代读出单位，也就是说，在给定读出操作中读出的一组像素。因 此，如图4中所示的“排0”表示由序列B0、Tl、B2及T3给出的读出单位。在此图式中，仅 自顶部列电路IlOT读出奇数地址，而仅自底部列电路IlOB读出偶数地址。同样，应注意， 排0提供如阵列中的给定行中含有的像素(在此情况下是8个)的一半(在此情况下是4 个)一样多的读出。虽然在此图式中显示同时的取样与读出操作，但此一布置并非是本发 明的要求。图5A及5B显示两个不同的排序列，标记为选项1及选项2，其用于以全分辨率且 在不具有色彩重新分级的情况下取样与读出像素阵列100的四行部分。显然，要求标记为 排O到排7的八个排读出所述两个不同选项中的每一者中的四个行。图6A及6B显示两个不同的排序列，同样标记为选项1及选项2，其用于以全分辨 率且在重新分级色彩的情况下取样与读出像素阵列100的四行部分，以改善信噪比(SNR) 且改善帧速率。注意，在此实例中需要六个排来读出所述四个行。在图6的两个选项中，前四排是相同的。然而，在选项2中，排4及5中的全色像 素的取样与读出次序与用于选项1中的相反。不管给定的此全色像素是来自蓝/绿行对还 是绿/红行对，此第二选项确保使用相同输出信道读取每一 2 X 2像素单元中的相同相对位 置中的全色像素。举例来说，参照图6A可看出，将输出信道TO用于排1中以读出2X2像 素单元中的一者中的左下部全色像素600，而将输出信道BO用于排4中以读出另一 2X2 像素单元中的左下部全色像素602。因此，在图6A中，使用不同列电路读出不同2X2像素 单元中的相同相对位置中的全色像素。图6B的取样与读出布置解决此问题。举例来说，从 此图式可看出，现在使用列电路TO读出分别在排1及排5的左下部的两个全色像素600及 602。此种布置在其中顶部与底部列电路之间存在差异的原本将需要增益校正或另一类型 的调整的实施例中是优选的。图7显示像素阵列100(左表)的四行部分中的像素行与从所述阵列读出的输出 排之间的关系，所述输出排是以全分辨率读出使用未经重新分级的色彩像素(中间表)及 经重新分级的色彩像素(右表)两者而从所述阵列读出。中间表及右表分别对应于图5B 中的表“全分辨率未经重新分级的色彩(选项2) ”及图6B中的“全分辨率经重新分级的色 彩(选项2)”。在所述阵列的四行部分中从底部向顶部读出，其中所述像素由其后跟随有编 号ij的色彩R、B、G或P标记，其中第一个数字i标记行(i =0、1、2或3)且第二个数字j 标记列(j = 0、1、2、. . · 7)。如先前所提及，术语“排”用于指示读出单位。自图7可显而易见，当使用未经重 新分级的色彩(中间表)时需要两个排来读出一个全分辨率行，其中一个排包括来自所述 行的所有色彩像素且另一排包括来自所述行的所有全色像素。类似地，当使用经重新分级 的色彩(右表)时需要三个排来读出两个全分辨率行，其中一个排包括来自所述两个行的 经重新分级的色彩像素，一个排包括来自一个行的所有全色像素，且剩余的排包括来自另 一行的所有全色像素。现在参照图8，显示一序列排，其用于以全分辨率在有色彩重新分级及双重取样的 情况下取样与读出像素阵列100的四行部分。此例示性超取样布置以帧速率减小的代价提 供进一步的SNR改善。虽然图式中仅显示绿/红行对(即，阵列的四行部分的下部两行)的取样与读出，但应理解，与红/绿行对相同地读出绿/蓝行对(即，阵列的四行部分的上部 两个行)。同样，在此实例中取样与读出并非是同时进行的，也就是说，其在单独时间发生。图9A及9B显示两个不同的排序列，标记为选项1及选项2，其用于以四分一分辨 率且在有色彩及全色像素的单独重新分级的情况下取样与读出像素阵列100的四行部分， 以改善SNR且改善帧速率。需要标记为排0到排3的四个排来读出所述两个不同选项中的 每一者中的四个行。在如图9A中所示的选项1中，使用顶部及底部两种列电路读出绿色像 素。如先前所指示，此类型的情形在其中顶部与底部列电路之间存在差异的实施方案中可 是不期望的。图9B中所示的取样与读出布置通过确保使用阵列的一个侧上的列电路(即， 此实例中的顶部列电路)读出所有绿色像素而解决此问题。此消除绿色响应中原本将因从 阵列的顶部及底部两者上的列电路读出绿色像素对而导致的任何差异。图10显示排序列，其用于以四分之一分辨率在有色彩与全色像素的单独重新分 级且有双重取样的情况下取样与读出像素阵列100的四行部分，从而以帧速率减小的代价 提供进一步的SNR改善。如在图8的实例中，仅针对绿/红行对显示图10中的取样与读出， 但应理解，与红/绿行对相同地读出绿/蓝行对。同样，在此实例中取样与读出同样并非是 同时进行的。图11显示像素阵列100的四行部分的四分之一分辨率视频取样与读出的三个不 同排序列。所有这些序列提供与如果使用贝叶尔CFA图案则将提供的输出一致的输出。三 个序列之间的差异与将多少全色像素与色彩像素一起包含在所重新分级的结果中相关。将 全色像素与色彩像素包含在一起增加全色速度但降低色彩饱和度。图11的顶部图表显示 唯色彩情况，中间图表显示将一个全色像素用于每一对相同色彩像素的中间去饱和情况， 且底部图表显示将两个全色像素用于每一对相同色彩像素的较高去饱和情况。现在转向图12，显示像素阵列100的四行部分的四分之一分辨率视频取样与读出 的另一排序列。在此序列中，使用双重取样来以帧速率减小的代价提供SNR改善。如在图 11的实例中，类似序列可用于经去饱和的视频，在所述经去饱和的视频中一个或两个全色 像素与每一对相同色彩像素重新分级在一起。图13显示用于取样与读出像素阵列100的四行部分的两个不同的排序列，其在快 速自动聚焦应用中特别有用。上部图表显示具有全色像素重新分级的布置，而下部图表显 示具有色彩像素重新分级的布置及与贝叶尔CFA图案一致的输出。在两种情况下均存在侵 略性垂直次取样(即，自每3个行对中取出1个行对)，其可减少将读取的数据的量且增加 帧速率。两种情况中的相对高的水平取样频率允许良好的焦点确定。所述全色情况将具有 最好的照相敏感性，假定高帧速率将限制暴光时间那么此是重要考虑因素。所述Bayer输 出情况将允许数据用于预览及视频两种目的以及用于确定焦点。说明性实施例的取样与读出布置有利地允许将来自给定行对的色彩像素与全色 像素分开读出。其中两列像素共享共用输出的图2的例示性2X2像素布置意味着需要两 个取样操作来从给定行中存取所有像素。借助稀疏CFA图案(例如用于上文说明性实施例 中的全色棋盘图案)，可通过与全色像素分开读出色彩像素以避免随后在存储器中将其分 开而获得经改善的性能。另外，上述技术允许半行像素(例如，全色像素或色彩像素)的取 样与先前取样的半行像素的读出同时进行，从而有效地消除取样时间的额外负担。另一优 点是，所描述的技术允许一对相同色彩像素或一对全色像素在读出之前在电荷域中组合，从而改善SNR且减少读出时间。举例来说，所述技术中的某些技术对每一行对仅需要三个 取样与读出操作，两个用于全色像素且一个用于经重新分级的色彩像素。所述说明性实施例清楚地描述以下内容本文中所描述的取样与读出技术具高度 灵活性，且在各种各样的应用中提供经改善的性能，其中包含涉及双重取样(即，以读出时 间为代价改善SNR的超取样)、视频及自动聚焦的操作模式。取决于捕获条件、最终用户偏 好或其它因素，可使得这些及其它额外操作模式在给定图像捕获装置中可选择。尽管已特别参照本发明的某些说明性实施例详细描述了本发明，但应理解，可在 如所附权利要求书中所述的本发明范围内实现若干变化及修改。举例来说，包含其图像传 感器及相关联的取样与读出电路的图像捕获装置的特定配置在替代实施例中可不同。同 样，例如所使用的特定类型的CFA图案、像素阵列与列电路的配置及取样与读出操作的排 序列等特征在其它实施例中可被更改以适应其它图像捕获装置及操作模式的需要。所属领 域的技术人员将易于明了这些及其它替代实施例。部件列表10标的场景的光11成像级12 透镜13中性密度滤光器14 光圈I8 快门20图像传感器22模拟信号处理器24模数(A/D)转换器26时序产生器28图像传感器级30数字信号处理器32数字信号处理器36数字信号处理器38处理级40暴光控制器42亮度传感器50系统控制器部件列表(续表)52 总线54程序存储器56系统存储器57主机接口60存储器卡接口62存储器卡插孔64存储器卡
(DSP)总线 (DSP)存储器 (DSP)
65图像显示器
68用户控制与状态接口
70取景器显示器
72暴光显不器
74用户输入
76状态显示器
80视频编码器
82显示器控制器
100像素阵列
102像素
104光电二极管
106转移门(TG)
108额外电路
110列电路
IlOT顶部列电路
IlOB底部列电路
112取样与保持开关
114列电路电容器
116列输出开关
600左下部全色像素
602左下部全色像素
权利要求
一种图像传感器，其包括布置成行及列的像素阵列，所述列被分为若干群组，每一群组包括多个所述列且共享共用输出；及取样与读出电路，其针对所述像素阵列中的每一列群组包括对应的多个列电路，所述取样与读出电路经配置以独立地将每一列群组的所述共用输出取样到与所述群组相关联的所述多个列电路中的一者中，且将先前所取样的每一列群组的所述共用输出读出到与所述群组相关联的所述多个列电路中的另一者中。
2.如权利要求1所述的图像传感器，其中所述图像传感器包括CMOS图像传感器。
3.如权利要求1所述的图像传感器，其中每一群组的所述多个列电路包括布置于所述 像素阵列的第一侧上的第一列电路及布置于所述像素阵列的第二侧上的第二列电路。
4.如权利要求1所述的图像传感器，其中每一群组的所述多个列电路包括两者均布置 于所述像素阵列的一个侧上的第一及第二列电路。
5.如权利要求1所述的图像传感器，其中所述取样与读出电路经配置以将所述列群组 中的给定列群组的所述共用输出取样到与所述给定群组相关联的所述多个列电路中的一 者中，同时将先前所取样的所述给定群组的所述共用输出读出到与所述给定群组相关联的 所述多个列电路中的另一者中。
6.如权利要求1所述的图像传感器，其中所述像素阵列经配置以提供所述列群组中的 给定列群组中的所述像素中的一个或一个以上像素到对应的共享共用输出的可控制连接。
7.如权利要求1所述的图像传感器，其中所述像素阵列是根据稀疏滤色器阵列图案配 置的。
8.如权利要求7所述的图像传感器，其中根据所述稀疏滤色器阵列图案配置的所述像 素阵列具有包含至少十二个像素的最小重复单位，所述最小重复单位具有多个单元，其中 每一单元具有多个相同色彩像素及多个全色像素。
9.如权利要求8所述的图像传感器，其中所述单元中的每一者包括四个像素，其中所 述多个相同色彩像素相对于彼此成对角地布置且所述多个全色像素相对于彼此成对角地 布置。
10.如权利要求9所述的图像传感器，其中所述最小重复单位包括如下布置于四个四 像素单元中的十六个像素ZPYP PZPY YPXP PYPX其中P表示所述全色像素中的一者且X、Y及Z表示相应的色彩像素。
11.如权利要求10所述的图像传感器，其中X、Y及Z是从红色、绿色及蓝色中个别地 选出的。
12.如权利要求11所述的图像传感器，其中X、Y及Z分别为红色、绿色及蓝色。
13.如权利要求10所述的图像传感器，其中X、Y及Z是从青绿色、品红色及黄色中个 别地选出的。
14.如权利要求11所述的图像传感器，其中X、Y及Z分别为青绿色、品红色及黄色。
15.如权利要求7所述的图像传感器，其中所述取样与读出电路经配置以便使用与所 述单元中的给定单元中的所述全色像素不同的列电路来取样与读出所述给定单元中的所 述色彩像素。
16.如权利要求7所述的图像传感器，其中所述取样与读出电路经配置以便将所述行 中的给定行中的全色像素取样到所述列电路中的特定电路中，同时将所述行中的色彩像素 从所述列电路中的其它列电路中读出。
17.如权利要求7所述的图像传感器，其中所述单元中的给定单元中的相同色彩像素 一起被取样到与包含那些相同色彩像素的所述列群组相关联的相同列电路中。
18.如权利要求7所述的图像传感器，其中所述取样与读出电路可配置成多种操作模 式，包含下列模式中的一者或一者以上不具有相同色彩像素的重新分级的全分辨率模式；具有相同色彩像素的重新分级的全分辨率模式；具有相同色彩像素的重新分级及双重取样的全分辨率模式；具有全色及相同色彩像素的重新分级的四分之一分辨率模式；具有全色及相同色彩像素的重新分级及双重取样的四分之一分辨率模式；不具有去饱和的四分之一分辨率视频模式；具有去饱和的四分之一分辨率视频模式；具有双重取样的四分之一分辨率视频模式；具有全色像素的重新分级的快速自动聚焦模式；及具有色彩像素的重新分级的快速自动聚焦模式。
19. 一种数字成像装置，其包括 图像传感器；及一个或一个以上处理元件，其经配置以处理所述图像传感器的输出以产生数字图像； 其中所述图像传感器包括布置成行及列的像素阵列，所述列被分为若干群组，每一群组包括多个所述列且共享 共用输出；及取样与读出电路，其针对所述像素阵列中的每一列群组包括对应的多个列电路，所述 取样与读出电路经配置以独立地将每一列群组的所述共用输出取样到与所述群组相关联 的所述多个列电路中的一者中，且将先前所取样的每一列群组的所述共用输出读出到与所 述群组相关联的所述多个列电路中的另一者中。
20.如权利要求19所述的数字成像装置，其中所述数字成像装置包括数码相机。
全文摘要
本发明揭示一种CMOS图像传感器或其它类型的图像传感器，其包括布置成行及列的像素阵列，其中所述列被分为若干群组，每一群组包括共享共用输出(共用垂直输出排)的两个或两个以上列。所述图像传感器进一步包括取样与读出电路，所述取样与读出电路针对所述像素阵列中的每一列群组包含对应组的两个或两个以上列电路。所述取样与读出电路经配置以独立地将每一列群组的所述共用输出取样到与所述群组相关联的所述列电路中的一者中，且将先前所取样的每一列群组的所述共用输出读出到与所述群组相关联的所述列电路中的另一者中。所述图像传感器可实施于数码相机或其它类型的图像捕获装置中。
文档编号H04N5/335GK101926162SQ200980103262
公开日2010年12月22日 申请日期2009年1月28日 优先权日2008年2月1日
发明者约翰·富兰克林·小汉密尔顿, 约翰·托马斯·康普顿 申请人:柯达公司