在产生数字图像时曝光像素组的制作方法

在产生数字图像时曝光像素组的制作方法
【专利摘要】本发明公开了在产生数字图像时曝光像素组。本发明揭示一种用于从由图像传感器阵列所捕捉的像素信号产生数字图像的方法。该方法包含：提供具有至少两组像素之一图像传感器阵列，其中各组的像素被均匀地分布在传感器上；将该图像传感器阵列曝光于场景光并仅从第一组像素读取像素电荷以产生第一像素信号集合；在产生该第一像素信号集合之后，使图像传感器阵列曝光，然后从第二组像素读取像素电荷且再次从该第一组读取像素以产生第二像素信号集合；以及使用第一像素信号集合和第二像素信号集合来产生数字图像。
【专利说明】在产生数字图像时曝光像素组
[0001] 本发明专利申请是国际申请号为PCT/US2010/000942,国际申请日为2010年3月 30日，进入中国国家阶段的申请号为201080015712. 0,名称为"在产生数字图像时曝光像 素组"的发明专利申请的分案申请。

【技术领域】
[0002] 本发明涉及一种使用二维图像传感器阵列进行多次曝光和读出来产生数字图像 的图像捕捉装置。

【背景技术】
[0003] 在数字成像中，期望捕捉具有高图像品质、高空间分辨率和高时间分辨率（亦称 为帧速率）的图像序列。然而，使用许多当前的图像序列捕捉装置不可能获得这种高品质 图像序列。在许多情况下，所期望的图像序列属性之一是以（牺牲）其他图像序列属性为 代价来获得的。例如，在公知的图像序列捕捉装置中，给定图像的曝光持续时间受限于帧速 率。帧速率越高，各图像曝光必然越短。在弱光环境中，图像序列内的个别图像捕捉可接收 不充足的光并产生有噪声图像。藉由对各图像利用较长的曝光持续时间可改良给定图像关 于噪声的品质，但这是以较低帧速率为代价的。或者，藉由通过像元合并（binning)技术组 合若干像素可改良关于噪声的图像品质，然而此改良是以较低空间分辨率为代价的。在许 多情况下，图像序列的空间和时间分辨率受传感器的读出能力所限制。传感器每秒能够读 取一定数目的像素。此读出能力在读出的空间与时间分辨率之间达到平衡。增加一个分辨 率必须以另一分辨率为代价，以将所读取像素的总数目保持在传感器的可达到范围之内。
[0004] 已经提出许多解决方案以允许数字图像序列捕捉装置捕捉具有改良的品质和分 辨率的图像序列。减少数字图像序列中的噪声的一种方法为通过时间噪声清除。美国专利 No. 7, 330, 218中给出这种技术的一示例。时间噪声减少技术利用邻近图像之间的高度时 间关联以实现噪声减少。在静态场景中，可在连续图像中获得相同图像场景内容的多次读 出，从而允许有效的噪声减少。时间噪声减少的缺点包含缓冲多个图像的存储器需要以及 过滤这些图像的计算需要，尤其在运动估计和补偿被用来对齐局域或全域运动区域的情况 下。另外，时间噪声减少丝毫未改良图像序列的空间或时间分辨率。
[0005] 改良时间分辨率的一种方法为时间帧内插。然而，本领域技术人员将理解，这种技 术是计算复杂、存储器密集的且经常在经内插帧中产生伪像。
[0006] 改良图像序列的空间分辨率的一种方法为通过超级分辨率技术。美国专利 No. 7, 215, 831和7, 379, 612中提供超级分辨率算法的示例。视频超级分辨率技术使用邻近 帧来估计各高分辨率视频帧。空间视频超级分辨率的缺点包含计算复杂性和存储器需求。 空间超级分辨率算法亦难以处理动态场景。
[0007] 改良数字图像序列的品质的另一种方法为通过使用双传感器相机。题为"Digital Camera Using Multiple Image Sensors to Provide Improved Temporal Sampling〃（使 用多个图像传感器来提高改良时间采样）的美国专利申请No. 2008/0211941中提出这种系 统。藉由交错双传感器的曝光可实现改良的时间分辨率。藉由使两个传感器同等地曝光然 后组合所得的图像，改良的图像品质和噪声减少是可能的。此解决方案的缺点包含与双传 感器相机相关联的成本。另外，在双透镜装置中，需要空间对齐从不同透镜系统捕捉的图 像。
[0008] 改良空间分辨率的另一种方法是藉由捕捉断续的高分辨率图像连同低分辨率图 像序列，然后进行处理）以从聚合数据产生整个高分辨率图像序列。这种解决方案的示例 为美国专利No. 7, 110, 025和7, 372, 504。此解决方案的缺点包含在某些情况下需要附加传 感器及其他硬件来捕捉高分辨率图像而不中断图像序列捕捉过程。其他缺点包含取决于在 产生最终高分辨率图像序列时这些高分辨率图像的频率和使用率，需要缓冲多个图像。
[0009] 用于改良图像序列的品质的另一种方法为通过使用具有改良的光灵敏度的图 像传感器。如美国专利No. 3, 971，065中所描述的，许多图像传感器使用排列为熟悉的 拜耳（Bayer)图案的红色、绿色和蓝色滤光片的组合。作为用于改良在变化的光条件 下的图像捕捉且用于改良成像传感器的整体灵敏度的解决方案，已经揭示对该熟悉拜 耳图案的若干修改。例如，Hamilton等人的题为"Capturing Images Under Varying Lighting Conditions"（在变化照明条件下捕捉图像）的共同受让美国专利申请公 开 No. 2007/0046807 及 Compton 等人的题为 "Image Sensor with Improved Light Sensitivity"（具有改进光灵敏性的图像传感器）的美国专利申请公开No. 2007/0024931 两者描述以某种方式交错组合彩色滤光片与全色滤光片元件的替代传感器配置。在此类型 解决方案的情况下，图像传感器的某部分检测色彩，其他全色部分被最优化以针对改良的 动态范围和灵敏度检测横跨可见频带的光。这种解决方案由此提供像素图案，某些像素具 有彩色滤光片（提供窄频带光谱响应）而某些像素没有彩色滤光片（未经过滤的像素或经 过滤以提供宽频带光谱响应的像素）。
[0010] 使用窄光谱频带像素响应和宽光频谱带像素响应两者的组合，图像传感器可在较 低光能级下使用或提供较短的曝光持续时间。参见Sato等人在美国专利No. 4, 390, 895、 Yamagami等人在美国专利No. 5, 323, 233及Gindele等人在美国专利No. 6, 476, 865中发热 内容。这种传感器可在低光能级下提供改良的图像品质，但是需要附加的技术来解决对于 产生具有改良的空间和时间分辨率的图像序列的需要。
[0011] 在数字成像中，亦期望捕捉具有高动态范围的图像序列。在摄影及成像中，在照度 表达为坎德拉/平方米（cd/m2)的情况下，动态范围表示两个照度值的比率。人类视觉可处 置的照度范围相当大。虽然星光的照度为大约0. OOlcd/m2,但是阳光照射的场景的照度为 大约100, OOOcd/m2,其比前者高一亿倍。太阳自身的照度为大约1，000, 000, OOOcd/m2。人 眼可容纳单一视图中的大约1〇,〇〇〇:1的动态范围。相机的动态范围被定义为刚好使相机 饱和的强度与刚好使相机响应提升高于相机噪声一个标准差的强度的比率。在今日的大多 数商用传感器中，像素的最大信噪比大约为100:1。此继而表示像素的最大动态范围。
[0012] 因为大多数数码相机仅能够捕捉有限的动态范围（曝光设定确定将捕捉整个动 态范围的哪部分），所以高动态范围图像通常从在不同曝光程度下进行的对相同场景的若 干捕捉建立。对于排除太阳的大多数白天室外场景，由两个曝光值间隔开的三个曝光经常 足以适当地覆盖该动态范围。然而，此方法需要在系列中的捕捉之间不变化的场景。
[0013] Jones (US6, 924, 841B2)揭示一种用于藉由拥有具有不同灵敏度的两组像素来扩 展传感器的动态范围的方法。然而，Jones需要第一组像素的灵敏度与第二组像素的灵敏 度重迭以具有某一共同动态范围。此方法是不合需要的，因为不会提供对于现实世界场景 的实质动态范围。该方法还需要具有不同灵敏度的像素的专用传感器。
[0014] Kindt等人在美国专利No. 6, 348, 681中揭示一种用于设定若干断点而使传感器 实现用户所选的分段线性传递函数的方法及电路。
[0015] Ando等人在美国专利No. 7, 446, 812中揭示一种在相同帧期间使用双重积分周期 及读出以增加捕捉的动态范围的方法。此方法不利用到达传感器的每个光子，因为在读出 具有较短积分时间的像素与具有较长积分时间的像素的时间之间，具有较短积分时间的像 素不会捕捉光子。
[0016] 因此，存在以下的需要：产生具有改良的图像品质、空间分辨率和时间分辨率的数 字图像序列，而不产生空间或时间伪像且不需大量存储器成本、计算成本或硬件成本。
[0017] 亦存在以下的需要：从图像传感器产生高动态范围图像而基本上无需增加传感器 中各个像素的复杂性或成分。


【发明内容】

[0018] 本发明的目的为从图像传感器阵列所捕捉的像素信号产生数字图像。该目的藉由 一种用于从图像传感器阵列所捕捉的像素信号产生数字图像的方法来实现。该方法包括下 列步骤：
[0019] a)提供具有至少两组像素的图像传感器阵列，其中任一组像素的数目具有不少于 整个传感器的产生数字图像的部分的像素的数目的四分之一，且其中各组像素均匀地分布 在传感器上；
[0020] b)将图像传感器阵列曝光于场景光并仅从第一组像素读取像素电荷以产生第一 像素信号集合；
[0021] c)在产生第一像素信号集合之后，使图像传感器阵列曝光，然后从第二组像素读 取像素电荷且再次从第一组读取像素以产生第二像素信号集合；及
[0022] d)使用第一像素信号集合和第二像素信号集合来产生数字图像。
[0023] 本发明的一个优点在于可产生具有增加的空间分辨率、时间分辨率和图像品质的 色彩图像序列而无需附加的透镜及图像传感器阵列。
[0024] 本发明的另一优点在于可产生具有增加的空间分辨率、时间分辨率和图像品质的 色彩图像序列而无需计算复杂和存储器密集的算法。
[0025] 本发明的另一优点在于可产生具有低空间分辨率、高时间分辨率、彩色图像的序 列与具有高空间分辨率、低时间分辨率、彩色图像的序列的若干组合而无需附加的透镜及 图像传感器阵列。
[0026] 本发明的另一优点在于可产生经扩展的动态范围图像而无需附加的透镜及图像 传感器阵列。
[0027] 本发明的另一优点在于可使用较低缓冲且无需计算复杂和存储器密集的算法而 产生经扩展的动态范围图像。
[0028] 从对较佳实施例的下列详细描述及所附权利要求的审查并参考附图，将更清楚地 理解并了解本发明的此种及其他方面、目的、特征及优点。
[0029] 附图简单说明
[0030] 图1为常规静态数码相机系统的框图，该常规静态数码相机系统可使用常规传感 器及处理方法或本发明的传感器及处理方法；
[0031] 图2(现有技术）为示出最小重复单元和非最小重复单元的常规拜耳彩色滤光片 的阵列图案；
[0032] 图3A及图3B(现有技术）示出在各种光条件下的卷动快门操作的时序图；
[0033] 图4 (现有技术）提供红色、绿色及蓝色像素的代表性光谱量子效率曲线以及较宽 光谱全色量子效率曲线，全部乘以红外光截止滤光片的透射特性；
[0034] 图5绘示本发明一实施例的时序图；
[0035] 图6为示出本发明一实施例的流程图；
[0036] 图7(现有技术）为示出含有全色和色彩像素的示例彩色滤光片阵列图案的示 图；
[0037] 图8(现有技术）为示出如何可使邻近行中的像素像元合并在一起从而共享相同 浮动扩散组件的示意图；
[0038] 图9为示出本发明一实施例中对全色和色彩像素的卷动快门操作的时序图；
[0039] 图10为示出从全色像素的读出以及从经像元合并的全色像素和经像元合并的色 彩像素的读出产生处于近似传感器的空间分辨率下的数字图像的示图；
[0040] 图11为示出从全色像素的读出以及从经像元合并的全色像素和经像元合并的色 彩像素的读出产生处于近似传感器的一半水平空间分辨率和一半垂直空间分辨率下的数 字图像的不图；
[0041] 图12为示出从全色像素的读出以及从经像元合并的全色像素和经像元合并的色 彩像素的读出产生处于近似传感器的一半水平空间分辨率和一半垂直空间分辨率下的数 字图像，以及处于近似传感器的空间分辨率下的数字图像的示图；
[0042] 图13为示出产生残留图像的流程图；
[0043] 图14为示出从经像元合并的全色像素的读出以及从经像元合并在一起的全色和 色彩像素的读出产生处于近似传感器的一半水平空间分辨率和一半垂直空间分辨率下的 数字图像的示图；
[0044] 图15为示出含有全色像素的示例彩色滤光片阵列图案的示图；
[0045] 图16为示出从全色像素的读出产生数字图像的示图；
[0046] 图17为示出含有全色像素的示例滤光片阵列图案的示图；
[0047] 图18为示出产生本发明的经扩展动态范围实施例中的全色像素的数字图像的示 图；
[0048] 图19为示出含有全色像素和色彩像素的示例滤光片阵列图案的示图；以及
[0049] 图20为示出本发明一实施例中对于全色像素的卷动快门操作的时序图。
[0050] 实施方式
[0051] 因为使用成像装置和相关电路来进行信号捕捉和校正且用于曝光控制的数码相 机是为人熟知的，所以本描述将具体涉及形成根据本发明的方法及装置的部分或更直接地 与根据本发明的方法及装置协作的元件。本文未具体示出或描述的元件选自本领域中已知 的元件。待描述的实施例的某些方面以软件提供。给出如在下列材料中根据本发明所示出 并描述的系统，本文未具体示出、描述或建议而对于本发明的实施方案有用的软件是常规 的且在本领域一般技术范围内。
[0052] 现在转到图1，其示出作为体现本发明的数码相机而示出的图像捕捉装置的框图。 虽然现在将解释数码相机，但是本发明显然适用于其他类型的图像捕捉装置，比如包含在 非相机装置（诸如移动电话及机动车）中的成像子系统。将来自主体场景的光10输入至 成像级11，其中藉由透镜12聚焦该光以在固态图像传感器20上形成图像。图像传感器20 藉由对各图像元素（像素）积分电荷而将入射光转换为电信号。较佳实施例的图像传感器 20为电荷耦合装置（CXD)类型或有源像素传感器（APS)类型。（APS装置通常称为CMOS传 感器，因为在互补金属氧化物半导体（CMOS)工艺中制造它们的能力）。传感器包含如随后 更详细描述的彩色滤光片配置。
[0053] 到达传感器20的光的量由改变孔径的虹膜区块14和包含插入于光学路径中的一 个或更多个中性密度（ND)滤光片的中性密度（ND)滤光片区块13调节。快门区块18处于 开放的时间亦调节整体的光能级。曝光控制器区块40对如由亮度传感器区块16所计量的 在场景中可用的光的量作出响应，并控制全部三个这些调节功能。
[0054] 来自图像传感器20的模拟信号由模拟信号处理器22处理并被施加至模数（A/D) 转换器24以数字化这些传感器信号。时序产生器26产生各种时钟信号来选择行和像素， 并使模拟信号处理器22与A/D转换器24的操作同步。图像传感器级28包含图像传感器 20、模拟信号处理器22、A/D转换器24及时序产生器26。图像传感器级28的功能元件是 单独制造的集成电路，或可将它们制造为如通常在CMOS图像传感器情况下所做的单一集 成电路。将从A/D转换器24得到的数字像素值流被储存在与数字信号处理器（DSP) 36相 关联的存储器32中。
[0055] 除系统控制器50和曝光控制器40以外，数字信号处理器36是本实施例中的三个 处理器或控制器之一。虽然在多个控制器和处理器之间的此相机功能控制分布是典型的， 但是这些控制器或处理器以各种方式组合而不影响相机的功能操作及本发明的应用。这些 控制器或处理器可包括一个或多个数字信号处理器装置、微控制器、可编程逻辑器件或其 他数字逻辑电路。虽然已经描述这种控制器或处理器的组合，但是一个控制器或处理器被 指定来执行全部所需功能应当是显而易见的。所有这些变体可执行相同的功能且落在本发 明的范围内，且术语"处理级"将视需要用于在一个短语内涵盖此功能的全部，例如在图1 中的处理级38中。
[0056] 在所绘示的实施例中，DSP36根据永久地储存在程序存储器54中并在图像捕捉期 间复制到存储器32供执行的软件程序操纵在其存储器32中的数字图像数据。DSP36执行 实践图18中所示的图像处理所需的软件。存储器32包含任意类型的随机存取存储器，诸 如SDRAM。包括地址和数据信号的路径的总线30将DSP36连接至与其相关的存储器32、A/ D转换器24及其他相关的装置。
[0057] 系统控制器50基于储存在程序存储器54中的软件程序控制相机的整体操作，该 程序存储器54可包含闪存EEPR0M或其他非易失性存储器。此存储器亦可用于储存图像传 感器校准数据、用户设定选择及在相机关闭时必须保存的其他数据。藉由引导曝光控制器 40来如前所述地操作透镜12、ND滤光器13、虹膜14及快门18,引导时序发生器26来操作 图像传感器20及相关联元件，且引导DSP36来处理所捕捉的图像数据，系统控制器50控制 图像捕捉序列。在捕捉并处理图像之后，经由接口接口 57将储存在存储器32中的最终图 像文件传送至主机计算机，将图像文件储存在可移动存储器卡64或其他储存装置上，并在 图像显示器88上向用户显示。
[0058] 总线52包含地址信号、数据信号及控制信号的通路，并将系统控制器50连接至 DSP36、程序存储器54、系统存储器56、主机接口 57、存储器卡接口 60及其他相关装置。主 机接口 57提供至个人计算机（PC)或其他主机计算机的高速连接以传送用于显示、储存、操 纵或打印的图像数据。此接口为IEEE 1394或USB2. 0串行接口或任意其他适当的数字接口。 存储器卡64通常为插入于插口 62中并经由存储器卡接口 60连接至系统控制器50的紧凑 型闪存（CF)存储器卡。所利用的其他类型存储包含但不限于PC卡、多媒体卡（MMC)或安 全数字（SD)卡。
[0059] 经处理图像被复制到系统存储器56中的显示缓冲器，并经由视频编码器80连续 地读出以产生视频信号。从相机直接输出此信号用于显示在外部监视器上，或由显示控制 器82处理并呈现在图像显示器88上。此显示器通常为有源矩阵彩色液晶显示器（IXD)，虽 然亦可使用其他类型显示器。
[0060] 包含取景显示器70、曝光显示器72、状态显示器76和图像显示器88以及用户输 入74的全部或任意组合的用户接口 68由在曝光控制器40和系统控制器50上执行的软件 程序的组合控制。用户输入74通常包含按钮、摇杆开关、操纵杆、旋转式拨号盘或触控萤幕 的某一组合。曝光控制器40操作光计量、曝光模式、自动聚焦及其他曝光功能。系统控制 器50管理呈现在这些显示器的个或多个（例如图像显示器88)的图形用户接口（⑶I)。该 ⑶I通常包含用于做各种可选选择的菜单及用于检查所捕捉图像的检视模式。
[0061] 曝光控制器40接受选择曝光模式、透镜孔径、曝光时间（快门速度）及曝光指数 或ISO感光速率的用户输入，并相应地引导透镜及快门进行后续捕捉。亮度传感器16被用 来测量场景的亮度并提供在手动地设定ISO感光速率、孔径及快门速度时供用户参照的曝 光计量功能。在此情况下，随着用户改变一个或多个设定，呈现在取景显示器70上的光计 量指示符告诉用户图像将曝光过度或曝光不足到什么程度。在自动曝光模式下，用户改变 一个设定，该曝光控制器40自动地改变另一设定以维持正确的曝光，例如对于给定的ISO 感光速率，当用户减小透镜孔径时，曝光控制器40自动地增加曝光时间以维持相同的整体 曝光。
[0062] ISO感光速率为数字静态相机的重要属性。曝光时间、透镜孔径、透镜透射率、场景 照明的能级与光谱分布以及场景反射率确定数字静态相机的曝光程度。当使用不充足的曝 光从数字静态相机获得图像时，藉由增加电子或数字增益可大体上维持合适的色调重现， 但是图像会含有不可接受的噪声量。随着增加曝光，增益减小，因此通常可将图像噪声减小 到可接受的能级。若过分增加曝光，则在图像的明亮区域中得到的信号可超过图像传感器 或相机信号处理的最大信号电平容量。这可导致图像最明亮部分被裁剪以形成亮度均匀的 区域，或辉散至图像的周围区域中。重要的是指引用户设定合适曝光。期望将ISO感光速 率用作为这种指引。为了容易被摄影师所理解，数字静态相机的ISO感光速率应直接相关 于照相软片相机的ISO感光速率。例如，若数字静态相机具有IS0200的ISO感光速率，则 对于IS0200额定软片/处理系统，相同的曝光时间及孔径应为合适。
[0063] 期望使ISO感光速率与软片ISO感光速率协调。然而，电子成像系统与排除精确 等效性的基于软片的成像系统之间存在差异。数字静态相机可包含可变增益，且可在已经 捕捉图像数据之后提供数字处理，从而能够实现整个相机曝光范围上的色调重现。由于此 灵活性，数字静态相机可具有一感光速率范围。此范围被定义为ISO速度宽容度。为防止 混淆，将单一值指定为固有的ISO感光速率，而ISO速度宽容度上限和下限指示速度范围， 亦即包含与固有的ISO感光速率不同的有效感光速率的范围。将此铭记在心，固有的ISO 速度为根据在数字静态相机的聚焦平面处提供以产生指定的相机输出信号特性的曝光所 计算的数字值。固有速度通常为对于正常场景产生给定相机系统的峰值图像品质的曝光指 数值，其中曝光指数为与提供给图像传感器的曝光成反比例的数字值。
[0064] 本领域技术人员将熟悉以上对数码相机的描述。显而易见的是，存在可选择以降 低成本，增加特征或改良相机性能的此实施例的许多变体。例如，添加自动聚焦系统，或透 镜被可拆卸和可互换。应了解，本发明适用于任意类型的数码相机或更为概括的数字图像 捕捉装置，其中替代模块提供类似的功能。
[0065] 给出图1的示例性示例，下列描述然后将详细描述根据本发明的用于捕捉图像序 列的此相机的操作。在下列描述中每当笼统引用图像传感器时，应将其理解为代表来自图 1的图像传感器20。图1中所示的图像传感器20通常包含制造在硅基板上的光敏像素的 二维阵列，这些光敏像素将各像素处的入射光转换为所测量的电信号。在图像传感器背景 下，像素（"图像元素"的缩写）指代离散光感测区域及与该光感测区域相关联的电荷移位 或电荷测量电路。在数字彩色图像的背景下，术语像素通常指代图像中具有相关联色彩值 的特定位置。术语彩色像素将指代在相对窄的光谱频带上具有色彩光响应的像素。术语曝 光持续时间及曝光时间被可互换地使用。
[0066] 当使传感器20曝露于光时，在各像素处的电子结构内产生并捕捉自由电子。持 续某一时间周期捕捉这种自由电子且然后测量所捕捉的电子数目或测量产生自由电子的 速率可测量各像素处的光能级。在前一种情况下，所累积的电荷移出像素阵列至如电容耦 合装置（CCD)中的电荷至电压测量电路，或者接近各像素的区域可含有如有源像素传感器 (APS或CMOS传感器）中的电荷至电压测量电路的若干元件。
[0067] 为了产生彩色图像，图像传感器中的像素阵列通常具有置于它们之上的彩色滤光 片图案。图2示出常用的红色（R)、绿色（G)及蓝色（B)滤光片的图案。通常将此特定图案 称为以其
【发明者】布莱斯拜耳（Bryce Bayer)命名的拜耳彩色滤光片阵列（CFA)，如美国专 利No. 3, 971，065中所揭示的。在具有二维色彩像素阵列的图像传感器中有效地使用此图 案。因此，各像素具有特定色彩光响应，在此情况下，这是对于红色、绿色或蓝色光的主导灵 敏度。另一种有用的色彩光响应为对洋红色、黄色或青色光的主导灵敏度。在各情况下，特 定色彩光响应具有对可见光谱的某些部分的高度灵敏度，而同时具有对可见光谱的其他部 分的低灵敏度。
[0068] 最小重复单元为使得无其他重复单元具有更少像素的重复单元。例如，图2中的 CFA包含如由图2中的像素块100所示的两个像素乘两个像素的最小重复单元，可将其表示 为：
[0069] G R
[0070] B G
[0071] 此最小重复单元的多个副本被砖块式排列以覆盖图像传感器中的整个像素阵列。 左上角中的绿色像素示出该最小重复单元，但是藉由将粗外框区域向右移一个像素，向下 移一个像素，或对角向右下方移一个像素，可容易辨别三个可选最小重复单元。虽然像素块 102为重复单元，但其不是最小重复单元，因为像素块100为重复单元而块100具有小于块 102的像素。
[0072] 使用具有含图2的CFA的二维阵列的图像传感器所捕捉的图像在各像素处仅具 有一色彩值。为了产生全色图像，存在用于推断或内插各像素处的缺失色彩的许多技术。 这种CFA内插技术是本领域公知的且参考下列专利：美国专利No. 5, 506, 619、美国专利 No. 5, 629, 734 及美国专利 No. 5, 652, 621。
[0073] 图像传感器20的各像素具有光检测器及用于读出像素信号的有源晶体管电路两 者。图像传感器阵列中的各像素的光检测器藉由光电效应将撞击在像素上的光子转换为电 荷。在足够长以收集可检测量的电荷、但是又足够短以避免使储存元件饱和的时间周期期 间积分电荷。此积分时间周期类似于软片曝光时间（亦即快门速度）。
[0074] 图像捕捉的时序可遵循两种基本图案的一种。在全域捕捉序列中，同时简单地读 取全部图像像素。然而，此类型序列需要相当高的装置复杂性且可为不利，因为其约束了传 感器晶片上用于光子接收的空间量。替代地，已经采纳逐行式读取法，且其经常为读取CMOS APS像素的较佳模式。
[0075] 在CMOS APS装置的图像传感器阵列中，积分时间为介于给定行的重设与对该行的 后续读取之间的时间。因为一次仅可选择一行，故重设/读取例程是顺序的（亦即逐行式）。 将此读取技术称为"卷动电子快门"，或更简单地称为"卷动快门"模式且在成像领域中是 公知的。Yadid-Pecht 等人的题为"Image Sensor Producing at Least Two Integration Times from Each Sensing Pixel"（从每个感测像素产生至少两个积分时间的图像传感 器）的美国专利 No. 6, 115, 065 及 Krymski 等人的题为 "Look-Ahead Rolling Shutter System in CMOS Sensors"(CM0S传感器中的超前卷动快门系统）的美国专利No. 6, 809, 766 中给出卷动快门时间序列的变体的少数示例。读取序列的快门宽度为介于积分启用与读出 之间的时间。这可取决于具有相同积分时间的邻近像素数量而具有可变大小。一次读取一 行或多行的快门宽度亦可调整一固定值，以控制传感器阵列的经曝光区域的增益。作为一 种用于卷动快门序列的方法，将重设指针编索引在读取指针之前等于快门宽度的量。两个 指针之间的时间差对应于像素积分时间。如上所述，快门宽度完全类似于机械聚焦平面快 门的两个帘之间的实际开口的宽度。在下文中，术语曝光持续时间将用于对应积分时间。
[0076] 图3A示出如常规地在相对良好照明条件下使用的卷动快门模式的时序序列。横 座标（X轴）表示时间。纵座标（y轴）表示图像传感器的被读出的行。各实斜线302表示 从最高编号行开始并且进行至最低编号行顺序地读出图像传感器的全部行。（或者，表示读 出的线可从左到右向上倾斜以指示从最低编号行到最高编号行读出这些行）。各虚线300 表示再次从最高编号行开始并且进行至最低编号行顺序地重设图像传感器的全部行，其中 整个重设程序需要与读出程序恰好相同的时间。重设进程300与其紧接着的读出程序302 之间的延迟为这些像素320的积分时间，如由实箭头所指示。注意，对于每行读出，积分时 间是恒定的，但是各行的积分周期相关于前面行及后面行时间移位。
[0077] 如可从图3A的时序图看到，此简单卷动快门序列允许尤其介于读取302与其紧接 着的重设300之间的未获得光子的周期。虽然在良好照明下这是可接受的，但是在弱光条 件下，此配置不可良好地执行。这是因为随着光强度减小，可能需要更长的像素积分时间。 图3B的时序图示出对于弱光条件的时序序列，其中紧接着读取302执行重设300或重设 300与读取302同时执行。因此，像素积分时间320已经增加以填充连续读取之间的时间且 浪费非常少的光子。
[0078] 然而，即使采纳卷动快门技术，有效率地读取图像传感器的任务仍然具有其缺点。 剪切运动伪像为一类问题。场景（或该场景的元素）与图像传感器之间的相对运动导致该 场景中的物体在图像传感器所捕捉的图像中表现为扭曲。称为图像"剪切"的此效应是卷动 快门配置的特性。例如，若这种所谓的卷动快门或电子聚焦平面快门图像传感器被用于捕 捉水平移动的小汽车的图像，则随着曝光并读出所捕捉图像的各行，小汽车相对于图像传 感器移动，故所捕捉图像的各行示出小汽车处于不同位置处。此可导致小汽车的圆形轮胎 表现为椭圆，且小汽车的矩形窗表现为平行四边形。此扭曲为读出图像传感器的全部行所 需的时间量的直接后果。仍然可改良弱光性能而图像动态范围可仍然比所期望的范围小。
[0079] 已经提出的一类型解决方案为使用传感器阵列像素的某一部分作为全色像素。例 如，Compton 等人的题为 "Image Sensor with Improved Light Sensitivity"（具有改良 光灵敏性的图像传感器）的共同授让美国专利申请No. 2007/0024931揭示具有色彩及全 色像素两者的图像传感器。在本发明的背景下，术语全色像素指代具有大致全色光响应的 像素，全色像素具有比在所选集合的色彩光响应中所表示的较窄光谱灵敏度宽的光谱灵敏 度。亦即，全色像素可具有对跨整个可见光谱的光的高度灵敏度。虽然这些全色像素通常 具有比该集合色彩光响应宽的光谱灵敏度，但是各全色像素亦可具有相关联的滤光片。此 种滤光片可为中性密度滤光片或彩色或频宽滤光片。
[0080] 参考图4的示图，其示出在典型相机应用中具有红色、绿色及蓝色滤光片的像素 的相对光谱灵敏度。图4中的X轴表示以纳米为单位的光波长，波长大约从近紫外光横跨 至近红外光，且Y轴表示效率（标准化）。在图4中，曲线110表示用于阻挡红外光及紫外 光到达图像传感器的典型带宽滤光片的光谱透射特性。需要这种滤光片是因为用于图像传 感器的这些彩色滤光片通常不阻挡红外光，因此这些像素不能区分红外光与在其相关联彩 色滤光片的通带内的光。曲线110所示出的红外光阻挡特性由此防止红外光破坏可见光信 号。将应用红色、绿色及蓝色滤光片的典型硅传感器的光谱量子效率（亦即捕捉并转换为 可测量电信号的入射光子的比例）乘以曲线110所表示的红外光阻挡滤光片的光谱透射特 性以产生由对于红色的曲线114、对于绿色的曲线116及对于蓝色的曲线118所表示的组合 系统量子效率。应从这种曲线了解，各色彩的光子响应仅对可见光谱的一部分灵敏。相比 而言，曲线112示出不应用滤光片（但是包含红外光阻挡滤光片特性）的相同硅传感器的 光响应，此为全色光响应的示例。藉由比较色彩光响应曲线114、116和118与全色光子响 应曲线112,显然全色光响应可比这些色彩光响应的任一个对宽光谱光更灵敏三倍至四倍。
[0081] 在卷动快门模式下，通常如图3A及图3B中所示地读取图像序列。读取整个图像 传感器且此构成图像序列中的一个图像。随后，再次读取整个图像传感器且此构成图像序 列中的下一图像。或者，如美国专利申请No. 11/780, 523中所述，将图像传感器划分为分开 式子集，且以某一相对顺序读取这些子集。
[0082] 图5示出本发明的较佳实施例的卷动快门模式的时序序列，其中图像传感器阵列 具有至少两组像素，其中任一组像素的数量具有不少于整个传感器的产生数字图像的部分 的像素数量的四分之一，且其中各组像素被均匀地分布在传感器上。404所给出的卷动快门 读取时间表示对图像传感器的全部像素的像素信号422的读出，其中可个别地读出第一组 像素（XI)及第二组像素（X2)或对第一组像素（XI)及第二组像素（X2)像元合并。在读取 这些像素之后，可重设404这些像素。根据402所给出的卷动快门读取时间读出并重设XI 像素。线条410示出各XI像素的整体曝光，其表示介于重设并读取图像传感器的各行的这 些XI像素之间的时间。像素信号420表示全部这些XI像素的读出。读取图案在此阶段重 复，因为接着根据404所给出的卷动快门读取时间读出整个图像传感器。已经多次读出这 些XI像素。在404处的某些像素读出具有线条412所给出的较短曝光，而其他像素具有线 条414所给出的较长曝光。因此，可利用可到达传感器的每个光子。
[0083] 本领域技术人员将理解，存在对本发明的许多替代方法。可对这些像素进行像元 合并或个别地读出这些像素。可使用两组以上像素以具有多个曝光时间。任一组像素的读 出程序与重设程序之间可存在延迟。下列较佳实施例将详述这种替代方法的某一些。
[0084] 图6为本发明的较佳实施例的高级流程图。最初，诸如图1中所描述的数码相机 藉由将图像传感器阵列20曝光于场景光而发起图像捕捉序列502。图1中的图像传感器级 28控制选择和读取像素的进程。通过模拟信号处理器22从传感器504读取第一时间像素 信号，这些第一时间像素信号产生第一像素信号集合510。第一像素信号集合510可来自 第一组像素，或第一像素信号集合510可来自第一组像素及第二组像素。若第一读取为第 一组像素，则从传感器506读取第一组像素的全部。若第一读取为第一组像素和第二组像 素，则读取第二组像素的全部且从图像传感器508读取第一组像素。继续使图像传感器曝 光直到终止捕捉进程。对于来自传感器的后续读出，读出进程以与第一读取类似的方式继 续。例如，从传感器读取第二时间像素信号，这些第二时间像素信号产生第二像素信号集合 510。第二像素信号集合510可来自第一组像素或来自第一组像素及第二组像素。若第二 读取来自第一组像素，则再次从传感器506读取全部第一组像素。若第二读取来自第一组 像素及第二组像素，则读取第二组像素的全部且再次从图像传感器508读取第一组像素。
[0085] 在从传感器读取这些像素信号510之后，图像处理步骤512对可用的像素信号操 作以产生数字图像514。图1中的数字信号处理器36可执行此处理。图像处理步骤512可 利用来自当前读出的像素信号以及来自先前传感器读出的在存储器32中缓冲的数据。所 产生的数字图像514可对应于当前传感器读出，或先前传感器读出，或当前与先前传感器 读出的任意组合。相对于从给定传感器读出所获得的像素信号，数字图像514可具有更高 的空间分辨率、改良的图像品质、改良的色彩信息或其他增强。数字图像序列亦可具有比藉 由在目标空间分辨率下读取传感器而简单可实现的时间分辨率高的时间分辨率。将数字图 像514传递至数字图像利用功能516。此功能可表示编码进程，藉由该进程将数字图像514 编码为视频位流。此功能可表示显示功能，藉由该功能在显示器上产生数字图像514。此 功能可表示打印功能，藉由该功能打印数字图像514。此功能亦可表示共享功能，藉由该功 能与其他装置共享数字图像514。以上所提及的（方法）为可如何利用数字图像514的示 例，且无限制。
[0086] 若完成图像捕捉序列518,则终止捕捉进程520。否则，捕捉进程评估来自传感器 522的下一读取是否为第一组像素或第一组像素及第二组像素，且重复读出并迭代处理循 环直到完成捕捉进程。
[0087] 所提出的发明能够与具有任意彩色滤光片阵列图案的图像传感器一起使用。所提 出的发明亦能够与仅使用全色像素的图像传感器一起使用。然而，在较佳实施例中，图像传 感器具有全色像素及色彩像素两者。全色像素为第一组像素，且色彩像素为第二组像素。在 所提出的发明中，藉由交替地读取全部全色像素、读取色彩像素以及再次读取这些全色像 素来捕捉图像序列。
[0088] 关于图7中所示的彩色滤光片阵列图案描述本发明的法。图7绘示本发明的较佳 实施例的示例彩色滤光片阵列图案602。在此示例中，大约一半像素为全色604,而另一半 为在红色（R)606、绿色（G)608及蓝色（B)610当中分开的色彩像素。该彩色滤光片阵列图 案602具有最小重复单元，该最小重复单元含有下列4乘4阵列中的16个像素：
[0089] P G P R
[0090] G P R P
[0091] P B P G
[0092] B P G P。
[0093] 本领域技术人员将理解，在本发明的范围内，其他彩色滤光片阵列配置及最小重 复单元是可能的。
[0094] 可组合若干像素，且可读出这种经组合像素。在较佳实施例中，通过像素的像元合 并来实现像素组合。如图8中所示，可在读出图像传感器期间使用各种像素像元合并方案。 图8中示出图像传感器的两个部分行701、702。在此示例中，传感器阵列的底层读出电路使 用可切换地一次连接至一个或多个周围像素的浮动扩散704。对于数字图像采集领域的技 术人员，浮动扩散的实施方案及使用是公知的。图8示出常规配置，其中各浮动扩散704提 供四个周围像素，在一示例中该四个周围像素示为一个四像素组706。
[0095] 可将像素信号切换至处于许多组合的任一组合中的浮动扩散704。在读出组合 708中，四像素组706中的各像素使其电荷单独地传送至浮动扩散704,且由此个别地予以 读取。在读出组合710中，像元合并全色像素 P，亦即藉由同时将其所储存的电荷清空至浮 动扩散704来共享浮动扩散704;类似地，像元合并该四像素组中的两个色彩（G)像素，同 时将其信号切换至浮动扩散704。在此像元合并方案中，全色像素仅与其他全色像素组合， 且色彩像素仅与其他色彩像素组合。在另一读出组合712中，未像元合并全色像素 P而是 单独地予以读取；此处像元合并色彩像素（G)。在另一读出组合714中，同时像元合并连接 至给定浮动扩散单元的全部四个像素。在此像元合并方案中，全色像素与色彩像素及其他 全色像素两者组合。色彩像素与全色像素及其他色彩像素两者组合。
[0096] 图9示出根据本发明的较佳实施例的图像传感器的读出图案。此图基于具有图7 中所示的彩色滤光片阵列图案的图像传感器并利用卷动快门读出。图9中示出像素信号的 若干连续读出。此像素信号集合表示整个图像捕捉进程的一部分。整个图像捕捉进程可含 有对在沿着时间轴的任一方向上延伸的像素信号的附加读出。读出804表示对应于色彩像 素与全色像素的组合的图像传感器的全部像素的读出。对于连接至浮动扩散单元的像素的 各四像素组，像元合并两个色彩像素并读取为单一值。亦单独地像元合并两个全色像素并 读取为单一值。当组合时，它们给出对应于经像元合并全色/经像元合并色彩读出的像素 信号810。在读取这些像素之后，可重设这些像素804。在传感器读出过程期间，存取各浮 动扩散单元两次。
[0097] 亦根据806所给出的卷动快门重设时间重设这些色彩像素。根据802所给出的卷 动快门时间读出并重设这些全色像素。线条814示出各全色像素的整体曝光，其表示介于 图像传感器的各行全色像素的重设与读取之间的时间。无需任意像元合并读出这些全色像 素以产生像素信号812,使得在这些全色像素的整体读出期间存取各浮动扩散单元两次。因 此，对全色像素802的读出及对全色像素与色彩像素804的组合的读出具有相同的读出速 率及相同的运动剪切属性。此设计不但对于运动剪切有利，而且对于最小化未使用的光、同 时维持对全部全色像素的相等曝光持续时间以及对全部色彩像素的相等曝光持续时间有 利。
[0098] 根据808所给出的卷动快门重设时间再次重设这些全色像素。读取图案在此阶段 重复，因为接着根据804所给出的卷动快门读取时间读出整个图像传感器。在804处的这 些全色像素读出具有816所给出的较短曝光，而这些色彩像素具有818所给出的较长曝光。 2008年10月25日提交的美国专利申请No. 12/258, 389描述用于组合具有相对较短曝光的 全色像素与具有相对较长曝光的色彩像素的技术，该申请以引用方式包含于本文中。
[0099] 在图9中，在未经像元合并读出之前，使这些全色像素曝光持续与其在经像元合 并读出之前所曝光的持续时间不同的持续时间。具体而言，在经像元合并读出之前，使这些 全色像素曝光持续其在未经像元合并读出之前所曝光的持续时间的大约一半的持续时间。 此为本发明的有利特征，因为这些全色像素信号被曝光平衡，使得不管在较短曝光持续时 间下经像元合并还是在较长曝光持续时间下未经像元合并，从对应于这些全色像素的浮动 扩散单元读取的电荷近似相等。
[0100] 在图9中，在全色像素读出之前的全色像素的曝光与在色彩像素的后续读出之前 的色彩像素的曝光部分重迭。
[0101] 图10更详细地描述一种在完成对像素信号的各次读出之后的图像处理512方法。 可从此初始彩色滤光片阵列数据对作为经像元合并色彩像素及经像元合并全色像素的组 合的像素信号810进行色彩内插，以产生四分之一分辨率的色彩图像902。全色像素信号 812可被空间内插以产生传感器分辨率的全色图像904。对应于各次读出而产生处于图像 传感器的空间分辨率下的数字图像906。对应于全色像素信号812的读出，使用来自传感器 分辨率的全色图像904以及来自全色及色彩像素信号810的先前及后续读出的四分之一分 辨率的色彩图像902的数据而产生传感器分辨率的数字图像906。对应于作为全色及色彩 像素信号810的组合的读出，使用来自四分之一分辨率的色彩图像902以及来自全色像素 信号812的先前及后续读出的传感器分辨率的全色图像904的数据而产生传感器分辨率的 数字图像906。此方案需要某些缓冲。在各数字图像906的形成中使用三次读出。
[0102] 所提出的发明允许产生具有高空间分辨率、高时间分辨率及高图像品质的数字图 像906的图像序列。对于根据先前方法的图像序列捕捉，藉由重复读取整个传感器而产生 具有高空间分辨率的图像序列。读出整个传感器所需的时间比读出经像元合并的全色及经 像元合并的色彩像素信号810或全色像素信号812所需的时间更长。因此，这种图像序列 的时间分辨率（亦即帧速率）低于使用所提出发明所实现的时间分辨率。
[0103] 图11更详细地描述在完成对像素信号的各次读出之后的另一种图像处理512方 法。可从此初始彩色滤光片阵列数据对作为经像元合并的色彩像素及经像元合并的全色像 素的组合的像素信号810色彩内插，以产生四分之一分辨率的色彩图像902。全色像素信 号812可被空间内插以产生传感器分辨率的全色图像904。对应于各次读出而产生处于传 感器空间分辨率的四分之一（一半水平分辨率和一半垂直分辨率）的数字图像1002。对应 于全色像素信号812,使用来自传感器分辨率的全色图像904以及来自全色及色彩像素信 号的先前及后续读出的四分之一分辨率的色彩图像902的数据而产生经增强的四分之一 分辨率的数字图像1002。对应于作为全色及色彩像素信号810的组合的读出，使用来自四 分之一分辨率的色彩图像902以及来自先前及后续的全色像素信号812的传感器分辨率的 全色图像904的数据而产生经增强的四分之一分辨率的数字图像1002。此方案需要某些缓 冲。在各数字图像1002的形成中使用三次读出。
[0104] 所提出的发明允许产生具有改良的空间分辨率、高时间分辨率及高图像品质的数 字图像1002的图像序列。对于根据先前方法的图像序列捕捉，可藉由重复像元合并或子取 样并读取传感器而产生四分之一分辨率图像的图像序列。为了读出处于高时间分辨率下的 图像序列，将各次读出像元合并或子取样为传感器分辨率的四分之一。因此，图像序列的空 间分辨率受到限制。在所提出的本发明中，对全色像素信号812的读出具有传感器的空间 分辨率，且由此可维持数字图像1002中的改良的高空间频率信息。另外，在所提出的方法 中，色彩像素可具有比帧速率的倒数更长的曝光持续时间。在根据先前方法的图像序列捕 捉中，此是不可能的，因为各次读出均为全传感器读出。经延长的色彩像素曝光持续时间允 许获得色彩像素的改良信噪比，并且改良这些数字图像的整体图像品质。
[0105] 图12更详细地描述在完成对像素信号的各次读出之后的另一种图像处理512的 方法。可从此初始滤光片阵列数据对作为经像元合并的色彩像素及经像元合并的全色像素 的组合的像素信号810色彩内插，以产生四分之一分辨率的色彩图像902。全色像素信号 812可被空间内插以产生传感器分辨率的全色图像904。对应于全色像素信号812,使用来 自传感器分辨率的全色图像904以及来自全色和色彩像素信号810的先前及后续读出的四 分之一分辨率的色彩图像902的数据而产生经增强的四分之一分辨率（一半水平空间分辨 率，一半垂直空间分辨率）的数字图像1002以及经增强的传感器分辨率的数字图像906两 者。对应于全色及色彩像素信号810的读出，使用来自四分之一分辨率的色彩图像902以 及来自先前和后续的全色像素信号812的传感器分辨率的全色图像904的数据而产生经增 强的四分之一分辨率的数字图像1002。此方案需要某些缓冲。在各四分之一分辨率的数字 图像906或传感器分辨率的数字图像1002的形成中使用三次读出。
[0106] 所提出的发明允许同时产生低空间分辨率、高帧速率图像序列以及高空间分辨 率、低帧速率图像序列。因此，有可能同时捕捉低分辨率图像序列与高分辨率、高品质的静 态图像两者。用于同时捕捉图像序列与静态图像的先前解决方案通常需要附加硬件，或必 须中断图像序列捕捉以获取静态图像。
[0107] 对于图12中所描述的图像处理512,存在如何处理数字图像514的多个选择。在 一方法中，将这些四分之一分辨率的色彩图像902处理为第一序列，并将这些传感器分辨 率的色彩图像处理为独立的第二序列，且将该两个序列储存为单独序列。图13示出用于处 置四分之一分辨率及传感器分辨率的数字图像514的替代方法。在上采样块1206中对四 分之一分辨率的彩色图像1202上采样，以产生传感器分辨率的上采样彩色图像1208。藉由 从传感器分辨率的彩色图像1204减掉传感器分辨率的上采样彩色图像1208而在残留图像 形成块1210中形成残留图像1212。储存此残留图像1212以及四分之一分辨率的彩色图 像1202。可单独地或组合储存两个图像。在一示例中，可使用压缩语法和文件格式（诸如 JPEG压缩标准及TIFF文件格式）储存四分之一分辨率的彩色图像1202,并可将残留图像 1212储存为文件内的元数据。在另一示例中，可使用压缩语法及文件格式（诸如MPEG压缩 标准及Quicktime. MOV文件格式）储存四分之一分辨率的彩色图像1202,并可将该残留图 像1212储存为文件内的元数据。文件阅读器可忽略数据元数据而仅编码四分之一分辨率 的彩色图像。智能文件阅读器亦可提取元数据并重新建构这些传感器分辨率的彩色图像。
[0108] 图14示出根据本发明另一较佳实施例的图像传感器的读出图案和图像产生。此 附图基于具有图7中所示的彩色滤光片图案并且利用卷动快门读出的图像传感器。图14 中示出若干连续读出。此像素信号集合表示整个图像捕捉进程的部分。整个图像捕捉进程 可含有对在沿着时间轴的任一方向上延伸的像素信号的附加读出。读出1302表示对应于 色彩像素及全色像素的组合的图像传感器的全部像素的读出。对于连接至浮动扩散单元的 像素的各四像素组，像元合并两个色彩像素及两个全色像素并且读取为单一值。当组合时， 其产生具有经稀释拜耳图案的像素信号1308。在读取这些像素之后，亦在1302处重设这些 像素。在传感器读出过程期间，存取各浮动扩散单元一次。
[0109] 亦根据1304所给出的卷动重设时间重设这些色彩像素。根据1306所给出的卷动 快门时间读取并重设这些全色像素。线条1316示出各全色像素的整体曝光，其表示介于图 像传感器的各行的全色像素的重设与读出之间的时间。藉由以像元合并读取这些全色像素 而产生全色像素信号1310,以使在对这些全色像素的整体读出期间存取各浮动扩散单元一 次。因此，全色像素读出1306以及全色像素和色彩像素的读出1302具有相同的读出速率 和相同的运动剪切属性。此设计不但对于运动剪切有利，而且对于最小化未使用的光同时 维持全部全色像素的相等曝光持续时间以及全部色彩像素的相等曝光持续时间有利。
[0110] 读取图案在此阶段重复，因为接着根据1302所给出的卷动快门重设时间读取整 个图像传感器。在1302处读取的这些全色像素具有1318所给出的曝光，而这些色彩像素 具有1320所给出的曝光。图14示出色彩像素，这些色彩像素具有比在像素读出1302处所 读出的全色像素的曝光持续时间1318更长的曝光持续时间1320。然而，此关系是非固定 的，且实际上，色彩像素曝光持续时间1320亦可比这些全色像素的曝光持续时间1318更短 或与之相等。
[0111] 图14亦更详细地描述在完成对像素信号的各次读出之后的一种图像处理512方 法。可组合对经像元合并的色彩和全色像素信号1308的读出与对经像元合并的全色像素 信号1310的邻近读出，以产生改良的全色和色彩像素图像1312。类似地，可组合对经像元 合并的全色像素信号1310的读出与对经像元合并的色彩和全色像素信号1308的邻近读 出，以产生改良的全色和色彩像素图像1312。该改良的全色及色彩像素图像1312可被处理 以产生经增强的四分之一分辨率的彩色图像1314。此方案需要某些缓冲。在各数字图像 1314的形成中使用三次读出。
[0112] 本发明的另一实施例提供经扩展的动态范围图像。图15及图16中参考图5更详 细地描述此实施例。图15提供示例性像素阵列图案1402。在此示例中，像素（XI) 1404表 示第一组像素，且像素（X2) 1406表示第二组像素。XI及X2表示全色像素。图5示出使用 图15中所示的滤光片阵列图案的卷动快门模式的时序序列。
[0113] 图16更详细地描述一种在完成对关于图15中的像素阵列图案的像素信号的各次 读出之后的图6的图像处理512方法。可从此初始阵列数据合适地处理像素信号420以产 生图像430。可从此初始阵列数据合适地处理像素信号422以产生图像432。在此情况下， 图像430和432为传感器的水平分辨率的一半。各次读出的像素信号按照这些读出的全部 的最长曝光与读出的曝光的比率缩放。这些经缩放像素信号的总和按照读出的像素信号数 目标准化，以产生该读出的图像值。方程式1示出一种用于计算这些图像值的简单方法
[0114]

【权利要求】
1. 一种用于产生数字图像的方法，所述方法包括： 提供具有至少第一组像素和第二组像素的图像传感器； 从所述第一组像素读出第一像素信号，所述第一像素信号在第一曝光持续时间期间产 生，其中在读出在所述第一曝光周期期间产生的所述第一像素信号之后重置所述第一组像 素； 在重置所述第一组像素之后，从所述第一组像素读出第二像素信号，所述第二像素信 号在第二曝光周期期间产生； 从所述第二组像素读出第三像素信号，所述第三像素信号在第三曝光周期期间产生， 所述第三曝光周期与所述第一和第二曝光周期的至少部分重迭；以及 使用至少所述第一、第二和第三像素信号来产生所述数字图像。
2. 如权利要求1所述的方法，其特征在于，所述第二像素组包括至少一个色彩像素，且 所述第一像素组包括至少一个全色像素。
3. 如权利要求1所述的方法，其特征在于，还包括： 在读出所述第二像素信号然后重置所述第一像素组之后，从所述第一组像素读出第四 像素信号，所述第四像素信号在所述第二曝光周期之后的第四曝光周期期间产生； 从第三组像素读出第五像素信号，所述第五像素信号在第五曝光周期期间产生，所述 第五曝光周期与所述第一、第二和第三曝光周期的至少部分重迭，其中所述图像传感器包 括所述第一、第二和第三组像素；以及 使用所述第四和第五像素信号来产生所述数字图像。
4. 如权利要求3所述的方法，其特征在于，还包括： 在读出所述第三像素信号然后重置所述第二像素组之后，从所述第二组像素读出第六 像素信号，所述第六像素信号在所述第三曝光周期之后的第六曝光周期期间产生；以及 使用所述第六像素信号来产生所述数字图像。
5. 如权利要求4所述的方法，其特征在于，还包括： 从第四像素组读出第七像素信号，所述第七像素信号在与所述第五曝光周期基本相同 的第七曝光周期期间产生；以及 使用所述第七像素信号来产生所述数字图像。
6. 如权利要求5所述的方法，其特征在于，所述第二像素组包括至少一个色彩像素，且 所述第一、第三和第四像素组包括至少一个全色像素。
7. 如权利要求5所述的方法，其特征在于，所述第二像素组是色彩像素，并且所述第 一、第三和第四像素组是全色（P)像素。
8. 如权利要求7所述的方法，其特征在于，像素图案的第一、第二、第三和第四像素配 置各自包括第一、第二、第三和第四像素组，其中所述第一、第二、第三和第四像素模块的所 述色彩像素分别是红色（R)、绿色（G)、绿色（G)和蓝色（B)。
9. 如权利要求8所述的方法，其特征在于，所述像素图案在所述图像传感器中排列为： G P B P P P P P R P G P P P P P〇
10. 如权利要求5所述的方法，其特征在于，所述第一（1)、第二（2)、第三（3)和第四 (4)像素组在所述图像传感器中在像素图案中排列为： 12 34。
11. 如权利要求5所述的方法，其特征在于，所述第四像素信号和所述第六像素信号被 合并。
12. 如权利要求5所述的方法，其特征在于，所述第五像素信号和所述第七像素信号被 合并。
13. 如权利要求1所述的方法，其特征在于，所述第一组像素（1)和所述第二组像素 (2)是在像素图案中如下排列的全色像素： 12 21， 并且其中产生所述数字图像包括： 处理所述第一像素信号以产生第一图像，并且处理所述第二和第三像素信号以产生第 二图像，其中所述第一图像和所述第三图像是所述图像传感器的水平分辨率的一半；以及 组合所述第一图像和所述第二图像以产生具有扩展的动态范围的所述数字图像。
14. 如权利要求13所述的方法，其特征在于，处理所述第一像素信号以产生第一图像 并且处理所述第二和第三像素信号以产生所述第二图像包括： 按比率缩放所述第一、第二和第三像素信号以产生第一、第二和第三经缩放像素信号， 所述比率是所述第三曝光周期的第一持续时间除以与相应像素信号的相应曝光周期相对 应的实际持续时间；以及 按照每个相应读出的像素信号的数目，将所述第一、第二和第三经缩放像素信号的总 和标准化。
15. -种成像系统，包括： 像素阵列，包括至少第一组像素和第二组像素； 控制逻辑，经耦合以获取来自所述像素阵列的图像数据；以及 非瞬态机器可访问存储介质，所述非瞬态机器可访问存储介质提供指令，所述指令在 由所述成像系统执行时将导致所述成像系统执行操作，所述操作包括： 从所述第一组像素读出第一像素信号，所述第一像素信号在第一曝光持续时间期间产 生，其中在读出在所述第一曝光周期期间产生的所述第一像素信号之后重置所述第一组像 素； 在重置所述第一组像素之后，从所述第一组像素读出第二像素信号，所述第二像素信 号在第二曝光周期期间产生； 从所述第二组像素读出第三像素信号，所述第三像素信号在第三曝光周期期间产生， 所述第三曝光周期与所述第一和第二曝光周期的至少部分重迭；以及 使用至少所述第一、第二和第三像素信号来产生数字图像。
16. 如权利要求15所述的成像系统，其特征在于，所述第二像素组包括至少一个色彩 像素，且所述第一像素组包括至少一个全色像素。
17. 如权利要求15所述的成像系统，其特征在于，所述非瞬态机器可访问存储介质中 存储有进一步指令，所述进一步指令在由所述成像系统执行时将导致所述成像系统执行包 括以下的操作： 在读出所述第二像素信号然后重置所述第一像素组之后，从所述第一组像素读出第四 像素信号，所述第四像素信号在所述第二曝光周期之后的第四曝光周期期间产生； 从第三组像素读出第五像素信号，所述第五像素信号在第五曝光周期期间产生，所述 第五曝光周期与所述第一、第二和第三曝光周期的至少部分重迭，其中所述像素阵列包括 所述第一、第二和第三组像素；以及 使用所述第四和第五像素信号来产生所述数字图像。
18. 如权利要求17所述的成像系统，其特征在于，所述非瞬态机器可访问存储介质中 存储有进一步指令，所述进一步指令在由所述成像系统执行时将导致所述成像系统执行包 括以下的操作： 在读出所述第三像素信号然后重置所述第二像素组之后，从所述第二组像素读出第六 像素信号，所述第六像素信号在所述第三曝光周期之后的第六曝光周期期间产生；以及 使用所述第六像素信号来产生所述数字图像。
19. 如权利要求18所述的成像系统，其特征在于，所述非瞬态机器可访问存储介质中 存储有进一步指令，所述进一步指令在由所述成像系统执行时将导致所述成像系统执行包 括以下的操作： 从第四像素组读出第七像素信号，所述第七像素信号在与所述第五曝光周期基本相同 的第七曝光周期期间产生；以及 使用所述第七像素信号来产生所述数字图像。
20. 如权利要求19所述的成像系统，其特征在于，所述第二像素组包括至少一个色彩 像素，且所述第一、第三和第四像素组包括至少一个全色像素。
21. 如权利要求19所述的成像系统，其特征在于，所述第二像素组是色彩像素，并且所 述第一、第三和第四像素组是全色（P)像素。
22. 如权利要求21所述的成像系统，其特征在于，像素图案的第一、第二、第三和第四 像素配置各自包括第一、第二、第三和第四像素组，其中所述第一、第二、第三和第四像素模 块的所述色彩像素分别是红色（R)、绿色（G)、绿色（G)和蓝色（B)。
23. 如权利要求22所述的成像系统，其特征在于，所述像素图案在所述像素阵列中排 列为： G P B P P P P P R P G P P P P P〇
24. 如权利要求19所述的成像系统，其特征在于，所述第一（1)、第二（2)、第三（3)和 第四（4)像素组在所述像素阵列中在像素图案中排列为： 12 34。
25. 如权利要求19所述的成像系统，其特征在于，所述第四像素信号和所述第六像素 信号被合并。
26. 如权利要求19所述的成像系统，其特征在于，所述第五像素信号和所述第七像素 信号被合并。
27. 如权利要求15所述的成像系统，其特征在于，所述第一组像素（1)和所述第二组像 素（2)是在像素图案中如下排列的全色像素： 12 21， 并且其中产生所述数字图像包括： 处理所述第一像素信号以产生第一图像，并且处理所述第二和第三像素信号以产生第 二图像，其中所述第一图像和所述第三图像是所述图像传感器的水平分辨率的一半；以及 组合所述第一图像和所述第二图像以产生具有扩展的动态范围的所述数字图像。
28. 如权利要求27所述的成像系统，其特征在于，处理所述第一像素信号以产生第一 图像并且处理所述第二和第三像素信号以产生所述第二图像包括： 按比率缩放所述第一、第二和第三像素信号以产生第一、第二和第三经缩放像素信号， 所述比率是所述第三曝光周期的第一持续时间除以与相应像素信号的相应曝光周期相对 应的实际持续时间；以及 按照每个相应读出的像素信号的数目，将所述第一、第二和第三经缩放像素信号的总 和标准化。
29. -种用于产生数字图像的方法，所述方法包括： 提供具有两个色彩像素和两个全色像素的图像传感器，其中所述两个色彩像素和所述 两个全色像素共用浮动扩散； 重置所述两个全色像素； 读出在重置所述两个全色像素之后启动的第一曝光周期期间产生的所述两个全色像 素的未合并全色信号； 读出在读出所述未合并全色信号之前启动的第二曝光周期期间产生的所述两个色彩 像素的经合并色彩信号； 读出在读出所述未合并全色信号之后启动的第三曝光周期期间产生的所述两个全色 像素的经合并全色信号；以及 使用至少所述未合并全色信号、所述经合并色彩信号以及所述经合并全色信号来产生 所述数字图像。
30. 如权利要求29所述的方法，其特征在于，在同一快门期间读出所述经合并色彩信 号和所述经合并全色信号。
31. 如权利要求30所述的方法，其特征在于，所述同一快门是卷动快门。
32. 如权利要求29所述的方法，其特征在于，所述第一曝光周期的第一持续时间是所 述第三曝光周期的第二持续时间的约两倍。
33. 如权利要求32所述的方法，其特征在于，所述第二曝光周期的第三持续时间约等 于所述第一持续时间和所述第二持续时间的总和。
34. 如权利要求29所述的方法，其特征在于，产生所述数字图像包括对所述经合并色 彩信号和所述经合并全色信号进行色彩内插，并对所述未合并全色信号进行空间内插。
35. 如权利要求34所述的方法，其特征在于，所述数字图像具有所述图像传感器的空 间分辨率。
36. 如权利要求34所述的方法，其特征在于，所述数字图像是增强的四分之一分辨率 数字图像，所述四分之一分辨率数字图像是所述图像传感器的垂直分辨率的一半和所述图 像传感器的水平分辨率的一半。
37. -种用于产生数字图像的方法，所述方法包括： 提供图像传感器，所述图像传感器具有与全色像素对共用浮动扩散的色彩像素对，所 述色彩像素对包括第一色彩像素对、第二色彩像素对以及第三色彩像素对； 重置所述全色像素对中的每一对，并启动第一曝光周期； 从所述全色像素对读出经合并全色信号，其中所述全色信号在所述第一曝光周期期间 产生； 在读出所述经合并全色信号之后，重置所述全色像素对中的每一对，并启动第二曝光 周期； 重置所述色彩像素对中的每一对，并启动第三曝光周期； 读出经合并色彩/全色信号，其中所述经合并色彩/全色信号在所述第二和第三曝光 周期期间产生，并且所述经合并色彩/全色信号包括来自所述色彩像素对和所述全色像素 对的一起存储在每个所述浮动扩散中的图像电荷；以及 使用至少所述经合并全色信号和所述经合并色彩/全色信号来产生所述数字图像。
38. 如权利要求37所述的方法，其特征在于，所述第一曝光周期的第一持续时间约等 于所述第二曝光周期的第二持续时间。
39. 如权利要求37所述的方法，其特征在于，所述第三曝光周期在所述第二曝光周期 之前开始。
40. 如权利要求37所述的方法，其特征在于，所述第三曝光周期在所述第二曝光周期 之后开始。
41. 如权利要求37所述的方法，其特征在于，所述第一色彩像素是红色像素、所述第二 色彩像素是绿色像素，以及所述第三色彩像素是蓝色像素。
42. 如权利要求41所述的方法，其特征在于，所述经合并色彩/全色信号包括经稀释拜 耳图案。
【文档编号】H04N5/345GK104301635SQ201410483104
【公开日】2015年1月21日 申请日期:2010年3月30日 优先权日:2009年4月1日
【发明者】A·T·迪弗尔, B·H·皮尔曼, J·T·康普顿, A·D·恩格 申请人:美商豪威科技股份有限公司