多次曝光光学成像设备的制作方法

专利名称：多次曝光光学成像设备的制作方法
技术领域：
本发明涉及用于存储电子形式的光学图像的设备，更具体来说， 涉及用于存储静止图像、视频图像或者它们两者的数字照相机。
背景技术：
数字照相机发展的趋势是通过增加相机的图像转换器中的像素数 量来提高空间分辨率。转换器是一种形式的光检测传感器，通常是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)器件。对于给定大 小的光传感器(例如标准单镜头反光(SLR)照相机的24 mmx36mm传感 器面积)，增加像素数量意味着减小各像素的大小。但是，更小的像素 收集更少光子，它减小照相机的信噪比。已知的是可通过若干方式来 緩解这个问题通过使用微透镜阵列来增加光线收集效率；通过改进 像素的设计和制作，以便减小噪声；和/或通过使用信号处理算法从感 有噪数据提取实时信号。然而，现有技术的光传感器仍然受到收集光子的散粒噪声以及转 换器电路的电子噪声限制。光线的散粒噪声是基本的并且无法减小， 而电子噪声可通过冷却传感器来减小，但是以增加的功耗为代价。因 此，对于可》丈入SLR照相机的典型面积的像素数量存在实际限制。目前具有最高分辨率(16.7百万像素)的数字SLR照相机是由 Canon制造的EOS IDs Mark II照相机。这种照相才几的分辨率相当于相 同大小的ISO 100胶片，并超过许多ISO 400胶片。有人会说，具有 比Canon EOS IDs Mach II更高像素密度的传感器目前是不必要的，但 是，对于更高分辨率的需求似乎继续发展-看来始终有摄影师追求具有 更高百万像素密度和更高感光度的照相机。(注意，较高像素数量存在于中等帧格式照相机中，但较高密度则没有。)因此，数字照相机领域中存在对于较高空间分辨率的数字照相机 的需要，该较高空间分辨率的数字照相机不会遭受到伴随使用较小大 小像素的增加的噪声问题。另外，在一些数字照相机中，光传感器包含本领域所说的死区， 即传感器表面面积中对光线不灵敏或者屏蔽了光线的部分。通过减少 传感器表面面积中感光的部分，死区的部分同样减小空间分辨率。各种光传感器设计产生死区；例如，在一种设计中，各像素可包含光电另 一种设计中，传感器可包括对不同波长的光线(如原色)进行响应的光电管，其中，例如蓝和绿光电管相对红光电管^皮认为是死区；以及在又一种设计中，传感器可包括对不同强度的光线进行响应的光电管， 其中，例如对较低强度灵敏的光电管相对于对较高强度灵敏的光电管一皮i人为是死区。不管设计成数字照相机的光传感器的死区的类型，本领域还需要 增加这类照相机的空间分辨率。发明内容根据本发明的一个方面，用于存储对象的光学图像的设备包括具 有多个像素的成像设备，各像素包括光传感器和耦合到传感器的多个存储单元。透镜系统把来自对象的光线聚焦到成像设备。在各像素中， 存储单元的第一个配置成存储对应于它的传感器对来自对象的光线第 一次曝光的数据，以及存储单元的第二个配置成存储对应于它的传感 器对来自对象的光线第二次曝光的数据。在一个优选实施例中，像素 设置在阵列中沿第 一方向延伸，并且在第 一与第二次曝光之间的时间 间隔中，平移器(translator)配置成在第二方向产生成像设备与透镜系统 的焦点之间的相对平移或偏移。在一个实施例中，第二方向穿过第一 方向。在一个优选实施例中，各像素包括感光区域，并且使像素偏移 某个距离，该距离近似等于在第二方向所测量的感光区域的间距的一半。这样，通过增加传感器的像素的有效数量而没有增加像素的实际数量，来提高空间分辨率。因此，仅具有N个像素的传感器具有带2N 个像素的传感器的有效分辨率。根据本发明的另一个方面， 一种生成表示对象的光学图像的电子 数据的方法包括以下步骤(a)使对象发出的光线入射到光学成像设备 的像素上；(b)在步骤(a)中提供像素的多次曝光，每次曝光在像素中 生成电子图像数据；以及(c)在每次曝光之后，将数据转移到读出设备 的子集，不同子集在连续转移操作期间接收数据。因此，通过在传感器的不同空间位置的图像数据的多次曝光和读 出，来实现空间分辨率的提高。在本发明的又一个实施例中，增加动态范围而无需在第一与第二 曝光之间平移成像设备。但是，在这种情况下，这些曝光具有不同的 时长。


通过以下结合附图的更详细描述，可易于理解本发明及其各种特征和优点，附图包括图1是根据本发明的一个实施例的数字照相机的框图；图2是根据本发明的一个实施例的CCD像素的示意顶视图；图3是用于使图1的成像设备、因而使图2或图6的像素偏移的说明性设备的示意顶;現图；图4和图5是示出根据本发明的备选实施例的显示像素偏移的示意顶^L图；以及图6是根据本发明的一个备选实施例的CCD像素的示意顶视图。
具体实施方式
数字照相机配置详细论述本发明之前，首先来看图1，它示出用于生成和存储或记录表示对象12的光学图像的电子数据的众所周知的光学成像设备 IO的框图。(术语"对象"表示通过例如反向、折射、散射或内部生成的 过程发出光线的任何物体。)为了简洁起见，在以下论述中，假定设备 10是数字照相机，它包括用于交替阻挡来自图像12的光线进入照相 机或者将这种光线传送到照相机的快门14。众所周知，这类数字照相 机具有生成静止图像、视频图像或者它们两者的能力。当快门14开启时，来自对象12的光线由透镜系统16聚焦到成i象 设备18。透镜系统通常包括变焦透镜子系统、聚焦透镜子系统和/或成 像偏移校正子系统(图1中未示出)。成像设备18说明性地包括众所周 知的CCD或CMOS器件，4旦是同样为了筒洁起见，在以下论述中， 假定成像设备18是CCD。 CCD通常是彩色区域传感器，它包括设置 成行和列的像素阵列，其中独立像素配置成接收红、蓝和绿色成分。 本领域众所周知，在曝光操作期间，像素以光电方式把来自图像12的 光线转换为对应于颜色成分的强度的才莫拟图像信号形式的电子数据。 随后，从像素转移出数据。曝光和转移操作在预定周期、通常大约15 ms交替进行。在本发明的一个说明性实施例中，CCD 18具有以下论文中描述的 类型的4亍间(IL)体系结构Eastman Kodak Co., Microelectronics Technology Division(Rochester, NY)发表的标题为"电荷耦合器件(CCD) 图像传感器"(Kodak CCD Primer, Document #KCP-001 (2001》，通过引 用将它结合到本文中。这篇论文可见于以下URL的因特网网站 http:〃www.kodak.com/US/en/digital/pdfccdPrimerPart2.pdf 或 者 http:〃www.extremetech,com。 IL体系结构通过在非灵敏或光屏蔽平4亍 读出CCD的行之间形成隔离感光区域，来分离光电^r测和读出功能。 但是，本CCD修改成处理多次曝光，如以下结合图2-图6所述。CCD 18生成的图像信号耦合到信号处理器20、通常为数字信号 处理器(DSP)。说明性地，处理器20减小来自CCD 18的图像信号的 噪声，并调整图像信号的电平(level)(幅度)。信号处理器20的输出耦合到模数(A/D)转换器22,它根据定时器34所提供的时钟信号将已处理的模拟图像信号转换成具有预定位长度(例如12位)的数字信号。在许多应用中，信号处理器20和A/D转换 器22集成在单个芯片中。这些数字图像信号作为对图像处理器24的输入来提供，图像处理 器24通常执行各种操作，包括例如(i)黑色电平校正，即，将A/D 转换器22生成的数字信号的黑电平校正到参考黑电平；(ii)白平移校 正，即，执行来自A/D转换器22的各颜色成分的数字信号的电平转 换；以及(iii)伽玛校正，即，校正来自A/D转换器22的数字信号的伽 玛特性。经由双向总线27耦合到控制器28的图像存储器26以照相才莫式暂 时存储来自图像处理器24的已处理数字信号，并以回放才莫式暂时存储 从存储卡32读出的图像数据。存储卡32经由标准I/F接口 (未示出)耦合到控制器28，用于将图 像数据写入存储卡32以及从其中读取图像数椐。控制器28通常是微型计算机，它包括存储器(未示出)(例如用于 存储从图像存储器26转移的图像信号的RAM以及用于存储各种照相 机功能的程序的ROM);时钟信号CLKO的定时生成器(未示出)；以及 用于分别经由传感器驱动器36、透镜驱动器38和快门驱动器40来控 制光传感器18、透镜系统16和快门14的物理移动的控制信号的伺服 生成器(未示出)。重要的是，控制器28生成用于经由传感器驱动器36 使光传感器18的横向位置相对透镜系统16的焦点偏移的控制信号。 下 一 节更详细地描述后 一种操作。对控制器的外部输入通常通过控制盘(controlpad)42生成。这些输 入可包括例如快门按钮、模式设置开关和图像偏移校正通/断开关。增强的有效空间分辨率实施例作为死区的读出区域在图2中，示出根据本发明的一个实施例的成像设备18。成像设 备18示为具有N个像素18.1的阵列的CCD，例如设置成以上所述类 型的IL体系结构，但按照以下方式修改成处理多次曝光并增加照相机的可见空间分辨率。各像素18.1的形状本质上是具有宽度W的矩形，如图2A所示，但是其它几何形状是可行的。各像素包括宽度Wp的感 光区域(或光传感器)18.1p和宽度各为Wr的n个读出区域(或存储单 元)18.1r。通常w-Wp+Wp读出区域18.1r电子耦合到相应的感光区域 18.1p，并且设计成对于对象12发出的光线不灵敏或者屏蔽了那个光 线。由于读出区域没有帮助光到电(即电荷)的转换，所以它们构成死 区。通常存见于成像设备的另一个死区包括例如布线、存储电容器和 逻辑电路占用的面积。优选地，各像素的死区占用的表面面积不应当小区总像素面积的 大约(n-l)/n;例如，对于11=2,如图2中那样，读出区域占用的面积应 当至少为总像素面积的大约一半；对于n=3,读出区域占用的面积应 当至少为总像素面积的大约三分之二。另一方面，在某些情况下，各 像素的表面面积中由死区占用的部分可小于(n-l)/n，比如(n-m)/n,其 中l<m<2。只要参数m不是太过于接近二，则以下结合图5所述的后 处理可用来确保增强的空间分辨率。读出区域18.1r可设置在感光区域18.1p的同一侧，如图2A所示， 或者设置在像素的不同侧。后一种配置在图6的光传感器88中示出， 其中，读出区域88.1r设置在感光区域88.1p的相对侧。其它配置虽然 稍微更复杂，但可易于由本领域的技术人员想到(例如， 一个读出区域 沿各感光区域的侧边的一个或多个设置，而一个或多个读出区域沿其 顶边和/或底边设置)。另外，虽然图2和图6示出感光区域好像设置在 本质上相同的平面，但是，将它们设置在多层成像设备结构的不同平 面上也是可行的。例如，将读出区域设置在感光区域之下会增加设备 表面面积中感光的部分，但是以更复杂的处理为代价。仅为了说明的简洁和便利，选择N-8(各具有四个像素的两列，如 图2B和图6所示)以及i^2(各感光区域18.1p(88.1p)耦合到两个读出区 域18.1r(S8.1r)，如图2人和图6所示)，只要本领域的技术人员会理解， N通常远远大于八(例如大约106)，并且n可以略大于2(但伴随复杂度 的增加)。CCD 18(88)配置成在快门保持开启的时间段中将其横向位置相对 透镜系统16的焦点改变某个量A，因而来自对象12的光线落在CCD 上。横向位置表示CCD通常以穿过CCD的列的方向移动。因此，移 动的方向可与列的方向垂直(图2B)或者倾斜(未示出)。优选地，使像 素偏移某个距离△，它近似等于阵列中的感光区域的间距的一半。为了实现这种移动，CCD 18 (88)安装在图3A所示类型的机电平 移器50中。平移器50包括刚性安装在照相机10中的框架50.1以及 CCD18可滑动地安装在其中的沟槽50.2。在第一位置中，CCD 18邻 接沟槽50.2 —端的机械光圏(mechanical stop)50.3，以及在第二位置中， 它邻接沟槽50.2对端的机械光圈50.5。在第三位置中，CCD 18 (88) 返回到与光圏50.3邻接。通过响应来自传感器驱动器36和控制器 28(图1)的控制信号的众所周知的适当压电驱动器(piezoelectric actuator)(以及关联弹性部件、如弹簧)50.4，来实现CCD的移动或平移。由于典型像素大小大约为5-10pm,因此，平移器50应当设计成 以小且稳的步长来移动CCD18(88),用快速阻尼以减小任何振动。具 有2-6 [im位移和100 kHz共振频率的压电驱动器和平移器是市场有售 的。 (例长口 参见 Physik Instrumente, Auburn， MA and Karlsruhe/Palmbach(Germany)的因4争网网站URL http:〃www.pi.ws 。)本发明可与电子快门(例如焦平面快门，它清除(flush)和重置CCD 以便创建独立曝光)或者机械快门(例如，两个可移动幕帘同时动作以 便形成实现短曝光时间的狭缝)或者它们两者配合使用。在任何情况 下，驱动器50.4应当能够充分迅速地使CCD位置偏移，4吏得在对象 或照相机的任何明显移动之前进行CCD的两次或两次以上连续曝光。 (说明性地，驱动器能够以大约10mm/s的速度使CCD偏移。)如下文 所述，通过在传感器的不同位置的图像的多次曝光和读出，来实现可 见空间分辨率的提高。在论述本发明的各种实施例的操作之前，首先定义术语"曝光"。 本领域众所周知，CCD 18(88)的曝光包括出现两个事件光学事件， 其中，从对象12发出的光线落在CCD 18(88),入射光生成待收集的图像数据(例如电子形式的电荷截流子)；以及电气事件，其中，施加 到CCD 18 (88)的定时信号使光传感器18.1p(88.1p)处于电荷收集状 态。在光学事件期间，快门14开启，以及透镜系统16把来自对象12 的光线聚焦到CCD18(88)。另一方面，在电气事件期间，来自定时器 34的定时信号在各个感光区域18.1p(88.1p)中建立势阱。所收集的电 荷保持陷入感光区域18.1p(88.1p)的势阱，直到随后使感光区域处于电 荷转换状态为止，也就是说，来自定时器34的后续定时信号将俘获电 荷转移到读出区域18.1r(88.1r)。根据本发明，在快门14开启的时间与下一次闭合的时间之间的间 隔中，发生多次曝光。这样，通过在快门开启时光线继续入射到成像 设备18(88)，来自定时器34的定时信号使感光区域在其电荷收集状态 与电荷转换状态之间循环。每次曝光的长度对应于感光区域在每个周 期中保持为电荷收集状态的时间。例如，我们提到第一次曝光，它在 使感光区域处于其电荷收集状态的第一定时信号与将所收集电荷转移 到第一读出区域的第二定时信号之间发生；并且我们提到第二次曝光， 它在使感光区域处于其电荷收集状态的第三定时信号与将所收集电荷 转移到第二读出区域的第四定时信号之间发生。类似地可定义第n次曝光。在操作中，在起动快门按钮时，控制器28向快门驱动器40发送 控制信号，快门驱动器40又开启快门14 ，以及定时器34向CCD 18 (88) 发送定时信号，以便使感光区域18.1p(88.1p)处于其电荷收集状态。在 对应于第一次曝光的这一点上，CCD18处于第一位置，如图3A以及 图2B的顶部所示。在笫一位置中，每个像素18.1的各感光区域18.1p 暴露于来自对象12的光线，它使电荷填充充当电容器的区域18.1p的 势阱。在第一次曝光之后，定时器34向CCD 18(88)发送其它定时信 号，使得将这些感光区域18.1p(88.1p)的每个所存储的电荷转移到同样 用作电容器的读出区域18.1r(88.1r)的第一子集。例如，在图2A的实 施例中，将每个感光区域18.1p中存储的电荷转移到它的上读出区域 18.1n。这样，感光区域18.1p^皮清除电荷，并准备接收来自下一次曝光的光线(并存储电荷)。与此相比，在图6的实施例中，在第一次曝光之后，来自各感光区域88.1p的电荷例如被转移到其左侧的读出区域 88.1n。这样，感光区域88.1p被清除电荷。通过快门14仍然开启，使整个CCD 18 (88)偏移到新位置；也就 是说，控制器28向传感器驱动器36发送控制信号，传感器驱动器36 又令驱动器50使CCD 18 (88)在垂直于CCD的列的方向平移某个量 △,如图2B和图3A所示。在CCD偏移操作中，CCD18仍然暴露于 来自对象12的光线。但是，定时器34向CCD18(88)发送其它定时信 号，以便重置或清除感光区域18.1p(88.1p)在偏移操作期间收集的任何 寄生电荷，并使它们返回到电荷收集状态。这时，第二次曝光开始； 电荷再次填充感光区域18.1p(88.1p)的势阱，但是，这一次所收集电荷 对应于对象12的略有不同的部分。重要的是，来自对象12的、先前 落在死区的光线这时落在感光区域。在第二次曝光完成之后，定时器 34向CCD 18 (88)发送其它定时信号，使得将电荷转移到同样用作电 容器的读出区域18.1r(88.1r)的笫二子集。例如，在图2A的实施例中， 把来自每个感光区域18.lp的电荷转移到它的下读出区域18.1r2。在这 个阶段，读出区域18.1n包含来自笫一次曝光的电荷，而读出区域 18.1r2包含来自第二次曝光的电荷。随后依次把来自整个像素阵列的读 出区域的两个集合的电荷输出到信号处理器20。与此相比，在图6的实施例中，在第二次曝光之后，来自各感光 区域88.1p的电荷例如^皮转移到其右侧的读出区域88.1r2。这样，感光 区域88.1p被清除电荷。在这个阶段，读出区域88.1n包含来自第一次 曝光的电荷，而读出区域88.1r2包含来自第二次曝光的电荷。随后并 行地把来自整个像素阵列的读出区域的两个集合的电荷输出到信号处 理器20。说明性地，将左侧读出区域88.1r!中的电荷沿列88.2偏移， 而将右侧读出区域88.1r2中的电荷沿列88.3偏移。使光传感器18 (88)在多次曝光之间偏移的净效应是，通过将像素 的表观数量(apparent number)从N增加到2N，来增加照相机的空间分 辨率。(空间分辨率表示每个单位长度的可识别行数。)因此，使用图2的图解，传感器18仅具有N=8个像素(图2B)，但具有带2N=16个像 素的传感器18，(图2C)的分辨率。类似说明适用于图6的光传感器。一般来说，有效空间分辨率从N提高到nN，只要照相机i殳计成 每个感光区域具有n个读出区域，并且每当快门开启时提供n次曝光。 另外，在每个像素中，表面面积中^皮认为是死区的部分优选地不小于 像素的总表面面积的(n-l)/n。传感器相对焦点的平移传感器18 (88)与焦点之间的相对平移也可通过操纵透#:系统16 来实现。在这种情况下，传感器18(88)是固定的，以及成像透镜子系 统的组件的一个或多个纟皮移动(例如平移、旋转或者它们两者)，从而 引起对象12的图像在多次曝光之间偏移。另外，如上所述，传感器18 (88)的相对偏移可相对CCD列倾斜 地(例如沿对角线)执行，它有效地改变在^皮偏移之前和之后、在感光 区域之间发生的重叠的种类。例如，在说明性地具有设置成垂直列和 水平行的像素的图2B的光传感器实施例中，如果偏移量△的水平成 分小于感光区域的宽度Wp-md(如图5中的情况那样)，则存在这样一 种重叠，而如果偏移量△的成分等于这个宽度(如图4中的情况那样)， 则不会存在这种重叠。另外，如果偏移具有水平成分以及垂直成分(即 倾斜偏移)，则垂直成分影响哪些感光区域重叠。因此，倾斜偏移可引 起第二次曝光(偏移)感光区域各重叠四个第一次曝光感光区域(未示出) 而不是图5所示的两个。在任一种情况下，众所周知的后信号处理软件则可用于在重叠区 域的两个读数之间进行内插，以便提供比实际未偏移像素阵列明显更 高的分辨率。考虑一个实施例，其中，光传感器18包括具有由其感光 区域在垂直于列的方向的中线到中线间隔所确定的间距2d(图4)的像 素的行和列的规则阵列(例如图2B)。在本发明的一个简单实现中，使 感光区域18.1p的宽度Wp等于那些区域之间的间距2d的一半，并且 在第一次曝光之后使像素偏移距离d,如图4所示。在第一次曝光期间像素的位置由实线示出；在第二次曝光期间由虛线示出。在第一次 曝光之后，使传感器在箭头60的方向上向右偏移，然后发生第二次曝 光。因此，在第二次曝光中测量的图像数据实际上建立像素的没有间 隔或重叠的邻接序列。在另一个实施例中，传感器阵列设计成使得各感光区域的面积更 大、比如半间距的m倍，如图5所示，其中，像素偏移的方向由箭头 70示出。在这种情况下，两次曝光在空间上重叠，从而建立才莫糊或平 滑效果。但是，只要m不是过于接近二，则可通过简单信号处理来消 除模糊，从而获得预期半间距分辨率。更具体来说，4叚定在m-l的情 况下得到的像素值的理想序列为x[l],x[2],x[3],...。则，如果KiiK2， 那么所得模糊序列为y[l],y[2],y[3],…，其中y[i]由等式(l)给出<formula>formula see original document page 14</formula>式中，p=(m-l)/2。通过使用逆滤波器对数据y巻积以得到x-l^y， 可恢复理想序列。包含在图像处理器24中的逆滤波器所需的系数h[i] 由等式(2)给出只要p不是过于接近1/2,则系数h[i]随lil增加而迅速减小，佳_得可 将序列截取到少量系数。 一个备选实现是设置x尸y,然后执行若干次 等式(3)给出的形式的Jacobi迭代其中11=1,2,...。同样，如果p不是过于接近1/2,则在几次迭代之后， 这个过程将收敛到x的良好估计。增强的有效空间分辨率实施例其它形式的死区 由于存在设置在感光区域之间的光不灵敏或光屏蔽读出区域的形 式的死区，以上描述的本发明的实施例是有利的。但是，本文所述的 本发明的原理可适用于光传感器包括其它类型的死区的数字照相机，<formula>formula see original document page 14</formula>死区包括例如(1)感光区域的一个子集对光线波长具有与感光区域 的至少另 一个子集不同的灵敏性(颜色灵敏度)的死区；以及(2)感光区 域的一个子集对光线强度具有与感光区域的至少另一个子集具有不同 灵敏度的死区。在这些实例中，从使用感光区域的一个子集来收集图 像数据的观点来看，其它所有子集都被认为构成死区。因此，即使读 出区域置于感光区域之下，也存在死区。不管死区的类型，本发明的所有这些实施例都包括耦合到各感光 区域的多个读出区域、多次曝光以及使光传感器在曝光之间相对焦点 偏移，如前面所述。例如考虑上述Kodak CCD Primer的第10页所述类型的滤色器阵 列。滤色器用于渲染(render)对不同光线波长(例如原色即红、蓝和绿色 的每个)进行响应的不同感光区域。对一个波长进行响应的感光区域相对其它光线波长可坤皮认为是死区。因此，从红光的角度来看，绿色和 蓝色感光区域构成死区。同样，从绿光的观点来看，红色和蓝色感光 区域构成死区，依此类推。因此，本偏移和多次曝光方法可用于提供 一种填充间隙的方式，由此达到更高的空间分辨率。例如考虑感光区 域阵列的以下部分，它们定期重复进行，并且标记为R、 G或B,以 便分别表示红、绿或蓝光。RBRBRBRB GGGGGGGG RBRBRBRB GGGGGGGG使光传感器相对透^:系统的焦点、沿对角线在向下和向右的方向 偏移。因此，在以下对于红色数据所示类型的图案中，照相机有效地 看到绿色数据的完全取样阵列，而仅有效地看到蓝色数据的半取样阵列和红色数据的半取样阵列R R R RR R R R R R R RR R R R或者，通过具有以下图案的感光区域的阵列&GBRGBRGB RGBRGBRGB RGBRGBRGB RGBRGBRGB通过使用两个水平偏移和三次曝光，本照相机有效地看到各色数据的 完全取样阵列，或者通过使用一个水平偏移和两次曝光，有效地看到 各色数据的2/3取样阵列。另一方面，考虑对光线强度具有不同灵敏度的感光区域的光传感 器(例如，感光区域的一个子集具有较高灵敏度、而至少一个第二子集 具有较低灵敏度的阵列)。本领域众所周知，在具有较大表面面积的感 光区域中，灵敏度增加。因此，两个子集可对应于具有不同面积的感 光区域。因此，具有两种类型的感光区域的光传感器可用来提高空间 分辨率，因为更灵敏的区域提供来自对象12的暗区的有用读数，而不 太灵敏的区域提供来自对象12的亮区的有用读数。读数的两个集合通 过本领域众所周知的后处理技术进行组合，从而获得高对比画面的高 质量图像。增强的有效动态范围实施例本发明的CCD和CMOS光传感器实施例中所使用类型的感光区 域有效地测量乘积alt提供的能量，其中，a是感光区域的灵敏度，I 是入射到感光区域的光线强度，以及t是曝光时间。为了获得用于生 成图像的有用数据，该能量必须处于上限与下限之间，这又定义了光 传感器因而以及照相机的动态范围。如果对象(或者包含对象的画面)具有较低的对比度，则落在不同感光区域的光线强度没有明显变化。因此，查找适合于所有感光区域的共同曝光时间是简单的；也就是说， 在各感光区域所吸收的能量落入动态范围之内的意义上是适合的。另 一方面，如果对象或画面具有较高的对比度，则落在不同感光区域的 光线强度存在明显变化。因此，可能没有适合于所有感光区域的共同 曝光时间。通常发生折衷。如果曝光时间过长，则某些感光区域会饱 和；如果过短，则其它区域会丟失噪声基底中的数据。但是，本发明的另 一个实施例增加这类光传感器的有效动态范围， 由此使它更适合用于高对比对象或画面。在这种情况下，所有感光区 域本质上具有相同灵敏度。但是，第一和第二次曝光具有不同的时长。 更具体来说，如果对象12例如构成高对比画面，则第一次曝光具有在 感光区域电荷中产生的4支短时长(例如大约0.5至5 ms)，随后将电荷转 移到读出区域的第一子集并存储在其中。另一方面，第二次曝光具有 在感光区域电荷中产生的较长时长(例如大约10至100 ms)，随后将电 荷转移到读出区域的第二子集并存储在其中。然后，两个子集的所存 储电荷被读出和处理。本发明的这个实施例包括耦合到各感光区域的多个读出区域和多 次曝光，如前面所述，但是消除了使光传感器相对焦点在曝光之间偏 移的需要。例如，考虑十六个感光区域的阵列，其中如图2C所示本质上没 有死区，以及读出区域置于感光区域之下。对于具有较高对比度的对 象或画面，照相机首先拍摄短曝光图像，并将十六个数据点存储在读 出区域的第一子集，然后拍摄较长曝光图像，并将十六个另外的数据 点存储在读出区域的第二不同子集中。(无疑可倒转曝光的顺序。)所 存储数据对应于对象或画面的相同的十六个空间位置。对象或画面的 亮区的数据点是存储在读出区域的笫 一子集中的有用数据，但在读出 区域的第二子集中饱和。相反，对象或画面的暗区的数据点是存储在 读出区域的第二子集中的有用数据，但在读出区域的第一子集中极小 (本质上为零)。然后，众所周知的信号处理技术用于組合读出区域的两个子集中存储的数据，从而得到十六个有用数据点。 其他实施例应该理解，上述配置只是说明可设计成表示本发明的原理的应用 的许多可能的具体实施例。其它许多各种配置可由本领域的技术人员 根据这些原理来设计，而没有背离本发明的精神和范围。具体来说，本发明的另一个实施例组合上述若干方法。例如，如 果光传感器具有死区，其中包括全部具有本质上相同灵敏度的感光区 域阵列以及每个感光区域的三个读出区域，则控制器可设计用于每个周期三次曝光第一和第二次短曝光(其中CCD在这些曝光之间平移) 以及第三次较长曝光(其中CCD没有在第二与第三次曝光之间平移)。 这个实施例提供对象12的亮区的增强分辨率以及暗区的常规分辨率。我们还注意到，如果图像本身比多次曝光的时长更快地改变，则 本照相机创建的最终图像可能模糊。在那种情况下，本照相机可配备 现有技术所述种类的机构，在曝光期间响应任何外部振动而移动光传 感器18。允许摄影师在低光度条件下拍摄清晰照片而无需使用三脚架 的这种设计还可用于多次曝光，以便提高现有传感器的分辨率。(例如 参见美国已发布专利申请2003/0210343和2004/0240867，通过引用将 它们结合到本文中。)另外，本发明具有以增加少许复杂度的代价在读出期间减小图像 斑点的优点。虽然与全帧传感器相比，在一些实施例中使用IL类型的 CCD体系结构减少了感光区域的部分，但是，通过众所周知的微透镇: 阵列可补偿较低的灵敏度，微列将光线集中并重定向到感光区域，如 前面的Kodak CCD Primer所述。此外，虽然将光传感器18表示为设置成列和行的矩形像素的矩形 阵列，但是，本领域的技术人员会理解，本发明可使用以不同于行/列 的配置来设置像素和/或像素具有与矩形不同的形状的其它类型的阵 列来实现，但可能以增加的复杂度为代价。我们注意到， 一般来说，图像可包含多个数据平面，其中，数据平面是对应于特定类型的测量的数值的二维阵列(例如，基于入射光的 颜色或强度或者基于曝光时间的测量)。数值在阵列中的位置对应于进 行测量的对象或图像上的空间位置。例如，在不同感光区域对颜色具 有不同灵敏度的本发明的增强空间分辨率实施例中，黑白照片由 一个数据平面组成，而彩色照片具有对应于RGB的三个数据平面，即数值 的三个2D阵列。另一方面，在不同感光区域对光线强度具有不同灵 敏度的本发明的增强空间分辨率实施例中，存在两个数据平面使用 高灵敏度所测量数值的阵列以及采用低灵敏度区域所测量的阵列。照 相机内部或外部的后续处理组合多个数据平面，从而形成单个黑白或 彩色照片。在这两种情况中，本发明可用于提高对象或图像中的各个 数据平面的空间分辨率，由此提高整体图像的空间分辨率。最后，在 本发明的增强动态范围实施例中，存在两个数据平面使用短曝光所 测量数值的阵列以及采用较长曝光所测量的阵列。照相机内部或外部 的后续处理将多个数据平面组合为单个照片。
权利要求
1.一种用于存储对象的光学图像的设备，所述设备包括成像设备，具有多个像素，各像素包括光传感器和耦合到所述传感器的多个存储单元，在各像素中，存储单元的第一个配置成存储对应于它的传感器的第一次曝光的数据，以及存储单元的第二个配置成存储对应于它的传感器的第二次曝光的数据。
2. 如权利要求1所述的设备，还包括透镜系统，用于把来自所述对象的光线聚焦到所述成像设备，以及平移器，配置成产生所述成像设备与所述透镜系统的焦点之间的 相对平移，所述平移在所述第一与第二次曝光之间发生。
3. 如权利要求2所述的设备，其中，所述多个像素组成设置成在 列之间具有均匀间距的列和行的像素阵列，以及所述平移器配置成产 生某个量的所述平移，所述量大约是在本质上垂直于所述列的方向上 的所迷间距的一半。
4. 如权利要求l所述的设备，其中，所述光传感器的每个具有多 侧，并且它的存储单元的至少两个设置在所述光传感器的同一侧。
5. 如权利要求l所述的设备，其中，所述光传感器的每个具有多 侧，以及它的存储单元的至少一个设置在所述光传感器的一侧，并且 它的存储单元的至少不同的 一个设置在所述光传感器的不同侧。
6. 如权利要求2所述的设备，还包括光快门(light shutter),具有 来自所述对象的光线照射所述传感器的所选部分的开启状态以及来自 所述对象的光线没有照射所述传感器的闭合状态；以及控制器，配置 成(i)开启所述快门，由此使所述传感器暴露于来自所述对象的光线， 并在所述传感器中生成表示所述图像的电子数据；(ii)将所述数据/人 所述传感器转移到所述第一存储单元；(iii)起动所述平移器，以便使 所述传感器相对所述焦点偏移，由此使所述偏移传感器暴露于来自所述图像的光线，并在所述传感器中生成表示所述对象的其它数据；(iv) >^人所述传感器删除在所述偏移操作期间以及在生成所述其它数据之前 在其中生成的寄生数据；(v)将所述其它数据从所述传感器转移到所述 第二存储单元；以及(vi)闭合所述快门。
7. 如权利要求l所述的设备，其中，所述光传感器的第一子集对 来自所述对象的光线具有第一曝光灵敏度，以及所述光传感器的第二 子集对来自所述对象的光线具有第二曝光灵敏度。
8. 如权利要求l所述的设备，其中，所有所述传感器对于来自所 述对象的光线强度都具有本质上相同的灵敏度，以及所述第 一和第二 次曝光具有不同的时长。
9. 如权利要求l所述的设备，其中，所述像素的第一子集对于第 一原色的光线具有第一频率灵敏度，所述像素的第二子集对第二原色 的光线具有第二频率灵敏度，以及所述像素的第三子集对于第三原色 的光线具有第三频率灵敏度。
10. 如权利要求1所述的设备，其中，所述像素包括死区，所述 像素的每个包括n个所述存储单元，以及在所述像素的每个中，所述 死区占用的表面面积不小于所述像素的总表面面积的大约(n-l)/n。
全文摘要
用于存储对象的光学图像的设备包括具有多个像素的成像设备，各像素包括光传感器和耦合到传感器的多个存储单元。透镜系统把来自对象的光线聚焦到成像设备。在各像素中，存储单元的第一个配置成存储对应于它的传感器对来自对象的光线第一次曝光的数据，以及存储单元的第二个配置成存储对应于它的传感器对来自对象的光线第二次曝光的数据。在一个优选实施例中，像素设置在阵列中沿第一方向延伸，并且在第一与第二次曝光之间的时间间隔中，平移器配置成在第二方向产生成像设备与透镜系统的焦点之间的相对平移或偏移。在一个实施例中，第二方向穿过第一方向。在一个优选实施例中，各像素包括感光区域，并且使像素偏移某个距离，该距离近似等于在第二方向所测量的感光区域的间距的一半。这样，通过增加传感器的像素的有效数量而没有增加像素的实际数量，本发明提高空间分辨率。在本发明的备选实施例中，增强传感器的动态范围。
文档编号H04N5/355GK101278549SQ200680036661
公开日2008年10月1日 申请日期2006年9月25日 优先权日2005年10月4日
发明者C·J·努兹曼, J·V·加特斯, S·保 申请人:卢森特技术有限公司