专利名称：图像传感器的延伸的景深的制作方法
技术领域：
本发明涉及电子图像捕获系统且更特定来说涉及一种用于提供具有延伸的景深的图像的图像传感器阵列的设备及读出方法。
背景技术：
例如电荷耦合装置(CCD)图像传感器及有源像素传感器(APS)装置等电子图像传感器在许多类型的电子成像系统中用于产生视觉图像的电子表示。通常以互补金属氧化物半导体工艺制作的APS装置还称作CMOS传感器。通常，这些图像传感器包括布置成规则的二维行及列图案或阵列的若干个光敏像素(也就是说，图片元素)，其中每一个别像素基于场景图像的由镜头投射到所述像素上的部分的光等级提供信号。由于制作及设计的正在发生的改善，CMOS及其它APS图像传感器可通常提供比适用于形成具有适度良好的质量的图像显著更多的像素。举例来说，此对于图像的在光学上离焦的部分的确如此；任何添加的像素分辨率不能够补偿此问题。有限的景深是用于许多较小相机以及用于集成到蜂窝电话中的相机及其它手持式电子装置的高度紧凑的封装的一个结果。在使用固定位置镜头或镜头系统来提供用于这些紧凑装置的减小轮廓设计的情况下，光学系统的景深可被限制、设定为固定值。光学成像技术领域中的技术人员很好地了解延伸的景深的优点。延伸图像捕获系统的景深使得所捕获的图像的占较大比例的部分能够具有改善的分辨率且显现为在焦点上，且可不仅产生对于观看者的眼睛来说本质上更悦目的图像，而且还提供用于图像处理及分析效用的更好的输入且改善若干个图像处理应用(例如，对比度调整、面部或对象辨识效用及其它应用)的性能(举例来说)。用于提供延伸的景深的常规方法包括例如焦点堆叠等技术。焦点堆叠使用在所需的焦点位置范围上连续拍摄的对象的多个全分辨率图像，每一图像是以光学系统的不同焦点位置拍摄。接着对以此方式获得的图像进行“堆叠”或以其它方式选择性地组合，以便形成复合图像，所述复合图像赋予所述图像的每一部分在所述范围上获得的最佳焦点。在 (举例来说)顾实(Gouch)的标题为“用于形成多焦点堆叠图像的方法及设备(Method and Apparatus for Forming a Multiple Focus Stack Image) " 2005/0286800 利申请公开案中给出对焦点堆叠的说明。用于延伸景深的其它方法应用波前编码，其有目的地引入相机光学器件中的像差，接着使用图像处理以便在最终图像中将其移除。波前编码描述于(举例来说)颁予凯瑟(Cathey)等人的标题为“延伸的景深光学系统(Extended Depth of Field Optical System)，，的第5，748，371号美国专利中。用于延伸景深的又一方法使用全光成像。全光图像捕获装置捕获图像数据以及关于来自对象的光的方向性分布的信息。在格奥尔基耶夫(Georgiev)的标题为“全光相机 (Plenoptic Camera) ”的第2007/0230944号美国专利申请公开案中给出全光装置的一个实例。
尽管这些常规方法中的每一者提供景深的某一测量的增加，但存在限制每一方法的效用的缺点。焦点堆叠(针对静止对象的宏观摄影而优化)通常需要三脚架或等效支撑物来使运动伪影最小化。在CMOS传感器的情况下，必须以若干个焦距设定中的每一者来获得全图像以用于获得所需的图像堆叠。此解决方案可对于大多数类型的消费摄影或随意摄影应用不可行。波前编码需要相机光学器件的点扩散函数(Psf)的详细表征且计算密集且复杂，通常需要用于帧存储器及处理的额外电路，因此使其成为不切实际的解决方案，特别是对于视频图像处理。全光图像捕获装置也具有本质的计算复杂性且需要可不能容易地适用于手持式装置(例如，蜂窝电话等等)的窄轮廓的组件封装设计。因此，可发现，尽管存在用于增强或延伸图像传感器及其附属光学系统的景深的方法，但这些方法对于许多类型的便携式及手持式成像设备可为不切实际的。
发明内容
本发明的一个目的是发展数字成像技术领域且提供使用电子成像传感器的成像装置的改善的景深。考虑到此目的，本发明提供一种用于形成图像、至少部分地由数据处理设备实施的方法，其包括以下步骤以第一 f/#设定从图像传感器阵列中的第一像素子集获得场景的第一图像；将从所述场景获得光的成像光学器件调整到第二 f/#设定；从所述图像传感器阵列中的第二像素子集获得所述场景的第二图像；及通过组合来自至少所述第一及第二图像的图像数据来形成复合图像。根据本发明的图像捕获特别适合于捕获静止图像的相机及其它类型的图像捕获装置，其中需要增强的景深。本发明的实施例可具有广泛的应用且众多类型的图像捕获装置可有效地使用这些图像捕获方法。此种数字成像设备可包含数字传感器，其包含像素阵列，其中所述像素组织成至少第一及第二像素子集，其中每一像素子集可单独读取；光圈， 其耦合到致动器以致动到至少第一及第二光圈设定；及控制逻辑处理器，其响应于用于控制所述致动器的指令而将所述光圈设定为所述第一光圈设定并从所述第一像素子集获得图像数据内容，以及将所述光圈设定为所述第二光圈设定并从所述第二像素子集获得图像数据内容。在另一实施例中，本发明也涉及一种形成图像的方法，其包含以下步骤同时捕获场景内容的多个图像，每一图像具有不同的景深及对应地不同的图像分辨率；针对每一图像确定所述图像的具有比所述图像的其它部分的图像分辨率优越的图像分辨率的至少一个部分；通过组合来自所述多个图像中的每一者的图像信息来形成所述场景内容的复合图像；及从每一图像的具有优越图像分辨率的所述至少一个部分选择每一图像的所述图像信肩、ο根据对优选实施例的以下详细说明及所附权利要求书的审阅并参照附图将更清楚地理解及了解本发明的这些及其它方面、目的、特征及优点。
图1是可采用常规传感器及处理方法或本发明的传感器及处理方法的常规数字静止相机系统的框图。图2是显示最小重复单元及非最小重复单元的常规拜耳(Bayer)色彩滤波器阵列图案的平面图。图3是使用彩色及全色像素两者的替代传感器阵列布置的平面图。图4A是显示固态传感器阵列的滚动快门时序的时序图。图4B是显示固态传感器阵列的替代滚动快门时序的时序图。图5是显示具有两个组成像素子集的图像传感器阵列的布置的平面图。图6是显示用于读取两个组成子集的滚动快门时序的时序图。图7是显示光圈设定如何影响成像设备的景深的示意图。图8是显示使用不同的f/#设定获得的相同场景内容的多个组成图像的示意图。图9是显示用于使用图8的实例获得多个图像的读出及调整序列的时序图。
具体实施例方式由于数字成像装置及用于信号捕获及校正以及用于曝光控制的有关电路是众所周知的，因此本说明更具体来说针对与本发明有关的元件及操作。本文中未具体显示或描述的元件选自所属技术领域中已知的那些元件。提供本文中显示及描述的各图以便图解说明本发明的操作的关键原理且并非特意绘制以显示实际大小或比例。一些放大可为必要的，以便强调相对空间关系或操作原理。待描述的实施例的某些方面在数据处理设备(例如，计算机、微处理器或其它类型的控制逻辑处理器)的控制下由从软件提供的指令控制。假设系统如在以下揭示内容中根据本发明所显示及描述，本文中未具体显示、描述或建议的适用于本发明的实施方案的软件为常规的且在此类技术领域的普通技能内。在本发明的上下文中，术语“分区”具有在数学集理论中所使用的含义。集S的分区是其并集为完全集S的不相交非空真子集的集族。可以观察到，分区的此较正式的定义在涵义上有些不同于所述术语的非正式使用。然而，由数学集理论指派的正式定义特别适合于定义可如何使用本发明的一些实施例的方法及设备来组织阵列中的像素，如随后更详细地描述。除非另有明确规定，否则术语“子集”在本文中用于指代非空子集。对于集S，子集可包含完全集S。然而，集S的“真子集”严格地含纳于集S中且排除集S的至少一个元。 如果两个子集的交集为空集，也就是说，如果其不具有共同的元素，那么其为不相交的。在图像传感器的上下文中，像素(“图片元素”的缩写)指代离散光感测区域及与所述光感测区域相关联的电荷移位或电荷测量电路。在不使用内插值的数字彩色图像的上下文中，术语像素通常指代图像中具有相关联色彩强度值的特定位置，其限制于一种原色 (使用滤波器)或通常为全色。术语色彩像素将指代在所界定的光谱带上具有色彩光电响应的像素。在本发明的上下文中，术语“同时曝光”与同一场景内容的在简短的时间周期内顺序拍摄的两个或两个以上曝光有关。同时曝光意味着每一曝光的场景内容大致相同，其中必须针对在个别曝光之间对电路进行刷新或复位所需要的短暂间隔、针对无意的相机移动或针对在图像捕获之间的短暂间隔期间场景中的对象的大致可忽略的移动作出一定的容限。为了更好地了解本发明的设备及方法，审阅在常规实践中用于使用图像传感器阵列获得图像的成像系统组件及用于读出图像数据的一些基本操作序列是有用的。数字成像设备的功能件部件参照图1，其显示在本发明的数字成像设备10中的图像-捕获路径的功能性框图。 将数字成像设备10描述为数码相机，但以下说明也通常适用于(例如)非相机装置(例如， 移动电话、各种类型的便携式计算装置及汽车车辆)中所包括的成像子系统上的其它类型的手持式、便携式或内建式图像捕获装置(举例来说)。来自被摄场景的光入射到输入光学器件，其显示为朝向图像传感器阵列20引导所述光穿过光圈14的镜头12。图像传感器阵列20将所述入射光转换成每一图片元素(像素)的电信号。优选实施例的图像传感器阵列20可为电荷耦合装置(CCD)类型或有源像素传感器(APQ类型。在将传感器阵列20曝光于光时，产生自由少数载子(电子或空穴)并在每一像素处的电子结构内捕获所述自由少数载子。捕获这些自由少数载子达某一时间周期且接着测量所捕获的少数载子的数目或测量产生自由少数载子的速率可测量每一像素处的光等级。 在前一种情况下，将所积累的电荷从像素阵列中移位到电荷耦合装置(CCD)中的电荷/电压测量电路，或者靠近于每一像素的区域可含有有源像素传感器(APS或CMOS传感器)中的电荷/电压测量电路的元件。在使用APS技术的实施例中，图像传感器20的每一像素具有用于读出像素信号的光电检测器电路及有源晶体管电路两者。图像传感器阵列中的每一像素的光电检测器通过光电效应将撞击于所述像素上的光子转换成电荷。在长到足以收集可检测电荷量但短到足以避免使存储元件饱和的时间周期上对所述电荷进行积分。此积分时间周期类似于胶片曝光时间(也就是说，快门速度)。针对彩色成像，传感器包括色彩滤波器布置，如随后更详细地描述。特定用于本发明的实施例的一个机构是可控制光圈14。如在摄影及光学技术领域中众所周知，光圈及并入有光圈的镜头或成像系统的“f光阑”(在下文中由标记“f/#”指代)为光圈14中的开口的直径的函数且调节到达图像传感器阵列20的光的角度，且在这样做时，确定数字成像设备10的有效视场(FOV)及景深(DOF)，如随后更详细地描述。给数字成像设备10提供其大小由在数字成像设备10逻辑中执行的指令控制的可调整光圈14 使得能够进行同时图像捕获操作以便以不同的f/#设定获得连续图像，如随后更详细地描述。在图1中所示的实施例中，控制逻辑处理器30控制光圈14及图像传感器阵列20 的操作。信号处理器22提供由传感器阵列20获得的数字图像数据的所需信号处理功能。 存储器M存储从信号处理器22及传感器阵列20获得的图像数据。控制逻辑处理器30还与用于接受操作者命令以控制数字成像设备10的用户接口观通信。必须认识到，图1的框图显示根据本发明的实施例操作的数字成像设备10的最小数目的组件，且通常将若干个不同元件添加到光学路径以便支持装置的各种成像功能。举例来说，额外的光学元件(例如，中性密度(ND)滤波器)可并入于光学路径中。或者，可使用快门；然而，随后更详细地描述的读出时序序列(例如，“滚动”读出)消除对添加快门机构的需要。数字传感器阵列20的布置
数字传感器阵列20具有安置成行及列的二维矩阵的几千个光电传感器的布置。 在常规手持式成像设备中，传感器阵列20可容易地具有几百万个像素，使得这些装置按照兆像素(106像素)来描述其成像能力。本发明中所显示的传感器阵列20的表示呈现所述阵列的微小部分，以便表示其总体布置，而与比例、填充因数考虑因素或其它组件级考虑因
素无关。微型化的发展的一个益处通过大量像素感测元件可制作到小的半导体芯片上来证明。在实践中，针对单个图像可获得的像素的数目甚至可远远超过在显示或打印所述图像时所需要的像素的数目。因此，通常需要将像素数据分组，以便将所捕获的图像数据中的附近像素的群集组合在一起以形成显示或打印数据的单个像素。本发明的实施例利用此高像素计数以便获得额外的图像数据集，其可经组合以改善所获得数字图像的有效景深。本发明的实施例还利用允许传感器阵列被分段成两个或两个以上通常但未必不相交的像素子集的最近的组件设计改善，其中可独立于其它子集的读出时序来控制每一像素子集的读出时序。此并非是许多常规图像传感器阵列当前具备的能力。然而，具有此能力的图像传感器阵列20硬件的设计在实践图像传感器设计及制作的技术领域的技术人员的技能范围内。为更好地理解本发明的实施例如何工作，首先审阅数字传感器阵列20的常规布置及读出操作是有用的。在阵列20的设计中，已采取若干个步骤来使用于图像感测的可用空间量最大化。 举例来说，并非针对每一像素行单独提供模/数转换(ADC)电路；替代地，仅提供足够的存储装置以同时读出单个行的像素是普遍的做法。因此，无法同时测量或读出完整的二维传感器阵列的像素信号。替代地，以串行方式读取像素传感器信号。在具有单个ADC装置的 CCD中，举例来说，以光栅方式(也就是说，在像素阵列内逐行且在每一行内逐像素)读出像素信号。图像传感器读出的串行性质直接控制可读取整个传感器阵列的速率，其受到读出机制的带宽的限制。举例来说，如果图像传感器的读出机制可每秒测量5千万个像素，那么其将花费大约十分之一秒来读出5兆像素图像传感器。减少读取整个图像传感器所需要的时间通常需要增加用于更快读出的电力消耗或增加图像传感器的大小以提供额外的读出通道。然而，手持式图像捕获装置既不需要增加的电力消耗也不需要增加的大小。为了产生彩色图像，图像传感器阵列20通常具有置于像素上方的覆盖的色彩滤波器图案。图2显示通常使用的红色(R)、绿色(G)及蓝色(B)色彩滤波器的图案。此特定图案以其发明人布莱斯拜耳(Bryce Bayer)命名而通常称为拜耳色彩滤波器阵列(CFA)， 如第3，971，065号美国专利中所揭示。此图案有效地用于具有二维色彩像素阵列的图像传感器中。因此，每一像素具有特定色彩光电响应，在此情况下，其为对红色、绿色或蓝色光的支配性敏感度。另外有用的各种色彩光电响应是对品红、黄色或青色光的支配性敏感度。在每一情况下，特定色彩光电响应对可见光谱的某些部分具有高敏感度，而同时对可见光谱的其它部分具有低敏感度。最小重复单元为其它重复单元不具有更小像素的重复单元。举例来说，图2中的 CFA包括为如图2中的像素块100所示的两个像素的最小重复单元。此最小重复单元的多个副本经平铺显示以覆盖图像传感器中的整个像素阵列。将所述最小重复单元显示为绿色像素位于右上角中，但可通过将粗轮廓区域的一个像素向右移动、一个像素向下移动或一个像素对角地向右及向下移动来容易地辨别出三个替代最小重复单元。尽管像素块102为重复单元，但其并非最小重复单元，因为像素块100为重复单元且块100具有比块102更少的像素。使用具有带有图2的CFA的二维阵列的图像传感器捕获的图像在每一像素处仅具有一个色彩值。为了产生全色彩图像，存在用于推断或内插每一像素处的遗漏色彩的若干种技术。这些CFA内插技术在所属技术领域中是众所周知的。由于其消除机械部件且减少成本及空间要求，因此设计不具有光阻挡快门的图像捕获系统是普遍的做法。此类系统替代地依赖于有效地提供电子快门的传感器时序。此时序方案通过以下步骤而操作对每一光电传感器进行复位、对电荷载子(光电子或或者是空穴)进行积分且接着按有序序列读出光电传感器信号。可通过将残留电荷从光电传感器转移到相关联浮动扩散部电路且接着摈弃所述残留电荷来实现所述复位步骤。在曝光期间，光电子在所述光电传感器中积累达规定的积分时间，此时将电荷信号转移到浮动扩散部中。在CMOS装置中，将所述电荷信号转换成电压。接着将相关联电压存储于例如电容器的存储器装置中。如果传感器对于浮动扩散部具有足够低的暗电流及足够良好的光遮蔽，那么不需要立即读出所转移的电荷。在这些条件下，将可能立刻从所有像素将电荷转移到其相应浮动扩散部中且接着在顺序读出序列逐行渐进地处理信号时等待短暂时间。当然，为使此全域转移工作，每一像素还将需要具有其自身的经光遮蔽的浮动扩散部。本发明的方法及设备可与若干种类型的读出序列中的任一者一起工作以从图像传感器阵列20获得像素值。后续说明显示因APS及类似阵列装置而具有特定长处及优点的一种方法，即滚动快门方法。然而，必须强调，此仅为可用于本发明的实施例的一组可用读出时序方案中的一者。用于图像数据读出的滚动快门序列图像捕获的时序通常遵循两种基本图案中的一者。在全域捕获序列中，仅同时曝光及转移所有图像像素的曝光信号值。然而，此类型的序列需要可观的装置复杂性且可由于其限制传感器芯片上用于光接收性的空间量而为不利的。替代地，已采用逐行读取方法且其通常为用于CMOS APS像素的优选读取模式。此“滚动快门”序列避免C⑶的隔行扫描场中所展现的差分曝光问题，从而允许每一行的曝光延伸相同的时间长度，或甚至允许不同的像素分组具有不同的曝光周期(举例来说)。作为额外优点，滚动快门序列简化了传感器组件设计，因为并非每一像素均需要经遮蔽存储。然而，由于每一行的曝光可独立于其它行的曝光且按顺序(或滚动)方式与其它行的曝光一起发生，因此每一连续行或一行内的像素分组在比前一行稍晚的时间捕获其场景图像的部分。因此，场景(或场景的元素)与图像传感器之间的相对运动可致使所述场景内的对象在由所述图像传感器捕获的图像中显现为失真。此失真效应(称为图像“剪切”)是滚动快门布置的特性。举例来说，如果使用此所谓的滚动快门或电子焦面快门图像传感器来捕获水平移动的汽车的图像，那么在曝光并读出所捕获的图像的每一行时所述汽车相对于所述图像传感器移动，使得所捕获的图像的每一行显示处于不同位置的车辆。此可致使圆形小汽车轮胎显现为有点椭圆形且可使矩形小汽车窗户失真而显现为平行四边形。因运动所致的此种失真是读出图像传感器的所有行所需的时间量的直接结果。如果可以较快速率读取所述行，那么可减小此失真。然而，如前文所述，增加所述读出速率通常需要图像传感器的成本及电力消耗的不期望增加。对于基于硅的图像传感器，像素组件本身广泛地对可见光敏感，从而允许未经滤波的像素适合于捕获单色图像。为捕获彩色图像，通常在像素图案上制作二维滤波器图案， 其中使用不同的滤波器材料制作仅对可见光光谱的一部分敏感的个别像素，如较早参照图 2所描述。作为用于改善在变化的光条件下的图像捕获及用于改善成像传感器的总体敏感度的解决方案，已揭示对上述'065专利的熟悉的拜耳图案的修改。举例来说，共同转让的汉密尔顿(Hamilton)等人的标题为“在变化的照明条件下捕获图像(Capturing Images Under Varying Lighting Conditions) ” 的第 2007/0046807 号美国专利申请公开案及康普顿(Compton)等人的标题为“具有改善的光敏感度的图像传感器(Image Sensor with Improved Light knsitivity) ”的第2007/0024931号美国专利申请公开案两者均描述将色彩滤波器与全色(P)滤波器元件组合(以某一方式在空间上交错)的替代传感器布置， 如图3中的阵列212中所示。最小重复单元以R处的轮廓显示。在此类型的解决方案的情况下，图像传感器的某一部分检测色彩，而其它全色部分经优化以检测跨越可见带的光以实现改善的动态范围及敏感度。这些解决方案因此提供像素图案，一些像素有色彩滤波器(提供窄带光谱响应)，而一些像素(未经滤波的“全色”像素或经滤波以提供宽带光谱响应的像素)无色彩滤波器。使用窄与宽光谱带像素响应两者的组合，图像传感器可在较低的光等级下使用或提供较短的曝光时间。举例来说，参见佐藤(Sato)等人的美国专利 4，390，895、亚马戈米(Yamagami)等人的美国专利5，323，233及金德尔(Gindele)等人的美国专利6，476，865。在CMOS APS装置的图像传感器阵列20中，积分时间(或者称为曝光时间)是开始曝光的对给定像素行的复位与结束所述曝光的对所述行的后续读取或读出之间的间隔。 由于一次可仅选择一个行，因此复位/读取例程为顺序的(也就是说，逐行的)。如所论述， 此限制是在称作“滚动电子快门”模式或更简单地称作“滚动快门”模式且在成像技术领域中为众所周知的读取技术的基础上。在以下美国专利中给出滚动快门时间定序的变化形式的几个实例颁予亚迪德-皮啻特(Yadid-Pecht)等人的标题为“从每一感测像素产生至少 MyMR^vWfS] WISft^^^ (Image Sensor Producing at Least Two Integration Times from Each Sensing Pixel) ”的第6，115，065号美国专利及颁予克里姆思科(Krymski)等人的标题为“CMOS传感器中的前视滚动快门系统(Look-Ahead Rolling Shutter System in CMOS %11801^)”的第6，809，766号美国专利。读取序列的有效快门宽度和积分启用与读出之间的时间有关。作为一种用于滚动快门定序的方法，使复位指针转位而比读取指针超前等于快门宽度的量。两个指针之间的时间差对应于像素积分时间。图4A显示在此实例中在相对良好的照射条件下按常规表示的滚动快门模式的时序序列。横坐标(X轴)表示时间。纵坐标(y轴)表示传感器阵列内的行数。每一斜线指示一个快门宽度(例如，一个或一个以上行)的读取。按序针对每一行执行复位300。像素积分时间由粗体箭头指示。在合适的积分时间之后，针对所述行执行读取302。如从图4A的时序图中可以看出，此常规滚动快门序列允许在其期间不获得光子的周期，具体来说，在读取302与其后续复位300之间。尽管此可在良好照射下是可接受的， 但此布置在低光条件下可不会表现良好。这是因为在光强度降低时可必需更多的像素积分时间。图4B的时序图显示针对低光条件的替代时序。此处，在读取302之后立即执行复位 300，从而使像素积分时间最大化以便不浪费入射光子。形成传感器阵列20的分区本发明的方法能够与允许单独曝光及读取两个或两个以上像素子集(包括所述两个或两个以上子集形成传感器阵列20的分区的情况)的任何传感器架构一起使用，从而再次使用较早所描述的分区的正式定义。图5显示传感器阵列20的一部分，在传感器阵列 20中两个组成子集40a(阴影)及40b形成所述阵列的分区。可独立于组成子集40b而对组成子集40a进行复位、曝光及读取。像素布置成可单独寻址的组成子集的此布置允许成像设备10(图1)使用滚动读出时序捕获同一场景内容的两个单独的图像，每一图像是在不同的时间间隔上捕获。图6显示用于图5的两子集分区实施例的滚动读出时序。使用与在图4A到5中给出的符号相似的符号，复位300a及读取30 用于子集40a ；复位300b及读取302b用于子集40b。需要两个连续的滚动快门读出序列来读取完整的图像传感器，一个滚动快门读出序列用于读取组成子集40a，另一个用于读取子集40b。所属技术领域的技术人员可了解，可以若干种方式延伸图5及6的实例。举例来说，图像传感器阵列20的分区可由多于两个子集形成。子集可包括完整的像素行或可为群集的分组，如在图5的实例中。同一子集内的像素可彼此分离。也可使用使用全色(P)像素的布置，如图3中所示。可接着以额外的滚动快门读出序列延伸图6的时序布置以处置每一额外的子集。在替代实施例中，组成子集可部分地重叠，也就是说，两个或两个以上组成子集可具有一个或一个以上共同像素。此意指，子集不需要满足形成传感器20的分区的严格的正式定义。在另一替代实施例中，两个或两个以上组成子集可具有不同的曝光间隔。任何两个子集可为不同大小，因此具有不同数目的像素。以此方式使用像素子集允许成像设备10以同时方式获得同一场景内容的多个图像，也就是说，其中所有所述图像在时间上靠近在一起而获得。此允许从图像数据的组合形成经合成图像，所述图像数据是在单独的顺序捕获中从同一场景获得。本发明的实施例采用此能力来增强成像设备10的景深。景深考虑因素在图像捕获中，如上文所论述，f/#定义由光学系统处置的光角度且提供图像分辨率的某一数量性测量。镜头的f/#确定为镜头的焦距(f)除以其光圈的直径(a)的商。对于具有固定焦距f的透镜，通过改变光圈大小来使f/#变化。对于由相机或其它图像捕获装置获得的图像，景深(DOF)与距图像捕获装置的相对距离有关，在所述相对距离上，被摄场被视为“在焦点上”或更精确以提供令人满意的清晰度。由于此原因，景深有时称作焦深，但焦深更恰当地指图像侧，而非镜头的对象侧。如成像技术领域的技术人员众所周知，景深与成像光学器件的f/#相关。低f/#产生相对窄的景深。随着"#在范围内增加，景深也增加。较小的手持式图像捕获装置在大距离下通常具有固定焦距，通常称为无限远。通过给现有图像捕获装置设计提供简单的低成本可控制光圈14(图1)，本发明的实施例提供用于从场景获得增强的景深(DOF)信息的能力。光圈14可为机械光圈，包括具有有限数目的固定设定的装置(举例来说)。此类型的光圈14可为对现有图像捕获装置光学器件的翻新，其中在许多实施例中对手持式装置的总体机械尺寸具有极小影响或不具有影响。图7的示意图显示光圈14的设定如何针对相同固定焦距F获得两个不同的f/# 设定。在光圈14设定为较宽开口的情况下或在较低"#的情况下，景深DOFa相对浅。在光圈14的针对较高f/#的较大设定下，景深DOFb显著较宽。如成像技术领域中的技术人员众所周知，尽管较小的f/#允许较小的景深，但其对于所接收的光量是有利的，且因此对于可以其获得曝光的速度是有利的。在较高的f/#下，需要更多的曝光时间以便从场景获得相同光能量。本发明的方法及设备使得成像设备10能够执行同一场景内容的同时图像捕获， 每一图像具有不同的景深。接着可使用自动相关、对比度确定或图像处理技术领域中的技术人员已知的其它技术来分析所述单独的图像以检测所述图像的具有最佳清晰度的部分。 接着可基于此分析来汇编、存储及处理所述场景内容的复合图像数据。图8的示意图显示在其中获得三个单独的图像捕获(每个图像捕获在三个组成子集中的每一者中)的一个例示性实施例中的此图像处理序列。由控制逻辑处理器50根据所存储或所提供的指令来执行对处理的控制，控制逻辑处理器50在此实施例中为数字成像设备10的一部分。数字成像设备10以(举例来说)f/2. 8捕获第一图像且从像素子集 40a读取图像数据。此提供中间组成图像42a。接着由致动器46将光圈14调整为f/5 (举例来说)。数字成像设备10接着以f/5捕获第二图像且从像素子集40b读取图像数据。此提供具有对应地较大的景深的中间组成图像42b，如从图8中的成像设备10的进一步显示。 接着由致动器46将光圈14调整为f/10 (举例来说)。数字成像设备10接着以f/10捕获第三图像且从像素子集40c读取图像数据。此提供中间组成图像42c。数据处理接着从组成图像42a、42b及42c中的每一者抽取合适的图像数据内容以产生最终图像44。图像44 因此可具有来自以三个不同的f/#值在渐进地变大的DOF范围上获得的图像内容的像素数据。图8的实例中的单独的复位及读取操作的时序(针对一个实施例)显示于图9的实例中。举例来说，光圈14最初设定为f/2. 8。曝光及读出使用显示具有复位300a及读取 30 的滚动快门时序，借此形成组成子集40a上的图像42a。接着需要用于将光圈14调整到f/5的间隔304(举例来说)。接着，滚动快门读出以复位300b及读取302b以类似方式执行以用于形成图像42b。在用于将光圈14调整到f/10的另一间隔304之后，举例来说， 滚动快门读出以复位300c及读取302c再次执行，从而形成图像42c。有益地基于参照图8及9所描述的实例作出若干个观察使用光圈14的调整描述了景深调整。然而，类似的操作序列也可用于使用致动器 46以其它方式调整成像设备10光学器件的焦点，以用于在图像捕获之间改变所捕获的被摄体的相对清晰度。显示三个组成子集40a、40b及40c，每一 f/#设定对应一个子集。可使组成子集的数目及布置变化，以使得可以两个f/#设定或以四个或四个以上f/#设定拍摄曝光。组成子集40a、40b及40c可使其相应像素元素具有任何适当分布。举例来说，以不同的"#设定提供较高像素密度可为有利的，(例如)以用于通过增加的像素计数以相对高的f/#设定获得额外的光。由于全色像素(P)对(未经滤波的)入射光的较高敏感度，使用全色像素(P)也可为有利的，因此需要较短积分时间。此可有利地帮助减少运动伪影 (举例来说)。可针对单独的捕获使复位与读取操作之间的曝光间隔的时序变化，如图9中所示。关于图8及9的实例，可使用较长的曝光周期以针对f/10设定获得更多的光。相比来说，在f/2. 8设定下需要更少的时间。组成子集40a、40b及40c可不相交，如图8中所表示，或者可部分地重叠，以使得所述子集之间存在某一交集。不同于常规焦点堆叠技术，本发明的方法获得多个图像，其中当与传感器阵列的原生分辨率相比较时，每一图像具有减小的分辨率。此方法提供显著的灵活性，以使得可针对不同组的f/#设定、针对不同的照明条件或针对其它可变条件采用组成子集的不同布置。虽然滚动快门读出并非可与本发明的实施例一起使用的唯一读出技术，但其具有对其有利的若干个优点。使用此种技术允许更为简化的相机硬件及更低的部件计数，强烈表明此读出时序可优于其它方法，例如需要某种类型的机械快门的那些方法。另外，可快速地执行相同传感器阵列20上的单独的组成子集的滚动快门读出，以便使被摄体移动或无意相机移动的影响最小化。对于读取像素的任一个别组成子集，由于每一读出操作中的对应地减少的数据量而可将读出速度增加到标准读出速率以上。存在可以其来组合来自组成图像42a、42b及42c的数据以便形成复合图像44的若干种不同方式，如参照图8所描述。用于分析图像内容以确定最佳焦点清晰度或对比度区域的图像处理技术为成像技术领域中的技术人员所众所周知。复合图像44(其具有例如改善的清晰度等优点)接着提供增强的图像输入以供数据处理设备进行后续图像数据处理，所述数据处理设备可为成像设备10的一部分(图8中的控制逻辑处理器50)或可为单独的计算机或其它控制逻辑处理器。使用本发明的组成子集及读出时序布置允许以两个或两个以上f/#设定捕获大致相同的场景内容，从而产生若干个单独的组成图像，每一单独的组成图像具有像素分辨率，所述像素分辨率尽管小于传感器阵列的原生像素分辨率但具有不同的景深。接着可以若干种方式组合所得组成图像以形成复合图像。在一个实施例中，举例来说，复合图像44 形成为包括两个或两个以上组成子集中的每一者的某一部分或整体的数据结构(在进行或未进行额外的图像处理的情况下)。在另一实施例中，基于图像的各个区上的图像对比度或其它可检测图像内容属性，抽取两个或两个以上组成子集中的每一者的选定部分并使用其来形成复合图像44。在一个实施例中，可在模式之间切换同一成像设备10，其中常规图像捕获模式将传感器阵列20上的大致所有像素用于一个曝光序列，且使用本发明的方法的延伸的景深模式使两个或两个以上子集以不同的"#设定同时曝光。可使用模式控制件或通过使用用户接口观(图1)发出软件指令来实现改变模式。已特定参照本发明的某些优选实施例详细描述了本发明，但应理解，所属技术领域中的技术人员可在不背离本发明的范围的情况下在如上文所描述的本发明的范围内且如所附权利要求书中所述实现变化形式及修改形式。举例来说，可使用图像传感器的若干个可能的组成子集布置中的任一者。可针对低光条件或针对运动成像进一步调整曝光时间。可使用若干种类型的致动器中的任一种来调整光圈设定。获得图像且在每一图像之间调整景深的数据处理设备可为数字成像设备10本身的组件或可为将操作指令提供到数字成像设备10的外部计算机。 因此，提供的是一种借助光学系统控制的成像系统及一种用于提供具有延伸的景深的图像的图像传感器阵列的读出方法。
0087]部件列表0088]10.数字成像设备0089]12.镜头0090]14.光圈0091]20.传感器阵列0092]22.信号处理器0093]24.存储器0094]28.用户接口0095]30.控制逻辑处理器0096]40a,40b,40c.子集0097]42a,42b,42c.图像0098]44.复合图像0099]46.致动器0100]50.控制逻辑处理器0101]100块0102]102块0103]212阵列0104]300，300a，300b.复位0105]302, 302a, 302b.读取0106]304间隔0107]Fa，Fb.焦点距离0108]R.最小重复单元
权利要求
1.一种用于形成图像的至少部分地由数据处理设备实施的方法，所述方法包含 以第一 f/#设定从图像传感器阵列中的第一像素子集获得场景的第一图像； 将从所述场景获得光的成像光学器件调整到第二 f/#设定；从所述图像传感器阵列中的第二像素子集获得所述场景的第二图像，及通过组合来自至少所述第一及第二图像的图像数据来形成复合图像。
2.根据权利要求1所述的方法，其中所述第二像素子集与第一像素子集是不相交的。
3.根据权利要求1所述的方法，其中所述第二像素子集与第一像素子集是部分地重叠的。
4.根据权利要求1所述的方法，其中以所述第二f/#设定进行调整以获得光包含调整光圈。
5.根据权利要求1所述的方法，其进一步包含以第三f/#设定调整从所述场景获得光的所述成像光学器件及从第三像素子集获得所述场景的第三图像。
6.根据权利要求5所述的方法，其中所述第三像素子集与所述第一及第二像素子集两者是不相交的。
7.根据权利要求1所述的方法，其中所述第一及第二子集中的至少一者包含一个或一个以上全色像素。
8.根据权利要求1所述的方法，其中使用滚动快门读出序列来获得所述第一及第二图像。
9.根据权利要求1所述的方法，其中将所述第一及第二像素子集曝光不同的时间量。
10.根据权利要求1所述的方法，其中所述第一与第二像素子集在像素的数目上不同。
11.根据权利要求1所述的方法，其中以所述第二f/#设定调整所述成像光学器件以获得光包含调整焦点。
12.根据权利要求1所述的方法，其中大致同时获得所述第一及第二图像。
13.根据权利要求4所述的方法，其中所述光圈具有两个或两个以上固定位置。
14.一种数字成像设备，其包含数字传感器，其包含像素阵列，其中所述像素被组织成至少第一及第二像素子集，其中每一像素子集可单独读取；光圈，其耦合到致动器以致动到至少第一及第二光圈设定；及控制逻辑处理器，其响应于用于控制所述致动器的指令而将所述光圈设定为所述第一光圈设定并从所述第一像素子集获得图像数据内容，以及将所述光圈设定为所述第二光圈设定并从所述第二像素子集获得图像数据内容。
15.根据权利要求14所述的方法，其中所述第二像素子集与第一像素子集是不相交的。
16.根据权利要求14所述的方法，其中所述第二像素子集与第一像素子集是部分地重叠的。
17.一种用于形成图像的方法，其包含以下步骤同时捕获场景内容的多个图像，每一图像具有不同的景深及对应地不同的图像分辨率，针对每一图像确定所述图像的具有比所述图像的其它部分的图像分辨率优越的图像分辨率的至少一个部分，通过组合来自所述多个图像中的每一者的图像信息来形成所述场景内容的复合图像，及从每一图像的具有优越图像分辨率的所述至少一个部分选择每一图像的所述图像信息。
18.根据权利要求17所述的用于形成图像的方法，其中所述多个图像中的每一图像具有从捕获所述多个图像中的每一者的图像阵列的图像阵列分辨率减小的分辨率。
全文摘要
一种用于通过以下步骤形成图像的至少部分地由数据处理设备实施的方法以第一f/#设定从图像传感器阵列中的第一像素子集获得场景的第一图像；以第二f/#设定调整从所述场景获得光的成像光学器件；从所述图像传感器阵列中的第二像素子集获得所述场景的第二图像；及通过组合来自至少所述第一及第二图像的图像数据来形成复合图像。
文档编号H04N5/232GK102197639SQ200980142669
公开日2011年9月21日 申请日期2009年11月6日 优先权日2008年11月21日
发明者罗伯特·迈克尔·吉达什 申请人:全视科技有限公司