一种具有扩展的动态范围上限的图像传感器的制作方法

发明的技术领域大体关于图像技术，并且，更重要地，关于一种具有扩展的动态范围上限的图像传感器。

背景技术：

图1示出了图像传感器100的基本元件。如图1所示，所述图像传感器包括具有构成像素单元102的像素阵列101。耦合于像素阵列101的是行解码器103，所述行解码器103具有耦合于像素单元102的行的输出。感测放大器104也耦合于像素阵列101信号输出。所述图像传感器100还包括耦合在所述感测放大器103下游的模拟-数字电路105。图像传感器100还包括计时和控制电路106，所述计时和控制电路负责产生指令图像传感器100的操作的时钟和控制信号。

技术实现要素：

附图说明

下面的描述和附图被用于说明本发明的实施例，在图中：

图1示出了图像传感器的描绘(现有技术)；

图2示出了可见光像素单元的描绘；

图3示出了Z像素单元的描绘；

图4示出了在它的动态范围上具有扩展上限的图像传感器的操作的描绘；

图5示出了在它的动态范围上具有扩展上限的图像传感器；

图6示出了执行图5的图像传感器的方法；

图7示出了带有图像传感器的2D/3D相机，所述图像传感器在它的动态范围上具有扩展上限；

图8示出了计算系统。

具体实施方式

图2示出了用于可见光像素的像素单元202。如图2所示，首先，通过导通复位晶体管Q1，电容器201清除了它的负电荷。当电容器的负电荷被清除并且传输门晶体管(transfer gate transistor)Q2被关断时，曝光时间开始，在所述曝光时间中，光敏光电二极管203作为它在曝光时间和曝光时间长度上接受的光的强度的函数产生和收集负电荷(电子)。

在曝光时间之后，将在光电二极管203中被收集的负电荷转移到电容器201的传输门晶体管Q2被导通。负电荷到电容器201的转移影响了电容器的电压(电容器201接收的负电荷越多，它的电压越低)。在光电二极管的负电荷已经被转移到电容器201后，行选择控制信号被使能，其能够导通行选择晶体管Q3，所述行选择晶体管Q3允许感测放大器感测电容器电压。电容器电压的读取然后被数字化并且用作由光电二极管203接收的光的强度的指示。所述过程然后被重复。

一般地，行选择信号导通在沿像素阵列中的相同行的每个像素单元的行选择晶体管。行选择信号“滚动”过阵列的行以接收全部的阵列图像。在“全局快门”模式的情况下，曝光时间同时跨过阵列中的所有像素单元(并且图像不应该具有任何运动关联伪影)。在“滚动快门”模式的情况下，像素单元的曝光时间是分阶段的，例如逐行的(其可以允许运动伪影的存在)。

存储电容器201的存在允许曝光的时机从行选择激励与存储电容器201读出的时机解耦。换一种说法，在曝光和电荷转移到存储电容器后，存储电容器的电压可以在被读出之前保持一段时间。因此，在每次存储电容器读出支持多次曝光时间的图像传感结构是可能的。也就是说，仅作为一个示例，图像传感器可以被构造成，根据它的行选择激励，对于存储电容器201的每次读出，具有三次曝光，伴随着三次对应的电荷向存储电容器201中的转移。

图3示出了用于利用“飞行时间”技术捕获深度信息的图像传感器的“Z”像素阵列单元302。在飞行时间图像捕获的情况下，光源从相机系统发射光到物体上，并且，对像素阵列的每个多个像素单元，测量光的发射和它的在所述像素阵列上的反射图像的接收之间的时间。由像素的飞行时间产生的图像对应于物体的三维轮廓，所述物体的三维轮廓以在每个不同的(x,y)像素位置的独特的深度测量(z)为特征。

如图3所示，Z像素阵列单元302包括如上面关于可见光像素单元202描述类似地操作的存储电容器301、复位晶体管Q1、传输门晶体管Q2、光电二极管303和行选择晶体管Q3。传输门晶体管Q2在曝光时间中随着在曝光的过程中的时钟信号导通和关断。在Z像素阵列单元301的曝光时间期间利用时钟信号控制传输门晶体管Q2是飞行时间技术的典型产物。在通常的方法中，在四个不同的复位、曝光时间和读出序列上给相同的Z像素阵列单元302提供四个不同的时钟(每个由90°相位分开)。四个不同的电荷收集读出然后被合并以计算像素的飞行时间值。

在曝光时间本身期间，如上面所提到的，传输门晶体管Q2导通和关断。因此，在曝光序列期间，电荷从光电二极管Q3被转移到存储电容器301多次。在半个时钟周期中，当传输门晶体管Q2关断，“背漏极(back-drain)”晶体管Q5导通以从光电二极管303接收电荷。控制输出门晶体管Q2的时钟与控制背漏极晶体管Q5的时钟异相180°使得一个为导通，另一个为关断。

因此，在曝光时间过程中，流出光电二极管的电荷在流过传输门晶体管Q2和流过背漏极晶体管Q4之间来回改变方向。然而注意，在Z像素单元的曝光时间期间导通和关断传输门晶体管Q2功能性地类似于特定的刚刚在上面所提到的可见像素单元实施例，其中每次行选择读出有多次曝光和对应的电荷到存储电容器201中的转移。

被称为RGBZ的图像传感器的一些图像传感器具有其像素阵列单元既包括可见光像素单元电路又包括Z像素单元电路的像素阵列。

任一像素单元具有的问题是动态范围。动态范围是像素单元在更强的和更弱的入射光强度测量光强度可以多么准确的量度。图2和图3的可见光和Z像素单元设计具有的问题在于，在更强的光强度，在光电二极管203、303中产生的并转移到存储电容器201、301的电荷可能压倒存储电容器201、301的存储能力或使存储电容器201、301的存储能力饱和。当存储电容器201、301被饱和，它基本上不能提供更多有关光学信号的强度的信息并且在像素单元的动态范围上对应于上限。

所述问题的解决方法是在存储电容器的正式的行选择电压感测读出之间的存储电容器的潜行读出。从这样的潜行读出(sneak readout(s))，存储在电容器中的电荷的数量可以被检测并且，如果电荷的数量表明所述电容器将在它的正式的行选择读出发生之前饱和，单元的行的曝光和/或读出策略将以某种方式调整以防止或另外避免电容器的饱和。

如下面将要详细描述的，相关的是，指出感测电容器上的电压的电压感测放大器一般具有很高的输入电阻并且因此当感测存储电容器的电压时从存储电容器接收很少或不接收电荷/电流。因此，当感测它的电压时，很少或没有电荷被从存储电容器取出。通常，前面提到的复位晶体管负责实际上清除存储电容器其积累的电荷。

图4示出了用于图像传感器的实施例的时序图，所述图像传感器在采集单个图像时，追踪在存储电容器上的电压。如图4所示，根据像素单元的时序和操作，在进行单元正式的行选择读出402之前，电荷在多次的、不同的情况404被从光电探测器转移到存储电容器。

回想可见像素单元存储电容器可以以这种方式通过在每次行选择读出具有多次曝光和电荷转移而接收电荷并且Z像素单元存储电容器以这种方式在正常像素单元操作的过程中接收电荷。正式的行选择读出402基本上限制和标记了图像的采集403。也就是说，一般地，图像采集403对应于任何发生在行复位401和行选择读出403之间的曝光和/或存储电容器活动。

如图4的实施例中所示，存储电容器的电压水平406的潜行读出405在从光电二极管到存储电容器的电荷每次转移404之后进行。在每次读出，电容器的电压水平406与阈值407比较，所述阈值407指示存储电容器是在，或在其附近，或接近饱和点。注意，电容器电压水平随着它积累电荷而降低，因为电荷以负电子的形式被积累。

如果电压水平405达到或者超过阈值407，用于像素单元的传输门晶体管Q2对于当前图像的图像捕获序列403的剩余序列去激活。在可见光像素的情况下，例如，像素的光强值可以通过鉴于为当前图像序列保留的曝光量外推电荷水平来确定。例如，如图4的示例性实施例中所示，每次电荷捕获403有6次曝光和电荷转移。观测到电容器电压在第四次曝光之后达到阈值水平407。因此，光强度可以被计算为高于饱和存储电容器对应的光强度50％(即，具有无限深度(无饱和水平)的假想电容器本可以接收比实际饱和电容器多50％的电荷)。

在飞行时间测量的情况下，检测电容器饱和的时刻(暗中读出阈值被达到的时刻)可以被用于计算可靠的飞行时间信息。这里，如上面所述，飞行时间测量一般测量在四个不同相位(0°、90°、180°、270°)上在像素接收的电荷的数量。在四个不同相位曝光上像素中产生的相对电荷数量基本上复制到飞行时间值中。在传统的飞行时间中，系统饱和将基本上对应于测量遍及四个不同相位的相对电荷数量的能力的丧失。相反，通过检测电容器的阈值何时达到，遍及四个相位信号在像素上产生的电荷的数量仍然是可检测的(更高的强度比更低的强度更快的达到饱和)。因此，可靠的飞行时间值仍然可以被计算。

虽然图4的实施例示出在每次电荷从光电二极管到未饱和的存储电容器的转移之后存在潜行读出405，其他实施例可以利用不同的策略(例如，在每隔一次向未饱和的存储电容器的其他的电荷转移之后执行潜行读出)。

注意，潜行读出405可以与正式的行选择读出402同样地进行(例如，通过激活行选择晶体管Q3)。这里，在一实施例中，正式的行选择读出402和潜行读出405之间的不同在于正式的选择读出402正式地结束当前图像的捕获序列403，然而潜行读出405在当前图像的捕获序列403中进行。

在各种实施例中，注意，测量已经被转移到存储电容器的电荷的方式可以进行为用例如电压感测放大器的标准电压测量。这里，根据一般的操作，电荷从光电二极管到存储电容器的转移对应于电子从光电二极管到存储电容器的转移。因此，在许多设计中，从光电二极管增加的电荷被测量为降低的存储电容器电压(因为电子带负电荷)。无论如何，电容器电压的水平基本上对应于电容器从光电二极管接收的电荷的数量。感测放大器测量电容器电压。接着模拟-数字(ADC)电路然后将测量的模拟电压数字化。

在ADC电路和/或耦合于感测放大器的模拟电路后面的逻辑电路将电容器电压水平406与阈值407比较，并且如果达到阈值407则触发像素单元关闭。

在一实施例中，在阵列中的每个像素单元与相同的传输门控制信号相联系。因此，通过去激活它的传输门信号而关闭像素单元将引起沿所述像素的行的所有像素也被关闭。在替代的实施例中，对于单独的像素单元的传输门信号可以被单独地去激活，而不会影响沿与被去激活的像素单元相同行的像素单元的激活状态(例如，通过单独地驱动唯一的传输门信号给每个像素单元而不是将传输门信号与沿相同行的所有像素单元联系在一起)。

图5示出了图像传感器500的实施例，所述图像传感器500由于它能够执行像素存储电容器电压水平的潜行读出而在它的像素的动态范围上具有扩展的上限。

如图5所示，图像传感器500包括具有构成像素单元502的像素阵列501。具有耦合于像素单元502的行的输出的行解码器503耦合于像素阵列501。感测放大器504还耦合于像素阵列单元502信号输出。图像传感器500还包括与感测放大器503下游耦合的模拟-数字电路505。图像传感器500还包括负责产生时钟和控制信号的计时和控制电路506。所述时钟和控制信号指令图像传感器500的操作(为了便于绘图，图5只示出了对行解码器503的耦合但是其他对阵列的耦合应被理解)。像素单元502可以为可见光(例如RGB)像素单元、Z像素或者两者的结合。

像素单元502包括相应的存储电容器以存储已经从它们相应的光电二极管转移来的电荷。计时和控制电路506在单个图像的捕获过程中多次导通和关断像素单元502的传输门，这进而在单个图像捕获的过程中引起电荷多次从光电二极管转移到存储电容器。在一实施例中，计时和控制电路506在单个图像捕获的过程中多次激活像素单元的行选择晶体管，使得它可以在图像捕获序列期间定期地潜行读出存储电容器电压水平。

电路507将电容器电压水平与指示存储电容器饱和的阈值比较。如果任何这样的比较指示存储电容器饱和，电路507发送信号给计时和控制电路506以，例如，去激活由具有饱和的存储电容器的单元进行的进一步的电荷转移。在一实施例中，只是所述单元被去激活。在另一实施例中，单元的整行被去激活。图像传感器中的电路507或者其他电路可以执行其他计算或者提供进一步的与阈值检测关联的信息(例如，在飞行时间测量的情况下，产生表达在飞行时间测量的情况下饱和在哪个潜行读出发生的信号，或者，在可见光检测的情况下，外推接收的强度)。

图6示出了由图5的图像传感器执行的方法。如图6中所示，所述方法包括在单一图像的捕获过程中，多次将电荷从光电二极管转移到存储电容器601。所述方法还包括在单一图像的捕获过程中，多次感测存储电容器的电压水平602。所述方法还包括将感测的电压水平与阈值603比较。

图7示出了集成的传统相机和飞行时间成像系统700。所述系统700具有用于与例如更大的系统/主板进行电连接的连接器701，所述更大的系统/主板例如笔记本电脑、平板电脑或智能手机的系统/主板。根据布局和实施方式，连接器701可以连接于例如与系统/主板进行实际连接的柔性电缆，或连接器701可以直接与系统/主板进行连接。

连接器701固定于平面板702，所述平面板702实施为交替的导电层和绝缘层的多层结构，其中导电层被构图以形成支持系统700的内部电连接的电子迹线。通过连接器701，命令从更大的主机系统被接收。所述命令例如是配置命令，其向/从在相机系统中的配置寄存器表写入/读取配置信息。

RGBZ图像传感器703在接收透镜704下安装于平面板702。RGBZ图像传感器包括具有不同类型的像素单元的像素阵列，一些像素单元对可见光敏感(特别地，对可见红光敏感的R像素的子集、对可见绿光敏感的G像素子集和对可见蓝光敏感的B像素子集)并且其他像素单元对IR光敏感。所述RGB像素单元被用于支持传统“2D”可见光捕获(通常的图片采集)功能。所述IR敏感像素单元被用于利用飞行时间技术支持3D深度轮廓成像。

虽然，基本的实施例包括用于可见图像捕获的RGB像素，其他的实施例可以使用不同的彩色像素方案(例如，青色、品红色和黄色)。图像传感器703还可以包括用于数字化来自图像传感器的信号的ADC电路以及产生用于像素阵列和ADC电路的计时和控制信号的计时和控制电路。图像传感器703通过包括上面关于图4到图6讨论的特征，在它的动态范围还可以具有扩展的上限。

平面板702可以包括信号迹线以将由ADC电路提供的数字信息传送给连接器701以被主机计算系统的更高端的组件处理，所述主计算系统的更高端的组件例如图像信号处理流水线(例如，其被集成在应用处理器上)。

相机透镜模块704整合在RGBZ图像传感器703之上。相机透镜模块704包含一个或多个透镜的系统以聚焦接收到的光到图像传感器703。因为相机透镜模块704的可见光接收可能干扰图像传感器的飞行时间像素单元接收IR光，并且，反之，因为相机模块的IR光接收可能干扰图像传感器的RGB像素单元接收可见光，图像传感器的像素阵列和透镜模块703两者或两者之一可以包含滤光片系统，所述滤光片系统被布置为基本上阻挡将由RGB像素单元接收的IR光以及基本上阻挡将由飞行时间像素单元接收的可见光。

在光圈706下由光源阵列707构成的照明器705也安装在平面板701上。光源阵列707可以在安装于平面板701的半导体芯片上实施。集成在与RGBZ图像传感器相同封装703中的光源驱动器耦合于光源阵列以引起它发射具有特定强度和调制波形的光。

在一实施例中，图7的集成的系统700支持三种操作模式：1)2D模式；2)3D模式；和3)2D/3D模式。在2D模式的情况下，系统表现为传统相机。因此，照明器705被禁用并且图像传感器被用于通过它的RGB像素单元接收可见图像。在3D模式的情况下，系统在照明器705的视野下捕获物体的飞行时间深度信息。因此，照明器705被启用并且发射IR光(例如开启-关闭-开启-关闭…序列)到物体上。所述IR光从物体反射，通过相机透镜模块704接收并且由图像传感器的飞行时间像素感测。在2D/3D模式的情况下，上述2D模式和3D模式两者被同时激活。

图8示出了例如个人计算系统(例如台式机或笔记本)或者移动或手持计算系统的示例性计算系统800的描绘，所述移动或手持计算系统例如平板设备或智能手机。如图8所示，基本计算系统可以包括设置在应用处理器或多核处理器850上的中央处理单元801(其可以包括例如多个通用处理核)和主存储器控制器817、系统存储器802、显示器803(例如触屏、平板)、局部有线点对点连接(例如USB)接口804、各种网络I/O功能805(例如以太网接口和/或蜂窝调制解调子系统)、无线局域网络(例如WiFi)接口806、无线点对点连接(例如蓝牙)接口807和全球定位系统接口808、各种传感器809_1到809_N、一个或多个相机810、电池811、电源管理控制单元812、扬声器和麦克风813以及音频编码器/解码器814。

应用处理器或多核处理器850可以包括在它的CPU 401中的一个或多个通用处理核815、一个或多个图形处理单元816、主存储器控制器817、I/O控制功能818和一个或多个信号处理器流水线819。通用处理核815一般执行计算系统的操作系统和应用软件。图形处理单元816一般执行图形密集型功能(graphics intensive functions)以，例如产生呈现在显示器803上的图形信息。存储控制功能817与系统存储器802相接口。图像信号处理流水线819从相机接收图像信息并为下游使用处理原始图像信息。电源管理控制单元812通常控制系统800的能量消耗。

每个触屏显示器803、通信接口804-807、GPS接口808、传感器809、相机810和扬声器/麦克风编码解码器813、814相对于在适当的情况下还包括集成的外围设备(例如一个或多个相机810)的整个计算系统，都可以被视为各种形式的I/O(输入/输出)。根据实施方式，这些I/O组件中的各种I/O组件可以被集成在应用处理器/多核处理器850上或者可以被定位在管芯(die)外或者应用处理器/多核处理器850的封装外部。

在一实施例中，一个或多个相机810包括RGBZ图像传感器，所述RGBZ图像传感器通过具有上面关于图4到图6讨论的特征而在它的动态范围上具有扩展的上限。在应用处理器或其他处理器的通用CPU核(或者具有指令执行流水线以执行程序代码的其他功能块)上执行的应用软件、操作系统软件、装置驱动器软件和/或固件可以将命令指向到相机系统和从相机系统接收图像数据。

在命令的情况下，命令可以包括进入到任意上述2D、3D或2D/3D系统状态中或从任意上述2D、3D或2D/3D系统状态离开。

本发明的实施例可以包括如上所述的各种过程。所述过程可以在机器可执行指令中体现。所述指令可以被用于引起通用或专用处理器执行特定过程。可替代地，这些过程可以由包含用于执行所述过程的硬连线逻辑的特定硬件元件执行或通过编程的计算组件和定制硬件组件的任意结合执行。

本发明的元件还可以提供为用于存储计算机可执行指令的机器可读介质。所述机器可读介质可以包括，但是不限于，软磁盘、光盘、CD-ROM、和磁光盘、FLASH存储器、ROM、RAM、EPROM、EEPROM、磁性或光学卡、传播介质或适于存储电子指令的其他类型的介质/机器可读介质。例如，本发明可以作为计算机程序下载，所述计算机程序可以通过数据信号的方式从远程计算机(例如服务器)传送到请求计算机(例如客户机)，所述数据信号经由通信连接(例如调制解调或网络连接)以载波或其他传播媒介实现。

在前述说明书中，发明已经参考在其中的特定的示例性实施例被描述。然而，显而易见的是，在不脱离如在所附权利要求中阐述的本发明的更广泛的精神和范围的情况下，可以对其进行各种修改和改变。因此，说明书和附图被认为是说明性的而不是限制性的。